Seeing Candidates at Scale: Multimodal LLMs for Visual Political Communication on Instagram

1. Problema e Contesto di Ricerca

Lo studio affronta la sfida metodologica di analizzare su larga scala la Comunicazione Politica Visiva (VPC) sui social media, in particolare su Instagram. Sebbene i post permanenti siano stati ampiamente studiati, i contenuti effimeri come le Storie (Stories) rimangono sottopesiati nonostante la loro importanza strategica per l'immediatezza e l'autenticità.

Il problema centrale è la difficoltà di codificare manualmente grandi volumi di contenuti visivi per misurare il concetto di "visibilità concentrata" (concentrated visibility), ovvero la focalizzazione strategica su singoli leader politici (front-runner) rispetto ai partiti o ad altri candidati. I metodi manuali sono lenti e non scalabili, mentre le soluzioni computazionali tradizionali (basate su computer vision classica) spesso faticano a gestire la complessità semantica, il contesto e le sfumature delle immagini politiche, specialmente in formati dinamici come le storie.

2. Metodologia

Lo studio presenta un caso di studio computazionale basato sulla campagna elettorale federale tedesca del 2021.

• Corpus Dati: Sono stati raccolti 1.424 Instagram Stories e 547 Post da 6 account ufficiali (5 partiti: CDU, CSU, SPD, GRÜNE, FDP e 1 candidato per partito). Il periodo di raccolta è stato dal 12 al 25 settembre 2021. Le immagini video sono state estratte come fotogrammi chiave.
• Task di Classificazione:
  1. Riconoscimento del Candidato: Identificare la presenza di specifici "front-runner" (es. Olaf Scholz, Annalena Baerbock) nell'immagine.
  2. Conteggio delle Persone: Determinare il numero di individui visibili (categorizzato in 0, 1, 2, 3+).
• Modelli Comparati:
  • Approccio Tradizionale (Deep Learning): Una pipeline open-source combinata di RetinaFace (per il rilevamento dei volti) e FaceNet512 (per il riconoscimento/verifica).
  • Approccio API Commerciale: Google Cloud Vision API (per il rilevamento di oggetti e persone).
  • Approccio Multimodale (LLM): GPT-4o (versione `gpt-4o-2024-05-13), utilizzato tramite prompting. Il modello è stato istruito a verificare la presenza di un candidato specifico e a contare le persone, fornendo anche una giustificazione testuale della decisione.
• Validazione: È stata condotta un'annotazione umana su un sottogruppo dei dati (Gold Standard) per calcolare le metriche di performance (Precisione, Recall, F1-score macro/weighted) e l'accordo inter-annotatore (Krippendorff's $\alpha$).

3. Risultati Chiave

A. Valutazione dei Modelli (RQ1)

• Riconoscimento Volto (Face Verification):
  • GPT-4o ha superato nettamente i modelli tradizionali, raggiungendo un F1-score macro di 0.89 per le Stories e 0.91 per i Post.
  • FaceNet512 ha ottenuto risultati inferiori (F1-score macro di 0.74 per le Stories e 0.87 per i Post).
  • Nota critica: FaceNet ha mostrato una scarsa performance specifica su Annalena Baerbock (l'unica candidata donna nel corpus), suggerendo possibili bias di genere nei modelli di visione classica o differenze nello stile di presentazione visiva. GPT-4o ha gestito meglio casi complessi come volti parzialmente coperti da mascherine o angolazioni laterali, grazie alla capacità di interpretare il contesto tramite prompt.
• Conteggio delle Persone:
  • GPT-4o ha nuovamente dimostrato superiorità con un F1-score macro di 0.86 (Stories) e 0.93 (Post).
  • I modelli basati sul rilevamento dei volti (RetinaFace) e l'API di Google (GCV) hanno tendenzialmente sovrastimato il numero di persone, contando volti sullo sfondo, su poster o schermi, mentre GPT-4o è riuscito a distinguere meglio i soggetti principali dal contesto.

B. Analisi della Visibilità Concentrata (RQ2)

• Differenze tra Account: Gli account dei singoli candidati mostrano una visibilità concentrata significativamente più alta rispetto agli account dei partiti. I candidati appaiono da soli o con pochi altri molto più frequentemente nelle proprie storie rispetto a quanto fatto dagli account di partito.
• Differenze tra Formati (Stories vs. Post):
  • Esiste una differenza statistica significativa nella strategia visiva tra Stories e Post.
  • Le Stories sono utilizzate più frequentemente per una presentazione personale e informale, con una maggiore frequenza di candidati che appaiono da soli (specialmente negli account candidati).
  • I Post mostrano una strategia più mista, con una maggiore presenza di gruppi e contenuti istituzionali.
  • I partiti utilizzano le Stories meno per la visibilità concentrata rispetto ai candidati, perdendo potenzialmente l'opportunità di engagement con gli elettori più giovani che preferiscono contenuti "dietro le quinte".

4. Contributi Principali

1. Validazione degli LLM Multimodali: Lo studio dimostra che i Large Language Models multimodali (come GPT-4o), sebbene "black box", offrono prestazioni superiori e più robuste rispetto alle pipeline tradizionali di computer vision per l'analisi della comunicazione politica visiva, specialmente in contesti complessi e non strutturati come le Stories.
2. Accessibilità Metodologica: Il metodo basato sul prompting riduce la barriera tecnica per i ricercatori delle scienze sociali, eliminando la necessità di addestrare modelli complessi o di gestire hardware GPU dedicato, rendendo l'analisi su larga scala più accessibile.
3. Insight Empirici: Fornisce nuove evidenze empiriche sulla strategia di comunicazione tedesca del 2021, evidenziando come le Stories siano un canale distintivo per la personalizzazione politica, spesso trascurato nelle analisi tradizionali focalizzate sui post.

5. Significatività e Limitazioni

• Significatività: Lo studio segna un punto di svolta verso l'uso di agenti AI generativi per l'analisi dei dati visivi nelle scienze sociali computazionali. Suggerisce che l'interpretazione semantica contestuale degli LLM è superiore al semplice rilevamento di pattern visivi per compiti che richiedono comprensione del "soggetto principale" vs. "sfondo".
• Limitazioni:
  • Trasparenza e Riproducibilità: L'uso di un modello proprietario (GPT-4o) solleva questioni sulla riproducibilità e sulla possibilità che i dati di test siano stati inclusi nel training set del modello.
  • Bias di Genere: Le prestazioni inferiori di FaceNet su una candidata donna evidenziano la necessità di testare più ampiamente i bias algoritmici.
  • Contesto Pandemico: L'uso diffuso di mascherine nel 2021 ha rappresentato una sfida specifica per il riconoscimento facciale tradizionale.
  • Dati: Il corpus è limitato a due settimane e a un solo paese, limitando la generalizzabilità temporale e geografica.

In conclusione, la ricerca conclude che gli LLM multimodali rappresentano uno strumento potente e scalabile per decodificare le strategie di visibilità concentrata nella comunicazione politica moderna, offrendo un compromesso efficace tra accuratezza, accessibilità e profondità analitica.