Seeing Candidates at Scale: Multimodal LLMs for Visual Political Communication on Instagram

Titel: Kandidaten op Schaal Zien: Multimodale LLM's voor Visuele Politieke Communicatie op Instagram

Auteurs: Michael Achmann-Denkler, Mario Haim, Christian Wolff
Context: Studie uitgevoerd tijdens de Duitse federale verkiezingen van 2021, gepubliceerd in april 2026 (voorgesteld op SMSociety 2024).

---

1. Probleemstelling

Visuele politieke communicatie (VPC) is centraal geworden in moderne verkiezingscampagnes, met name op platforms zoals Instagram. Hoewel permanente posts veel bestudeerd zijn, blijft ephemerale content (zoals Instagram Stories, die na 24 uur verdwijnen) onderbelicht.
De kernproblemen zijn:

• Methodologische uitdaging: Handmatige codering van visuele content is tijdrovend en schaalbaarheidsproblemen beperken de omvang van analyses.
• Conceptuele focus: Er is behoefte aan het meten van "geconcentreerde zichtbaarheid" (concentrated visibility). Dit concept verwijst naar de strategische focus op individuele front-runners (kandidaten) in plaats van op partijen of instituties.
• Technologische lacune: Er is een gebrek aan vergelijkend onderzoek tussen traditionele computer vision-modellen en de nieuwste multimodale Large Language Models (LLM's) voor het automatisch analyseren van politieke visuele content.

2. Methodologie

Datacollectie

• Corpus: 1.424 Instagram Stories en 547 permanente posts verzameld tussen 12 en 25 september 2021 (tijdens de Duitse verkiezingscampagne).
• Actoren: Content van vijf partijen (CDU, CSU, SPD, B90/Die Grünen, FDP) en hun respectievelijke front-runners/kanselierskandidaten (o.a. Armin Laschet, Annalena Baerbock, Olaf Scholz).
• Preprocessing: Video's werden omgezet naar het eerste frame (statische afbeelding) om de analyse beheersbaar te houden. Het totale corpus bestond uit 957 unieke afbeeldingen.

Opdrachten en Modellen

De studie evalueerde drie computergestuurde benaderingen voor twee specifieke taken:

1. Herkenning van front-runners: Is de specifieke kandidaat aanwezig in de afbeelding?
2. Aantelling van personen: Hoeveel mensen zijn zichtbaar in de afbeelding (gecategoriseerd als 0, 1, 2, of 3+)?

Vergelijkde Modellen:

• FaceNet512 + RetinaFace: Een open-source deep learning-pijplijn (via de deepface bibliotheek) voor gezichtsdetectie en -verificatie.
• Google Cloud Vision API: Een commerciële API voor object- en gezichtsdetectie.
• GPT-4o (multimodaal LLM): Een state-of-the-art multimodaal model (versie gpt-4o-2024-05-13). De onderzoekers gebruikten prompt engineering om het model instructies te geven over het identificeren van specifieke kandidaten en het tellen van personen, inclusief contextuele nuances (bijv. "is de kandidaat duidelijk zichtbaar?").

Validatie (Ground Truth)

• Menselijke annotatie: 13 annotatoren labelden de aanwezigheid van kandidaten en 5 annotatoren telden personen in een subset van de data.
• Kwaliteitsmeting: Inter-rater betrouwbaarheid werd gemeten met Krippendorff's alpha (α). Voor Stories was α = 0,86 (herkenning) en 0,81 (tellen); voor Posts was dit respectievelijk 0,94 en 0,91.
• Evaluatiemetrics: Precision, Recall, Macro F1-score en Krippendorff's alpha (waarbij het model werd toegevoegd als een vierde annotator).

3. Belangrijkste Resultaten

A. Modelprestaties (RQ1)

• Gezichtsherkenning: GPT-4o overtrof FaceNet512 significant.
  • GPT-4o: Macro F1-score van 0,89 voor Stories en 0,91 voor Posts.
  • FaceNet512: Macro F1-score van 0,74 voor Stories en 0,87 voor Posts.
  • Opmerking: FaceNet had moeite met Annalena Baerbock (de enige vrouwelijke kandidaat), wat wijst op mogelijke genderbias in het model of verschillen in visuele stijl. GPT-4o presteerde consistent beter, zelfs bij moeilijke omstandigheden (maskers, afstand), hoewel het soms weigerde individuen te identificeren vanwege veiligheidsprotocollen ("I cannot identify individuals").
• Personentelling: GPT-4o was ook hier superior.
  • GPT-4o: Macro F1-score van 0,86 (Stories) en 0,93 (Posts).
  • Traditionele modellen (RetinaFace/GCV): Scores varieerden tussen 0,44 en 0,58.
  • Oorzaak van fouten: Traditionele gezichtsdetectie telde vaak te veel personen omdat ze gezichten op de achtergrond, op posters of in schermen detecteerden. GPT-4o kon beter onderscheid maken tussen de "hoofdpersonen" en de achtergrond dankzij de contextuele prompt.

B. Case Study: Geconcentreerde Zichtbaarheid (RQ2)

• Verschil tussen Accounttypen: Kandidatenaccounts tonen front-runners aanzienlijk vaker alleen of met anderen dan partijaccounts.
  • In Stories: Kandidatenaccounts (33,5% alleen, 27,2% met anderen) vs. Partijaccounts (12,0% alleen, 14,7% met anderen).
  • Dit bevestigt dat kandidatenaccounts een sterkere focus op "personalization" hebben.
• Verschil tussen Stories en Posts:
  • Er zijn significante verschillen in visuele strategieën tussen Stories en Posts.
  • Kandidaten gebruiken Stories vaker voor een meer informele, persoonlijke presentatie, terwijl partijaccounts in Stories minder vaak front-runners tonen (missen van kansen voor engagement).
  • Partijaccounts gebruiken Posts vaker voor formele presentaties van front-runners dan in Stories.

4. Belangrijkste Bijdragen

1. Methodologische Innovatie: Het paper demonstreert dat multimodale LLM's (GPT-4o) via prompting superieur zijn aan traditionele computer vision-modellen voor complexe visuele politieke analyses, zoals het tellen van personen en het herkennen van specifieke individuen in een context.
2. Schalbaarheid: Het biedt een schaalbare methode om "geconcentreerde zichtbaarheid" te meten, wat handmatige codering vervangt en grote datasets analyseerbaar maakt.
3. Empirische Inzichten: Het onthult dat er een strategisch verschil bestaat tussen hoe partijen en individuele kandidaten Instagram gebruiken, en tussen permanente posts en ephemeral stories. Kandidaten benutten Stories voor personal branding, terwijl partijaccounts hier minder effectief gebruik van maken.
4. Kritische Reflectie: De auteurs benadrukken de trade-offs tussen toegankelijkheid (prompting is makkelijker dan custom training) en transparantie/privacy (gesloten bron modellen vs. open source).

5. Betekenis en Conclusie

De studie concludeert dat multimodale LLM's een krachtig instrument zijn voor Computational Social Science. Ze kunnen niet alleen de schaal van visuele analyses vergroten, maar ook nauwkeuriger omgaan met semantische nuances (zoals het onderscheiden van een hoofdpersonage van een achtergrondfiguur) dan traditionele objectdetectie.

De resultaten suggereren dat politieke campagnes Instagram Stories nog niet optimaal benutten voor interactieve of persoonlijke content, ondanks de verwachtingen van jonge kiezers. Voor toekomstig onderzoek wordt aanbevolen om open-source multimodale modellen te gebruiken om de transparantie te vergroten en om de analyse uit te breiden naar andere theoretische constructen zoals visuele framing en zelfpresentatie.

Beperkingen:

• Gebruik van een gesloten model (GPT-4o) maakt replicatie en controle op trainingsdata lastig.
• De dataset was beperkt tot twee weken en voornamelijk front-runners, wat de generaliseerbaarheid beperkt.
• De context van de COVID-19-pandemie (maskers) beïnvloedde de prestaties van gezichtsherkenning.