Seeing Candidates at Scale: Multimodal LLMs for Visual Political Communication on Instagram
Diese Studie zeigt, dass das multimodale Large Language Model GPT-4o bei der Analyse visueller politischer Kommunikation auf Instagram während der deutschen Bundestagswahl 2021 traditionelle Computer-Vision-Modelle in Bezug auf die Erkennung von Spitzenkandidaten und das Zählen von Personen übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
📸 Das große Foto-Quiz: Wie KI Politiker auf Instagram erkennt
Stell dir vor, du hast einen riesigen Haufen von Fotos und Videos, die während der deutschen Bundestagswahl 2021 auf Instagram geteilt wurden. Es sind Tausende von Bildern: Manche zeigen einen Politiker ganz allein, andere zeigen ihn mit einer Gruppe, wieder andere zeigen nur eine Menschenmenge.
Die Forscher aus Regensburg und München wollten herausfinden: Wer ist auf diesen Bildern zu sehen? Und zwar nicht nur, wer da ist, sondern auch: Wie oft tauchen die "Superstars" (die Spitzenkandidaten) im Vergleich zu ihren Parteien auf?
Das Problem: Wenn man das alles von Hand zählen müsste, bräuchte man Jahre. Also haben die Forscher einen Wettbewerb veranstaltet zwischen alten Computeralgorithmen und einem neuen, sehr schlauen KI-Modell (GPT-4o).
Hier ist, was sie herausgefunden haben, erklärt mit ein paar Vergleichen:
1. Der Wettbewerb: Der alte Kellner vs. der neue Super-Detektiv
Stell dir vor, du hast zwei Angestellte, die Fotos zählen sollen:
- Der alte Kellner (Die klassischen Computermodelle): Dieser Kellner ist sehr gut darin, Gesichter zu finden. Er schaut auf ein Bild und sagt: "Da ist ein Gesicht! Und da noch eins!" Aber er macht einen Fehler: Er zählt auch Gesichter auf Plakaten im Hintergrund oder Gesichter auf T-Shirts mit. Er ist wie jemand, der alles zählt, was wie ein Gesicht aussieht, ohne zu verstehen, ob es eine echte Person ist.
- Der neue Super-Detektiv (GPT-4o): Dieser Detektiv ist wie ein sehr aufmerksamer Mensch. Er schaut sich das Bild an und denkt: "Okay, da ist Olaf Scholz. Aber die Gesichter auf dem Poster dahinter zählen nicht, weil sie nicht 'echt' sind." Er versteht den Kontext.
Das Ergebnis: Der Super-Detektiv (GPT-4o) war deutlich besser. Er hat die Kandidaten fast immer richtig erkannt und hat nicht so viele "Geistergesichter" im Hintergrund gezählt wie der alte Kellner. Er war sogar so gut, dass er fast so gut war wie ein menschlicher Experte, aber viel schneller.
2. Das Geheimnis der "Storys" vs. "normale Posts"
Die Forscher haben sich zwei Arten von Inhalten angesehen:
- Posts: Das sind die normalen, dauerhaften Bilder auf dem Profil (wie ein Fotoalbum).
- Storys: Das sind die Bilder, die nach 24 Stunden verschwinden (wie ein flüchtiger Moment).
Die Entdeckung:
- Die Kandidaten (die Stars): Die Spitzenkandidaten nutzen ihre Storys sehr geschickt. Sie zeigen sich dort oft allein oder in lockeren Momenten. Es ist, als würden sie auf ihrer Storys eine "Einzelshow" geben, um nahbar und sympathisch zu wirken.
- Die Parteien (die Organisation): Die offiziellen Partei-Accounts nutzen Storys anders. Dort sieht man oft Gruppen, Veranstaltungen oder weniger Fokus auf den einzelnen Kandidaten.
Die Metapher: Stell dir vor, der Kandidat ist ein Rockstar. Auf seiner Story (dem privaten Instagram-Kanal) postet er Selfies, wie er Kaffee trinkt oder mit Fans redet (sehr persönlich). Auf der Party-Seite (dem offiziellen Kanal der Band) postet man eher Fotos von der ganzen Band auf der Bühne oder von großen Konzerten (sehr offiziell).
Die Studie zeigt: Die Kandidaten nutzen Storys, um sich als "echte Menschen" zu präsentieren, während die Parteien eher die "offizielle Front" zeigen.
3. Warum ist das wichtig?
Früher mussten Wissenschaftler stundenlang vor dem Computer sitzen und jedes Bild einzeln anschauen, um zu zählen, wie oft ein Politiker zu sehen ist. Das war langsam und teuer.
Diese Studie sagt: Wir können das jetzt automatisieren!
Mit der neuen KI (dem Super-Detektiv) können wir riesige Mengen an Bildern in Sekunden analysieren. Das hilft uns zu verstehen, wie Politiker versuchen, Wähler zu beeinflussen. Sie nutzen Instagram, um uns zu zeigen: "Schaut mal, ich bin kompetent" (in offiziellen Bildern) oder "Schaut mal, ich bin einer von euch" (in den Storys).
4. Ein kleiner Haken (Die Warnung)
Es gibt ein paar Dinge, die man beachten muss:
- Die Maske: Während der Pandemie trugen viele Politiker Masken. Das war für die alten Computermodelle eine Katastrophe (sie sahen das Gesicht nicht mehr). Der neue Super-Detektiv kam damit besser zurecht, aber es war trotzdem schwierig.
- Die Frau: Eine der Kandidatinnen (Annalena Baerbock) wurde von den alten Modellen etwas schlechter erkannt als die Männer. Das ist ein bekanntes Problem bei KI: Manchmal sind sie auf Männer trainiert und erkennen Frauen schlechter. Der neue Detektiv war hier fairer, aber es ist ein Hinweis darauf, dass wir vorsichtig sein müssen.
- Geheimnis: Der neue Detektiv (GPT-4o) ist ein "Black Box"-Modell. Wir wissen nicht genau, wie er im Inneren denkt, weil er von einer Firma (OpenAI) betrieben wird. Man kann ihn nicht einfach auf den eigenen Computer laden.
Fazit in einem Satz
Die Studie zeigt, dass moderne KI-Modelle wie GPT-4o wie ein super-schneller, sehr aufmerksamer Assistent funktionieren, der uns helfen kann, die visuellen Tricks von Politikern auf Instagram zu entschlüsseln – viel besser als die alten Methoden, die oft nur "Gesichter" zählten, ohne zu verstehen, was auf dem Bild wirklich passiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.