💬 NLP

Quantifying the Sources of Instability in LLM-Based Stance Analysis of Public Discourse

Diese Studie zeigt, dass, während die aggregierten Sentiment-Proportionen in der LLM-basierten Haltungsanalyse des öffentlichen Diskurses über verschiedene Vorverarbeitungspipelines hinweg stabil bleiben, die spezifischen Schlussfolgerungen hinsichtlich der Kopplung zwischen affektiver Valenz und epistemischer Modalität hochgradig sensitiv gegenüber Pipeline-Variationen bei Sprechern mit geringer Stichprobengröße und, noch signifikanter, gegenüber systematischen Diskrepanzen zwischen LLM-basierten und Keyword-Lexikon-Messmethoden sind.

Ursprüngliche Autoren: Bo Chen

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bo Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, was eine berühmte Person wirklich fühlt und wie sicher sie sich bei ihren eigenen Worten ist. Sie haben einen riesigen Stapel Videointerviews vor sich. Aber bevor Sie mit Ihrer Untersuchung beginnen können, müssen Sie das Rohvideo durch eine Maschine laufen lassen, die drei Dinge tut: Sie hört auf das Audio, findet heraus, wer spricht (der Gast oder der Interviewer) und zerlegt die Sprache in Sätze.

Dieses Paper stellt eine einfache, aber knifflige Frage: Ändert die Art und Weise, wie Sie Ihre Maschine einstellen, das endgültige Urteil?

Die Forscher, unter der Leitung von Bo Chen, führten ein massives Experiment mit 256 YouTube-Interviews mit 41 berühmten Persönlichkeiten aus den Bereichen Finanzen, Politik und Medien durch. Sie ließen diese Videos durch zwei verschiedene „Maschinen“ (Preprocessing-Pipelines) laufen und verwendeten dann zwei verschiedene „Detektive“ (Messmethoden), um den Text zu analysieren.

Die zwei Maschinen: Das „Ausschneiden und Einfügen“ vs. das „Audio-Ohr“

Betrachten Sie die erste Maschine als einen Text-basierten Detektiv. Er schnappt sich die automatisch generierten Untertitel von YouTube, bereinigt sie und versucht zu erraten, wer gerade spricht. Er ist schnell, aber er wird manchmal durch die chaotische Art verwirrt, wie YouTube-Untertitel geschrieben sind.

Die zweite Maschine ist der Audio-basierte Detektiv. Er hört auf die tatsächlichen Schallwellen, identifiziert die Stimmen und schreibt auf, was gesagt wurde. Dies ist ein teurerer, hochtechnologischer Ansatz.

Die Forscher wollten sehen, ob der Wechsel vom Text-basierten Detektiv zum Audio-basierten Detektiv die Geschichte verändern würde, die über die Sprecher erzählt wird.

Die zwei Detektive: Das „KI-Gehirn“ vs. die „Wortliste“

Sobald der Text bereit war, mussten sie zwei Dinge messen:

Valenz: Ist der Sprecher glücklich (positiv) oder traurig/wütend (negativ)?
Modalität: Ist der Sprecher super selbstbewusst (emphatisch) oder unsicher (einschränkend/hedging)?

Um dies zu messen, verwendeten sie zwei verschiedene Werkzeuge:

Das KI-Gehirn (LLM): Eine leistungsstarke künstliche Intelligenz, die den Text liest und einen Bericht über die Gefühle und das Selbstvertrauen des Sprechers schreibt.
Die Wortliste (Keyword Lexicon): Ein starres Regelwerk, das einfach zählt, wie oft bestimmte „wütende“ oder „selbstbewusste“ Wörter vorkommen.

Die große Überraschung: Die Maschine spielt eine geringere Rolle als man denkt (für manche)

Hier kommt die erste Wendung. Die Forscher fanden heraus, dass die Art und Weise, wie Sie das Video zuschneiden, eine große Rolle spielt, aber nur, wenn Sie von vornherein nicht genug Videomaterial haben.

Wenn eine berühmte Person nur eine Handvoll Videos hat (5 oder weniger), sind die Ergebnisse ein totales Chaos. Der Wechsel vom Text-basierten Detektiv zum Audio-basierten Detektiv kann die Ergebnisse komplett umkehren und einen „selbstbewussten“ Sprecher in einen „zögerlichen“ verwandeln. Es ist, als würde man versuchen, das Wetter anhand einer einzigen Wolke vorherzusagen; es ist einfach zu viel Rauschen.

Wenn ein Sprecher jedoch viele Videos hat (16 oder mehr), spielt die Wahl der Maschine kaum eine Rolle. Für die vier am besten untersuchten Stars der Studie änderte der Wechsel der Maschine das Ergebnis nur minimal (eine durchschnittliche Verschiebung von 0,13). Die Geschichte blieb gleich, unabhängig davon, welche Maschine man verwendete.

Der wahre Bösewicht: Die Wahl des Detektivs

Hier verdichtet sich die Handlung. Während die Maschine (Preprocessing) die Geschichte für die gut untersuchten Stars nicht stark veränderte, tat dies der Detektiv (Messmethode) absolut.

Die Forscher fanden heraus, dass das KI-Gehirn und die Wortliste oft völlig gegensätzliche Geschichten über dieselbe Person erzählten, selbst wenn sie exakt denselben Text lasen.

In fast 49 % der Fälle waren sich die beiden Detektive uneinig darüber, ob der Sprecher selbstbewusst oder zögerlich war.
Bei einigen sehr berühmten, gut untersuchten Sprechern (wie dem Ökonomen Ken Rogoff mit 17 Videos) sagte die KI das eine, und die Wortliste sagte genau das Gegenteil.

Dies deutet darauf hin, dass die größte Quelle der Instabilität nicht die Art ist, wie Sie die Daten bereinigen, sondern welches Werkzeug Sie zur Analyse wählen. Ein Werkzeug sieht einen Sprecher vielleicht als „wütend und sicher“, während das andere ihn als „ruhig und unsicher“ wahrnimmt.

Die Illusion der Sicherheit

Man könnte denken: „Nun, vielleicht ist es so, dass wir einfach den Durchschnitt von allen betrachten und es sich alles ausgleicht?“ Die Forscher prüften dies, und die Antwort lautet ein hartes Nein.

Sie fanden heraus, dass, wenn man nur den Gesamtprozentsatz der negativen Wörter über alle Videos hinweg betrachtet, die Zahlen super stabil aussehen. Unabhängig davon, welche Maschine oder welchen Detektiv man verwendet, verändert sich der Gesamtbestand an „schlechten Wörtern“ kaum (weniger als 6 Prozentpunkte Veränderung).

Aber diese Stabilität ist eine Falle. Sie verbirgt die Tatsache, dass die Schlussfolgerungen für einzelne Sprecher völlig unterschiedlich sind. Es ist, als würde man sagen, eine Klasse sei im „Durchschnitt“, weil das Mathegenie und der Schüler, der durchgefallen ist, sich gegenseitig ausgleichen. Man übersieht dabei, dass ein Schüler kämpft und der andere triumphiert.

Das Fazit

Das Paper schließt mit einer Warnung für jeden, der den öffentlichen Diskurs untersucht: Vertrauen Sie nicht einfach auf ein einziges Setup.

Überprüfen Sie Ihre Stichprobengröße: Wenn Sie nur wenige Videos haben, sind Ihre Ergebnisse wahrscheinlich unzuverlässig, egal was Sie tun.
Verlassen Sie sich nicht auf nur einen Detektiv: Wenn Ihr KI-Tool und Ihr Wortzählungstool uneinig sind, haben Sie die Wahrheit noch nicht gefunden. Sie müssen sehen, ob sie übereinstimmen, bevor Sie Ihre Ergebnisse veröffentlichen.
Trennen Sie das Rauschen: Sie müssen herausfinden, ob sich Ihre Ergebnisse ändern, weil Sie die Maschine (Preprocessing) geändert haben oder weil Sie das Werkzeug (Messung) geändert haben.

Kurz gesagt: Die Art und Weise, wie Sie Ihre Daten vorbereiten, ist wichtig, aber das Werkzeug, mit dem Sie es messen, ist noch wichtiger. Und wenn Sie nur auf die großen Durchschnittswerte schauen, könnten Sie die ganze Geschichte verpassen.

Technisches Resümee: Quantifizierung der Instabilitätsquellen in der LLM-basierten Haltungsanalyse des öffentlichen Diskurses

Problemstellung

Die Computergestützte Sozialwissenschaft (CSS) stützt sich zunehmend auf automatisierte Vorverarbeitungspipelines – insbesondere Sprecherdiarisierung, automatische Spracherkennung (ASR), Transkriptbereinigung und Satzsegmentierung –, um Rohmedien in analysierbaren Text zu konvertieren. Während eine umfangreiche Literatur zur Annotationsvalidität existiert (z. B. ob LLM-Labels mit menschlichen Urteilen übereinstimmen), gibt es eine kritische Lücke im Verständnis zweier vorgelagerter Instabilitätsquellen:

Validität der Vorverarbeitung: Ob die Entscheidungen in der Vorverarbeitungspipeline (z. B. Diarisierungsmethode, Segmentierungsregeln) die nachgelagerten statistischen Schlussfolgerungen verändern.
Messvalidität: Ob die Wahl des Annotationsinstruments (LLM vs. Keyword-Lexikon) zu unterschiedlichen Ergebnissen führt, selbst wenn es auf identischem vorverarbeitetem Text angewendet wird.

Diese beiden Quellen der Instabilität werden oft vermischt, was die Diagnose erschwert, ob die beobachtete Instabilität in den Forschungsergebnissen aus der Datenverarbeitungspipeline oder dem Messinstrument selbst resultiert.

Methodik

Die Autoren schlagen ein Framework zur Pipeline-Sensitivitätsanalyse vor, um diese Quellen der Variation systematisch zu entwirren. Die Studie nutzt einen Korpus von 256 YouTube-Interviews mit 41 Persönlichkeiten des öffentlichen Lebens aus fünf Domänen: Finanzen/Investitionen, Wissenschaft/Ökonomie, Zentralbankwesen/Politik, Geopolitik/Strategie und Medien/Kommentar.

Experimentelles Design

Die Studie vergleicht zwei distinkte Variablen:

Zwei Vorverarbeitungspipelines:
- VTT-basiert: Parsen von YouTube-Untertiteldateien, Deduplizierung von Artefakten und Nutzung eines LLMs (DeepSeek-V4-Flash) für die binäre Sprecherklassifikation („Gast“ vs. „Interviewer“).
- Audio-basiert (AssemblyAI): Verwendung einer kommerziellen API für ASR und Sprecherdiarisierung, wobei der dominante Sprecher anhand der Wortanzahl als Gast identifiziert wird.
Zwei Messmethoden:
- LLM-Annotation: Zero-Shot-Annotation von Valenz (positiv/negativ/neutral) und epistemischer Modalität (emphatisch/gehedgt/neutral) mittels DeepSeek-V4-Flash.
- Keyword-Lexikon-Scoring: Ein regelbasierter Ansatz unter Verwendung eines vordefinierten Lexikons von Mustern für negative/positive Valenz und Modalität, normiert auf die Zeichenlänge des Videos.

Diagnostisches Framework

Die Autoren definieren zwei Metriken, um Instabilität zu quantifizieren:

Pipeline-Divergenz ( $\Delta_{pipeline}$ ): Die Änderung einer abgeleiteten Metrik (speziell der Pearson-Korrelation $r$ zwischen negativer Valenz und emphatischer Modalität), beim Wechsel der Vorverarbeitungspipeline bei derselben Messmethode.
Methoden-Divergenz ( $\Delta_{method}$ ): Die absolute Differenz der Metrik beim Wechsel zwischen LLM- und Keyword-Lexikon-Methoden auf demselben vorverarbeiteten Text.

Die Analyse konzentriert sich auf pro-Sprecher-Korrelationen ($r(neg, emph)$ und $r(neg, hedged)$), wobei Sprecher mit weniger als 4 Videos ausgeschlossen werden, um spureneffektive Korrelationen durch kleine Stichproben zu vermeiden.

Kernergebnisse

1. Pipeline-Sensitivität ist begrenzt und stichprobengrößenabhängig

Konzentration bei Low-N-Speakern: Die Pipeline-Sensitivität ist stark bei Sprechern mit begrenzten Videostichproben ( $N \le 5$ ) konzentriert. Für diese Sprecher ist die mittlere absolute Änderung der Korrelation ( $|\Delta r|$ ) hoch, und Vorzeichenumkehrungen sind häufig.
Stabilität bei gut beprobten Speakern: Für die vier am besten beprobten Sprecher ( $N \ge 16$ ) beträgt die durch die Wahl der Pipeline induzierte mittlere $|\Delta r|$ unter LLM-Annotation lediglich 0,13. Kein einzelner gut beprobter Sprecher überschritt ein $\Delta r$ von 0,19.
Domänenvariation: Die Sensitivität variiert je nach Domäne. Der Mediendiskurs zeigte die höchste Pipeline-Robustheit ( $|\Delta r| = 0,32$ unter LLM), während Finanzen und Wissenschaft am sensitivsten waren ($0,46$).

2. Diskrepanz zwischen den Methoden ist die dominante Bedrohung

Ausmaß der Diskrepanz: Die Divergenz der Messmethode ist signifikant größer und systematischer als die Pipeline-Divergenz. Über alle 41 Sprecher hinweg ist die mittlere $\Delta_{method}$ (0,76) fast doppelt so groß wie die mittlere $\Delta_{pipeline}$ (0,41).
Systematische Vorzeichenumkehr: LLM- und Keyword-Lexikon-Methoden weisen in 49 % der Fälle entgegengesetzte Kopplungsrichtungen (Vorzeichenumkehrungen) auf. Dies geschieht selbst bei gut beprobten Speakern (z. B. Rogoff mit 17 Videos), die intern stabil sind. Beispielsweise betrug für Rogoff die Pipeline-Divergenz 0,19, aber die Methoden-Divergenz auf derselben VTT-Pipeline betrug 0,90.
Aggregative Maskierung: Aggregierte Valenz-Proportionen bleiben hochgradig stabil ( $|\Delta p(neg)| < 6$ Prozentpunkte), unabhängig von Pipeline oder Methode. Diese Stabilität maskiert die erhebliche Instabilität, die in den korrelativen Dimensionen vorhanden ist.

3. Domäne moduliert die Sensitivität

Professionelle Kommunikationsstile modulieren, wie Vorverarbeitungswahlen auf Messungen durchschlagen. Beispielsweise zeigen akademische Hedging-Marker und mediale Intensifier eine unterschiedliche Robustheit gegenüber Satzfragmentierung (ein Nebenprodukt der VTT-Segmentierung) im Vergleich zum geopolitischen Diskurs.

Zentrale Beiträge

Diagnostisches Framework: Die Arbeit führt ein zweistufiges diagnostisches Framework ein, das die Effekte der Vorverarbeitungspipeline von den Effekten der Messmethode trennt, und bietet eine praktische Methode für Forscher, beide Quellen der Instabilität zu berichten und zu analysieren.
Empirische Grenzen der Pipeline-Sensitivität: Sie liefert Evidenz dafür, dass die Pipeline-Sensitivität vorhersagbar ist. Für ausreichend beprobte Sprecher ( $N \ge 16$ ) ist der Einfluss der Vorverarbeitungswahl auf korrelative Schlussfolgerungen begrenzt ( $|\Delta r| \approx 0,13$ ).
Identifizierung der Messvalidität als primäre Bedrohung: Die Studie zeigt, dass die Diskrepanz zwischen den Methoden eine schwerwiegendere Validitätsbedrohung darstellt als die Pipeline-Divergenz. Schlussfolgerungen über die Kopplung von affektiver Valenz und epistemischer Modalität können durch die Wahl des Annotationsinstruments systematisch verändert werden, selbst wenn die Vorverarbeitungspipeline konstant gehalten wird.

Bedeutung und Ansprüche

Die Arbeit argumentiert, dass Forscher, die kreuzdimensionale Beziehungen in Interviewdaten untersuchen, sicherstellen müssen, dass ihre Schlussfolgerungen robust gegenüber beiden Quellen der Variation sind. Die Autoren behaupten:

Vorverarbeitungswahlen sind relevant, aber begrenzt: Während Pipeline-Wahlen Ergebnisse beeinflussen, ist das Ausmaß dieses Effekts vorhersagbar und handhabbar für Sprecher mit ausreichend Daten.
Die Wahl der Messmethode ist entscheidend: Die Wahl zwischen LLM-Annotation und Keyword-Lexika kann wissenschaftliche Schlussfolgerungen fundamental umkehren (z. B. eine positive Korrelation in eine negative ändern).
Berichterstattungsstandards: CSS-Forscher sollten diese zwei Quellen der Instabilität explizit in ihrer Berichterstattung trennen. Eine Korrelation, die sowohl eine alternative Vorverarbeitungspipeline als auch eine alternative Messmethode übersteht, gilt als kredibler als eine, die nur innerhalb einer einzelnen Pipeline-Methoden-Kombination validiert wurde.

Die Autoren vertreten eine moderate Position und räumen Einschränkungen ein, wie etwa die Verwendung eines einzelnen LLM-Anbieters, eines englischsprachigen Korpus und die Unfähigkeit, Diarisierungseffekte in ihrem aktuellen Design vollständig von den Effekten der Satzsegmentierung zu isolieren. Sie behaupten nicht, dass eine Methode universell „richtig“ ist, sondern dass die Divergenz selbst ein diagnostisches Signal ist, das einer Untersuchung bedarf.