Technische Samenvatting: Kwantificering van de Bronnen van Instabiliteit in LLM-gebaseerde Standpuntanalyse van Publiek Discours

Probleemstelling

Computationele sociale wetenschappen (CSS) vertrouwen steeds vaker op geautomatiseerde preprocessing-pipelines—specifiek sprekerdiarizatie, automatische spraakherkenning (ASR), transcript-opschoning en zinsegmentatie—om ruwe media om te zetten in analyseerbare tekst. Hoewel er uitgebreide literatuur bestaat over de validiteit van annotaties (bijv. of LLM-labels overeenkomen met menselijke oordelen), is er een kritische kloof in het begrip van twee upstream-bronnen van instabiliteit:

1. Preprocessing-validiteit: Of keuzes in de preprocessing-pipeline (bijv. diarizatiemethode, segmentatieregels) downstream statistische conclusies veranderen.
2. Meetvaliditeit: Of de keuze van het annotatie-instrument (LLM versus keyword-lexicon) andere conclusies oplevert, zelfs wanneer deze worden toegepast op identieke gepreprocessedeerde tekst.

Deze twee bronnen van instabiliteit worden vaak met elkaar verward, waardoor het moeilijk is te diagnosticeren of de waargenomen instabiliteit in onderzoeksbevindingen voortkomt uit de dataprocessing-pipeline of uit het meetinstrument zelf.

Methodologie

De auteurs stellen een pipeline-gevoeligheidsanalyse-framework voor om deze bronnen van variatie systematisch te ontrafelen. De studie maakt gebruik van een corpus van 256 YouTube-interviews met 41 publieke figuren verspreid over vijf domeinen: Finance/Investing, Academia/Economics, Central Banking/Policy, Geopolitics/Strategy, en Media/Commentary.

Experimenteel Ontwerp

De studie vergelijkt twee onderscheidende variabelen:

1. Twee Preprocessing-pipelines:
   • VTT-gebaseerd: Parseert YouTube-ondertitelbestanden, verwijdert artefacten via deduplicatie, en gebruikt een LLM (DeepSeek-V4-Flash) voor binaire sprekerclassificatie ("gast" versus "interviewer").
   • Audio-gebaseerd (AssemblyAI): Gebruikt een commerciële API voor ASR en sprekerdiarizatie, waarbij de dominante spreker wordt geïdentificeerd als de gast op basis van het aantal woorden.
2. Twee Meetmethoden:
   • LLM-annotatie: Zero-shot annotatie van valentie (positief/negatief/neutraal) en epistemische modaliteit (nadrukkelijk/gedempt/neutraal) met behulp van DeepSeek-V4-Flash.
   • Keyword-Lexicon Scoring: Een regelgebaseerde aanpak met een vooraf gedefinieerd lexicon van patronen voor negatieve/positieve valentie en modaliteit, genormaliseerd naar de karakterlengte van de video.

Diagnostisch Framework

De auteurs definiëren twee metrieken om instabiliteit te kwantificeren:

• Pipeline Divergentie ($\Delta_{pipeline}$): De verandering in een afgeleide metriek (specifiek de Pearson-correlatie $r$ tussen negatieve valentie en nadrukkelijke modaliteit) bij het wisselen van preprocessing-pipeline voor dezelfde meetmethode.
• Methode Divergentie ($\Delta_{method}$): Het absolute verschil in de metriek bij het wisselen tussen LLM- en keyword-lexicon-methoden op dezelfde gepreprocessedeerde tekst.

De analyse richt zich op per-spreker correlaties ($r(neg, emph)$ en $r(neg, hedged)$), waarbij sprekers met minder dan 4 video's worden uitgesloten om spookcorrelaties door kleine steekproeven te voorkomen.

Belangrijkste Resultaten

1. Pipeline-gevoeligheid is Begrensd en Steekproefgrootte-afhankelijk

• Concentratie bij Low-N Sprekers: Preprocessing-gevoeligheid is sterk geconcentreerd bij sprekers met een beperkt aantal video-samples ($N \le 5$). Voor deze sprekers is de gemiddelde absolute verandering in correlatie ($|\Delta r|$) hoog (0,44), en zijn tekenomkeringen gebruikelijk.
• Stabiliteit bij Goed Gesamplede Sprekers: Voor de vier best gesamplede sprekers ($N \ge 16$) is de gemiddelde $|\Delta r|$ veroorzaakt door de keuze van de pipeline slechts 0,13 onder LLM-annotatie. Geen enkele goed gesamplede spreker overschreed een $\Delta r$ van 0,19.
• Domeinvariatie: Gevoeligheid varieert per domein. Media-discours vertoonde de hoogste pipeline-robuustheid ($|\Delta r| = 0,32$ onder LLM), terwijl Finance en Academia de meest gevoelige waren ($0,46$).

2. Cross-Method Discrepantie is de Dominante Dreiging

• Omvang van de Discrepantie: De divergentie van de meetmethode is aanzienlijk groter en systematischer dan de pipeline-divergentie. Over alle 41 sprekers heen is de gemiddelde $\Delta_{method}$ (0,76) bijna het dubbele van de gemiddelde $\Delta_{pipeline}$ (0,41).
• Systematische Tekenomkering: LLM- en keyword-lexicon-methoden wijzen in 49% van de gevallen tegenovergestelde koppelingsrichtingen (tekenomkeringen) toe. Dit komt zelfs voor bij goed gesamplede sprekers (bijv. Rogoff met 17 video's) waar beide methoden intern stabiel zijn. Bijvoorbeeld, voor Rogoff was de pipeline-divergentie 0,19, maar de methode-divergentie op dezelfde VTT-pipeline was 0,90.
• Geaggregeerde Maskering: Geaggregeerde valentie-proporties blijven zeer stabiel ($|\Delta p(neg)| < 6$ procentpunten), ongeacht de pipeline of methode. Deze stabiliteit maskeert de substantiële instabiliteit die aanwezig is in cross-dimensionale correlaties.

3. Domein Moduleert Gevoeligheid

Professionele communicatiestijlen moduleren hoe preprocessing-keuzes doorwerken naar metingen. Bijvoorbeeld, academische dempingsmarkers (hedging) en media-intensifiers vertonen een andere robuustheid tegen zinfragmentatie (een bijproduct van VTT-segmentatie) vergeleken met geopolitiek discours.

Belangrijkste Bijdragen

1. Diagnostisch Framework: Het artikel introduceert een tweezijdig diagnostisch framework dat de effecten van de preprocessing-pipeline scheidt van de effecten van de meetmethode, wat onderzoekers een praktische methode biedt om beide bronnen van instabiliteit te rapporteren en te analyseren.
2. Empirische Grenzen aan Pipeline-gevoeligheid: Het levert bewijs dat pipeline-gevoeligheid voorspelbaar is. Voor adequaat gesamplede sprekers ($N \ge 16$) is de impact van preprocessing-keuzes op correlationele conclusies begrensd ($|\Delta r| \approx 0,13$).
3. Identificatie van Meetvaliditeit als Primaire Dreiging: De studie toont aan dat cross-method discrepantie een ernstigere validiteitsdreiging is dan preprocessing-divergentie. Conclusies over de koppeling van affectieve valentie en epistemische modaliteit kunnen systematisch worden gewijzigd door de keuze van het annotatie-instrument, zelfs wanneer de preprocessing-pipeline constant wordt gehouden.

Betekenis en Claims

Het artikel stelt dat onderzoekers die studies doen naar cross-dimensionale relaties in interviewdata, moeten verifiëren dat hun conclusies robuust zijn tegen beide bronnen van variatie. De auteurs beweren dat:

• Preprocessing-keuzes doen ertoe, maar zijn begrensd: Hoewel pipeline-keuzes resultaten beïnvloeden, is de omvang van dit effect voorspelbaar en beheersbaar voor sprekers met voldoende data.
• Keuze van meetmethode is cruciaal: De keuze tussen LLM-annotatie en keyword-lexicon kan fundamentele wetenschappelijke conclusies veranderen (bijv. een positieve correlatie veranderen in een negatieve).
• Rapportage-standaarden: CSS-onderzoekers zouden deze twee bronnen van instabiliteit expliciet moeten scheiden in hun rapportage. Een correlatie die zowel een alternatieve preprocessing-pipeline als een alternatieve meetmethode overleeft, wordt als geloofwaardiger beschouwd dan een die gevalideerd is binnen een enkele pipeline-methode-combinatie.

De auteurs hanteren een bescheiden standpunt door beperkingen te erkennen, zoals het gebruik van een enkele LLM-provider, een Engelstalig corpus, en het onvermogen om in het huidige ontwerp de effecten van diarizatie volledig te isoleren van de effecten van zinsegmentatie. Zij beweren niet dat één methode universeel "correct" is, maar dat de divergentie zelf een diagnostisch signaal is dat onderzoek vereist.