💬 NLP

When Certainty Is an Artifact: Keyword Lexicon Blindness and the (Mis)Measurement of Rhetorical Stance

Dit artikel toont aan dat op trefwoorden gebaseerde lexiconen statistisch significante maar volledig artificiële bevindingen met betrekking tot retorische standpunten kunnen produceren door het onvermogen om semantische context te vatten, terwijl op LLM gebaseerde semantische classificatie onthult dat negatieve discours vaak gepaard gaat met nuancering in plaats van de nadrukkelijke zekerheid die door traditionele woordtelmethoden onterecht wordt gedetecteerd.

Oorspronkelijke auteurs: Bo Chen

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bo Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de persoonlijkheid van vier beroemde mensen probeert te begrijpen (een macro-investeerder, een tech-optimist, een academisch econoom en een geopolitiek strateeg) door naar hun interviews te luisteren. Je wilt weten: Wanneer ze over slecht nieuws praten (zoals een crisis of een crash), klinken ze dan zelfverzekerd en zeker, of klinken ze onzeker en voorzichtig?

Dit artikel is een detectiveverhaal over hoe we die "zelfverzekerdheid" meten. Het onthult dat een zeer populair hulpmiddel dat wetenschappers gebruiken om taal te analyseren, eigenlijk op een specifieke manier kapot is, waardoor ze geloven in iets wat niet waar is.

Hier is het verhaal in eenvoudige termen:

1. De kapotte zaklamp (De trefwoordmethode)

Al lange tijd gebruiken onderzoekers een "trefwoordzaklamp" om zelfverzekerdheid te meten. Dit hulpmiddel werkt als een eenvoudige teller:

Als het woorden hoort zoals "altijd," "zeker," "absoluut," of "nooit," telt het deze als Zelfverzekerdheid.
Als het woorden hoort zoals "misschien," "zou kunnen," of "risico," telt het deze als Onzekerheid.

Toen de onderzoekers dit hulpmiddel gebruikten op 85 interviews, vonden ze een schokkende patron: Iedere spreker klonk ongelooflijk zelfverzekerd wanneer ze over slecht nieuws praatten.

De correlatie was enorm (rond de 0,85 tot 0,93).
Het leek een universele wet: Wanneer mensen over onderwerpen vol ellende praten, klinken ze 100% zeker.

De onderzoekers dachten aanvankelijk dat dit een fascinerende psychologische ontdekking was: "Oh, dus wanneer mensen bang zijn, zetten ze zichzelf extra sterk neer en klinken ze super zelfverzekerd!"

2. De High-Definition Camera (De LLM-methode)

Maar toen besloten de onderzoekers hun werk te controleren met een "High-Definition Camera" — een moderne Large Language Model (LLM). In tegen tegenstelling tot de trefwoordteller, begrijpt de LLM context, grammatica en betekenis, net zoals een mens dat doet.

Ze voerden exact dezelfde 32.000 zinnen aan de LLM. Het resultaat? De "Universele Wet" verdween.

Dalio's "Zelfverzekerdheid" daalde: Zijn correlatie kelderde van een enorme 0,85 naar een zwakke, niet-significante 0,20.
Het patroon keerde om: Voor twee van de sprekers vond de LLM dat ze, wanneer ze over slecht nieuws praatten, eigenlijk onzeker en voorzichtig klonken (het afzwakken van uitspraken), wat is wat het gezond verstand suggereert.
De Conclusie: De "super-zelfverzekerde pessimisten" waren een illusie gecreëerd door de kapotte zaklamp.

3. Waarom loog de zaklamp? (De drie glitches)

Het artikel legt uit dat de trefwoordtool faalde omdat het "blind" is voor drie specifieke zaken. Denk aan een robot die woorden telt maar niet begrijpt hoe mensen spreken:

Blindheid voor ontkenning (De "Niet"-valstrik):
- De zin: "Ik ben nooit absoluut totaal zelfverzekerd."
- De Trefwoordtool: Het ziet "nooit," "absoluut" en "totaal." Het telt drie punten voor "Zelfverzekerdheid"! Het denkt dat de spreker heel zeker is.
- De Realiteit: De spreker zegt precies het tegenovergestelde: "Ik ben helemaal niet zeker." De tool miste het woord "nooit" omdat het zocht naar de aanwezigheid van sterke woorden, niet naar de betekenis van de zin.
Blindheid voor dubbelzinnigheid (De "Zeker"-valstrik):
- De zin: "Je hebt een bepaald lichaam..." (In het Engels: "You have a certain body...")
- De Trefwoordtool: Het ziet "certain" (bepaald/zeker) en telt het als "Zelfverzekerdheid."
- De Realiteit: Hier betekent "certain" gewoon "een specifiek exemplaar" (zoals "een bepaald lichaam"), niet "ik ben 100% zeker." De tool kan het verschil niet zien tussen "Ik ben zeker" en "een bepaald ding."
Blindheid voor verzachters (De "Een beetje"-valstrik):
- De zin: "Het is een beetje duidelijk."
- De Trefwoordtool: Het ziet "duidelijk" en telt het als "Zelfverzekerdheid."
- De Realiteit: "Een beetje" maakt de stelling zwak. De tool weet niet dat "een beetje" de kracht van "duidelijk" tenietdoet.

4. De echte ontdekking

Het artikel betoogt dat de "sterke correlatie" die de trefwoordtool vond, niet ging over de psychologie van de sprekers. Het ging over hoe taal werkt.

Wanneer mensen over angstaanjagende, serieuze onderwerpen praten (zoals schuldcrisissen of oorlogen), gebruiken ze van nature grote, dramatische woorden zoals "altijd," "nooit," en "iedereen." De trefwoordtool telde deze dramatische woorden als "zelfverzekerdheid." Maar in werkelijkheid waren die woorden slechts onderdeel van het drama van het onderwerp, niet een teken dat de spreker ook echt zeker was van de uitkomst.

De Analogie:
Stel je een weervoorspeller voor die zegt: "Het wordt absoluut een ramp als het regent."

De Trefwoordtool hoort "absoluut" en zegt: "Wauw, deze persoon is erg zelfverzekerd!"
De LLM (Mens) hoort de hele zin en beseft: "Ze zijn eigenlijk heel bezorgd over een ramp."

De Kern van het Verhaal

Dit artikel is een waarschuwing voor wetenschappers: Alleen omdat een computer woorden telt en een groot, statistisch significant patroon vindt, betekent dat niet dat het patroon echt is.

De "Zelfverzekerdheid" die de onderzoekers dachten te hebben gevonden, was een artefact — een fout in het meetinstrument. Toen ze het instrument verbeterden (door een AI te gebruiken die context begrijpt), verdween de "Zelfverzekerdheid" en zagen de sprekers er veel meer uit als normale mensen: voorzichtig wanneer de zaken er slecht uitzien, en zelfverzekerd wanneer de zaken goed gaan.

Belangrijkste les: Vertrouw niet op een woordenteller om je te vertellen wat mensen bedoelen. Je hebt een tool nodig die het verhaal achter de woorden begrijpt.

Technisch overzicht: Wanneer zekerheid een artefact is

Probleemstelling

Computationele sociale wetenschappen (CSS) vertrouwen vaak op trefwoordlexiconen om retorische standpunten te meten, specifiek de relatie tussen affectieve valentie (positief/negatief) en retorische modaliteit (zekerheid/nuancering). Een gangbare aanname in de literatuur is dat negatieve discours wordt geleverd met nuancering (hedging) om reputatierisico te beheersen, terwijl positief discours met zekerheid wordt geleverd. Dit artikel onderzoekt echter of statistisch significante bevindingen in dit domein werkelijke retorische patronen zijn of een artefact van het meetinstrument zelf.

De auteurs identificeren een kritische methodologische kloof: standaard trefwoordgebaseerde instrumenten (bag-of-words) slagen er niet in om syntactische negatie, polysemie en de reikwijdte van modificatoren op te lossen. Bijgevolg kunnen ze oppervlakkige lexicale co-occurrentie verwarren met diepe semantische betekenis. De centrale onderzoeksvraag is of de geobserveerde koppeling tussen negatieve inhoud en nadrukkelijke zekerheid een spreker-specifieke retorische strategie is of een universeel meetartefact veroorzaakt door de beperkingen van het tellen van trefwoorden.

Methodologie

De studie maakt gebruik van een dual-instrument ontwerp om metingen te valideren tegenover een "ground truth" afgeleid van Large Language Models (LLM's).

1. Corpusconstructie

De auteurs hebben een longitudinaal corpus samengesteld van 85 YouTube-interviews met vier publieke intellectuelen met verschillende discoursprofielen:

Ray Dalio (Macro-investeerder): 35 video's (2016–2026), vertoont een structurele breuk in frequentie na 2025.
Cathie Wood (Techno-optimist): 17 video's.
Kenneth Rogoff (Academisch econoom): 17 video's.
Peter Zeihan (Geopolitiek strateeg): 16 video's.

Totale corpusgrootte: 498.200 woorden en 32.625 zinnen.

Preprocessing: Ruwe automatisch gegenereerde ondertiteling werd verwerkt met behulp van LLM-ondersteunde speaker diarization (DeepSeek-V4-Flash) om sprekersgesprek te scheiden van interviewer-interjecties, een stap die cruciaal is voor het verwijderen van ruis die voorheen spreker-specifieke patronen belemmerde.

2. Instrument A: Trefwoordlexicon-scoring

Een op maat gemaakt multidimensionaal sentimentlexicon werd geconstrueerd om Affectieve Valentie (Positief/Negatief) te scheiden van Retorische Modaliteit (Nadrukkelijk/Zeker versus Genuanceerd/Twijfel).

Mechanisme: Het lexicon telt oppervlakkige tokens (bijv. "altijd", "nooit", "crisis") en past basisregels voor negatie-omkering toe.
Metriek: Maandelijkse genormaliseerde frequenties werden berekend, en Pearson-correlaties ( $r$ ) werden berekend tussen de frequentie van Negatieve Valentie en de frequentie van Nadrukkelijke/Zekere Modaliteit.
Robuustheidscontrole: De analyse werd gerepliceerd met twee onafhankelijke, breed geciteerde referentielexiconen (LIWC-22 en Hyland's 2005 lijsten) om te waarborgen dat de bevindingen niet specifiek waren voor de door de auteurs samengestelde woordlijst.

3. Instrument B: LLM-gebaseerde Semantische Classificatie

Om een contextbewuste validatie te bieden, werd het volledige corpus (32.625 zinnen) verwerkt via zero-shot semantische classificatie met behulp van Doubao-Seed-2.0-Lite.

Taak: Elke zin werd gelijktijdig geclassificeerd op twee assen: Valentie (positief/negatief/neutraal) en Modaliteit (nadrukkelijk/genuanceerd/neutraal).
Validatie: Een cross-model robuustheidscontrole werd uitgevoerd met behulp van GPT-5.4 op 10 onafhankelijke willekeurige steekproeven (100 zinnen per stuk) om te verifiëren dat de bevindingen geen artefact waren van de trainingsdata van een enkel model.

4. Foutanalyse

Een audit op zinsniveau werd uitgevoerd op 547 zinnen die door het trefwoordlexicon als "hoge zekerheid" werden gemarkeerd, maar door de LLM anders werden geclassificeerd, waarbij fouten werden gecategoriseerd in specifieke linguïstische blinde vlekken.

Belangrijkste Resultaten

1. Het Trefwoord-artefact

Onder trefwoordgebaseerde scoring vertoonden alle vier de sprekers een sterke, statistisch significante positieve correlatie tussen negatieve affect en nadrukkelijke zekerheid:

Dalio: $r = 0,851$ ( $p < 0,001$ )
Rogoff: $r = 0,917$ ( $p < 0,001$ )
Zeihan: $r = 0,932$ ( $p < 0,001$ )
Wood: $r = 0,725$ ( $p = 0,003$ )

Dit patroon was universeel over sprekers met radicaal verschillende persona's (optimisten versus pessimisten, academici versus investeerders) en bleef standhouden over drie verschillende trefwoordlexiconen (Custom, LIWC-22, Hyland). Dit suggereert dat de correlatie een structurele eigenschap is van het tellen van trefwoorden in plaats van een retorische strategie.

2. De LLM-omkering

Wanneer hetzelfde corpus werd geanalyseerd via LLM-gebaseerde semantische classificatie, verdwenen de sterke positieve correlaties of keerden ze om:

Dalio: $r(neg, emph) = 0,206 $($ p = 0,371$, niet-significant).
Wood: $r(neg, emph) = -0,514 $($ p = 0,060$).
Zeihan: $r(neg, emph) = -0,223 $($ p = 0,487$).
Rogoff: $r(neg, emph) = 0,063 $($ p = 0,864$).

In plaats daarvan onthulde de LLM een negatief-genuanceerde koppeling die consistent is met conventionele linguïstische theorie (pessimisten nuanceren):

Rogoff: $r(neg, hedged) = 0,875 $($ p = 0,001$).
Zeihan: $r(neg, hedged) = 0,722 $($ p = 0,008$).

3. Cross-Model Robuustheid

De LLM-bevindingen werden bevestigd als onafhankelijk van de specifieke modelprovider. Doubao-Seed-2.0-Lite en GPT-5.4 produceerden statistisch ononderscheidbare correlatieschattingen voor zowel nuancerings- als nadrukmetingen ( $p > 0,24$ voor alle vergelijkingen), wat de substantiële patronen valideert.

4. Structurele Foutmodi

De foutanalyse op zinsniveau identificeerde drie specifieke mechanismen waardoor trefwoordlexiconen de semantische betekenis inverteren:

Syntactische Blindheid: Falen in het parsen van negatiestructuren (bijv. "nooit absoluut confident" wordt gescoord als hoge zekerheid in plaats van lage zekerheid).
Polysemie-blindheid: Onvermogen om contextafhankelijke betekenissen te onderscheiden (bijv. "een bepaalde lichaam" versus "zekerlijk").
Categorische Afwezigheid: Verzachtende modificatoren (bijv. "een beetje", "bijna", "ik denk") missen toegewezen categorieën en falen in het afzwakken van de scores van aangrenzende zekerheidsmarkeringen.

Belangrijkste Bijdragen

Demonstratie van Meetartefacten: Het artikel levert empirisch bewijs dat sterke, statistisch significante correlaties in CSS (specifiek de negatief-zekerheid koppeling) volledig artefact zijn van het meetinstrument. Het toont aan dat het tellen van trefwoorden een universele neiging tot lexicale co-occurrentie meet (serieuze onderwerpen trekken serieuze taal aan) die orthogonaal is aan, en de werkelijke retorische houding systematisch kan inverteren.
Fouttypologie voor Lexicon-auditing: De auteurs stellen een herbruikbaar kader voor het auditen van trefwoordgebaseerde instrumenten voor, waarbij drie structurele foutmodi worden geïdentificeerd (syntactische blindheid, polysemie-blindheid, categorische afwezigheid) die verklaren waarom bag-of-words representaties falen in het vatten van modaliteit.
Validatiekader voor CSS: De studie vestigt een vierstaps validatietemplate voor toekomstig onderzoek:
- Test voor generaliseerbaarheid over sprekers/domeinen.
- Valideer tegenover contextbewuste semantische classificators van de volledige populatie (LLM's).
- Repliceer validatie met onafhankelijk getrainde modellen om provider-bias uit te sluiten.
- Voer een foutanalyse op zinsniveau uit om specifieke linguïstische tekortkomingen te diagnosticeren.

Betekenis en Claims

Het artikel betoogt dat het behandelen van trefwoordtellingen als directe metingen van epistemische zekerheid een categoriefout is. Een bevinding die lijkt te gaan over de psychologie van een spreker (bijv. "Dalio is steeds zekerder over de ondergang") kan volledig gaan over het tellen van woorden.

De auteurs beweren niet dat trefwoordmethoden verlaten moeten worden, aangezien zij hun interpreteerbaarheid en efficiëntie erkennen. Echter, zij stellen dat sterke trefwoordgebaseerde correlaties geïnterpreteerd moeten worden als signalen van lexicale co-occurrentie, niet als retorische houding, tenzij gevalideerd door contextbewuste methoden. De studie concludeert dat wanneer een computationeel instrument een opvallende bevinding produceert, het instrument zelf evenveel aandacht verdient als de spreker die het probeert te meten. Het "Dalio-effect" dat in de data werd waargenomen, ging niet over Dalio, maar over de beperkingen van het telmechanisme.