Technische Samenvatting: Zelfverzekerd maar Geteisterd: Interne Onzekerheid en Resolutie van Cognitieve Dissonantie in LLM's

Probleemstelling

Large Language Models (LLM's) opereren steeds vaker in omgevingen waar besluitvorming wordt ondersteund, waarbij ze te maken krijgen met inputs die hun eerdere outputs tegenspreken, zoals weerstand van de gebruiker, opgehaalde documenten of webzoekresultaten. Dit fenomeen wordt geframed als resolutie van cognitieve dissonantie, een concept dat goed onderzocht is in de psychologie (Festinger, 1957) maar onderbelicht blijft in LLM's. Hoewel eerder werk de sycophantie (vleierij) en overtuigingskracht heeft onderzocht (Sharma et al., 2024; Perez et al., 2023), manipuleren deze studies doorgaans geïsoleerd slechts één dimensie (bijv. sociale framing). Bovendien richt bestaand onderzoek naar de kalibratie van LLM's zich op de vraag of de geuite zelfverzekerdheid de nauwkeurigheid op statische benchmarks volgt (Tian et al., 2023), waardoor de relatie tussen interne onzekerheid en gedragsreacties op externe conflicterende bewijslast grotendeels ononderzocht blijft.

Het kernprobleem dat wordt aangepakt, is het begrijpen van hoe LLM's cognitieve dissonantie oplossen wanneer zij worden uitgedaagd, specif seguito hoe deze resolutie afhangt van de autoriteit van de bron en de kwaliteit van het bewijs van de conflicterende informatie, en hoe deze gedragsuitkomsten correleren met de interne onzekerheidstoestanden van het model.

Methodologie

Experimenteel Ontwerp

De auteurs construeerden een tweefasen-pipeline om cognitieve dissonantie te simuleren:

1. Fase 1 (Baseline): Het model evalueert een bewering op een 7-punts Likert-schaal, waarmee een baseline-houding ($s_0$) wordt vastgesteld.
2. Fase 2 (Interventie): Het model krijgt een tegenbewering gepresenteerd, gekoppeld aan een specifieke autoriteit–bewijs-framing. Het model evalueert de oorspronkelijke bewering opnieuw en produceert een post-interventie houding ($s_1$).

De interventie is geparametriseerd langs twee orthogonale dimensies:

• Autoriteit van de bron ($a$): Variërend van Niveau 1 (anonieme Reddit-gebruiker) tot Niveau 4 (Wereldgezondheidsorganisatie).
• Kwaliteit van het bewijs ($e$): Variërend van Niveau 1 (kleine ongecontroleerde pilotstudie) tot Niveau 4 (multi-center gerandomiseerd gecontroleerde studie).

De studie maakte gebruik van 12 gezondheidswetenschappelijke beweringen, gestratificeerd in drie epistemische categorieën:

• Categorie A (Duidelijk onjuist): Gefabriceerde mechanismen zonder wetenschappelijke ondersteuning.
• Categorie B (Overdreven): Beweringen met een kern van waarheid, maar met uitvergrote effecten.
• Categorie C (Absolutistisch): Redelijke beweringen die zonder nuance zijn geformuleerd.

Metrieken

1. Vertrouwenselasticiteit (Trust Elasticity, TE): Een nieuwe gedragsmetriek geïnspireerd door de econometrie, die de responsiviteit van een model op overtuiging meet.
   $$TE(a, e) = d(s_0) \cdot \frac{s_1 - s_0}{a \cdot e}$$
   Waarbij $d(s_0)$ de richting van de verschuiving afstemt op de richting van de overtuiging. Positieve TE duidt op overtuiging, negatieve TE duidt op een backfire-effect (tegenreactie), en TE $\approx$ 0 duidt op immuniteit.
2. Indicatoren voor Interne Onzekerheid: Voor open-weight modellen (Qwen en Llama) met toegang tot logits, werden twee indicatoren gemeten bij de token van de houding-beslissing:
   • Kalibratiekloof (Calibration Gap, CG): De discrepantie tussen de zelfgerapporteerde zelfverzekerdheid ($C$) en de interne zekerheid afgeleid van genormaliseerde Shannon-entropie ($1 - \hat{H}(p)$). $CG = C - (1 - \hat{H}(p))$.
   • Entropie-verschuivingsmagnitude ($|\Delta H|$): De absolute verandering in genormaliseerde entropie tussen de baseline- en de interventietoestand ($|\hat{H}_1 - \hat{H}_0|$).

Geëvalueerde Modellen

• Open-weight (toegang tot logits): Qwen3.5-9B, Llama-3.3-70B-Instruct.
• Alleen API-toegang: Grok-3, GPT-4o.

Belangrijkste Resultaten

1. Gedragspatronen: Immuniteit vs. Overtuiging

• Immuniteit voor onjuiste claims: Over alle vier de modellen heen, vertoonden Categorie A (Duidelijk onjuist) claims een nagenoeg nul TE. Modellen bleven grotendeels immuun voor revisie, zelfs onder interventies met hoge autoriteit en hoogwaardig bewijs.
• Systematische Overtuiging: Categorieën B (Overdreven) en C (Absolutistisch) riepen systematische overtuiging op. Overtuiging was over het algemeen sterker voor absolutistische claims (Categorie C) dan voor overdreven claims.
• Variatie tussen Modellen: De kwetsbaarheid voor overtuiging varieerde aanzienlijk tussen modellen. Llama was het meest overtuigbare model (gemiddelde $\Delta$TE $\approx$ +0,26), gevolgd door Grok, Qwen en GPT-4o. Opvallend genoeg was het meest overtuigbare model (Llama-3.3-70B) het grootste, terwijl het meest resistente model (Qwen3.5-9B) het kleinste was, wat aangeeft dat modelomvang niet lineair correleert met weerstand tegen overtuiging.
• Autoriteitseffecten: Voor absolutistische claims leidde een hogere autoriteit vaak tot een intensivering van het backfire-effect (negatieve TE), met name bij Llama en Grok, waarbij bronnen met een hoge autoriteit die het model uitdaagden, leidden tot een sterkere toezegging aan de oorspronkelijke houding.

2. Correlaties met Interne Onzekerheid

De studie identificeerde onderscheidende "profielen" die interne onzekerheid koppelen aan gedrag, welke verschilden per model:

• Qwen (Zelfverzekerdheid-miskalibratie): De vatbaarheid van het model voor overtuiging (specifiek bij overdreven claims) was significant geassocieerd met de Kalibratiekloof ($r = +0,18$). Qwen vertoonde substantiële statische miskalibratie, en deze kloof voorspelde de gedragsveranderingen.
• Llama (Verandering in Interne Onzekerheid): De vatbaarheid van het model was significant geassocieerd met de Entropie-verschuivingsmagnitude ($r = +0,19$). Llama was goed gekalibreerd bij de baseline, maar het gedrag werd gedreven door dynamische veranderingen in interne onzekerheid (grote verschuivingen in entropie) bij het tegenkomen van conflicterend bewijs.

3. Robuustheid

De bevindingen bleven standhouden na het uitsluiten van onderwerpen met een hoge variantie en na Spearman-correlatieanalyse. Het onderscheid tussen de duale profielen (statische miskalibratie versus dynamische entropieverschuiving) bleef robuust.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. Vertrouwenselasticiteit (TE): Introduceert een genormaliseerde, door de econometrie geïnspireerde metriek om te kwantificeren hoe gemakkelijk LLM's worden overtuigd door conflicterend bewijs, waarbij onderscheid wordt gemaakt tussen overtuiging, backfire en immuniteit.
2. Gedragsheterogeniteit: Demonstreert dat de kwetsbaarheid voor overtuiging aanzienlijk varieert tussen modellen en niet strikt een functie is van de modelomvang. Het stelt vast dat duidelijk onjuiste claims immuniteit oproepen, terwijl overdreven en absolutistische claims leiden tot systematische revisie.
3. Koppeling van Gedrag aan Interne Toestand: Het papier slaat een brug tussen gedragsreacties en interne eigenschappen door te laten zien dat de variatie in overtuigingskracht tussen modellen geassocieerd is met specifieke interne onzekerheidsindicatoren. Cruciaal is dat het vindt dat verschillende modellen verschillende interne mechanismen gebruiken om dissonantie op te lossen: de gedrag van Qwen is gekoppeld aan statische zelfverzekerdheid-miskalibratie, terwijl die van Llama gekoppeld is aan dynamische veranderingen in interne onzekerheid.

De auteurs concluderen dat deze bevindingen wijzen op interventies gericht op interne onzekerheid als een onderscheidende en veelbelovende richting voor toekomstig alignment-onderzoek, los van interventies die zich enkel richten op verbale output of statische kalibratie.

Beperkingen

De auteurs vermelden de volgende beperkingen:

• Generaliseerbaarheid: De studie is beperkt tot vier modellen en één domein (gezondheidswetenschappen) in het Engels.
• Stimulusontwerp: Tegenclaims werden door elk model zelf gegenereerd om adversarialiteit te garanderen, wat betekent dat vergelijkingen tussen modellen de gezamenlijke variatie in zowel de inhoud van de tegenclaim als de vatbaarheid reflecteren, in plaats van een perfect overeenstemmende set stimuli.
• Causaliteit: De analyse identificeert associaties tussen interne indicatoren en gedrag, geen causale mechanismen. Het vaststellen van causaliteit zou gerichte interventies op interne representaties vereisen.
• Omvang: Analyse op logit-niveau was beperkt tot open-weight modellen; API-only modellen waren beperkt tot gedragsanalyse.