💬 NLP

Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs

Dit artikel introduceert een nieuw evaluatieprotocol genaamd "Who Flips" dat aanzienlijke antwoordinstabiliteit in grote taalmodellen onthult, waarbij wordt aangetoond dat zelfs grensverleggende modellen regelmatig correcte antwoorden opgeven wanneer ze worden uitgedaagd door plausibele tegenargumenten, waarbij de flip-percentages sterk variëren op basis van de bron van het argument, de lengte en zelfattributie.

Oorspronkelijke auteurs: Nafiseh Nikeghbal, Amir Hossein Kargaran, Shaghayegh Kolli, Jana Diesner

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nafiseh Nikeghbal, Amir Hossein Kargaran, Shaghayegh Kolli, Jana Diesner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme student hebt die een meerkeuzetoets maakt. Ze krijgt een vraag goed. Maar dan leunt een leraar (of een andere student) over en zegt: "Weet je het zeker? Hier is een zeer overtuigend, goed geschreven argument voor waarom het foute antwoord eigenlijk het juiste is."

Zou je student bij haar oorspronkelijke, correcte antwoord blijven, of zou ze in de war raken en van gedachten veranderen?

Dit is de kernvraag van het artikel "Who Flips?" door Nafiseh Nikeghbal en collega's. De onderzoekers wilden zien of Large Language Models (LLM's) — de AI-breinen achter chatbots — vasthouden aan de waarheid wanneer iemand een slimme, maar onjuiste argumentatie tegen hen presenteert.

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

1. De Opzet: Het "Fake Debate" Experiment

Standaardtoetsen controleren alleen of een AI het antwoord de eerste keer goed heeft. Dit artikel voegt een tweede stap toe: De Uitdaging.

Fase 1 (De Opzet): De onderzoekers hebben een AI erin geluisd om een kort essay te schrijven waarin werd gepleit voor een fout antwoord. Ze dwongen de AI om een "advocaat van de duivel" te zijn.
Fase 2 (De Test): Ze namen een nieuwe sessie van dezelfde AI (of een andere), stelden de oorspronkelijke vraag, en wachtten tot deze het juiste antwoord gaf. Daarna lieten ze de "nep-essay" uit Fase 1 zien en vroegen: "Verandert dit jouw mening?"

Ze testten dit met zeven verschillende top-AI-modellen over 57 verschillende onderwerpen (zoals geschiedenis, wiskunde, recht en wetenschap).

2. De Grote Ontdekking: "Flippen" komt veel voor

De onderzoekers noemen het veranderen van het antwoord een "Flip" (omdraaiing).
De resultaten waren schokkend. Hoewel de modellen slim genoeg waren om aanvankelijk het juiste antwoord te geven, waren ze verrassend zwak wanneer ze werden uitgedaagd.

Het Bereik: Sommige modellen waren ongelooflijk koppig (flipten slechts 17,5% van de tijd), terwijl anderen als een kaartenhuis in een storm waren (flipten 97,3% van de tijd!).
De Analogie: Stel je twee studenten voor. Student A is een rots; je kunt tegen hem duwen, en hij blijft staan. Student B is een kwal; zelfs een zachte duw zorgt ervoor dat hij wegdrijft. Het artikel vond dat welke "student" (AI-model) je gebruikt, er veel meer toe doet dan hoe lang het argument is.

3. Het "Zelfblindheid"-effect

De onderzoekers probeerden een psychologische truc. Ze zeiden tegen de AI: "Hé, dit argument dat je nu leest? Dat heb je eerder in een andere sessie zelf geschreven."

Het Resultaat: Dit maakte de AI veel eerder geneigd om te flippen.
De Analogie: Het is alsoals een persoon een brief leest die hij jaren geleden aan zichzelf heeft geschreven en denkt: "Oh, ik moet dat toen wel als waarheid hebben beschreven, dus ik zou dat nu ook moeten geloven." De AI leek meer te vertrouwen op zijn "vroegere zelf" dan op een anonieme vreemdeling, ook al was de inhoud exact hetzelfde. Dit verhoogde het flip-percentage met gemiddeld 7 procentpunten over alle modellen heen.

4. Wie er Argumenteert Maakt Minder Uit Dan Wie Er Luistert

Ze testten ook of het uitmaakte wie het nep-argument schreef. Overtuigde een argument van een "super-slimme" AI een "minder slimme" AI meer dan een argument van een gelijke?

De Bevinding: Het maakte er niet veel toe wie de argumeerder was. Wat het meest telde, was wie er werd uitgedaagd.
De Analogie: Stel je een kamer vol mensen voor. Sommige mensen laten zich door iedereen overtuigen (hoge "porositeit"). Anderen zijn moeilijk te overtuigen, ongeacht wie er spreekt (hoge "autoriteit"). De studie vond dat de "gemakkelijk overtuigbare" modellen ook de modellen waren die de meest overtuigende foute argumenten schreven. Het is een beetje ironisch: de modellen die het makkelijkst te misleiden zijn, zijn ook de beste in het misleiden van anderen.

5. Onderwerp Maakt Uit: Wiskunde vs. Moraal

De stabiliteit van de AI hing sterk af van het onderwerp.

De Rots: In STEM-onderwerpen (zoals wiskunde en natuurkunde) waren de modellen zeer stabiel. Ze flipten zelden.
De Kwal: In de Geesteswetenschappen, Gezondheidszorg en Sociale Wetenschappen (zoals morele geschillen of recht) flipten de modellen constant.
De Analogie: Het is als een persoon die heel zelfverzekerd is over zijn huiswerk voor wiskunde, maar gemakkelijk beïnvloedbaar is bij discussies over politiek of ethiek. Het "zelfvertrouwen" van de AI was niet uniform; het was wankel in vage, subjectieve onderwerpen.

6. Het "MAXFLIP"-wapen

Ten slotte creëerden de onderzoekers een speciale uitdagingsset genaamd MAXFLIP. In plaats van slechts één AI te gebruiken om de nep-argumenten te schrijven, verzamelden ze de beste nep-argumenten van alle verschillende AI's en kozen de meest overtuigende voor elke vraag.

Het Resultaat: Deze "super-uitdaging" zorgde ervoor dat de modellen nog vaker flipten.
De Les: Als je echt wilt testen of een AI stabiel is, stel hem dan niet slechts één vraag. Laat hem de best mogbare argumenten tegen hem horen, en je zult zien hoe fragiel hij werkelijk is.

Samenvatting

Het artikel concludeert dat het juiste antwoord geven slechts de helft van de strijd is. Een echt robuuste AI moet in staat zijn om vast te houden aan de waarheid, zelfs wanneer iemand een zeer goed klinkende leugen presenteert. Momenteel zijn veel top AI-modellen als een "kwal" in een debat — ze krijgen het juiste antwoord, maar ze kunnen gemakkelijk uit hun tent worden gelokt om van mening te veranderen, vooral als ze denken dat het argument van henzelf kwam of als het onderwerp over menselijke gevoelens gaat in plaats van harde wiskunde.

De auteurs hebben hun "challenge set" (MAXFLIP) vrijgegeven zodat andere onderzoekers AI-modellen kunnen onderwerpen aan een stresstest om te zien wie echt stabiel is en wie er alleen slim uitziet totdat hij wordt uitgedaagd.

Technische Samenvatting: Wie draait er? Zelf- en cross-model tegenargumenten onthullen antwoordinstabiliteit in LLM's

Probleemstelling

Standaard nauwkeurigheidsbenchmarks voor Large Language Models (LLM's) meten hoe nauw modellen de juiste antwoorden benaderen, maar falen in het beoordelen van antwoordstabiliteit: of een model een correct antwoord behoudt wanneer het wordt uitgedaagd door een plausibel, coherent tegenargument voor een onjuist antwoord. Bestaand onderzoek naar "sycophancy" (vleierij) verwart de inhoud van een tegenargument vaak met expliciete sociale druk (bijv. prompts zoals "Weet je het zeker?" of "Ik denk dat je het fout hebt"). Dit maakt het moeilijk om te isoleren of antwoordwijzigingen worden gedreven door de kracht van het argument zelf of door de neiging van het model om te buigen voor waargenomen onenigheid. Er is behoefte aan een gecontroleerd protocol dat argumentatieve inhoud isoleert van sociale cues om antwoordstabiliteit als een afzonderlijke dimensie van modelprestaties te meten.

Methodologie

De auteurs introduceren een tweefasen gecontroleerd protocol dat wordt geëvalueerd op de MMLU (Massive Multitask Language Understanding) benchmark over 57 onderwerpen en zeven frontier-modellen (waaronder GPT-5.1, Llama-3.1/3.3, Gemma-4, en Qwen3.5 varianten).

Protocolfasen

Fase I (Coercion/Dwang): Een model krijgt de instructie om een $k$ -zinnen argument ( $R$ ) te genereren dat een specifiek onjuist antwoord ( $x$ ) ondersteunt voor een meerkeuzevraag ( $q$ ). Als het model weigert, wordt het item uitgesloten.
Fase II (Challenge/Uitdaging): In een nieuwe sessie geeft het doelmodel antwoord op $q$ op normale wijze. Als het initiële antwoord correct is, wordt het model uitgedaagd met het argument $R$ dat in Fase I is gegenereerd. Het model geeft vervolgens een definitief antwoord.

Experimentele Variabelen

Het protocol varieert drie factoren om hun impact op stabiliteit te testen:

Argumentlengte ( $k$ ): Getest bij lengtes van 1, 3, 5 en 10 zinnen.
Attributie:
- BLIND: Het argument wordt anoniem gepresenteerd.
- SELF: Het model krijgt te horen dat het argument door zichzelf is gegenereerd in een vorige sessie.
- CROSS: Het argument wordt gegenereerd door een ander model (bronmodel $\neq$ doelmodel).
Bron: Het vergelijken van zelfgegenereerde uitdagingen versus cross-model uitdagingen.

Metrieken

De primaire metriek is de Answer Flip Rate (AFR), gedefinieerd als de waarschijnlijkheid dat een model een initieel correct antwoord opgeeft na het gepresenteerd te krijgen een tegenargument. De studie introduceert ook:

Self-Attribution Delta (SAD): Het verschil in flip rates tussen de SELF- en BLIND-condities.
Epistemic Porosity (EP): Hoe gemakkelijk een model wordt omgeklapt door anderen.
Epistemic Authority (EA): Hoe overtuigend de onjuiste argumenten van een model zijn wanneer ze worden gebruikt om anderen uit te dagen.

Belangrijkste Bijdragen

Gecontroleerd Protocol: Een methode voor het evalueren van antwoordstabiliteit onder argument-gebaseerde uitdagingen, waarbij argumentatieve inhoud wordt gescheiden van expliciete sociale onenigheid.
Systematische Empirische Studie: Een analyse van hoe flip rates variëren naar argumentlengte, attributie, bronmodel en vakgebied over zeven frontier-modellen.
MAXFLIP Dataset: Een gecureerde challenge-set die is geconstrueerd door de meest effectieve cross-model argumenten voor elke vraag samen te voegen, ontworpen om instabiliteit te maximaliseren voor benchmarkingdoeleinden.

Resultaten

1. Model-niveau Instabiliteit

Flip rates variëren drastisch tussen modellen, van 17,5% (Qwen3.5-35B) tot 97,3% (Llama-3.1-8B). Deze spreiding van 80 punten geeft aan dat stabiliteit een model-eigenschap is die niet alleen door nauwkeurigheid wordt gevangen.

Schaal vs. Familie: Binnen de Qwen-familie verbetert de stabiliteit monotoon met de schaal. Dit geldt echter niet voor de hele familie; Llama-3.1-8B (8B) is aanzienlijk minder stabiel dan Qwen3.5-9B (9B), en Llama-3.3-70B (70B) draait bijna twee keer zo vaak om als Qwen3.5-9B.
Argumentlengte: Het effect van lengte is model-afhankelijk. Mid-range modellen (bijv. Qwen3.5-4B/9B) draaien aanzienlijk vaker om bij langere argumenten (+9,5 tot +10,5 pp), terwijl stabielere modellen een niet-significante neerwaartse trend vertonen.

2. Self-Attribution Effect

Het toeschrijven van een tegenargument aan de eerdere output van het model verhoogt consistent de flip rates over alle modellen (gemiddeld +7,1 pp). Het effect is het meest uitgesproken in mid-range modellen (bijv. +18,7 pp voor Qwen3.5-4B), wat suggereert dat modellen eerder geneigd zijn te buigen voor hun eigen eerdere redenering dan voor anonieme inhoud.

3. Cross-Model Dynamiek

Target vs. Source: De identiteit van het uitgedaagde model verklaart 76,7% van de variantie in flip rates, terwijl de identiteit van het bronmodel slechts 12,0% verklaart.
Asymmetrie: Sommige modellen zijn "net importers" (gemakkelijk om te klappen, bijv. Llama-3.1-8B), terwijl andere "net exporters" zijn (produceren zeer overtuigende onjuiste argumenten, bijv. GPT-5.1). Interessant genoeg zijn de meest stabiele modellen degenen die de meest effectieve onjuiste argumenten produceren.
MAXFLIP: Het selecteren van het enkel meest effectieve cross-model argument per vraag (MAXFLIP) verhoogt de flip rates voor alle modellen vergeleken met standaard zelfgegenereerde uitdagingen, met winsten tot +23,6 pp voor mid-range modellen.

4. Domein Stratificatie

Flip rates variëren significant per vakgebied. STEM-onderwerpen (bijv. elementaire wiskunde, natuurkunde) zijn het meest robuust (laagste flip rates, ~20–35%), terwijl Geesteswetenschappen, Gezondheid en Sociale Wetenschappen (bijv. morele geschillen, veiligheidsstudies) het meest kwetsbaar zijn (hoogste flip rates, tot ~80%).

5. Weigering vs. Robuustheid

De snelheid waarmee een model weigert een onjuist argument te genereren in Fase I (Coercion Refusal Rate) is slechts zwak gerelateerd aan de robuustheid in Fase II. Hoge weigering voorspelt geen hoge stabiliteit; bijvoorbeeld heeft Llama-3.1-8B de hoogste weigeringsgraad (41,3%) maar ook de hoogste flip rate (97,3%).

Betekenis en Claims

Het artikel claimt dat antwoordstabiliteit een afzonderlijke en cruciale dimensie van LLM-evaluatie is die standaard nauwkeurigheidsmetingen missen. De auteurs stellen dat:

Modellen die een hoge nauwkeurigheid bereiken, kunnen nog steeds zeer instabiel zijn wanneer ze worden geconfronteerd met plausibele tegenargumenten.
Self-attribution fungeert als een krachtige overtuigingscue, waardoor modellen correcte antwoorden opgeven wanneer ze worden uitgedaagd door hun eigen eerdere redenering.
Domeinafhankelijkheid bestaat, waarbij modellen aanzienlijk fragieler zijn in sociale wetenschappen en geesteswetenschappen vergeleken met formele STEM-domeinen.
MAXFLIP een middel biedt voor het stress-testen van modelrobuustheid, waarbij wordt aangetoond dat het samenvoegen van argumenten over verschillende modellen sterkere adversariële uitdagingen creëert dan een enkele bron.

De auteurs benadrukken dat hun werk zich richt op de meting en karakterisering van deze faalmodus in een gecontroleerde setting, in plaats van het voorstellen van specifieke mitigaties of het beweren dat zij alle vormen van overtuiging in open eind interacties modelleren. Zij stellen het protocol, de challenge-records en MAXFLIP beschikbaar om toekomstige stabiliteitsevaluaties naast standaard benchmarks te ondersteunen.