💻 computer science

The Consistency Dilemma in LLMs: Generator-Evaluator Agreement and Vulnerability to Mistakes

Dit artikel introduceert een maatstaf voor de zelfconsistentie van generator-evaluator om een kritiek dilemma bij grote taalmodellen te onthullen: hoewel een hogere consistentie bij het toepassen van concepten operationeel nuttig is, correleert dit paradoxaal genoeg met een grotere kwetsbaarheid voor fouten in klinische settings, wat suggereert dat consistente modellen niet noodzakelijkerwijs veilig zijn voor implementatie.

Oorspronkelijke auteurs: Marina Mancoridis, Zoë Hitzig

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marina Mancoridis, Zoë Hitzig

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Zelfcorrectie"-valstrik

Stel je voor dat je een zeer intelligente, hoogopgeleide assistent inhuurt om een klus te klaren. Je vraagt hem om een rapport te schrijven, en daarna vraag je hem om zijn eigen rapport te lezen en te controleren op fouten. Je gaat ervan uit dat als hij slim genoeg is om het rapport te schrijven, hij ook slim genoeg is om zijn eigen fouten te ontdekken.

Dit paper onderzoekt een specifiek type AI (Large Language Models) dat precies zo werkt: het genereert een antwoord en treedt vervolgens direct op als een rechter om datzelfde antwoord te evalueren. De onderzoekers wilden weten: Gebruikt de AI dezelfde regels bij het schrijven van het antwoord als bij het controleren van het antwoord?

Ze noemen dit "Generator-Evaluator Self-Consistency."

Het Experiment: De "Hetzelfde-Acteur"-test

Om dit te testen, vroegen de onderzoekers de AI niet simpelweg om een vraag te beantwoorden en te kijken of het antwoord juist was. In plaats daarvan zetten ze een spel op waarbij de AI twee rollen tegelijk moest spelen:

De Generator: De AI krijgt de opdracht om een nieuwe versie van een vraag of een specifiek type antwoord te maken (bijv. "Verzin een wiskundig probleem waarbij het antwoord 'Geen van de bovenstaande' is").
De Evaluator: De AI krijgt vervolgens de opdracht om naar het ding te kijken dat het zojuist heeft gemaakt en te beslissen of het aan de regels is voldaan.

De Analogie: Stel je een chef-kok voor die de opdracht krijgt om een taart te bakken zonder suiker.

Rol 1 (Generator): De chef bakt een taart en beweert dat deze geen suiker bevat.
Rol 2 (Evaluator): De chef proeft de taart en zegt: "Ja, deze bevat geen suiker."

Als de chef consistent is, zal hij de taart proeven en correct zeggen: "Wacht even, ik heb er per ongeluk toch suiker in gedaan."
Als de chef inconsistent is, kan hij de taart proeven, vergeten dat hij suiker heeft toegevoegd en zeggen: "Ja, deze is suikervrij," ook al is dat niet zo.

De onderzoekers testten 10 verschillende "frontier" AI-modellen over bijna 500 verschillende concepten (zoals medische regels, wiskundige principes of financiële logica) om te zien hoe vaak de "Generator"-hersenen en de "Evaluator"-hersenen van de AI het met elkaar eens waren.

De Verrassende Bevinding: Het Consistentie-Dilemma

De onderzoekers verwachtten dat als een AI heel goed zou zijn in het consistent volgen van regels, deze ook veiliger zou zijn en minder snel fouten zou maken. Ze dachten: "Als de AI gedisciplineerd genoeg is om dezelfde logica te gebruiken voor zowel het schrijven als het controleren, dan zou het een betrouwbare werker moeten zijn."

Ze hadden het mis.

Ze ontdekten een vreemd paradox, dat ze het "Consistency Dilemma" noemen.

De Bevinding: De AI-modellen die het meest consistent waren (de modellen die dezelfde logica gebruikten voor het schrijven en het controleren), maakten in de praktijk juist meer kans op gevaarlijke fouten.
Het Contraintuïtieve Resultaat: De modellen die minder consistent waren (de modellen die soms van gedachten veranderden of regels anders toepasten tussen het schrijven en het controleren), waren in werkelijkheid veiliger en maakten minder gevalideerde fouten.

De Metafoor:
Denk aan een beveiligingsbeambte die extreem rigide is en een enkel regelboek perfect volgt.

De Rigide Beambte (Hoge Consistentie): Hij ziet een verdachte persoon, volgt het regelboek en laat hem binnen omdat het regelboek niet expliciet zei: "stop hem." Hij is zeer consistent in het toepassen van de regel, maar hij maakt een grote veiligheidsfout.
De Flexibele Beambte (Lage Consistentie): Hij ziet dezelfde persoon, twijfelt even, raadpleegt het regelboek en kijkt dan naar het gezicht van de persoon, en besluit hem dan toch te stoppen. Hij was niet perfect consistent in zijn logica (hij gebruikte zowel het regelboek als zijn intuïtie), maar hij voorkwam een fout.

Het paper vond dat in kritieke gebieden zoals de geneeskunde, de "Rigide Beambte" (de zeer consistente AI) vaker cruciale veiligheidswaarschuwingen miste omdat hij te druk was met het strikt volgen van zijn eigen interne logica om het gevaar op te merken.

Waarom dit ertoe doet (volgens het paper)

Het paper belicht een spanning in hoe we AI vandaag de dag gebruiken:

We willen consistentie: We willen AI-agenten die code kunnen schrijven, hun eigen code kunnen controleren en fouten kunnen herstellen zonder in de war te raken. We willen dat ze stabiel zijn.
Maar consistentie creëert blinde vlekken: Wanneer een AI te consistent is in zijn eigen interne logica, kan hij "koppig" worden. Hij kan met veel zelfvertrouwen een regel toepassen die hij zelf heeft gegenereerd, zelfs als die regel gevaarlijk of onjuist is in een echte context.

De onderzoekers testten dit met een dataset van echte medische fouten die door artsen zijn gevalideerd. Ze ontdekten dat de AI-modellen met de hoogste "self-consistency" scores de modellen waren die het meest frequent deze gevaarlijke medische fouten herhaalden.

De Kern van de Zaak

Het paper concludeert dat "consistent zijn" niet automatisch betekent dat je "veilig bent."

In feite, in de specifieiek uitgevoerde tests, waren de modellen die het meest consistent waren in het toepassen van hun eigen concepten, het meest kwetsbaar voor het maken van gevalideerde fouten. Dit suggereert dat wanneer we AI-systemen bouwen die vertrouwen op de AI om zijn eigen werk te controleren, we voorzichtig moeten zijn: een model dat te consistent is, kan met veel zelfvertrouwen foutief zijn, terwijl een model dat een beetje inconsistent is, eigenlijk veiliger kan zijn omdat het minder rigide is in zijn denken.

Belangrijkste les: Alleen omdat een AI het met zichzelf eens is, betekent niet dat hij gelijk heeft. Soms is de AI die van gedachten verandert, degene die de fout onderschept.

Technische Samenvatting: Het Consistentie-dilemma in LLM's

Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker worden ingezet in agentische pipelines, krijgen ze vaak de taak om outputs te genereren en vervolgens diezelfde outputs te evalueren, filteren of herzien zonder externe verificatie. Deze workflow rust op een impliciete aanname: dat het model relevante concepten consistent toepast in zowel zijn genererende als zijn evaluerende rol. Als een model tijdens de generatie een andere interpretatie van een concept hanteert dan tijdens de evaluatie, wordt de beoordelingsstap onbetrouwbaar. Het model kan een correcte output afkeuren op basis van een criterium dat het tijdens de generatie negeerde, of een gebrekkige output accepteren omdat het een beperking die het eerder toepaste, niet langer handhaaft.

Hoewel standaard benchmarks de kennis van een model over concepten meten, meten ze niet of een model die concepten stabiel toepast in verschillende rollen (generator versus evaluator). Bovendien is het onduidelijk of een hoge zelfconsistentie correleert met een hogere betrouwbaarheid in de praktijk, met name in scenario's met een hoog risico waar verificatie tegen de grondwaarheid kostbaar is.

Methodologie

1. Generator-Evaluator Zelfconsistentie Framework

De auteurs stellen een nieuwe maatstaf voor, generator–evaluator zelfconsistentie, om de stabiliteit van concepttoepassing te testen. Het framework werkt zonder externe correctheidslabels door de output van een model te vergelijken met zijn eerdere gebruik van een concept.

Structuur: Voor een gegeven concept $c$ wordt een model eerst gevraagd een output te genereren die aan een specifiek criterium voldoet (Generator-stap). Dezelfde model wordt vervolgens gevraagd te evalueren of de gegenereerde output aan dat criterium voldoet (Evaluator-stap).
Scoring: Een deterministische scoringsregel wijst een binaire overeenkomst-label toe ( $Z=1$ als consistent, $0$ anders).
Metrieken: De auteurs rapporteren een kans-gecorrigeerde consistentieratio ( $\hat{C}_{adj}$ ), waarbij de ruwe overeenkomst wordt genormaliseerd om rekening te houden met de basiswaarschijnlijkheid van overeenkomst gegeven de teststructuur (bijv. willekeurig gokken bij meerkeuzevragen versus binaire oordelen).

2. Taxonomie van Consistentietests

De evaluatiesuite bestaat uit 12 geautomatiseerde tests, georganiseerd in drie kwalitatieve categorieën, toegepast op 491 concepten afkomstig uit algemene redeneerbenchmarks (MMLU, BBH) en deployment-gerichte benchmarks (MedicalQA, GDPVal, FinanceQA):

MCQ Perturbaties: Test of het model consistent blijft wanneer een meerkeuzevraag minimaal wordt aangepast (bijv. het veranderen van het juiste antwoord naar "Geen van de bovenstaande" of het verschuiven van het juiste antwoord naar een andere letter).
Rationale-gebaseerde Transformaties: Test of het model zijn eigen redeneerpaden kan auditeren. Dit omvat het genereren van correcte/incorrecte antwoorden met correcte/incorrecte/onvolledige redeneringen, en vervolgens beoordelen of de redenering het antwoord ondersteunt.
Ontologische Checks: Test of het model een coherente organisatie van concepten behoudt. Dit houdt in dat het voorbeelden, niet-voorbeelden, attributen of eigenschappen genereert en deze vervolgens valideert onder gerelateerde prompts.

3. Klinische Casestudy: Foutgevoeligheid

Om de relatie tussen consistentie en betrouwbaarheid te onderzoeken, maken de auteurs gebruik van MedMistakes-Validated, een dataset van klinisch realistische casussen gekoppeld aan door artsen gevalideerde modelfouten.

Foutgevoeligheid ( $Y^*$ ): Voor elk (model, concept)-paar meten de auteurs hoe vaak het model gevalideerde klinische foutmodi reproduceert. Dit wordt geaggregeerd met een gewogen schema om dubbeltellingen van multi-getagde fouten te voorkomen.
Statistische Analyse: Een gewogen fractioneel logitmodel wordt gebruikt om de foutgevoeligheid te regresseren op zelfconsistentie en benchmark-prestaties (MedQA nauwkeurigheid), waarbij gecorrigeerd wordt voor de basis medische kennis.

Belangrijkste Resultaten

1. Variatie in Zelfconsistentie

Er is substantiële variatie in zelfconsistentie tussen 10 frontier-modellen (waaronder GPT-4o, GPT-5 varianten, Claude Opus/Sonnet, Gemini, DeepSeek en Mistral). Deze variatie kan niet uitsluitend worden verklaard door de prestaties op de bron-benchmarkvragen. Zo bereikten modellen zoals Gemini 3 en GPT-4o bijna-plafondovereenkomst op ontologische tests, terwijl anderen aanzienlijk slechter presteerden op vergelijkbare taken.

2. Het Consistentie-dilemma

De centrale bevinding is een positieve associatie tussen zelfconsistentie en foutgevoeligheid in een klinische setting.

Empirische Bevinding: Modellen die consistenter zijn in de manier waarop ze concepten toepassen over generatie en evaluatie heen, zijn meer geneigd om klinisch gevalideerde fouten te reproduceren.
Statistische Significantie: Na controle voor benchmark-prestaties is de coëfficiënt voor zelfconsistentie positief en significant ( $\hat{\beta}_2 = 1.116, p < 10^{-6}$ ).
Tussen-model vs. Binnen-model: Deze relatie houdt stand tussen modellen (d.w.z. Model A is consistenter en kwetsbaarder dan Model B), maar voorspelt de kwetsbaarheid niet binnen een enkel model over verschillende concepten heen. Wanneer model fixed effects worden toegevoegd, verdwijnt de associatie, wat suggereert dat zelfconsistentie een model-niveau gedragskenmerk is in plaats van een concept-niveau voorspeller van falen.

3. Specifieke Testgevoeligheid

De associatie wordt significant gedreven door de Correct for Incomplete Reason (CFIR) test. Deze test controleert of een model een correct antwoord genereert met een onvoldoende gespecificeerde redenering en vervolgens correct identificeert dat de redenering onvoldoende is. Modellen die er niet in slagen hun eigen onvolledige redenering te signaleren (inconsistent gedrag) zijn minder foutgevoelig, terwijl modellen die zeer consistent zijn (vaak correct het signaleren van onvolledige redenering) paradoxaal genoeg meer vatbaar zijn voor specifieke klinische foutmodi.

Betekenis en Claims

Het artikel claimt een "consistentie-dilemma" in LLM's te hebben geïdentificeerd:

Operationele Nut: Zelfconsistentie is operationeel wenselijk voor agentische pipelines omdat het drift vermindert en workflows zoals "LLM-as-a-judge" of zelfverfijning ondersteunt.
Betrouwbaarheid-trade-off: Echter, in de bestudeerde deployment-setting (klinisch), is een hogere zelfconsistentie gekoppeld aan een grotere kwetsbaarheid voor bekende, gevalideerde fouten.

Praktische Implicaties:

Modelselectie: Praktijkgebruikers moeten er niet vanuit gaan dat een meer zelfconsistent model inherent veiliger is. In scenario's met een hoog risico kunnen zeer consistente modellen meer rigoureuze menselijke supervisie of externe evaluatie vereisen in plaats van te vertrouwen op autonome zelfkritiek.
Diagnostisch Instrument: Het voorgestelde geautomatiseerde, black-box framework biedt een schaalbare methode om betrouwbaarheidsrisico's te diagnosticeren die worden gedreven door herhaalde, systematische fouten, wat traditionele single-turn nauwkeurigheidsbenchmarks aanvult.

Beperkingen:
De auteurs merken op dat de deployment-analyse observationeel is, niet causaal. De resultaten zijn specifiek voor een gecureerde set van klinisch gevalideerde fouten en generaliseren mogelijk niet naar alle deployment-fouten. Daarnaast leunt de conceptextractie op door modellen gegenereerde labels, wat meetfouten kan introduceren als vragen betrekking hebben op meerdere interagerende concepten.

Concluderend stelt het artikel dat consistentie een onderscheidende gedragseigenschap is van nauwkeurigheid en dat een hogere consistentie niet automatisch vertaalt naar een hogere veiligheid in complexe, real-world scenario's.