💻 computer science

When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals

Dit artikel betwist de betrouwbaarheid van het gebruik van zelfconsistentie en overeenstemming tussen modellen als signalen voor het vertrouwen in Large Language Models, door via een grootschalige studie aan te tonen dat hoewel overeenstemming een positieve maar zwakke voorspeller van juistheid is, het vaak leidt tot overmatig vertrouwen in frontier-modellen waar een hoge mate van overeenstemming samenvalt met frequente fouten.

Oorspronkelijke auteurs: Kaihua Ding

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaihua Ding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme talentenjacht organiseert om de beste AI-hersenen te vinden. Je hebt een jury (de AI-modellen) en je stelt ze een miljoen lastige vragen. De grote regel die iedereen volgt is: "Als alle juryleden het eens zijn over een antwoord, moet het juist zijn." Het voelt als gezond verstand, toch? Als tien mensen allemaal zeggen dat de lucht groen is, misschien zien we allemaal een vreemd filter? Maar als honderd mensen het zeggen, is het waarschijnlijk waar!

Dit paper is als een detectiveverhaal dat achter de schermen kijkt om te controleren of die regel eigenlijk wel werkt. De auteur, Kaihua Ding, heeft een enorme experiment uitgevoerd met 53 verschillende "runners" (mensen die de AI-tests uitvoeren) en vroeg hen 265.000 antwoorden te genereren op enkele van de moeilijkste wiskunde- en wetenschapsvragen die beschikbaar zijn (genoemd GPQA Diamond en AIME).

Hier is de wending die het paper onthult: Overeenstemming is niet hetzelfde als correctheid.

De "Echo Chamber"-valstrik

Beschouw de AI-modellen als een groep studenten die allemaal uit hetzelfde, licht gebrekkige tekstboek hebben gestudeerd. Als ze allemaal hetzelfde foute antwoord op een vraag hebben uit het hoofd geleerd, zullen ze allemaal hun hand opsteken en instemmen met dat foute antwoord. Ze stemmen niet eens omdat ze slim zijn, maar omdat ze een gedeelde bias of een "geïnformeerde heuristiek" delen.

Het paper vond dat wanneer AI-modellen het met zichzelf (of elkaar) eens zijn, dit vaak gewoon het echoën is van een gedeelde fout is, en geen teken van waarheid.

De "Over-confident" Sterstudent

De meest verrassende ontdekking heeft betrekking op de "frontier" modellen—de superintelligente, meest geavanceerde AI-versies. Je zou denken dat het slimste model het meest betrouwbaar is. Het paper laat het tegenovergestelde zien in deze specifieke opstelling.

De bevinding: Het meest geavanceerde model (gpt-4.1) stemde in 89% van de gevallen met zichzelf overeen (een zeer hoge vertrouwensscore). Maar wanneer het het eens was met zichzelf, had het slechts in 48% van de gevallen gelijk.
De analogie: Stel je een student voor die zo zeker is van zijn antwoord dat hij het met 100% zelfvertrouwen eruit roept, maar hij heeft eigenlijk de helft van de tijd ongelijk. Het paper noemt dit "over-confident" (overmoedig). Sterker nog, dit superintelligente model was slechter in het signaleren wanneer het het wel bij het rechte eind had dan een iets minder geavanceerd "mid-tier" model.
Het bewijs: De studie mat dit met behulp van een statistische link (een correlatie) tussen "overeenstemming" en "correctheid". Voor het slimste model was deze link erg zwak (rond de 0,20), wat betekent dat het hoge zelfvertrouwen bijna nutteloos was als een betrouwbaarheidssignaal.

Helpt "Chain-of-Thought"?

Sommige mensen denken dat als je de AI vraagt om "zijn werk te laten zien" (een methode genaamd Chain-of-Thought), het eerlijker zal zijn.

Het resultaat: Ja, de AI vragen om zijn werk te laten zien maakte het iets nauwkeuriger (het kreeg meer vragen goed).
De adder onder het gras: Echter, het maakte het "overeenstemmingssignaal" niet veel beter. De AI kon nog steeds niet betrouwbaar aangeven wanneer het het bij het rechte eind had, enkel door te kijken naar hoeveel het met zichzelf overeenstemde. Het is als een student die een lange, gedetailleerde uitleg schrijft, maar nog steeds het uiteindelijke antwoord fout heeft, en jij kunt het verschil niet zien door alleen naar de netheid van het handschrift te kijken.

Het Mysterie van de "Gedeelde Bias"

De onderzoekers controleerden ook of verschillende AI-families (zoals GPT en Claude) dezelfde fouten maakten.

De ontdekking: Ze ontdekten dat wanneer verschillende AI-modellen een vraag fout beantwoordden, ze vaak exact hetzelfde foute antwoord kozen.
De analogie: Het is alsof twee verschillende studenten van verschillende scholen beide een fout maken in een wiskundeprobleem, omdat ze beiden een specifieke, foute truc in de les hebben geleerd. Dit suggereert dat wanneer AI's het eens zijn over een fout antwoord, het geen gelukkig toeval is; het is een gedeelde bias die in hun training is ingebakken.

Moeten we overeenstemming dan niet meer gebruiken?

Niet precies. Het paper zegt niet: "Vertrouw nooit overeenstemming." Het zegt: "Gebruik het voorzichtig, en ken je grenzen."

Goed voor budgettering: Overeenstemming is geweldig voor het beslissen hoeveel rekenkracht je wilt uitgeven. Als de modellen het allemaal oneens zijn (lage overeenstemming), wil je misschien meer tijd of geld besteden om een beter antwoord te krijgen.
Slecht voor vertrouwen: Je moet overeenstemming nooit gebruiken als een op zichzelf staande "vertrouw mij"-knop. Als een superintelligent model zegt: "Ik ben voor 90% zeker," en het stemt met zichzelf overeen, kun je nog steeds niet zeker weten of het klopt. Sterker nog, het paper suggereert dat het een slecht idee is om moeilijke vragen naar het "slimste" model te sturen op basis van vertrouwen, omdat dat model het meest over-confident is.

De Kernboodschap

Het paper concludeert dat zelfconsistentie (overeenstemming) een "conditionele proxy" is. Het is een nuttige aanwijzing in sommige situaties (zoals bij modellen van gemiddeld niveau), maar het is geen garantie voor de waarheid.

Wat bewezen is: In deze specifieke tests betekende een hoge overeenstemming vaak een hoog zelfvertrouwen maar een lage nauwkeurigheid, vooral voor de meest geavanceerde modellen.
Wat gesuggereerd wordt: De "over-confidence" kan een bijeffect zijn van hoe deze modellen getraind worden, en gedeelde fouten komen voor omdat verschillende modellen leren van vergelijkbare data.
Wat onbekend is: Het paper merkt op dat deze resultaten specif kind zijn aan de geteste modellen en vragen. We weten niet of dit voor elk type AI of elke soort vraag geldt, maar de waarschuwing is duidelijk: Ga er niet vanuit dat alleen omdat iedereen het eens is, zij ook gelijk hebben. Soms kijken ze gewoon allemaal naar dezelfde verkeerde kaart.

Technische Samenvatting: Wanneer LLM's het eens zijn, hebben ze het dan bij het rechte eind?

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als "LLM-als-rechter"-systemen, vaak in ensembles of "mixture-of-experts"-panels, om de output van AI te evalueren in enterprise-pipelines. Deze systemen werken op basis van een wijdverbreide intuïtie: dat overeenstemming (of dit nu onder meerdere rechters is of via zelfconsistentie over stochastische samples van een enkel model) een signaal is voor correctheid. Bijgevolg wordt overeenstemming gebruikt als een betrouwbaarheidsproxy voor kostengebaseerde routing, adaptieve budgetallocatie van samples en selectieve voorspelling (onthouding).

Dit onderzoek stelt echter dat deze aanname onbetrouwbaar is. Overeenstemming is niet synoniem met nauwkeurigheid. Een model kan met zichzelf of andere modellen overeenstemmen door gedeelde biases, gememoriseerde heuristieken, optie-positie-priors of systematische hallucinaties in plaats van de waarheid. De centrale vraag is: Onder welke omstandigheden fungeert het overeenstemmingssignaal als een bruikbare proxy voor correctheid, en wanneer faalt het?

Methodologie

De auteurs voeren een grootschalige, cross-runner audit uit om terugkerende zelfverzekerde fouten te scheiden van stochastische ruis.

Data-afkomst: De studie analyseert 265.000 samples gegenereerd door 53 runners (deelnemers aan een cursus) die modeloutputs hebben ingediend. Hoewel de runners een gedeelde cursuscontext deelden, werden hun runs behandeld als onafhankelijke inzendingen. De dataset beslaat 394 unieke gevallen uit GPQA Diamond (graduate-level 4-opties meerkeuze) en AIME (competitie-wiskunde).
Experimenteel Ontwerp:
- Modellen: Experimenten richten zich op de gpt-4.1 familie (nano, mini en frontier gpt-4.1) en een exploratieve controle op drie niveaus van Anthropic's Claude (haiku, sonnet, opus).
- Assen van Vergelijking:
  - As A (Tier): Nano vs. Mini.
  - As B (Prompting): Zero-shot vs. Chain-of-Thought (CoT) op het Mini-model.
  - As C (Schaal): Mini vs. Frontier gpt-4.1.
- Parameters: Temperatuur = 1.0, $K=50$ samples per geval.
Metrieken:
- Zelfconsistentie ( $C$ ): De proportie samples die overeenstemt met de meerderheidsantwoord ( $n_{maj}/K$ ).
- Meerderheids-correctheid ( $M$ ): Een binaire indicator of het meerderheidsantwoord overeenkomt met de grondwaarheid.
- Sample Nauwkeurigheid ( $A$ ): De proportie individuele samples die overeenkomt met de grondwaarheid.
- Correlatie: Spearman's $\rho$ tussen $C$ en $M$ (en $A$ ).
Statistische Inferentie: Vanwege de niet-i.i.d. data (runners dragen meerdere rijen bij; gevallen worden gedeeld), gebruiken de auteurs een hiërarchische runner-geclusterde bootstrap (resampling van runners, vervolgens gevallen binnen runners) en een case-geclusterde bootstrap voor robuustheid.

Belangrijkste Bijdragen

Grootschalige Audit: Een audit van 265.000 samples van zelfconsistentie als een betrouwbaarheidssignaal op complexe redeneerbenchmarks, gebruikmakend van hiërarchische bootstrapping om controle te houden over runner- en case-afhankelijkheden.
Bewijs van Frontier Degradatie: Demonstratie dat het overeenstemmingssignaal degradeert bij de meest consistente frontier-modellen. Deze modellen vertonen overmatige zelfverzekerdheid (hoge $C$ ) zonder een corresponderende winst in nauwkeurigheid, waardoor kostengebaseerde routing naar hen toe contraproductief is.
Recurrentie-analyse: Een scheiding van stochastische fouten van terugkerende zelfverzekerde onjuistheid. De studie toont aan dat veel zelfverzekerde fouten geen samplingruis zijn, maar terugkeren over verschillende runners en prompts.
Positieve Bias Controle: Een optie-shuffle experiment dat onthult dat een aanzienlijk deel van de "zelfverzekerdheid" in meerkeuzevragen wordt gedreven door optie-positie-priors (bijv. het vermijden van optie D) in plaats van semantisch begrip.
Cross-Family Check: Een exploratieve analyse die laat zien dat zelfverzekerde fouten deels gedeeld worden tussen providers (GPT en Claude), wat suggereert dat overeenstemming tussen modellen eerder wijst op gedeelde pretraining-biases dan op onafhankelijke verificatie.
Dataset Release: Publieke release van een gede-identificeerde, geschema-gevalideerde dataset en analysepipeline.

Resultaten

1. Overeenstemming is een Positieve maar Zwakke Voorspeller

Over alle 12 experimentele cellen (combinaties van model, prompt en benchmark) is de correlatie tussen zelfconsistentie ( $C$ ) en meerderheids-correctheid ( $M$ ) positief maar zwak ( $\rho \approx 0.20–0.59$ ).

Geen enkele cel overschrijdt $\rho = 0.60$ .
Een "high-agreement auto-accept" regel laat nog steeds een aanzienlijk aantal foutieve antwoorden toe.
Het signaal is regime-afhankelijk: het is sterker voor mid-tier modellen en zwakker voor frontier-modellen.

2. Het Frontier Model Paradox

Het frontier model (gpt-4.1) vertoont de hoogste zelfconsistentie ( $C=0.89$ op GPQA) maar de laagste correlatie tussen overeenstemming en correctheid ( $\rho(C, M) = 0.20$ ).

Over-confidence: 77% van de GPQA-gevallen voor het frontier model heeft $C \ge 0.8$ , maar 48% van deze hoog-overeenstemmende antwoorden is fout.
Kalibratie: Het frontier model heeft de slechtste Expected Calibration Error (ECE = 0.41) van alle geteste configuraties.
Implicatie: Het routeren van moeilijke gevallen naar het frontier model op basis van hoge overeenstemming is contraproductief, omdat het een hoge foutmarge erft.

3. Chain-of-Thought (CoT) Effecten

Nauwkeurigheid: CoT verbetert de nauwkeurigheid robuust ( $\Delta A \approx +0.067$ op GPQA).
Signaal: CoT biedt slechts een marginale verbetering aan het overeenstemming-correctheid signaal ( $\rho(C, M)$ ). Hoewel het de correlatie met sample-nauwkeurigheid ( $A$ ) verbetert, is het effect op de deployment-label ( $M$ ) marginaal of nul, afhankelijk van de resampling-methode.

4. Terugkerende en Gedeelde Fouten

Recurrentie: Een niet-verwaarloosbaar deel van de zelfverzekerde fouten (bijv. 28% van de unieke GPQA-gevallen voor gpt-4.1) is zelfverzekerd foutief ( $C \ge 0.8$ ) voor elke runner, wat aangeeft dat dit systematische biases zijn in plaats van samplingruis.
Positieve Bias: In GPQA vermindert het schudden van opties de nauwkeurigheid aanzienlijk en verandert het de distributie van de meerderheidsantwoorden, wat bevestigt dat "zelfverzekerdheid" vaak reflecties zijn van positie-priors (bijv. onderselectie van "D") in plaats van de waarheid.
Cross-Provider Sharing: Op gedeelde GPQA-items komen GPT en Claude frequent overeen over de zelfde foute antwoorden met een hoog vertrouwen. Dit percentage overstijgt een label-permutatie null-waarde, wat duidt op gedeelde biases tussen providers.

5. Systeemimplicaties

Adaptieve Sampling: Overeenstemming is nuttig voor het alloceren van compute. Een adaptieve regel die overeenstemming gebruikt om sampling vroegtijdig te stoppen, bespaart ~60% van de samples terwijl de foutenmarges behouden blijven.
Routing Policies: Een confidence-gerouteerde cascade (goedkoop $\to$ duur) presteert beter dan willekeurige routing, maar wordt gedomineerd door simpelweg altijd het mid-tier model te gebruiken. Het routeren naar het over-zelfverzekerde frontier model verslechtert de prestaties.

Betekenis en Claims

De paper concludeert dat zelfconsistentie niet nauwkeurigheid is, maar eerder een conditionele, regime-afhankelijke empirische proxy daarvoor.

Bruikbare Regimes: Overeenstemming is een nuttig, grof signaal voor het alloceren van compute (adaptieve sampling) en is het meest betrouwbaar voor onverzadigde mid-tier modellen.
Onbruikbare Regimes: Overeenstemming is een slechte standalone betrouwbaarheidsscore, met name voor frontier-modellen, waar hoge overeenstemming ontkoppeld is van correctheid door overmatige zelfverzekerdheid en gedeelde biases.
Veiligheidsimplicatie: Systemen die zelfconsistentie behandelen als een definitieve betrouwbaarheidsdrempel, riskeren zelfverzekerde-foute antwoorden naar vertrouwde paden te routeren. De paper waarschuwt tegen het gebruik van overeenstemming als reden om moeilijke gevallen te escaleren naar de meest consistente frontier-modellen.

De auteurs benadrukken de bescheidenheid van hun claims: de studie is een audit van specifieke benchmarks (GPQA, AIME) en modelfamilies, en de bevindingen onderstrepen de noodzaak om overeenstemming te behandelen als een "grof, kostenbesparend signaal" in plaats van een betrouwbare drempel voor correctheid.