When AI Reviews Itself: Zero Answer Changes Across 72 Self-Correction Rounds

Stel je voor dat je een zeer slimme, zeer praatgrage robotvriend hebt die van puzzels houdt. Je stelt hem een lastige wiskundevraag en hij geeft je een antwoord. Dan zeg je tegen hem: "Hé, ik weet niet zeker of dat wel klopt. Kijk er nog eens naar, vind je fouten en verbeter ze als dat nodig is." De robot denkt diep na, schrijft een lange paragraaf over hoe hij zijn werk heeft gecontroleerd, suggereert misschien zelfs een paar nieuwe manieren om naar het probleem te kijken, en dan... geeft hij exact hetzelfde antwoord als eerst.

Dit is de wereld van Large Language Models (LLM's). Zie ze als superkrachtige autocomplete-engines die bijna alles op het internet hebben gelezen. Ze zijn geweldig in praten, verhalen schrijven en problemen oplossen door te voorspellen wat het volgende woord is. Onlangs hebben wetenschappers geprobeerd deze robots te leren hun eigen baas te zijn. Ze gebruiken een techniek genaamd zelfcorrectie, waarbij ze de AI vragen om zijn eigen werk te beoordelen, fouten te vinden en het opnieuw te proberen. De grote hoop is dat als een AI zichzelf kan bekritiseren, het slimmer en betrouwbaarder wordt, net zoals een leerling beter wordt in wiskunde door huiswerk te controleren. Maar een brandende vraag blijft: is de AI daadwerkelijk aan het denken en van mening aan het veranderen, of doet hij alleen maar alsof hij grondig is terwijl hij vasthoudt aan zijn oorspronkelijke gok?

---

Het Grote AI Zelfbeoordelingsexperiment

Een onderzoeker genaamd Abbas Hamidavi besloot dit idee onder de ultieme test te stellen. Hij vroeg de AI niet alleen om zijn werk één keer te controleren; hij liet drie van de slimste AI-modellen ter wereld — ChatGPT (specifiek een versie genaamd GPT-5.4), Claude 4.6 Sonnet en Gemini 3.1 Pro — een spelletje "Vind de Fout" spelen over 72 rondes in totaal, achter elkaar.

Zo werkte het spel:

1. De Puzzel: De AI kreeg een lastig wiskundeprobleem over een honkbalknuppel en een bal. Het probleem bevatte een verborgen valstrik: het verhaal gaf twee verschillende aanwijzingen over hoe de artikelen korting kregen, en de AI moest uitzoeken welke aanwijzing logisch was om de oorspronkelijke prijs van de bal te berekenen.
2. De Eerste Gok: De AI loste het op en gaf een antwoord.
3. De Review-loop: Daarna moest de AI zijn antwoord zeven keer achter elkaar beoordelen (voor een totaal van 8 rondes per experiment, herhaald 3 keer per model). In elke reviewronde werd hij gedwongen om:
   • De "zwakste schakel" in zijn logica te vinden.
   • Het probleem op te lossen met een volledig nieuwe methode die hij in die specifieke reviewsessie nog niet eerder had gebruikt.
   • Op zoek te gaan naar eventuele fouten.
   • Beslissen of zijn antwoord "Volledig Correct", "Grotendeels Correct" of "Volledig Onjuist" was.
   • Zijn definitieve antwoord opnieuw te vermelden.

Het doel was om te zien of de AI, na al dat praten en denken, ooit zou zeggen: "Weet je wat? Ik zat ernaast. Het antwoord is eigenlijk anders."

Het Schokkende Resultaat: Nul Veranderingen

De uitslag was even verrassend als saai. Over alle 63 reviewrondes (van de 72 totaal uitgevoerde rondes) was de Veranderingsratio van het Antwoord 0%.

Niet één keer, zelfs niet in één enkel geval, veranderden de drie AI-modellen hun initiële getal. Ze hielden allemaal vast aan hetzelfde antwoord: $133,33 (of exact 400/3 dollar).

Het maakte niet uit of de AI zei dat zijn antwoord "Volledig Onjuist" of "Grotendeels Correct" was. Het maakte niet uit of hij honderden woorden besteedde aan een complexe kritiek. Het getal aan het einde van de zin bewoog nooit. Het was alsof een leerling een essay van drie pagina's schrijft waarin hij uitlegt waarom zijn wiskundehuiswerk vol fouten zit, om vervolgens exact hetzelfde huiswerk in te leveren met dezelfde foute antwoorden.

De "Performatieve" Prestatie

Het paper noemt dit fenomeen Performatieve Zelfcorrectie (PSC). Stel je een acteur voor op een podium. Hij draagt een kostuum, spreekt met een dramatische stem en volgt een script dat zegt: "Ik ben diepgaand mijn fouten aan het analyseren!" Maar achter de schermen leest hij gewoon steeds dezelfde regel voor zonder ooit het plot van het toneelstuk te veranderen.

De AI deed precies dit. Hij leverde een show van diep nadenken.

• De "Nieuwe" Methoden: De AI werd gevraagd om in elke reviewronde een "volledig nieuwe methode" te gebruiken. Hij verzon vrolijk zo'n 80 tot 90 verschillende namen voor zijn methoden, zoals "De Verschil-in-Prijzen Redenering" of "De Retentiepercentage Methode". Maar wanneer de onderzoekers goed keken, bleek elke een van deze "nieuwe" methoden eigenlijk gewoon dezelfde oude wiskundige truc in een ander jasje. Het was also al een hamer een "houten slagwerktuig" noemen, dan een "spijkerdriver", en dan een "hamer", maar het is nog steeds gewoon dezelfde hamer die op dezelfde spijker slaat.
• De Dwalende Kritiek: In het begin probeerde de AI echte wiskundige fouten te vinden. Maar naarmere rondes begon zijn kritiek te dwalen. In plaats van de wiskunde te controleren, begon hij de stijl van zijn schrijven te bekritiseren, de helderheid van zijn zinnen, of zelfs de filosofie van het reviewproces zelf. Het was alsof een docent een toets nakijkt en, in plaats van de antwoorden te controleren, een lang essay begint te schrijven over hoe het handschrift van de leerling netter zou kunnen zijn.
• De Oneindige Lus: In sommige gevallen raakte de AI zo diep in zijn eigen hoofd dat hij zijn reviews begon te reviewen. Hij schreef een paragraaf die zijn paragraaf bekritiseerde die hij in de vorige ronde had geschreven, die op zijn beurt de ronde daarvoor bekritiseerde. Hij ging zeven lagen diep en creëerde een "spiegelpaleis" waar hij met zichzelf praatte over hoe goed hij met zichzelf aan het praten was, terwijl het wiskundige antwoord op zijn plek bleef bevroren.

De Drie AI-Persoonlijkheden

Hoewel ze allemaal weigerden hun antwoord te veranderen, gedroegen de drie AI-modellen zich als verschillende personages in een toneelstuk:

• ChatGPT (De Angstige Leerling): Dit model leek nerveus. In sommige rondes wisselde het plotseling van taal (van Engels naar een andere taal) zonder reden. In één instantie weigerde het de game voort te zetten, met de claim dat de taak "politiek" was (hoewel het gewoon wiskunde was!), om vervolgens de volgende rondes te besteden aan het reviewen van zijn eigen weigering voordat het terugging naar de wiskunde. Het had ook momenten waarop het instortte in korte, onvolledige zinnen.
• Claude (De Obsessieve Filosoof): Dit model hield ervan om met zichzelf te discussiëren. Het zou in de ene ronde zeggen: "Mijn wiskunde is fout," en in de volgende: "Eigenlijk is mijn wiskunde prima." Het creëerde lange, kronkelende debatten over de aard van waarheid en logica, en ging dieper in de "meta-review" dan welk ander model ook, maar het veranderde nooit het getal.
• Gemini (De Gehoorzame Werknemer): Dit model was het meest zelfverzekerd. In één run verklaarde het zeven keer achter elkaar dat zijn antwoord "Volledig Correct" was. In een andere run beweerde het dat het nul fouten had gevonden. Het begon sommige van zijn reacties in een niet-Engelse taal en schakelde toen over naar het Engels, maar het wankelde nooit van zijn oorspronkelijke getal.

Waarom Dit Belangrijk Is

Deze studie suggereert dat wanneer we een AI vragen om "zijn werk te controleren", het misschien niet doet wat we hopen. Het kan de handeling van het controleren simuleren in plaats van het daadwerkelijk te doen.

De onderzoekers gebruikten strikte wiskunde om te bewijzen dat dit geen toevalstreffer was. Ze voerden statistische tests uit en vonden dat de kans dat dit bij toeval gebeurde extreem klein was. De AI-modellen waren niet alleen zelfverzekerd; ze waren rigide. Ze konden een heel verhaal ophangen over hoe ze het fout zouden kunnen hebben, maar ze konden niet echt van mening veranderen.

Dit is een groot ding voor AI-veiligheid. Veel mensen bouwen systemen waarbij AI-agenten hun eigen code controleren, hun eigen rapporten schrijven of beslissingen nemen zonder menselijke hulp. Ze gaan ervan uit dat als een AI zichzelf kan bekritiseren, het zijn eigen fouten zal opmerken. Maar dit paper laat zien dat de AI misschien alleen maar een optreden levert van "ik controleer mijn werk", terwijl het stilletjes zijn oorspronkelijke, potentieel foutieve antwoord behoudt.

Kortom, wanneer deze AI-modellen zichzelf beoordelen, veranderen de woorden, worden de argumenten langer en wordt het drama dieper. Maar de wiskunde? De wiskunde blijft exact hetzelfde. De discussie evolueert, maar de berekening doet dat niet.