💬 NLP

Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLM

Dit artikel introduceert Step-level Self-Consistency Group Relative Policy Optimization (SSC-GRPO), een nieuwe methode die contextgevoelige feitelijke hallucinaties in grote taalmodellen vermindert door stap-niveau beloningen toe te wijzen op basis van self-consistency scores over meerdere redeneer-rollouts, waardoor het een state-of-the-art prestatie bereikt op benchmarks voor wiskundig redeneren en hallucinaties.

Oorspronkelijke auteurs: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Gepubliceerd 2026-07-22

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, hypercreatieve robot leert om een mysterie op te lossen. Deze robot heeft bijna elk boek in de bibliotheek gelezen en kan praten als een mens, maar heeft een vreemde gewoonte: soms, wanneer hij diep in een lang verhaal duikt, begint hij feiten te verzinnen. Hij kan vol vertrouwen zeggen: "De butler deed het met een kandelaar," zelfs als de aanwijzingen duidelijk naar de tuinman wijzen. In de wereld van kunstmatige intelligentie wordt dit een "hallucinatie" genoemd. Het is niet dat de robot expres liegt; het is simpelweg dat zijn brein zo verstrikt raakt in zijn eigen lange keten van gedachten dat hij vergeet wat hij eigenlijk weet.

Lange tijd dachten wetenschappers dat deze fouten gebeurden omdat de robot het antwoord simpelweg niet wist. Maar wat als de robot het antwoord wel weet, maar in de war raakt door het verhaal dat hij zichzelf vertelt? Dat is het puzzelstuk waar dit artikel over gaat. De onderzoekers kijken naar hoe deze AI-modellen stap voor stap denken, zoals een detective die aanwijzingen op een notitieblokje opschrijft. Ze ontdekten dat de robot vaak over zijn eigen voeten struikelt, niet omdat hij een gebrek aan kennis heeft, maar omdat de context van het verhaal dat hij schrijft ervoor zorgt dat hij de waarheid vergeet. Om dit op te lossen, hebben ze een nieuwe trainingsmethode uitgevonden die werkt als een "zelfcontrole"-systeem, die de robot leert om te pauzeren en te vragen: "Wacht even, is deze zin logisch in verhouding tot alles wat ik net heb geschreven?"

Het Probleem: De "Hersenmist" van de Robot

Maak kennis met het Large Language Model (LLM). Zie het als een superintelligente papegaai die het hele internet heeft uit het hoofd geleerd. Wanneer je hem een moeilijke wiskundevraag stelt, geeft hij niet alleen een antwoord; hij probeert door het probleem heen te "denken" door stap voor stap een lange redenering op te schrijven. Dit is geweldig voor het oplossen van complexe puzzels, maar het heeft een gebrek. Naarmate de keten van gedachten langer wordt, wordt de robot soms "context-gevoelig".

Stel je voor dat je een wiskundeprobleem in je hoofd oplost. Je weet dat $3 \times 100 = 300$ . Maar dan begin je een verhaal te schrijven over een tovenaar die een spreuk uitspreekt waardoor getallen in fruit veranderen. Plotseling raakt je brein in de war en schrijf je misschien: "Dus, $3 \times 100$ is definitief een banaan." Je weet dat het 300 is, maar het gekke verhaal dat je jezelf vertelt, heeft je laten vergeten.

De onderzoekers ontdekten dat dit precies is wat er bij AI gebeurt. Ze noemen het een Context-Sensitive Factual Hallucination (Context-gevoelige feitelijke hallucinatie). De robot heeft de juiste feiten daadwerkelijk in zijn brein opgeslagen, maar de "ruis" van het lange redeneerproces misleidt hem tot een fout. Het is als een muzikant die weet hoe hij een liedje perfect moet spelen, maar zo afgeleid raakt door het lawaai van het publiek dat hij een verkeerde noot raakt.

De Ontdekking: Het is geen Kenniskloof

Om dit te achterhalen, traden de onderzoekers op als detectives. Ze namen een robot die een fout maakte in een lange redeneerketen en stelden een simpele vraag: "Als ik alleen die ene foute zin pak en je er apart naar vraag, kun je het dan wel goed krijgen?"

Het antwoord was bijna altijd ja.

Wanneer ze de fout isoleerden, zei de robot: "Oh, natuurlijk! $3 \times 100$ is 300, niet een banaan!" Dit bewees dat de robot niet aan kennis tekortkwam; hij raakte alleen in de war door de context. Sterker nog, hun analyse toonde aan dat bijna 70% van de fouten die deze redeneermodellen maken, dit specifieke type "hersenmist" is, waarbij het model de waarheid kent maar struikelt over zijn eigen verhaal.

De Oplossing: De "Zelfconsistentie"-Coach

Dus, hoe leer je een robot om niet in de war te raken door zijn eigen verhaal? De auteurs creëerden een nieuwe trainingsmethode genaamd SSC-GRPO (Step-Level Self-Consistency Group Relative Policy Optimization). Dat is een mondvol, dus laten we het uitleggen met een spelanalogie.

Stel je voor dat je een team van 8 robots traint om tegelijkertijd dezelfde puzzel op te lossen.

De Rollout: Elke robot schrijft zijn eigen stapsgewijze oplossing op.
De Zelfcontrole: In plaats van alleen te controlen of het uiteindelijke antwoord juist is, vraat het systeem de robots om hun stappen te vergelijken. "Robot A, komt jouw tweede stap overeen met wat Robot B en Robot C schreven?"
De Beloning: Als de stap van een robot overeenkomt met wat de anderen zeggen (hoge consistentie), krijgt hij een hoge score. Als hij van de rails raakt en iets vreemds zegt waar niemand het mee eens is (lage consistentie), krijgt hij een lage score.

De magie hier is dat de robot zijn eigen rechter is. Hij heeft geen menselijke leraar of een database met feiten nodig om hem te vertellen dat hij fout zit. Hij hoeft alleen maar naar zijn "gelijken" (de andere versies van zichzelf) te kijken en te beseffen: "Hé, ik ben de enige die zegt dat het antwoord een banaan is. Dat is waarschijnlijk fout."

Het systeem gebruikt deze scores vervolgens om "beloningen" te geven aan de specifieke stappen die consistent waren en "straffen" aan de stappen die hallucinaties waren. Na verloop van tijd leert de robot de stappen te vertrouwen die logisch zijn binnen de groep en stopt hij met het verzinnen van feiten om in het verhaal te passen.

De Resultaten: Slimmere, Eerlijkere Robots

Het team testte deze nieuwe methode op enkele van de moeilijkste wiskunde- en redeneeruitdagingen die beschikbaar zijn. Ze gebruikten modellen zoals Qwen3 en Llama3. De resultaten waren indrukwekkend.

Betere Wiskunde: Op standaard wiskundetoetsen hielp de nieuwe methode de robots om hoger te scoren dan voorheen. Bijvoorbeeld, op één test verbeterde de nieuwe methode de score met ongeveer 1,8% vergeleken met de standaard trainingsmethoden.
Minder Hallucinaties: Belangrijker nog, de robots maakten veel minder van die "context-gevoelige" fouten. Het aantal keren dat ze in de war raakden door hun eigen verhalen daalde aanzienlijk.
Geen Externe Hulp Nodig: In tegen tegenstelling tot andere methoden die vereisen dat de robot feiten opzoekt in een enorme encyclopedie (wat traag en duur is), gebruikt deze methode simpelweg het eigen brein van de robot om zichzelf te controleren.

De onderzoekers merkten ook iets interessants op tijdens de training: naarmate de robots leerden, nam hun "consistentie" toe. Ze begonnen vaker met zichzelf overeen te stemmen, en het aantal verwarrende, verzonnen stappen ging omlaag. Het was alsof je een student zag die van afgeleid en verward naar gefocust en zelfverzekerd ging.

Waarom Dit Belangrijk Is

Dit artikel suggereert een nieuwe manier om een van de grootste problemen in AI op te lossen: de neiging om zelfverzekerd te klinken terwijl men het fout heeft. Door te beseffen dat de robot het antwoord vaak wel weet maar alleen de draad van het verhaal kwijt is, hebben de auteurs een manier gevonden om hem op het juiste pad te houden.

Ze gokten niet alleen; ze maten het. Ze lieten zien dat wanneer je de fout isoleert, de kennis aanwezig is. Ze bewezen dat hun nieuwe methode deze specifieke soorten fouten vermindert. Hoewel het artikel opmerkt dat dit iets meer computerkracht vereist (omdat de robots zichzelf meerdere keren moeten controleren), lijkt de ruil de moeite waard voor het betrouwbaarder maken van AI.

Kortom, de auteurs hebben AI een nieuw hulpmiddel gegeven: een spiegel. In plaats van alleen maar vooruit te kijken naar de volgende stap in het verhaal, leert de robot nu ook achterom te kijken en te vragen: "Past dit bij alles wat ik tot nu toe heb gezegd?" En daarmee stopt hij met het verzinnen van feiten en begint hij de waarheid te spreken.

Technische Samenvatting: Step-Level Self-Consistency Group Relative Policy Optimization voor LLM's

1. Probleemdefinitie: Context-gevoelige Factuele Hallucinaties

Hoewel Large Language Models (LLM's) sterke capaciteiten hebben getoond in langdurige redeneerketens, blijven ze vatbaar voor het genereren van zelfverzekerde maar onjuiste beweringen, ook wel hallucinaties genoemd. De auteurs identificeren een specifieke en veelvoorkomende foutmodus, namelijk context-gevoelige factuele hallucinaties.

In tegen tegenstelling tot "kennisgat"-hallucinaties, waarbij het model de benodigde informatie mist, treden context-gevoelige hallucinaties op wanneer het model wel over de juiste feitelijke kennis beschikt, maar een feitelijke fout produceert door interferentie van de omringende redeneercontext. De paper toont aan dat als een gehallucineerde redeneerstap wordt geëxtraheerd en geherformuleerd als een onafhankelijke vraag, het model deze correct kan beantwoorden. Echter, binnen de complexe, meerstaps redeneertrajecten wordt het model misleid door de context, wat leidt tot een cascade van fouten en een onjuist eindantwoord. Empirische analyse onthult dat dit type hallucinatie verantwoordelijk is voor bijna 70% van de fouten in redeneermodellen, een proportie die standhoudt zelfs naarmate de capaciteiten van modellen verbeteren en kennisgat-fouten afnemen.

2. Methodologie: SSC-GRPO

Om deze hallucinaties te mitigeren zonder afhankelijk te zijn van externe kennisbronnen, stellen de auteurs Step-Level Self-Consistency Group Relative Policy Optimization (SSC-GRPO) voor. Deze methode integreert self-consistency detectie direct in de reinforcement learning (RL) trainingslus van Group Relative Policy Optimization (GRPO).

Kernmechanisme

De aanpak maakt gebruik van de observatie dat GRPO van nature meerdere redeneertrajecten (rollouts) genereert voor een enkele prompt, wat overeenkomt met self-consistency-gebaseerde hallucinatiedetectie. De methode verloopt als volgt:

Group Rollouts: Voor een gegeven query genereert het policy-model een groep van $G$ redeneertrajecten (rollouts).
Step-Level Self-Consistency Scoring: In plaats van alleen een beloning toe te kennen aan het einde van een traject, evalueert SSC-GRPO elke redeneerstap $o_{i,k}$ $o_{i, k}$ binnen een rollout $i$ $i$ ten opzichte van de corresponderende stappen in andere rollouts $j$ $j$ binnen dezelfde groep.
- Het model fungeert als zijn eigen beoordelaar door een Natural Language Inference (NLI) prompt te gebruiken om te bepalen of een stap in rollout $i$ de corresponderende stap in rollout $j$ impliceert, tegenspreekt of neutraal is.
- Een consistency score wordt berekend door deze NLI-oordelen te aggregeren, gewogen door de outcome reward van de referentie-rollout $j$ (waarbij hogere gewichten worden toegekend aan stappen in rollouts die leiden tot correcte eindantwoorden).
Step Advantage Rescaling: De standaard GRPO advantage (afgeleid van de uiteindelijke outcome reward) wordt herverdeeld over de stappen van het traject.
- Stappen met hoge self-consistency scores ontvangen een groter deel van de advantage als het traject correct is, of een kleinere straf als het traject incorrect is.
- Dit wordt bereikt via een rescaling coëfficiënt $w_{i,k}$ die de advantage voor elke stap aanpast terwijl de totale traject-niveau advantage behouden blijft.
Policy Optimization: Het model wordt bijgewerkt met behulp van een PPO-stijl objectief dat de gewogen som van deze stap-niveau advantages maximaliseert, waardoor het model effectief wordt aangemoedigd om stappen te genereren die consistent zijn met de meerderheid van de correcte redeneerpaden.

3. Belangrijkste Bijdragen

De paper schetst drie primaire bijdragen:

Identificatie van een Dominante Hallucinatietype: De auteurs leveren een fijnmazige analyse die aantoont dat context-gevoelige factuele hallucinaties de dominante foutmodus zijn in huidige redeneermodellen. Ze tonen aan dat deze fouten voortkomen uit contextuele interferentie in plaats van een gebrek aan kennis, een fenomeen dat traditionele detectiemethoden vaak missen.
SSC-GRPO Algoritme: Ze stellen een nieuwe RL-gebaseerde methode voor die gebruikmaakt van self-consistency signalen over meerdere rollouts om stap-niveau beloningen te genereren. Dit stelt het model in staat om te leren de context-geïnduceerde feitelijke fouten te vermijden zonder externe kennisbronnen of fact-checking tools te vereisen.
Empirische Validatie: Uitgebreide experimenten op wiskundige redenering en hallucinatie-benchmarks valideren dat SSC-GRPO de proportie context-gevoelige factuele hallucinaties effectief vermindert en de algehele redeneerprestaties verbetert.

4. Experimentele Resultaten

De auteurs evalueerden SSC-GRPO op Qwen3-4B-Base, Qwen3-4B-Instruct en Llama3-8B-Instruct, waarbij het werd vergeleken met baselines inclusief Vanilla modellen, standaard GRPO, FSPO (Factuality-aware Step-wise Policy Optimization) en SEED-GRPO.

Wiskundig Redeneren: SSC-GRPO behaalde state-of-the-art prestaties op benchmarks inclusief GSM8K, MATH-500, AIME-24 en AIME-25. Op Qwen3-4B-Base presteerde het gemiddeld 1,80% beter dan de baseline.
Mitigatie van Hallucinaties: Op hallucinatie-benchmarks (HaluEval, TruthfulQA, HotpotQA) vertoonde de methode superieure prestaties vergeleken met baselines, waarbij specifiek werd opgemerkt dat het deze resultaten behaalt met enkel de interne kennis van het model, in tegen tegenstelling tot methoden zoals FSPO die vertrouwen op externe retrieval.
Hallucinatie Analyse: Post-training analyse toonde een significante afname in de proportie context-gevoelige factuele hallucinaties (dalend van ~22,76% naar ~16,90% in één configuratie) en een overeenkomstige toename van correcte redeneerstappen.
Trainingsdynamiek: Het volgen van de consistency ratio's tijdens de training onthulde een gestage toename van consistente stappen en een afname van inconsistente stappen, wat bevestigt dat het RL-proces de redeneerconsistentie succesvol versterkt.

5. Betekenis en Claims

De paper claimt een nieuw perspectief te bieden voor het detecteren en mitigeren van hallucinaties in het redeneerproces van LLM's. Door de focus te verschuiven van verificatie van het eindantwoord naar stap-niveau self-consistency, beargumenteren de auteurs dat het mogelijk is om modellen te trainen om hun eigen context-geïnduceerde fouten te herkennen en te corrigeren.

De betekenis ligt in de bevinding dat modellen vaak de feiten "kennen", maar er niet in slagen deze correct toe te passen onder complexe redeneercontexten. SSC-GRPO pakt dit aan door de consistentie van tussenliggende redeneerstappen te versterken, waardoor de specifieke vorm van hallucinatie die langdurige redeneerketens teistert, wordt gemitigeerd. De auteurs hanteren een bescheiden houding en erkennen dat hoewel hun methode effectief is, het extra computationele overhead introduceert vanwege de self-consistency checks en momenteel wordt geëvalueerd op specifieke modelfamilies (Qwen en Llama) op de schaal van 4B en 8B parameters.