💬 NLP

GRACE: Step-Level Benchmark for Faithful Reasoning over Context

Dit artikel introduceert GRACE, de eerste door mensen geannoteerde benchmark op stapsgewijs niveau met een datagestuurde foutentaxonomie voor het evalueren van getrouwheid in context-gegronde redenering, waarmee wordt aangetoond dat het integreren van signalen van getrouwheid op stapsgewijs niveau in reinforcement learning zowel de nauwkeurigheid als de betrouwbaarheid van modellen aanzienlijk verbetert.

Oorspronkelijke auteurs: Hoang Pham, Dong Le, Anh Tuan Luu

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hoang Pham, Dong Le, Anh Tuan Luu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die het essay van een student beoordeelt. De student krijgt het juiste eindantwoord, maar als je goed naar het werk kijkt, zie je dat ze een feit uit een ander boek hebben gekopieerd, een getal hebben verzonnen of een logische regel hebben verdraaid om daar te komen.

In de wereld van Kunstmatige Intelligentie (AI) is dit een veelvoorkomend probleem. AI-modellen geven vaak het juiste antwoord, maar hun "denkproces" (Chain-of-Thought) zit vol verborgen fouten, leugens of gissingen die niet overeenkomen met de bronmaterialen die ze kregen. Tot nu toe hebben we vooral het eindantwoord gecontroleerd, zoals een leraar die alleen naar het cijfer bovenaan de pagina kijkt en het slordige werk eronder negeert.

Ontmoet GRACE: De "Stap-voor-stap" Detective

Dit paper introduceert GRacing (Grounded Reasoning Assessment through Chain-of-Thought Evaluation). Denk aan GRACE als een nieuw, superstreng beoordelingssysteem dat niet alleen naar het eindantwoord kijkt; het inspecteert elke afzonderlijke stap in het redeneren van de AI om te zien of het trouw is gebleven aan de brondocumenten.

Hier is hoe het paper dit onderverdeelt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Tovertruc" van AI

Wanneer een AI een moeilijke vraag oplost, schrijft het een lijst met stappen op. Soms lijkt het een perfecte, logische keten. Maar het paper ontdekte dat AI-modellen vaak een "tovertruc" uitvoeren:

De Illusie: Ze halen misschien een feit uit de tekst, maar verdraaien het vervolgens om het in een conclusie te passen die er eigenlijk niet door wordt ondersteund.
De Valsspeler: Ze gebruiken misschien hun eigen "geheugen" (zoals feiten die ze leerden tijdens hun training) in plaats van het specifieke document dat ze zouden moeten lezen.
Het Resultaat: Ze krijgen het juiste antwoord, maar om de verkeerde redenen. Het is alsof een student het juiste antwoord raadt op een wiskundetoets omdat hij het antwoordmodel heeft gezien, ook al klopt zijn wiskunde niet.

2. De Oplossing: Een Nieuw "Rapportcijfer"

De auteurs creëerden een enorme dataset (een benchmark) genaamd GRACE. Ze namen 10 verschillende AI-modellen en vroegen hen vragen op te lossen uit 4 verschillende soorten tests (zoals logische puzzels en leesvaardigheid).

Vervolgens traden zij op als een team van deskundige redacteurs. Ze gingen elke zin die de AI schreef na en vroegen zich af:

"Heb je dit daadwerkelijk in de tekst gezegd?"
"Is dit een logische stap, of ben je zomaar naar een conclusie gesprongen?"

Ze ontdekten dat bijna de helft van de stappen in deze "correcte" antwoorden feitelijk ongetrouw was (liegen of gissen). Dit bewijst dat het controleren van het eindantwoord niet genoeg is; we moeten de stappen controleren.

3. De Twee "Sporen" van Fouten

Het paper ontdekte dat AI twee duidelijke soorten fouten maakt, zoals een auto die twee verschillende soorten motorstoringen heeft:

Spoor 1: De "Logica-glitch" (GRACE-Inference)
- Analogie: Stel je een advocaat voor die de wet begrijpt, maar deze achterstevoren beargumenteert.
- Wat er gebeurt: De AI begrijpt de regels, maar verdraait ze. Het kan zeggen: "Als A veroorzaakt B, dan moet B A veroorz been" (omgekeerde redenering), of het negeert een specifieke regel die de tekst noemde.
- Waar het gebeurt: Vooral bij logische puzzels en examenvragen.
Spoor 2: De "Feiten-glitch" (GRACE-Grounding)
- Analogie: Stel je een gids voor die naar een gebouw wijst en zegt: "Dit is de Eiffeltoren," terwijl het eigenlijk het Vrijheidsbeeld is.
- Wat er gebeurt: De AI verzint feiten, spreekt de tekst tegen of verwart namen (bijv. zeggen dat "John" iets deed terwijl de tekst zei dat het "Jane" was).
- Waar het gebeurt: Vooral bij leesvaardigheid waarbij je specifieke feiten in lange documenten moet vinden.

4. De "Trainingsgym" voor AI

Het paper heeft het niet alleen gebouwd om te testen; ze gebruikten het ook om AI te trainen.

Het Experiment: Ze namen kleinere AI-modellen en trainden hen met het GRACE "rapportcijfer". In plaats van de AI alleen te vertellen "Je hebt het juiste antwoord", zeiden ze: "Je hebt het juiste antwoord, maar Stap 3 was een leugen. Doe dat niet."
Het Resultaat: Deze kleinere modellen werden veel beter. Ze begonnen minder leugens en minder logische fouten te maken.
Reinforcement Learning: Ze probeerden ook een methode genaamd "Reinforcement Learning", waarbij de AI een "beloning" krijgt, niet alleen voor het juiste antwoord, maar ook voor de eerlijkheid in zijn stappen. Dit maakte de AI zowel slimmer als betrouwbaarder.

5. De Belangrijkste Conclusie

Het paper concludeert dat huidige AI-modellen nog veel ruimte hebben voor verbetering. Zelfs de meest geavanceerde modellen "hallucineren" (verzinnen dingen) nog steeds binnen hun redeneerstappen, zelfs wanneer ze het juiste eindantwoord geven.

Door GRACE te gebruiken, kunnen we:

Detecteren waar precies de AI liegt of een logische fout maakt.
Categoriseren de fout (is het een verdraaide logica of een verzonnen feit?).
Trainen om AI eerlijker te zijn, zodat we zeker weten dat wanneer het een antwoord geeft, de weg die het heeft afgelegd daadwerkelijk door het bewijs wordt ondersteund.

Kortom, GRACE is een hulpmiddel om te voorkomen dat AI "doet alsof tot ze het echt kunnen" en om hen te dwingen het harde werk te doen om stap voor stap correct te redeneren.

Technische Samenvatting: GRACE - Stap-niveau Benchmark voor Getrouwe Redenering over Context

Probleemstelling

Huidige Chain-of-Thought (CoT) redeneringen in grote taalmodellen (LLM's) produceren vaak sporen die transparant lijken, maar zelfs wanneer het uiteindelijke antwoord correct is, stilletjes kunnen afwijken van de broninformatie. Hoewel bestaande methoden hallucinaties op responsniveau kunnen detecteren of fouten op span-niveau kunnen identificeren, behandelen zij de redeneerketen als een black box. Bijgevolg slagen ze er niet in om aan te wijzen waar in de keten een fout optreedt of welk type fout het vertegenwoordigt. Bovendien is er een gebrek aan middelen die stap-niveau getrouwheidsbeoordelingen bieden specif kind van context-gegronde tekstuele redenering, wat verschilt van procesgetrouwheid (of het spoor de interne besluitvorming reflecteert) of formele verificatiedomeinen zoals wiskunde en code.

Methodologie

De Constructie van de GRACE Benchmark

De auteurs introduceren GRACE (Grounded Reasoning Assessment through Chain-of-Thought Evaluation), een stap-niveau getrouwheidsbenchmark geconstrueerd via een drietraps pijplijn:

Data Curatie en Trace Generatie:
- Bron Datasets: Vier datasets verspreid over twee redeneerdomeinen werden geselecteerd: MuSiQue en 2WikiMHQA (bewijs-gegronde multi-hop QA) en ReClor en LogiQA (deductief redeneren). Een groundedness-filter werd toegepast om ervoor te zorgen dat vragen uitsluitend op basis van de verstrekte context beantwoord konden worden.
- Model Dekking: CoT-sporen werden gegenereerd door 10 modellen (8 open-weight, 2 proprietary) variërend van 7B tot 35B parameters.
- Schaal: Dit proces leverde 160.000 sporen op met meer dan 640.000 redeneerstappen.
Bottom-Up Taxonomie Ontdekking:
- In plaats van een vooraf gedefinieerde taxonomie op te leggen, ontdekten de auteurs foutcategorieën via ongecontroleerde clustering (unsupervised clustering).
- Een LLM-judge (Qwen3.5-27B) leverde vrije vorm kritieken en tags voor 30.000 ongetrouwe stappen.
- Deze kritieken werden ge-embedded en geclusterd (UMAP + HDBSCAN), wat resulteerde in 138 initiële clusters.
- Menselijke onderzoekers voegden deze handmatig samen tot 8 onderscheidende foutcategorieën, georganiseerd in twee evaluatietracks:
  - GRACE-Inference (Deductieve Fouten): Omgekeerd Redeneren (Reversed Reasoning), Foutieve Argumentlezing (Wrong Argument Reading), Regelovertreding (Rule Violation), Overmatige Claim (Overreaching Claim).
  - GRACE-Grounding (Feitelijke Grondingsfouten): Grondingsschending (Groundedness Violation), Tegenstrijdigheid (Contradiction), Verwarring (Confusion), Negeren van Bewijs (Evidence Neglect).
Data Splitsing en Annotatie:
- Trainingsset (GRACE-train): Afgeleid van LLM-consensus (meerderheidsstemming onder drie judges) op stappen met een hoge overeenstemming, bestaande uit 6.915 sporen (29.612 stappen).
- Testset (GRACE-test): Geconstrueerd uit sporen waar LLM-judges van mening verschilden, wat hoog-complexe gevallen vertegenwoordigt. Deze werden handmatig geannoteerd door menselijke experts, wat resulteerde in 437 sporen (2.044 stappen) met een hoge inter-annotator overeenstemming ( $\kappa = 0.82$ voor getrouwheid, $\kappa = 0.75$ voor foutcategorie).

Evaluatie en Experimenten

De paper evalueert huidige modellen op de GRACE-testset met behulp van twee metrieken:

Step F1: Binaire classificatie van getrouwe versus ongetrouwe stappen.
Category F1: Macro-F1 voor foutcategorisatie onder ongetrouwe stappen.

Daarnaast onderzoeken de auteurs het nut van stap-niveau getrouwheidssignalen in Reinforcement Learning (RL) pijplijnen, specifiek gebruikmakend van Group Relative Policy Optimization (GRPO) met een Process Reward Model (PRM) getraind op GRACE-train.

Belangrijkste Resultaten

1. Benchmark Prestaties

Detectie versus Diagnose: Er is een aanzienlijk gat tussen binaire detectie (Step F1) en fijnmazige diagnose (Category F1). Zelfs het sterkste model, Gemini-3.1-Pro, daalt van 81.46 (Step F1) naar 72.08 (Category F1). Open-weight modellen vertonen een nog groter gat, wat aangeeft dat ze fouten wel kunnen detecteren, maar moeite hebben met het classificeren ervan.
Model Capaciteit: Prestaties correleren over het algemeen met de modelgrootte, maar proprietary modellen garanderen geen superieure contextuele getrouwheid (bijv. GPT-4o-mini vertoonde de hoogste foutmarge van 58.1%).
Impact van Fine-Tuning: Kleine modellen (bijv. Qwen3-4B) die zijn gefinetuned op GRACE-train bereikten prestaties die vergelijkbaar zijn met of groter zijn dan die van grotere zero-shot modellen, met name in foutcategorisatie. Dit suggereert dat expliciete training op de foutentaxonomie effectiever is dan vertrouwen op prompt-gebaseerde inferentie.

2. Analyse van Redeneerfouten

Correcte Antwoorden Maskeren Ongetrouwe Redenering: Ongeveer 49,5% van de sporen die ten minste één ongetrouwe stap bevatten, bereikte nog steeds het juiste uiteindelijke antwoord. Deze disconnect bevestigt dat output-niveau accuratesse onvoldoende is voor het evalueren van de kwaliteit van redeneringen.
Verschillen tussen Tracks: GRACE-Grounding datasets vertoonden ongeveer 1,5x meer ongetrouwe stappen dan GRACE-Inference datasets, waarschijnlijk door de complexiteit van het koppelen van feiten over meerdere passages versus enkelvoudige passage deductie.
Inference Strategie: Het expliciet verstrekken van de foutentaxonomie verbeterde de detectieprestaties. De optimale inferentiestrategie (alle stappen versus stap-voor-stap) varieerde echter per modelarchitectuur.

3. Reinforcement Learning met Process Rewards

Het integreren van stap-niveau getrouwheidssignalen in RL-training (F1 + PRM) leverde dubbel voordeel op:

Verbeterde Accuratesse: Downstream taak F1-scores namen toe vergeleken met training met enkel F1-rewards.
Verbeterde Getrouwheid: De "Faith" score (gemiddelde stap-niveau getrouwheid) nam toe, wat de spanning oploste waarbij accuratesse-georiënteerde training soms de kwaliteit van de redenering degradeerde.

Betekenis en Bijdragen

De paper claimt drie primaire bijdragen:

GRACE Benchmark: De eerste door mensen geannoteerde, stap-niveau getrouwheidsbenchmark voor context-gegronde tekstuele redenering, voorzien van een hoogwaardige evaluatieset en een op data gebaseerde foutentaxonomie.
Data-gedreven Taxonomie: Een empirische taxonomie ontdekt via ongecontroleerde clustering, die onderscheid maakt tussen GRACE-Inference (deductieve/logische fouten) en GRACE-Grounding (feitelijke/bewijskundige fouten).
Benchmarking en RL Integratie: De evaluatie onthult aanzienlijke ruimte voor verbetering bij huidige modellen, en toont aan dat stap-niveau getrouwheidsbeoordeling noodzakelijk is om fouten naar boven te brengen die verborgen blijven door outcome-metrieken. Voorts demonstreert het werk dat het integreren van contextuele getrouwheidssignalen in RL-trainingspijplijnen zowel de downstream taak accuratesse als de betrouwbaarheid van de redenering verbetert.

De auteurs concluderen dat stap-niveau getrouwheidsbeoordeling een openstaand probleem blijft, met name voor kleinere modellen, maar dat finetunen op gestructureerde getrouwheidsdata en het integreren van process rewards de prestaties en betrouwbaarheid van modellen aanzienlijk kunnen verbeteren.