C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning

Dit paper introduceert C2-Faith, een benchmark op basis van PRM800K die de betrouwbaarheid van LLM-jurissen meet bij het beoordelen van oorzakelijke samenhang en volledigheid in chain-of-thought-redeneringen, en laat zien dat de prestaties sterk afhangen van de taakstelling en dat er aanzienlijke beperkingen zijn in het lokaliseren van fouten en het correct beoordelen van onvolledige redeneringen.

De kern

C2-Faith: De "Eerlijkheids-Test" voor Slimme Computers

Stel je voor dat je een zeer slimme, maar soms wat overdreven beleefde robot hebt die wiskundepuzzels oplost. Deze robot schrijft niet alleen het antwoord op, maar legt ook stap voor stap uit hoe hij tot dat antwoord komt. Dit noemen we "Chain-of-Thought" (een denkrijtje).

Nu willen we weten: Is die robot eerlijk? Of maakt hij gewoon een mooi verhaal dat klinkt alsof het logisch is, terwijl hij eigenlijk op een heel andere manier tot het antwoord is gekomen?

De auteurs van dit paper hebben een nieuwe test bedacht, genaamd C2-Faith, om precies dat te checken. Ze kijken naar twee dingen: Causaliteit (Logica) en Coverage (Volledigheid).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Twee Dingen die ze Checken

Stel je voor dat de robot een verhaal vertelt over hoe hij een taart bakt.

• Causaliteit (Logica): "Klopt het verhaal?"
  • Voorbeeld: De robot zegt: "Ik heb de eieren geklopt, dus nu kan ik de auto starten."
  • Dat klinkt misschien als een zin, maar het klopt niet. Stap 2 volgt niet logisch uit stap 1. De test checkt of elke stap een logisch vervolg is op de vorige.
• Coverage (Volledigheid): "Ontbreekt er iets belangrijks?"
  • Voorbeeld: De robot zegt: "Ik heb de eieren geklopt en de taart is klaar."
  • Hij vergeet de bloem, de suiker en de oven. Het verhaal klinkt misschien soepel, maar er zijn cruciale stappen overgeslagen. De test checkt of het verhaal compleet is.

2. Hoe hebben ze de test gemaakt? (De "Vervalsing")

Om te zien of de robot (of andere robots die als scheidsrechter fungeren) dit echt ziet, hebben de onderzoekers slimme trucs uitgehaald met een grote verzameling van goede wiskundeverklaringen:

• De "Valse Stap" (Causaliteit): Ze namen een perfecte uitleg en vervingen één stap in het midden door een nep-versie.
  • Analogie: Het is alsof je in een recept voor pannenkoeken de zin "voeg de melk toe" vervangt door "voeg de tandpasta toe". Het klinkt als een zin, maar het is logisch onzin.
• De "Verdwijntruc" (Coverage): Ze haalden willekeurig een aantal stappen uit het midden van het verhaal.
  • Analogie: Je pakt een recept, veegt de helft van de instructies weg (zoals "bak 10 minuten"), en kijkt of de robot dat gemerkt heeft.

3. De Scheidsrechters (De "Jury")

Ze hebben drie van de slimste AI-modellen ter wereld (GPT-4.1, DeepSeek-V3.1 en o4-mini) ingezet als scheidsrechter. Hun taak was:

1. Zeggen of een stap logisch klopt (Ja/Nee).
2. Aangeven welke stap fout is.
3. Een cijfer geven voor hoe compleet het verhaal is (van 0 tot 4).

4. Wat bleek eruit? (De Verassende Resultaten)

De resultaten waren verrassend en leerzaam:

• Geen enkele "Super-Scheidsrechter": Er was geen enkele robot die in alles de beste was.
  • DeepSeek was supergoed in het zien van één fout in een korte zin (zoals een detective die een klein detail ziet).
  • o4-mini was de beste in het vinden van de exacte fout in een heel lang verhaal (zoals een detective die een heel dossier doorzoekt).
  • GPT-4.1 zat ergens in het midden.
• Het "Ik zie iets, maar weet niet wat"-probleem: Alle robots merkten vaak dat er iets mis was (bijvoorbeeld: "Dit verhaal klopt niet!"), maar ze konden vaak niet precies zeggen waar het mis was. Ze konden de fout ruiken, maar niet vinden.
• De "Compleetheids-Bluf": Dit was het grootste probleem. Als er veel stappen uit een verhaal werden gehaald, gaven de robots nog steeds hoge cijfers (bijvoorbeeld een 3 of 4 van de 4).
  • Waarom? Omdat het verhaal er nog steeds "mooi" uitzag. De robots werden bedrogen door de oppervlakte. Ze dachten: "Oh, het klinkt als een compleet verhaal," terwijl ze eigenlijk 70% van de inhoud misten. Ze waren te aardig en gaven te snel een goed cijfer.

5. Wat betekent dit voor ons?

Deze test laat zien dat we niet zomaar op AI-scheidsrechters kunnen vertrouwen als we willen weten of een AI echt goed redeneert.

• Tip 1: Als je wilt checken of een specifieke stap logisch is, gebruik dan DeepSeek.
• Tip 2: Als je wilt weten of een heel verhaal compleet is, gebruik dan o4-mini, maar wees voorzichtig: ze geven vaak te hoge cijfers als er veel mist.
• Tip 3: Wees kritisch. AI's zijn goed in het klinken als slimme mensen, maar ze zijn nog niet perfect in het zien van hun eigen logische gaten of het tellen van ontbrekende puzzelstukjes.

Kortom: C2-Faith is een nieuwe spiegel die we voor de slimste computers hebben gehouden. Het laat zien dat ze soms heel slim zijn, maar ook heel makkelijk te bedotten zijn als het gaat om het controleren van hun eigen eerlijkheid.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning", geschreven in het Nederlands.

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt als "rechters" (judges) om de redeneerkwaliteit van andere modellen te beoordelen, vooral bij taken die Chain-of-Thought (CoT) verklaringen vereisen. Een kritiek punt is echter dat het onduidelijk is of deze LLM-rechters de trouw (faithfulness) van het redeneerproces daadwerkelijk kunnen beoordelen, of dat ze alleen de plausibiliteit van het eindantwoord evalueren.

Een CoT kan het juiste antwoord geven terwijl het logisch ongeldige tussenstappen bevat, essentiële afleidingen overslaat, of een conclusie post-hoc rationaliseert. Als geautomatiseerde rechters deze ontrouw niet detecteren, verspreidt dit zich stilzwijgend naar downstream-systemen (zoals bij Process Reward Model training of RLHF). Bestaande benchmarks focussen voornamelijk op antwoordkwaliteit of stijl, en missen een gestructureerde evaluatie van proces-trouw op stap-niveau met grondwaarheid (ground truth).

2. Methodologie: De C2-Faith Benchmark

De auteurs introduceren C2-Faith, een diagnostische benchmark gebouwd op basis van het PRM800K-dataset (een dataset met menselijke labels voor wiskundige redeneerstappen). De kern van de methodologie is het creëren van gecontroleerde perturbaties (verstoringen) om twee complementaire dimensies van trouw te testen:

1. Causaliteit (Causality): Heeft elke redeneerstap logisch gevolgd uit de voorgaande context?

   • Methode: Een enkele stap in het midden van een perfect geannoteerde keten wordt vervangen door een "acausale variant". Deze variant is door een LLM gegenereerd om oppervlakkig plausibel te lijken, maar logisch inconsistent met de vorige stap.
   • Doel: Testen of de rechter de logische breuk kan detecteren.

2. Dekking (Coverage): Zijn de essentiële tussenstappen aanwezig?

   • Methode: Een bepaald percentage (10%, 30%, 50%, 70%) van de stappen in het midden van de keten wordt verwijderd. De resterende stappen behouden hun volgorde om oppervlakkige coherentie te behouden.
   • Doel: Testen of de rechter kan beoordelen of het redeneerproces compleet is, ondanks dat het antwoord correct lijkt.

Evaluatie Taken:
De benchmark evalueert drie frontier-modellen (GPT-4.1, DeepSeek-V3.1, en o4-mini) op drie taken:

• Exp 1 (Binaire Detectie): Geef een binair oordeel (0 of 1) of een specifieke stap logisch volgt uit de context.
• Exp 2 (Locatie): Identificeer de index van de eerste ontrouwe stap in een volledige keten.
• Coverage Scoring: Geef een score van 0 tot 4 voor de volledigheid van een gedegradeerde keten.

3. Belangrijkste Bijdragen

• Eerste Benchmark voor Proces-Trouw: C2-Faith is de eerste benchmark die causale validiteit en redeneercompleetheid systematisch scheidt met gecontroleerde perturbaties en exacte grondwaarheid.
• Gestructureerde Evaluatie: Het biedt een protocol voor het testen van LLM-rechters op binaire detectie, stap-localisatie en dekkingsscores.
• Gedetailleerde Analyse van Foutpatronen: Het paper onthult fundamentele verschillen in hoe modellen fouten detecteren versus lokaliseren, en identificeert systematische bias (zoals vroege voorspelling en score-inflatie).

4. Resultaten

De resultaten tonen aan dat er geen enkele "beste" rechter bestaat voor alle scenario's; de rangschikking hangt sterk af van de taakstelling.

• Detectie vs. Localisatie (De "Gap"):

  • Alle modellen kunnen vaak detecteren dat er een fout is (hoge detectiepercentages: 82-94%), maar het is veel moeilijker om de exacte stap te lokaliseren (exact match daalt naar 55-68%).
  • Er is een significante kloof tussen "iets is fout" en "dit is de fout".

• Modellenspecifieke Prestaties:

  • DeepSeek-V3.1: Uitstekend in Exp 1 (binaire detectie van causale fouten, 94.7%), maar presteert slecht in localisatie (55.8% exact match) en faalt bijna volledig bij Coverage-taken bij lage deletiepercentages (correlatie met grondwaarheid is bijna nul). Het neigt ertoe om onvolledige ketens als compleet te beoordelen ("ceiling collapse").
  • o4-mini: De beste overall rechter. Het presteert het best in Exp 2 (localisatie, 68.0% exact match) en heeft de sterkste correlatie bij coverage-scoring. Het is het meest gebalanceerd.
  • GPT-4.1: Presteert gemiddeld, met een hogere vals-positieve rate bij detectie (accepteert corrupte stappen vaker) maar redelijke coverage-tracking.

• Systematische Bias:

  • Score Inflatie: Alle rechters geven te hoge scores voor onvolledige redeneerketens. Zelfs bij 70% verwijderde stappen geven ze nog gemiddeld een score van ~3.0 (waar 4 perfect is).
  • Vroege Voorspelling: Bij het lokaliseren van fouten neigen alle modellen om de fout te vroeg te plaatsen (negatieve signed error), wat suggereert dat ze zoeken naar de eerste mogelijke onrust in de keten in plaats van de exacte breuk.

• Structuur van Fouten:

  • Fouten met een hoge dichtheid aan wiskundige symbolen zijn makkelijker te detecteren dan fouten die puur op natuurlijke taal zijn gebaseerd.
  • "Matige herschrijvingen" (moderate rewrites) zijn het moeilijkst te detecteren omdat ze voldoende structuur behouden om plausibel te lijken, maar genoeg veranderen om de logica te breken.

5. Betekenis en Conclusie

De studie biedt praktische richtlijnen voor het gebruik van LLM-rechters in procesevaluatie:

1. Gebruik DeepSeek-V3.1 voor het valideren van individuele stappen wanneer de context (oracle context) bekend is (Exp 1 setting).
2. Gebruik o4-mini voor het auditen van volledige redeneerketens of het beoordelen van dekking/compleetheid.
3. Wees voorzichtig met Coverage-scores: Bij hoge niveaus van onvolledigheid (>50%) zijn de scores van LLM-rechters onbetrouwbaar door inflatiebias.
4. Correctie voor Bias: Bij het gebruik van door rechters geïdentificeerde stapindices voor automatische correctie, moet rekening worden gehouden met de neiging om fouten te vroeg te lokaliseren.

Conclusie: C2-Faith laat zien dat LLM-rechters kwetsbaar zijn voor oppervlakkige coherentie en dat hun betrouwbaarheid sterk afhangt van de specifieke evaluatietask. Het paper benadrukt de noodzaak van gespecialiseerde, kalibratiebewuste benchmarks om proces-trouw in CoT-redenering daadwerkelijk te meten en te verbeteren.