💬 NLP

CRAFT: A Unified Counterfactual Reasoning Framework for Tabular Question Answering and Fact Verification

Het artikel introduceert CRAFT, een verenigd framework dat tabelredeneren en feitverificatie in grote taalmodellen verbetert door een bidirectioneel contrafactisch redeneerproces toe te passen om de beperkingen van enkelrichtingsinferentie te overwinnen en superieure prestaties op complexe datasets te bereiken.

Oorspronkelijke auteurs: Chenshuo Pan, Yu Zhao, Jie Zhang, Changzai Pan, Zhenhe Wu, Jiayi Liang, Yujie Mao, Shuangyong Song, Yongxiang Li, Zhongjiang He

Gepubliceerd 2026-06-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chenshuo Pan, Yu Zhao, Jie Zhang, Changzai Pan, Zhenhe Wu, Jiayi Liang, Yujie Mao, Shuangyong Song, Yongxiang Li, Zhongjiang He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen met behulp van een gigantisch, rommelig spreadsheet vol feiten over sport, geld of geschiedenis. Dit is waar computers (specifiek Large Language Models, of LLM's) moeite mee hebben wanneer ze vragen krijgen gebaseerd op deze tabellen. Meestal gedragen ze zich als een detective die het bewijs slechts vanuit één invalshoek bekijkt. Ze lezen de vraag, raden een antwoord en stoppen dan ook. Als ze een fout maken in hun eerste gok, houden ze daar vaak aan vast, zelfs als het bewijs niet helemaal opgaat.

Het artikel introduceert een nieuw systeem genaamd CRAFT (Counterfactual Reasoning Framework). Zie CRAFT niet als één enkele detective, maar als een team van detectives die samenwerken om elkaars theorieën uit te dagen.

Zo werkt CRAFT, onderverdeeld in eenvoudige stappen met behulp van een detective-analogie:

1. De Opzet: Een Vraag Omzetten in een Bewering

Het Probleem: De computer krijgt een vraag zoals: "Welk land won meer bronzen medailles dan China?"
CRAFT's Zet (De Herschrijver): In plaats van alleen maar te gokken, verandert het systeem de vraag eerst in een specifieke stelling, zoals een hypothese. Het zegt: "Oké, laten we aannemen dat het antwoord Japan is." Nu hebben we, in plaats van een vage vraag, een concrete bewering om te testen.

2. De Wending: Het "Wat als?" Scenario

Het Probleag: Als de computer alleen controleert of Japan het antwoord is, mist hij misschien het feit dat Zuid-Korea ook meer medailles heeft gewonnen.
CRAFT's Zet (De Omkeerder): Dit is de magische stap. Het systeem creëert een "Counterfactual" — een "Wat als?" scenario. Het neemt de oorspronkelijke bewering en draait deze om of verandert deze om een ander denkpad te creëren.

Oorspronkelijk Pad: "Japan won meer medailles dan China."
Counterfactual Pad: "Wat als Japan niet meer won? Of wat als we kijken naar de stelling: 'Zowel Japan als Zuid-Korea wonnen meer medailles'?"

Denk hierbij aan een advocaat die twee verschillende theorieën aan een jury presenteert:

Theorie A: De verdachte is schuldig.
Theorie B: Wat als de verdachte onschuldig is, of wat als een ander persoon het heeft gedaan?
Door de computer te dwingen het "Wat als?"-pad te verkennen, wordt zij gedwongen te zoeken naar bewijs dat ze in het eerste pad misschien genegeerd zou hebben.

3. Bewijs Verzamelen (De Extracteur)

Nu stuurt het systeem beide theorieën (de oorspronkelijke en de "Wat als") terug naar de tabel. Het graaft door de rijen en kolommen om bewijs te vinden voor beide kanten.

Het vindt bewijs dat Japan 77 medailles heeft.
Het vindt bewijs dat Zuid-Korea 65 medailles heeft.
Het realiseert zich dat de "Alleen Japan"-theorie incompleet was, omdat het "Wat als?"-pad onthulde dat Zuid-Korea ook een geldig antwoord was.

4. De Definitieve Beslissing (De Heroverweger)

Ten slotte kijkt een "Rechter" (de Rethinker-module) naar het bewijs van beide paden.

Als beide paden het eens zijn, is het antwoord eenvoudig.
Als ze van mening verschillen, weegt de Rechter het bewijs af. Het vraagt: "Welk pad had sterker bewijs?" of "Kunnen we deze bevindingen combineren?"
In ons voorbeeld ziet de Rechter dat het "Wat als?"-pad Zuid-Korea heeft onthuld, dus het definitieve antwoord wordt: "Japan EN Zuid-Korea."

Waarom is dit beter?

Het artikel beweert dat eerdere methoden leken op een persoon die in een rechte lijn loopt; als ze tegen een muur aanlopen, lopen ze er vaak gewoon tegenaan. CRAFT dwingt de computer om in twee richtingen tegelijk te lopen.

Het vangt meer fouten op: Door het tegenovergestelde of een alternatief standpunt te controleren, is het systeem minder geneigd belangrijke details te missen.
Het werkt op elke computerbrein: De auteurs testten dit op verschillende soorten AI-modellen (sommigen slim, sommigen minder slim) en vonden dat CRAFT hen allemaal hielp verbeteren, waarbij ze vaak de kloof tussen de "slimme" en "minder slimme" modellen verkleinden.
Het is niet alleen maar vaker gokken: De auteurs bewezen dat het simpelweg vragen aan de computer om het antwoord 10 keer te raden en de meest voorkomende te kiezen, niet zo goed werkt als de methode van CRAFT, die het probleem vanuit twee duidelijke, logische hoeken bekijkt.

De Kernboodschap

CRAFT is een framework dat AI leert om de advocaat van de duivel met zichzelf te spelen. In plaats van simpelweg de eerste gedachte te accepteren, creëert het een "Wat als?"-versie van die gedachte, controleert de feiten voor beide, en combineert vervolgens het beste bewijs om een nauwkeuriger, completer antwoord te geven. Dit maakt de AI veel beter in het lezen van complexe tabellen en het correct beantwoorden van vragen.

Technische Samenvatting: CRAFT – Een Verenigd Framework voor Contrafactisch Redeneren

1. Probleemstelling

Redeneren over tabellen blijft een aanzienlijke uitdaging voor Large Language Models (LLMs), met name wanneer taken vereisen dat er meerstaps-inferentie plaatsvindt over lange, gestructureerde tabelgegevens. Bestaande benaderingen vertrouwen voornamelijk op eenrichtingsredeneren, waarbij modellen een hypothese genereren en deze verifiëren aan de hand van de tabel. Deze unidirectionele benadering beperkt het vermogen van het model om alternatieve hypothesen te verkennen, wat vaak leidt tot broos redeneren dat faalt in het detecteren van fouten of het overwegen van tegen-scenario's. Bovendien kampen huidige methoden vaak met prestatiekloven tussen verschillende backbone LLM's en worstelen ze met het verenigen van Table Question Answering (QA) en Table Fact Verification (FV) onder één enkel paradigma.

2. Methodologie: Het CRAFT-framework

De auteurs stellen CRAFT (Counterfactual Reasoning Framework) voor, een verenigd, bidirectioneel verificatieproces dat redeneren over tabellen herformuleert tot een algemeen framework dat toepasbaar is op zowel QA als FV. Het framework werkt via vier samenwerkende modules:

2.1 Rewriter

De Rewriter transformeert open vragen voor tabel-QA naar informatieve, verifieerbare declaratieve beweringen.

Mechanisme: Het leidt het verwachte antwoordtype af (bijv. getal, tijd, boolean) uit de semantiek van de vraag zonder toegang te hebben tot de grondwaarheid. Vervolgens samplet het een type-consistente kandidaatwaarde uit de tabel om een declaratieve bewering ( $S$ ) te instantiëren.
Doel: Dit overbrugt de kloof tussen QA en FV, waardoor beide taken kunnen worden verwerkt als bewering-gebaseerde verificatieproblemen.

2.2 Reverser

De Reverser construeert een optimale contrafactische bewering ( $R^*$ ) op basis van de declaratieve bewering $S$ .

Mechanisme: In plaats van een eenvoudige binaire negatie, verkent de Reverser meerdere contrafactische richtingen. Het genereert kandidaat-contrafactische beweringen met behulp van regelgebaseerde templates en selecteert de optimale ( $R^*$ ) door te evalueren welke kandidaat de grootste structurele expansie in de redeneerruimte induceert (geproxied door de complexiteit van een gegenereerd SQL-achtig verificatieprogramma).
Doel: Om een complementair redeneerpad te creëren dat de initiële premisse uitdaagt en alternatieve scenario's verkent.

2.3 Extractor

De Extractor voert stap-voor-stap redeneren uit, geworteld in de tabel, voor zowel de oorspronkelijke bewering ( $S$ ) als de contrafactische bewering ( $R^*$ ).

Mechanisme: Het genereert twee redeneersporen: $Trace(S)$ en $Trace(R^*)$ . Uit deze sporen extraheert het bewijsstukken ( $e$ ) en evalueert het hun logische consistentie met de tabel en de vraagcontext. Geldige bewijslast wordt verzameld om bewijssets $E(S)$ en $E(R^*)$ te vormen.
Doel: Om essentiële ondersteunende bewijslast te distilleren en kandidaat-antwoorden ( $A_1$ en $A_2$ ) te genereren onder zowel feitelijke als contrafactische aannames.

2.4 Rethinker

De Rethinker aggregeert de bewijslast en kandidaat-antwoorden om een definitieve beslissing te nemen.

Mechanisme: Als $A_1$ en $A_2$ overeenkomen, wordt het antwoord geretourneerd. Als ze verschillen, berekent de module zelfconsistentiescores voor elk (antwoord, bewijs) paar. Het hanteert een gewogen beslisregel en evalueert in ambigue gevallen kandidaten opnieuw onder tegengestelde bewijslast om de consistentie van het redeneren te testen.
Doel: Om een definitieve, geverifieerde beslissing te synthetiseren door de kracht van het bewijs uit beide redeneerpaden af te wegen.

3. Belangrijkste Bijdragen

Verenigd Framework: CRAFT is het eerste framework dat Table QA en Table Fact Verification verenigt onder een gedeeld contrafactisch redeneerparadigma, waardoor de noodzaak voor taalspecifieke pipeline-engineering wordt geëlimineerd.
Bidirectioneel Redeneren: Door expliciet zowel declaratieve als contrafactische beweringen te construeren en erover te redeneren, overwint het framework de beperkingen van eenrichtings-inferentie, waardoor LLM's worden gestuurd naar meer heuristisch en onderscheidend redeneren.
Robuustheid over Modellen heen: Het framework mitigeert de prestatiekloof tussen verschillende backbone LLM's aanzienlijk, wat aantoont dat contrafactisch redeneren fungeert als een algemene heuristiek in plaats van een model-specifieke optimalisatie.

4. Experimentele Resultaten

De auteurs evalueerden CRAFT op twee standaard datasets: WikiTQ (Table QA) en TabFact (Fact Verification), met behulp van diverse backbone LLM's (Deepseek-R1-14B, Qwen2.5-72B, Llama3.3-70B, en GPT-5-mini).

Prestatiewinst: CRAFT presteerde consequent beter dan representatieve baselines (inclusief Chain-of-Table, Table-Critic en Binder).
- Op WikiTQ behaalde het een gemiddelde nauwkeurigheid van 82,4%, waarmee het de sterkste baseline met 4,7 punten versloeg.
- Op TabFact behaalde het 94,6%, waarmee het de sterkste baseline met 1,1 punt overtrof.
Model-agnosticisme: Opvallend genoeg draaide het framework de prestatiehiërarchie tussen modellen om; bijvoorbeeld overtrof Llama3.3-70B Qwen2.5-72B wanneer CRAFT werd gebruikt, terwijl Qwen normaal gesproken beter presteert dan Llama in standaardomgevingen.
Ablatiestudies:
- Zowel de Rewriter- als de Reverser-modules droegen positief bij, waarbij de combinatie de beste resultaten opleverde.
- De verbeteringen waren niet louter toe te schrijven aan herhaald sampling; CRAFT presteerde beter dan Self-Consistency en Confidence-Weighted voting methoden, wat aangeeft dat de richting van het redeneren (het verkennen van diverse semantische regio's) belangrijker is dan de hoeveelheid samples.
- Het framework vertoonde superieure robuustheid over verschillende tabelgroottes, met name bij grote tabellen waar eenrichtingsredeneren vaak degradeert.

5. Betekenis en Claims

Het artikel beweert dat CRAFT een meer principieel paradigma vestigt voor gestructureerde redeneertaken. Door contrafactische analyse expliciet te integreren, helpt het framework LLM's weg te bewegen van vaste inferentiepatronen naar robuuster, op bewijs gebaseerd redeneren.

De auteurs benadrukken dat contrafactisch redeneren effectief de broosheid van eenrichtings-inferentie aanpakt. Hoewel het framework veelbelovend is, erkennen de auteurs bescheiden de beperkingen:

Experimenten waren beperkt tot grotere modellen (14B+ parameters) vanwege de lang-context vereisten van tabelgegevens.
De huidige implementatie is toegesneden op tabelredeneren; het generaliseren naar andere domeinen (zoals tekstuele QA) blijft uitdagend vanwege de moeilijkheid om semantische consistentie te waarborgen.
De Rethinker module, hoewel effectief, heeft het potentieel van contrafactisch redeneren nog niet volledig benut en vereist verdere verfijning.

Concluderend laat CRAFT zien dat het sturen van LLM's om alternatieve hypothesen te verkennen via contrafactisch redeneren een levensvatbare en effectieve strategie is voor het verbeteren van het begrip van gestructureerde gegevens.