💬 NLP

CRAFT: A Unified Counterfactual Reasoning Framework for Tabular Question Answering and Fact Verification

Das Paper stellt CRAFT vor, ein einheitliches Framework, das das Tabellen-Reasoning und die Faktenverifizierung in großen Sprachmodellen verbessert, indem es einen bidirektionalen kontrafaktischen Reasoning-Prozess einsetzt, um die Einschränkungen der einseitigen Inferenz zu überwinden und eine überlegene Leistung bei komplexen Datensätzen zu erzielen.

Ursprüngliche Autoren: Chenshuo Pan, Yu Zhao, Jie Zhang, Changzai Pan, Zhenhe Wu, Jiayi Liang, Yujie Mao, Shuangyong Song, Yongxiang Li, Zhongjiang He

Veröffentlicht 2026-06-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chenshuo Pan, Yu Zhao, Jie Zhang, Changzai Pan, Zhenhe Wu, Jiayi Liang, Yujie Mao, Shuangyong Song, Yongxiang Li, Zhongjiang He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, indem er eine riesige, unübersichtliche Tabelle voller Fakten über Sport, Geld oder Geschichte nutzt. Genau das ist es, womit Computer (speziell Large Language Models, oder LLMs) Schwierigkeiten haben, wenn sie auf der Grundlage dieser Tabellen Fragen beantworten sollen. Normalerweise verhalten sie sich wie ein Detektiv, der die Beweise nur aus einem Blickwinkel betrachtet. Sie lesen die Frage, raten eine Antwort und hören dann auf. Wenn sie bei ihrer ersten Vermutung einen Fehler machen, halten sie oft daran fest, selbst wenn die Beweise nicht ganz dazu passen.

Das Paper stellt ein neues System namens CRAFT (Counterfactual Reasoning Framework) vor. Stellen Sie sich CRAFT nicht als einen einzelnen Detektiv vor, sondern als ein Team von Detektiven, die zusammenarbeiten, um die Theorien des jeweils anderen infrage zu stellen.

So funktioniert CRAFT, unterteilt in einfache Schritte unter Verwendung einer Detektiv-Analogie:

1. Das Setup: Eine Frage in eine Behauptung verwandeln

Das Problem: Der Computer erhält eine Frage wie: "Welches Land hat mehr Bronzemedaillen gewonnen als China?"
CRAFTS Schachzug (Der Umschreiber): Anstatt nur zu raten, verwandelt das System die Frage zuerst in eine spezifische Aussage, also eine Hypothese. Es sagt: "Okay, nehmen wir an, die Antwort ist Japan." Jetzt haben wir statt einer vagen Frage eine konkrete Behauptung, die getestet werden kann.

2. Der Twist: Das „Was wäre wenn?“-Szenario

Das Problem: Wenn der Computer nur prüft, ob Japan die Antwort ist, übersieht er vielleicht die Tatsache, dass auch Südkorea mehr Medaillen gewonnen hat.
CRAFTS Schachzug (Der Reverser): Dies ist der magische Schritt. Das System erstellt ein „Counterfactual“ – ein „Was wäre wenn?“-Szenario. Es nimmt die ursprüngliche Behauptung und dreht sie um oder verändert sie, um einen anderen Denkpfad zu kreieren.

Ursprünglicher Pfad: „Japan hat mehr Medaillen gewonnen als China.“
Counterfactual-Pfad: „Was wäre, wenn Japan nicht mehr gewonnen hätte? Oder was wäre, wenn wir uns die Aussage ansehen: ‚Sowohl Japan als auch Südkorea haben mehr Medaillen gewonnen‘?“

Stellen Sie sich das wie einen Anwalt vor, der zwei verschiedene Theorien vor einem Geschworenen präsentiert:

Theorie A: Der Verdächtige ist schuldig.
Theorie B: Was wäre, wenn der Verdächtige unschuldig ist, oder was wäre, wenn eine andere Person es war?
Indem das System gezwungen wird, den „Was wäre wenn?“-Pfad zu erkunden, wird es gezwungen, nach Beweisen zu suchen, die es im ersten Pfad vielleicht ignoriert hätte.

3. Beweise sammeln (Der Extraktor)

Nun schickt das System beide Theorien (die ursprüngliche und das „Was wäre wenn?“) zurück an die Tabelle. Es durchsucht die Zeilen und Spalten, um Beweise für beide Seiten zu finden.

Es findet den Beweis, dass Japan 77 Medaillen hat.
Es findet den Beweis, dass Südkorea 65 Medaillen hat.
Es erkennt, dass die „Nur Japan“-Theorie unvollständig war, da der „Was wäre wenn?“-Pfad enthüllte, dass auch Südkorea eine gültige Antwort ist.

4. Die endgültige Entscheidung (Der Rethinker)

Schließlich betrachtet ein „Richter“ (das Rethinker-Modul) die Beweise aus beiden Pfaden.

Wenn beide Pfade übereinstimmen, ist die Antwort einfach.
Wenn sie sich widersprechen, wiegt der Richter die Beweise ab. Er fragt: „Welcher Pfad hatte den stärkeren Beweis?“ oder „Können wir diese Funde kombinieren?“
In unserem Beispiel sieht der Richter, dass der „Was wäre wenn?“-Pfad Südkorea aufgedeckt hat, sodass die endgültige Antwort lautet: „Japan UND Südkorea.“

Warum ist das besser?

Das Paper behauptet, dass bisherige Methoden wie eine Person waren, die in einer geraden Linie geht; wenn sie auf eine Wand stößt, gehen sie vielleicht einfach weiter gegen sie. CRAFT zwingt den Computer, in zwei Richtungen gleichzeitig zu gehen.

Es deckt mehr Fehler auf: Durch das Überprüfen der gegenteiligen oder alternativen Sichtweise ist das System weniger wahrscheinlich, wichtige Details zu übersehen.
Es funktioniert auf jedem Computergehirn: Das Paper hat dies an verschiedenen Arten von KI-Modellen getestet (einige kluge, einige weniger kluge) und festgestellt, dass CRAFT ihnen allen half, besser zu werden, wobei es oft die Lücke zwischen den „klugen“ und den „weniger klugen“ Modellen schloss.
Es ist nicht nur mehr Raten: Die Autoren haben bewiesen, dass es nicht so gut funktioniert, den Computer einfach 10 Mal die Antwort raten zu lassen und die häufigste zu wählen, wie die Methode von CRAFT, die das Problem aus zwei unterschiedlichen, logischen Blickwinkeln betrachtet.

Das Fazate

CRAFT ist ein Framework, das KI lehrt, gegen sich selbst als Advokat aufzutreten. Anstatt einfach nur ihre erste Idee zu akzeptieren, erstellt sie eine „Was wäre wenn?“-Version dieser Idee, prüft die Fakten für beide und kombiniert dann die besten Beweise, um eine genauere, vollständigere Antwort zu geben. Dies macht die KI viel besser darin, komplexe Tabellen zu lesen und Fragen korrekt zu beantworten.

Technisches Resümee: CRAFT – Ein vereinheitlichtes Framework für kontrafaktisches Denken

1. Problemstellung

Die Tabellen-Argumentation (Table Reasoning) bleibt eine erhebliche Herausforderung für Large Language Models (LLMs), insbesondere wenn Aufgaben mehrstufige Inferenzen über lange, strukturierte tabellarische Daten erfordern. Bestehende Ansätze stützen sich überwiegend auf einseitiges Denken (single-direction reasoning), bei dem Modelle eine Hypothese generieren und diese gegen die Tabelle verifizieren. Dieser unidirektionale Ansatz begrenzt die Fähigkeit des Modells, alternative Hypothesen zu explorieren, was häufig zu einem spröden Denkprozess führt, der Fehler nicht erkennt oder Gegen-Szenarien nicht berücksichtigt. Darüber hinaus leiden aktuelle Methoden oft unter Leistungsunterschieden zwischen verschiedenen Backbone-LLMs und haben Schwierigkeiten, Table Question Answering (QA) und Table Fact Verification (FV) unter einem einzigen Paradigma zu vereinheitlichen.

2. Methodik: Das CRAFT-Framework

Die Autoren schlagen CRAFT (Counterfactual Reasoning Framework) vor, einen vereinheitlichten, bidirektionalen Verifizierungsprozess, der die Tabellen-Argumentation in ein allgemeines Framework umformuliert, das sowohl für QA als auch für FV anwendbar ist. Das Framework operiert durch vier kooperative Module:

2.1 Rewriter

Der Rewriter transformiert offene Tabellen-QA-Aufgaben in informative, verifizierbare deklarative Aussagen.

Mechanismus: Er inferiert den erwarteten Antworttyp (z. B. Zahl, Zeit, Boolean) aus der Semantik der Frage, ohne Zugriff auf die Ground Truth zu haben. Anschließend sampelt er einen typengerechten Kandidatenwert aus der Tabelle, um eine deklarative Aussage ( $S$ ) zu instanziieren.
Ziel: Dies schließt die Lücke zwischen QA und FV, indem beide Aufgaben als aussagebasierte Verifizierungsprobleme verarbeitet werden können.

2.2 Reverser

Der Reverser konstruiert eine optimale kontrafaktische Aussage ( $R^*$ ) basierend auf der deklarativen Aussage $S$ .

Mechanismus: Anstatt einer einfachen binären Negation exploriert der Reverser mehrere kontrafaktische Richtungen. Er generiert Kandidaten für Kontrafakten mittels regelbasierter Templates und wählt die optimale Aussage ( $R^*$ ), indem er evaluiert, welche Kandidaten die größte strukturelle Expansion im Denkraum induzieren (gemessen an der Komplexität eines generierten SQL-ähnlichen Verifizierungsprogramms).
Ziel: Einen komplementären Denkpfad zu schaffen, der die ursprüngliche Prämisse infrage stellt und alternative Szenarien untersucht.

2.3 Extractor

Der Extractor führt eine schrittweise Argumentation durch, die in der Tabelle fundiert ist, sowohl für die ursprüngliche Aussage ( $S$ ) als own für die kontrafaktische Aussage ( $R^*$ ).

Mechanismus: Er generiert zwei Denkpfade (Reasoning Traces): $Trace(S)$ und $Trace(R^*)$ . Aus diesen Pfaden extrahiert er Evidenz-Elemente ( $e$ ) und evaluiert deren logische Konsistenz mit der Tabelle und dem Kontext der Frage. Valide Evidenzen werden zu Evidenz-Sets $E(S)$ und $E(R^*)$ akkumuliert.
Ziel: Essenzielle stützende Evidenzen zu destillieren und Kandidatenantworten ( $A_1$ und $A_2$ ) unter sowohl faktischen als auch kontrafaktischen Annahmen zu generieren.

2.4 Rethinker

Der Rethinker aggregiert die Evidenzen und Kandidatenantworten, um eine endgültige Entscheidung zu treffen.

Mechanismus: Wenn $A_1$ und $A_2$ übereinstimmen, wird die Antwort zurückgegeben. Wenn sie divergieren, berechnet das Modul die Self-Consistency-Scores für jedes (Antwort, Evidenz)-Paar. Es verwendet eine gewichtete Entscheidungsregel und re-evaluiert in Zweifelsfällen Kandidaten unter gegensätzlicher Evidenz, um die Konsistenz der Argumentation zu testen.
Ziel: Eine endgültige, verifizierte Entscheidung zu synthetisieren, indem die Stärke der Evidenz aus beiden Denkpfaden abgewogen wird.

3. Kernbeiträge

Vereinheitlichtes Framework: CRAFT ist das erste Framework, das Table QA und Table Fact Verification unter einem gemeinsamen Paradigma des kontrafaktischen Denkens vereinheitlicht und somit das Bedürfnis nach aufgabenspezifischem Pipeline-Engineering eliminiert.
Bidirektionales Denken: Durch die explizite Konstruktion und Untersuchung sowohl deklarativer als auch kontrafaktischer Aussagen überwindet das Framework die Einschränkungen der unidirektionalen Inferenz und führt LLMs zu einem heuristischeren und differenzierteren Denken.
Robustheit gegenüber Modellen: Das Framework mildert die Leistungsunterschiede zwischen verschiedenen Backbone-LLMs signifikant ab und zeigt, dass kontrafaktisches Denken als allgemeine Heuristik und nicht als modellspezifische Optimierung fungiert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CRAFT auf zwei Standard-Datensätzen: WikiTQ (Table QA) und TabFact (Fact Verification), unter Verwendung diverser Backbone-LLMs (Deepseek-R1-14B, Qwen2.5-72B, Llama3.3-70B und GPT-5-mini).

Leistungssteigerungen: CRAFT übertraf konsistent repräsentative Baselines (einschließlich Chain-of-Table, Table-Critic und Binder).
- Auf WikiTQ erreichte es eine durchschnittliche Genauigkeit von 82,4 % und übertraf damit die stärkste Baseline um 4,7 Punkte.
- Auf TabFact erreichte es 94,6 % und übertraf damit die stärkste Baseline um 1,1 Punkte.
Modell-Agnostik: Bemerkenswerterweise kehrte das Framework die Leistungs-Hierarchie zwischen den Modellen um; so übertraf beispielsweise Llama3.3-70B Qwen2.5-72B unter Verwendung von CRAFT, während Qwen in Standard-Settings typischerweise Llama übertrifft.
Ablationsstudien:
- Sowohl die Rewriter- als auch die Reverser-Module trugen positiv bei, wobei die Kombination die besten Ergebnisse lieferte.
- Die Verbesserungen resultierten nicht bloß aus wiederholtem Sampling; CRAFT war leistungsfähiger als Self-Consistency und Confidence-Weighted Voting-Methoden, was darauf hindeutet, dass die Richtung des Denkens (die Exploration diverser semantischer Regionen) entscheidender ist als die Quantität der Samples.
- Das Framework zeigte eine überlegene Robustheit über verschiedene Tabellengrößen hinweg, insbesondere bei großen Tabellen, bei denen das unidirektionale Denken oft an Qualität verliert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CRAFT ein fundierteres Paradigma für strukturierte Denkaufgaben etabliert. Durch die explizite Integration kontrafaktischer Analysen hilft das Framework LLMs, sich von festgefahrenen Inferenzmustern hin zu einem robusteren, evidenzbasierten Denken zu bewegen.

Die Autoren betonen, dass kontrafaktisches Denken die Sprödigkeit der unidirektionalen Inferenz effektiv adressiert. Während das Framework erhebliches Potenzial zeigt, räumen die Autoren auch bescheiden gewisse Einschränkungen ein:

Die Experimente beschränkten sich aufgrund der Long-Context-Anforderungen tabellarischer Daten auf größere Modelle (14B+ Parameter).
Die aktuelle Implementierung ist auf Tabellen-Argumentation zugeschnitten; die Generalisierung auf andere Domänen (wie textbasierte QA) bleibt aufgrund der Schwierigkeit, die semantische Konsistenz zu gewährleisten, eine Herausforderung.
Das Rethinker-Modul hat das Potenzial des kontrafaktischen Denkens zwar bereits effektiv genutzt, jedoch noch nicht voll ausgeschöpft und bedarf weiterer Verfeinerung.

Zusammenfassend lässt sich sagen, dass CRAFT demonstriert, dass die Anleitung von LLMs zur Untersuchung alternativer Hypothesen durch kontrafaktisches Denken eine lebensfähige und effektive Strategie zur Verbesserung des Verständnisses strukturierter Daten darstellt.