💬 NLP

TraceBack: Multi-Agent Decomposition for Fine-Grained Table Attribution

Die Arbeit stellt TraceBack vor, ein modularer Multi-Agenten-Rahmenwerk für die feingranulare Zell-Zuordnung bei Tabellen-Frageantworten, ergänzt durch den neuen Benchmark CITEBench und die referenzfreie Metrik FairScore, um die Nachvollziehbarkeit und Evaluierung von Tabellen-QA-Systemen zu verbessern.

Ursprüngliche Autoren: Tejas Anvekar, Junha Park, Rajat Jha, Devanshu Gupta, Poojah Ganesan, Puneeth Mathur, Vivek Gupta

Veröffentlicht 2026-02-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tejas Anvekar, Junha Park, Rajat Jha, Devanshu Gupta, Poojah Ganesan, Puneeth Mathur, Vivek Gupta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du bist ein Detektiv, der einen riesigen, chaotischen Aktenordner (eine Tabelle) untersucht, um eine Frage zu beantworten. Das Problem ist: Wenn ein Computer (eine KI) dir die Antwort gibt, vertraust du ihr nicht ganz. Sie könnte einfach raten oder Dinge erfinden, die nicht in den Akten stehen.

Die Forscher von diesem Papier haben eine Lösung namens TRACEBACK entwickelt. Hier ist die einfache Erklärung, wie das funktioniert, ohne Fachchinesisch:

1. Das Problem: Der "Magische" Antwort-Generator

Bisherige KIs waren wie Zauberer. Sie sagten dir: "Der Wind ist am effizientesten!" Aber sie zeigten dir nicht, woher sie das wussten. War es aus der Zeile über Windkraft? Oder haben sie einfach nur geraten? Ohne Beweise ist das in wichtigen Situationen (wie bei medizinischen oder finanziellen Fragen) gefährlich.

2. Die Lösung: TRACEBACK – Das Team aus Detektiven

Statt eines einzelnen Zauberers hat TRACEBACK ein Team aus spezialisierten Agenten (wie eine gut organisierte Detektiveinheit). Sie gehen das Problem Schritt für Schritt durch:

Agent 1 (Der Filter): "Halt! Wir brauchen nicht den ganzen Aktenordner." Dieser Agent schaut sich die Frage an und wirft alle irrelevanten Spalten weg. Er sagt: "Wir brauchen nur die Spalten für 'Kosten' und 'Effizienz', alles andere ist Müll."
Agent 2 (Der Sucher): "Okay, welche Zeilen passen?" Er filtert die verbleibenden Daten. "Nur die Zeilen, wo die Kosten unter 50 liegen."
Agent 3 (Der Zerleger): "Die Frage ist zu kompliziert." Er bricht die große Frage in kleine, einfache Teile auf. Statt "Was ist am besten?" fragt er erst: "Was kostet weniger als 50?", dann "Was ist skalierbar?", und erst am Ende "Was ist am effizientesten?".
Agent 4 (Der Beweis-Sammler): "Hier ist der Beweis!" Für jeden kleinen Teil der Antwort zeigt er dir genau die eine Zelle im Aktenordner, die das beweist.
Agent 5 (Der Zusammensteller): Er klebt alle kleinen Beweise wieder zu einer großen, nachvollziehbaren Antwort zusammen.

Das Ergebnis: Wenn die KI sagt "Windkraft ist am effizientesten", zeigt sie dir nicht nur das Wort "Windkraft", sondern auch genau die Zelle mit den Kosten und die Zelle mit der Skalierbarkeit, die zu dieser Schlussfolgerung geführt haben. Das nennt man feingranulare Attribution (feine Beweisführung).

3. Der neue Test: CITEBENCH

Um zu prüfen, ob ihre Detektive gut arbeiten, haben sie einen neuen Test entwickelt, den sie CITEBENCH nennen.

Das Problem mit alten Tests: Bisherige Tests waren wie ein Quiz, bei dem man nur sagen musste, ob die Antwort "richtig" oder "falsch" ist. Sie haben nicht geprüft, ob die KI die richtigen Aktenblätter benutzt hat.
Der neue Test: CITEBENCH ist wie ein detaillierter Korrekturblock. Die Forscher haben 1.500 Beispiele manuell geprüft und genau markiert: "Diese Zelle gehört zu diesem Wort in der Antwort." So können sie sehen, ob TRACEBACK wirklich die richtigen Beweise findet oder nur Glück hat.

4. Der neue Maßstab: FAIRSCORE – Der "Beweis-Check"

Ein großes Problem bei solchen Tests ist, dass man für jedes Beispiel einen Menschen braucht, um die Beweise zu prüfen. Das ist teuer und langsam.
Dafür haben sie FAIRSCORE erfunden. Stell dir das wie einen automatischen Richter vor:

Der Richter nimmt die Beweise, die die KI gefunden hat (die Zellen).
Er wandelt diese Zellen in einfache Sätze um (z. B. "Die Zelle sagt: Wind kostet 30-40").
Dann vergleicht er diese Sätze mit der Antwort der KI.
Die Frage: Decken die Beweise die Antwort ab? Und sind die Beweise wirklich notwendig?
Der Clou: FAIRSCORE braucht keine menschlichen Korrektoren mehr, um zu sagen, wie gut die KI ist. Er kann das automatisch berechnen, indem er prüft, ob die Fakten logisch zusammenpassen.

Zusammenfassung in einer Metapher

Stell dir vor, du fragst deinen Schüler: "Wie hast du diese Matheaufgabe gelöst?"

Die alte KI sagt nur: "Das Ergebnis ist 42." (Kein Beweis, man weiß nicht, ob er geraten hat).
TRACEBACK sagt: "Ich habe erst die Zahlen aus der Tabelle genommen (Zeile 3, Spalte 2), dann habe ich sie addiert (Zeile 4, Spalte 1), und das Ergebnis ist 42."
FAIRSCORE ist der Lehrer, der den Lösungsweg des Schülers liest und prüft: "Ja, die Schritte passen zur Antwort, auch wenn ich nicht jeden einzelnen Schritt von Hand nachrechnen muss."

Warum ist das wichtig?
Weil wir KIs mehr vertrauen können, wenn sie uns nicht nur die Antwort, sondern auch den genauen Weg dorthin zeigen – und zwar so genau, dass wir jeden einzelnen Beweis nachvollziehen können. Das macht KI sicherer und transparenter, besonders in Bereichen wie Medizin, Finanzen oder Wissenschaft.

1. Problemstellung

Fragenbeantwortung (QA) über strukturierte Tabellen erfordert nicht nur korrekte Antworten, sondern auch Transparenz darüber, welche Zellen diese Antworten stützen. Bestehende Systeme liefern selten eine feingranulare Attribution auf Zellebene.

Mangelnde Verifizierbarkeit: Selbst korrekte Antworten fehlen oft eine überprüfbare Grundlage, was das Vertrauen in hochriskanten Szenarien (z. B. Finanzanalyse, Wissenschaft) mindert.
Limitationen bestehender Ansätze: Vorherige Arbeiten wie MATSA arbeiten nur auf der Ebene von Zeilen und Spalten (Row-Column-Granularität) und ignorieren Phrasen-zu-Zelle-Alignments sowie Zwischenschritte im reasoning-Prozess.
Herausforderung: Strukturierte Daten erfordern das Identifizieren von expliziten und impliziten Beweisen (z. B. Zellen für Start- und Endzeit, um eine Dauer zu berechnen), die oft nicht direkt im Antworttext vorkommen.
Evaluation: Die manuelle Annotation von Zellen ist teuer und subjektiv, und bestehende Benchmarks (wie TabCite) leiden unter Rauschen und fehlender Phrasen-Alignment.

2. Methodik: TRACEBACK

TRACEBACK ist ein modulares Multi-Agent-Framework, das auf Large Language Models (LLMs) basiert, um eine skalierbare, feingranulare Attribution auf Zellebene für Single-Table-QA durchzuführen. Der Prozess verläuft sequentiell in fünf Schritten:

Identifikation relevanter Spalten (Column Relevance): Ein Agent wählt die für die Antwort notwendigen Spalten aus (sowohl explizite als auch implizite, z. B. Spalten für Berechnungen).
Extraktion von Beweiszeilen (Evidence Span Extractor): Basierend auf den Spalten werden Zeilen gefiltert, die für die Antwort relevant sind (Schema-bewusstes Filtern).
Zerlegung der Anfrage (Query Decomposition): Die ursprüngliche Frage wird in semantisch kohärente Teilfragen zerlegt, die den einzelnen Schritten des reasoning-Prozesses entsprechen. Dies deckt implizite Abhängigkeiten auf.
Attribution der Teilabfragen (Sub-Query Attribution): Jeder Teilfrage werden spezifische Zellen zugeordnet, die als Beweis dienen. Dies ermöglicht das Erfassen impliziter Evidenz.
Finale Attribution: Ein Agent konsolidiert alle Zwischenergebnisse zu einer vollständigen Abbildung von Antwort-Phrasen zu Tabellenzellen.

3. Schlüsselbeiträge

A. CITEBENCH Benchmark

Um eine systematische Evaluation zu ermöglichen, wurde CITEBENCH eingeführt.

Daten: 1.500 manuell annotierte Beispiele aus den Datensätzen ToTTo, FetaQA und AITQA.
Innovation: Im Gegensatz zu vorherigen Benchmarks bietet CITEBENCH eine Phrasen-zu-Zelle-Alignment für sowohl die finale Antwort als auch für intermediäre reasoning-Schritte.
Qualität: Die Annotationen wurden manuell überprüft (Inter-Annotator-Übereinstimmung $\kappa = 0.72$ ), um das Rauschen früherer Datensätze zu eliminieren.

B. TRACEBACK Framework

Ein modularer Ansatz, der Schema-Bewusstsein, Fragezerlegung und feingranulare Zellen-Verankerung kombiniert, um sowohl explizite als auch implizite Beweise zu identifizieren.

C. FAIRSCORE Metrik

Da manuelle Zellen-Annotationen teuer sind, wurde FAIRSCORE als referenzfreie Metrik entwickelt.

Funktionsweise: Sie vergleicht atomare Fakten, die aus den vorhergesagten Zellen extrahiert wurden, mit atomaren Fakten aus der Antwort.
Prozess:
1. Konvertierung von Zellen in atomare Fakten (Wert + Spaltenheader).
2. Zerlegung der Antwort in atomare Fakten.
3. Ausrichtung (Alignment) der Fakten-Sets mittels eines LLMs (Entailment-basiert).
Vorteil: Ermöglicht die Schätzung von Präzision und Recall ohne goldene Zell-Labels und ist skalierbar.

4. Ergebnisse

Performance von TRACEBACK

In Experimenten auf CITEBENCH (ToTTo, FetaQA, AITQA) übertrifft TRACEBACK starke Baselines (wie Few-shot ICL, SBERT+Retrieval, INSEQ) signifikant:

Zellen-Ebene: TRACEBACK zeigt die größten Verbesserungen. Auf FetaQA steigt die Präzision von 56,50 % (Beste Baseline) auf 89,81 % und der Recall von 46,16 % auf 78,84 %.
Robustheit: Durch das Schema-bewusste Filtern und die Zerlegung der Fragen vermeidet TRACEBACK das „Over-Retrieval" (zu viele irrelevante Zellen), das bei Baselines häufig vorkommt.
Ablationsstudien: Die Entfernung von Komponenten wie der „Query Decomposition" führt zu einem deutlichen Leistungsabfall, was die Wichtigkeit der Zerlegung für das Erfassen von Zwischenschritten unterstreicht.

Validierung von FAIRSCORE

Korrelation: FAIRSCORE korreliert stark mit menschlichen Urteilen und behält die relative Rangfolge der Methoden bei, auch wenn es absolute Werte leicht unterschätzt.
Skalierbarkeit: FAIRSCORE konnte erfolgreich auf „Silver Sets" (Daten ohne manuelle Zellen-Labels) angewendet werden und lieferte konsistente Ergebnisse im Vergleich zu den Gold-Sets.

5. Bedeutung und Ausblick

Vertrauen und Transparenz: TRACEBACK adressiert das kritische Problem der „Black-Box"-Natur von LLMs in strukturierten Umgebungen, indem es jede Antwort auf konkrete Zellen zurückführt.
Neuer Standard: CITEBENCH setzt einen neuen Standard für die Evaluation von Table-QA-Systemen, indem es feingranulare und reasoning-orientierte Annotationen erfordert.
Praktische Anwendbarkeit: FAIRSCORE ermöglicht die Evaluation von Attributionssystemen in großem Maßstab, wo manuelle Labels nicht verfügbar sind.

Limitationen:
Das Framework ist derzeit auf einzelne Tabellen beschränkt (keine Joins über mehrere Tabellen), stark von der Prompt-Qualität der LLMs abhängig und CITEBENCH deckt bisher nur englische Wikipedia-artige Tabellen ab. Zukünftige Arbeiten sollen diese Grenzen erweitern.