Technische Samenvatting: FT-RAG voor Complex Tabelredeneren

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen hebben zich bewezen als effectief voor ongestructureerde tekst, maar kampen met aanzienlijke moeilijkheden bij gestructureerde tabulaire data. Conventionele RAG-benaderingen behandelen tabellen doorgaans als monolithische eenheden of flatten ze tot platte tekst, wat resulteert in grove retrieval-granulariteit en een verlies van de precieze, cel-niveau semantische relaties die nodig zijn voor redeneren met hoge nauwkeurigheid. Deze vereenvoudiging verbergt de ruimtelijke en structurele logica die inherent is aan tabellen, waardoor het moeilijk wordt om rigoureuze cross-table informatiefusie of complex multi-hop redeneren uit te voeren. Bovendien richten bestaande benchmarks zich voornamelijk op single-table retrieval met eenvoudige feitelijke antwoorden, en falen ze in het evalueren van het vermogen van systemen om gefragmenteerde data uit heterogene documenten (tekst en meerdere tabellen) te integreren om complexe antwoorden te genereren.

Methodologie: FT-RAG Framework

Om deze beperkingen aan te pakken, stellen de auteurs FT-RAG (Fine-grained Table-aware Retrieval-Augmented Generation) voor, een framework ontworpen om tabulaire data op entiteitsniveau te verwerken. De methodologie bestaat uit drie kernmodules:

1. Fine-Grained Table Parsing

In plaats van tabellen als blokken te verwerken, decomposeert FT-RAG ruwe tabellen in Celgroepen. Elke celgroep omvat de ruwe celwaarde samen met uitgebreide contextuele metadata, waaronder:

• Globale metadata: Documenttitels en bijschriften.
• Tabelniveau-metadata: Schema en headers.
• Hiërarchische paden: Expliciete codering van indices (absolute coördinaten), typen (rollen van rij-/kolomheaders) en hiërarchiediepte (nestingsniveaus).

2. Structure-Aware Semantic Lifting (SAT Graph)

Het framework construeert een geünificeerde Subject-Attribuut-Temporele (SAT) Graph, een samengestelde gerichte acyclische graaf ($G = (V, E)$) die celgroepen organiseert in onderling verbonden kennisunits. Deze graaf is gebaseerd op drie dimensies:

• Subject Sub-tree ($T_S$): Gegenereerd via LLM-inferentie om structurele afstamming en entiteitshiërarchieën vast te stellen (bijvoorbeeld "Laptop" onder "Hardware").
• Temporele Sub-tree ($T_T$): Organiseert tijdsintervallen chronologisch met behulp van patroon-gebaseerd parsing, waardoor temporele geldigheid wordt gewaarborgd (bijvoorbeeld specifieke data genest binnen jaren).
• Attribuut Node Set ($V_A$): Fungeert als semantische convergentiepunten en overbrugt uiteenlopende subject-temporele contexten.
• Waarde Leaf Node Set ($V_L$): Bewaart atomaire data-invoer als sleutel-waardeparen, verankerd aan specifieke SAT-combinaties via een samengestelde index ($\langle s_i, t_j, a_k \rangle$).

3. Graph Retrieval en Multi-Modal Fusion

Retrieval vindt plaats in twee fasen om zowel structurele precisie als semantische volledigheid te waarborgen:

• Fase I: Hiërarchische Graph Navigatie: Het systeem maakt gebruik van een Dual-Path Traversal Strategy (Anker-gedreven Voorwaarts en Attribuut-gedreven Terugwaarts) om gebruikersvragen af te stemmen op de dimensies van de graaf. Het hanteert een Structural Neighbor Expansion-mechanisme om semantisch verbonden entiteiten op te halen (bijvoorbeeld aangrenzende tijdsnodi voor groeipercentageberekeningen) zonder uitsluitend te vertrouwen op vector-similariteit, wat kan leiden tot feitelijke drift.
• Fase II: Text-Bridged Augmentation: Opgehaalde gestructureerde feiten worden gelineariseerd tot natuurlijke taaltemplates en gebruikt om het bijbehorende tekstcorpus te bevragen. Dit fuseert precieze tabulaire metrics met de omringende narratieve context (kwalitatieve inzichten, voorbehoud), waardoor de LLM een holistisch bewijspakket krijgt.

Belangrijkste Bijdragen

1. FT-RAG Framework: Een nieuwe fine-grained aanpak die tabellen decomposeert in semantische eenheden en deze organiseert in een schema-bewuste SAT Graph, waardoor precieze cel-niveau retrieval en redeneren mogelijk wordt.
2. Multi-Table-RAG-Lib Benchmark: Een nieuwe dataset bestaande uit 9.870 QA-paren afgeleid van 308 grote tabellen uit 81 documenten. In tegenstelling tot bestaande benchmarks richt deze zich specifiek op complex, multi-hop redeneren dat integratie van meerdere tabellen en tekst-tabel-fusie vereist. Het bevat zowel "Pure Tabular" als "Context-Augmented" retrieval-taken.
3. Structural Neighbor Expansion: Een mechanisme dat de retrieval-omvang uitbreidt langs de graph-topologie (bijvoorbeeld temporele buren) om de nodige context voor complexe queries te vangen zonder precisie op te offeren.

Experimentele Resultaten

De auteurs hebben FT-RAG geëvalueerd tegenover baselines, waaronder Standard RAG, LangChain, Self-RAG en MixRAG, op de Multi-Table-RAG-Lib benchmark.

• Retrieval Performance: FT-RAG behaalde state-of-the-art resultaten.
  • Tabelniveau Hit Rate: Verbetering van 23,5% ten opzichte van de beste baseline.
  • Celniveau Hit Rate: Verbetering van 59,2%, wat een superieur vermogen aantoont om specifieke atomaire waarden te lokaliseren.
  • Bij Context-Augmented-taken behield FT-RAG een hoge precisie, terwijl andere modellen last hadden van ruis geïntroduceerd door tekstuele chunks.
• Generatie Performance:
  • Exacte Waarde Nauwkeurigheid Recall: Toename van 62,2% ten opzichte van baselines.
  • FT-RAG toonde een significant voordeel bij het verankeren van numerieke attributen, met een Value Accuracy van 54,5% vergeleken met 22,0–33,9% voor andere methoden.
• Ablatie Studie: Het verwijderen van de SAT-Graph zorgde ervoor dat de prestaties daalden tot onder de 40%, wat de noodzaak van de graph-structuur bevestigt. De Multi-modal Fusion-module bleek kritiek voor waardenauwkeurigheid, terwijl Structural Neighbor Expansion de volledigheid van het bewijsmateriaal verbeterde.

Betekenis en Aanspraken

Het paper stelt dat FT-RAG een nieuw state-of-the-art prestatieniveau vestigt voor complex redeneren over mixed-modality documenten (tabellen en tekst). Door het paradigma te verschuiven van grove tekstretrieval naar fine-grained, structure-bewuste graph-navigatie, mitigeert het framework effectief hallucinaties en feitelijke fouten die veel voorkomen in tabelgebaseerde RAG. De auteurs stellen dat hun methode de kloof succesvol overbrugt tussen de rigoureuze logica van gestructureerde data en de beschrijvende kracht van ongestructureerde tekst, en zo een robuuste oplossing biedt voor waardevolle kennisextractie in domeinen zoals financiële analyse en wetenschappelijke review. De introductie van de Multi-Table-RAG-Lib benchmark wordt ook gepresenteerd als een cruciale stap naar realistischere en uitdagendere evaluaties van tabelgerichte RAG-systemen.