ASTRA: Adaptive Semantic Tree Reasoning Architecture for Complex Table Question Answering

Dit paper introduceert ASTRA, een architectuur die tabellen omzet in logische semantische bomen via AdaSTR en een dubbele redeneermethode (DuTR) combineert om de staat-van-de-kunst te bereiken in complexe tabelvraagbeantwoording.

De kern

Stel je voor dat je een gigantische, ingewikkelde Excel-tabel hebt. Deze tabel is niet netjes opgesplitst in rijen en kolommen zoals in een schoolboek; hij heeft samengevoegde cellen, koppen die weer koppen hebben, en informatie die overal verspreid ligt. Je vraagt een slimme AI (zoals een geavanceerde chatbot) om een vraag over deze tabel te beantwoorden, bijvoorbeeld: "Hoeveel kosten hadden we in de eerste helft van het jaar voor reparaties?"

Helaas raken deze AI's vaak de weg kwijt. Ze kijken naar de tabel alsof het een lange, saaie lijst tekst is, en missen de structuur. Ze vergeten dat een getal onder een specifieke kop hoort, of ze rekenen fouten in hun hoofd.

De auteurs van dit paper, ASTRA, hebben een oplossing bedacht die we kunnen vergelijken met het bouwen van een intelligente boom in plaats van een lange lijst.

Hier is hoe het werkt, in simpele taal:

1. Het Probleem: De "Bureaublad"-Verwarring

Stel je voor dat je een bureau hebt waar alles in één grote hoop ligt. Er liggen papieren met koppen, maar die koppen liggen los van de papieren eronder. Als je de AI vraagt om iets te zoeken, moet die eerst uit die grote hoop halen wat bij elkaar hoort. Dat is lastig en leidt tot fouten. De huidige methoden proberen de tabel gewoon als tekst te lezen, maar dat is alsof je een 3D-puzzel probeert te begrijpen door alleen naar de randen te kijken.

2. De Oplossing: De "Slimme Boom" (AdaSTR)

ASTRA pakt de tabel eerst en bouwt er een Logische Semantische Boom van.

• De Analogie: In plaats van een platte lijst, maakt ASTRA een stamboom.
  • De stam is de hoofdkop (bijv. "Kosten").
  • De takken zijn de sub-koppen (bijv. "Reparaties", "Salarissen").
  • De bladeren zijn de feitelijke getallen.
• Waarom is dit slim? De AI ziet nu direct: "Ah, dit getal hangt aan deze tak, dus het hoort bij deze categorie." De AI hoeft niet meer te raden; de structuur is duidelijk gemaakt.
• De "Adaptieve" Deel: De boom bouwer is slim genoeg om te weten hoe groot de tabel is. Is het een klein lijstje? Dan bouwt hij de hele boom direct. Is het een gigantisch document? Dan bouwt hij eerst een skelet (een schets) en vult hij pas later de details in, zodat de AI niet overbelast raakt.

3. Het Denken: Twee Manieren Om Te Werken (DuTR)

Zodra de boom staat, gebruikt ASTRA twee verschillende manieren om de vraag te beantwoorden, afhankelijk van wat er gevraagd wordt. Dit noemen ze DuTR (Dubbel-Modus Redeneren).

• Manier A: De Verkenner (Tekstuele Redenering)
  • Voorbeeld: "Welke afdeling had de meeste klachten?"
  • Hoe het werkt: De AI "wandelt" door de boom. Het zoekt de takken die relevant zijn voor de vraag en leest de informatie als een verhaal. Dit is goed voor vragen waar je logisch moet nadenken en verbanden moet leggen.
• Manier B: De Rekenmachine (Symbolische Redenering)
  • Voorbeeld: "Wat is het totaal van alle kosten in 2023?"
  • Hoe het werkt: AI's zijn vaak slecht in rekenen (ze kunnen "hallucineren" en een fout getal bedenken). Daarom schrijft ASTRA hier geen antwoord op, maar schrijft het code (Python). Het zegt: "Haal alle getallen van 2023 uit de boom en tel ze op." De computer voert deze code uit. Het resultaat is 100% precies en foutloos.

4. De Scheidsrechter

Soms geven de "Verkenner" en de "Rekenmachine" een iets ander antwoord. ASTRA heeft een kleine, snelle AI als Scheidsrechter. Deze kijkt naar beide antwoorden, vergelijkt ze met de originele boom, en kiest het juiste antwoord.

Waarom is dit zo belangrijk?

Tot nu toe moesten AI's gissen bij complexe tabellen. ASTRA doet twee dingen:

1. Het maakt de structuur zichtbaar (zoals een goede kaart in plaats van een wazige foto).
2. Het gebruikt de juiste tool voor de juiste klus: lezen voor betekenis en rekenen voor cijfers.

Conclusie in één zin:
ASTRA is als een super-intelligente bibliothecaris die eerst een perfect georganiseerd kaartsysteem bouwt voor een rommelige archiefruimte (de tabel), en dan precies weet of hij moet zoeken in de boeken (tekst) of moet rekenen met een rekenmachine (code) om je vraag te beantwoorden. Hierdoor is hij veel slimmer en nauwkeuriger dan eerdere methoden.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) kampen met aanzienlijke beperkingen bij het beantwoorden van vragen over complexe tabellen (TableQA), vooral wanneer deze hiërarchische headers, samengevoegde cellen en ingewikkelde lay-outs bevatten. De huidige aanpak, die vaak afhankelijk is van het serialiseren van tabellen naar lineaire teksten (zoals Markdown of HTML), botst met vier kritieke uitdagingen:

1. Structureel Verwaarlozing: LLMs negeren vaak de complexe hiërarchische relaties en semantische afhankelijkheden die in de structuur van de tabel zijn ingebed.
2. Representatiekloof: Er is een fundamenteel verschil tussen de tweedimensionale structuur van tabellen en de lineaire, sequentiële aard van LLM-inputs. Dit bemoeilijkt het nauwkeurig lokaliseren van specifieke bewijsstukken.
3. Doorzichtigheid van Redenering: Bestaande methoden vertrouwen vaak op "black-box" numerieke berekeningen door de LLM zelf, wat leidt tot onverklaarbare fouten en hallucinaties bij rekenkundige taken.
4. Schema-Inflexibiliteit: Bestaande parsingsstrategieën zijn vaak star en gebaseerd op regels, waardoor ze niet goed kunnen omgaan met de grote diversiteit en onregelmatigheden in complexe tabellen.

Methodologie: ASTRA

De auteurs stellen ASTRA (Adaptive Semantic Tree Reasoning Architecture) voor, een trainingsvrije methode die bestaat uit twee hoofdmodules: AdaSTR en DuTR.

1. AdaSTR: Adaptieve Semantische Boomherconstructie

AdaSTR transformeert een ruwe complexe tabel in een Logische Semantische Boom (Logical Semantic Tree). Dit proces omvat drie fasen:

• Semantische Parsing en Schema-detectie: De tabel wordt gestandaardiseerd en headers worden genormaliseerd (bijv. het samenvoegen van bovenliggende headers met onderliggende kolommen om volledige context te creëren). Een LLM identificeert vervolgens verborgen semantische groepen en bouwt een hiërarchische structuur op.
• Adaptieve Boomsynthese: Afhankelijk van de grootte en dichtheid van de tabel kiest het systeem dynamisch uit drie strategieën om token-overhead te minimaliseren en nauwkeurigheid te maximaliseren:
  • Direct Semantic Parsing (DSP): Voor standaard complexe tabellen.
  • Symbolic Reference Encoding (SRE): Voor tabellen met veel tekst; hier worden cel-coördinaten (bijv. "A1") gebruikt als placeholders in plaats van volledige tekst, wat de boom compacter maakt.
  • Programmatic Structure Synthesis (PSS): Voor zeer grote tabellen; hier wordt een script gegenereerd dat de boom structureel opbouwt via loops.
• Evaluator-Gesleide Verfijning: Een feedbacklus controleert de gegenereerde boom op structurele integriteit en informatie-dekking. Als de kwaliteit onder een drempelwaarde zakt, wordt de boom iteratief verbeterd.

2. DuTR: Dual-Mode Boomredenering

DuTR gebruikt de gegenereerde semantische boom voor redenering via twee parallelle paden:

• Tekstuele Navigatie (Semantische Zoeking): De boom wordt gebruikt als een navigeerbaar tekstcorpus. Het systeem kiest adaptief tussen twee traversal-strategieën:
  • Leaf-to-Root: Voor aggregatievragen (zoals tellen of sommeren van verspreide data).
  • Root-to-Leaf: Voor zoekvragen die specifieke, gelokaliseerde bewijzen vereisen.
• Symbolische Code-executie: Voor rekenkundige taken wordt de boom vertaald naar een gestructureerde object (zoals een Python-dict) waar code voor wordt gegenereerd. Dit zorgt voor deterministische en verifieerbare berekeningen. Een zelfcorrigerende lus (Self-Correction) lost runtime-fouten in de code op.
• Adaptieve Selectie: Een lichtgewicht LLM fungeert als "Answer Selector" om het beste antwoord te kiezen tussen de tekstuele en symbolische output, gebaseerd op de oorspronkelijke tabel.

Belangrijkste Bijdragen

1. Identificatie van Uitdagingen: Het paper distilleert de vier kernproblemen van complexe TableQA en definieert de vereisten voor een effectieve serialisatiestrategie (hiërarchie, semantische context, representatie-uitlijning, symbolische compatibiliteit).
2. AdaSTR Framework: Een innovatieve aanpak die LLM's gebruikt om tabellen om te zetten in semantische bomen, waarbij expliciete hiërarchie en context worden behouden zonder data-redundantie.
3. DuTR Framework: Een hybride redeneringsparadigma dat de flexibiliteit van tekstuele zoekopdrachten combineert met de precisie van symbolische code-executie.
4. State-of-the-Art Prestaties: ASTRA bereikt nieuwe topprestaties op meerdere benchmarks, wat aantoont dat een expliciete hiërarchie met semantische context essentieel is om het redeneervermogen van LLM's te maximaliseren.

Resultaten

ASTRA werd getest op drie complexe benchmarks: AIT-QA (luchtvaartindustrie), HiTab (hoger niveau hiërarchische tabellen) en SSTQA (semi-gestructureerde tabellen).

• Algemene Prestaties: ASTRA overtreft bestaande methoden, waaronder geavanceerde redeneringsmodellen zoals OpenAI o3 en foundation modellen zoals GPT-4o en DeepSeek-V3.
  • Op HiTab behaalde ASTRA 90.1% nauwkeurigheid (tegenover 85.3% voor o3).
  • Op AIT-QA behaalde ASTRA 91.6%.
  • Op SSTQA behaalde ASTRA 81.9%.
• Synergie: De resultaten tonen aan dat tekstuele redenering beter presteert bij semantische vragen, terwijl symbolische redenering superieur is bij numerieke aggregatie. De adaptieve selectie combineert het beste van beide werelden.
• Efficiëntie: Hoewel het bouwen van de boom extra tijd kost, is de online inferentie-efficiëntie hoog, vooral bij meerdere vragen per tabel, omdat de boom eenmaal is gegenereerd en hergebruikt kan worden.
• Ablatie Studies: Verwijdering van de evaluatie-lus of de adaptieve synthesesstrategieën leidde tot significante dalingen in prestaties, wat de noodzaak van deze componenten bevestigt.

Betekenis en Impact

Dit onderzoek biedt een cruciaal inzicht: de beperkingen van LLM's bij tabellen liggen niet alleen in het redeneringsvermogen, maar vooral in de representatie van de data. Door complexe tabellen om te zetten in een expliciete, semantisch rijke boomstructuur, kunnen LLM's hun redeneerpotentieel volledig benutten.

ASTRA demonstreert dat een hybride aanpak (tekst + code) in combinatie met een adaptieve structuurherconstructie de huidige staat van de kunst (SOTA) voorbijstreeft. Het biedt een robuust, trainingsvrij raamwerk dat generaliseert over diverse en onregelmatige tabelformaten, wat een belangrijke stap is voor de toepassing van AI in zakelijke en analytische domeinen waar complexe datastructuren de norm zijn.