Technische Samenvatting: GRAB – Latente Bruggen voor Vraagbeantwoording over Meerdere Tabellen

Probleemstelling

Table Question Answering (TQA) vereist dat taalmodellen vragen beantwoorden die gebaseerd zijn op gestructureerde gegevens. Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken, behandelen standaardbenaderingen tabellen meestal als ongestructureerde tekst door rijen en kolommen te serialiseren naar 1D-sequenties. Deze strategie faalt in het behouden van kritieke relationele semantiek, zoals de rij-kolomorganisatie, permutatie-invariantie, hiërarchische koppen en kruislingse celafhankelijkheden. Gevolgelijk worstelen LLMs in scenario's met meerdere tabellen waarbij redeneren vereist is over join-afhankelijkheden en het aggregeren van bewijslast die verspreid is over gekoppelde tabellen. Bovendien brengt het aanpassen van LLMs aan tabelgegevens via volledige fine-tuning of zware parameter-efficiënte methoden (bijv. LoRA) het risico met zich mee van overspecialisatie en catastrofale vergetelheid, terwijl het vaak faalt om de onderliggende graafstructuur van relationele databases expliciet te modelleren.

Methodologie: De GRAB-pipeline

De auteurs stellen GRAB (Graph-Relational Attention Bridge) voor, een pipeline die ontworpen is om relationeel deep learning te verbinden met bevroren (frozen) LLMs zonder de gewichten van het LLM te wijzigen. De architectuur bestaat uit drie primaire componenten:

1. Relational Graph Constructor ($\gamma$):
   In plaats van tabellen te lineariseren, tilt deze methode relationele gegevens naar een expliciete heterogene tripartiete graaf $G = (V_R \cup V_C \cup V_V, E_{RV} \cup E_{CV})$.

   • Nodes (Knopen): De graaf bestaat uit rij-nodes ($V_R$), kolomklasse-nodes ($V_C$) en waarde-groep-nodes ($V_V$).
   • Structuur: Foreign-key metadata wordt gebruikt om kolommen uit verschillende tabellen samen te voegen in gedeelde kolomklasse-nodes, waardoor joins expliciet worden gemaakt. Herhaalde waarden worden gecanoniseerd naar gedeelde waarde-groep-nodes.
   • Initialisatie: Rij- en kolomnodes worden geïnitialiseerd via tekst-embeddings van hun koppen/inhoud. Waarde-nodes fungeren als structurele ankers, geïnitialiseerd op basis van waarde-groep-identificatoren en kolomtypen, in plaats van ruwe celtekst.

2. Graph Encoder (Graafencoder):
   Een Graph Neural Network (GNN) verwerkt de geconstrueerde graaf middels message passing. De encoder behoudt afzonderlijke verborgen toestanden (hidden states) voor rijen, kolommen en waarden. Het werkt deze toestanden bij door berichten te aggregeren via rij-waarde en kolom-waarde incidentiematrices. Dit proces maakt informatiepropagatie over tabellen mogelijk via gedeelde waarde-nodes en kolomklassen, waardoor structurele afhankelijkheden zoals co-occurrence en join-paden binnen een beperkt aantal stappen (hops) worden gevangen.

3. Query-Conditioned Latent Bridge (Op de query gebaseerde latente brug):
   Om de graaf met het LLM te koppelen, comprimeert een latente resampler (geïnspireerd door Perceiver Resamplers) de variabele grootte van de graaf tot een vaste sequentie van $K$ soft tokens ($Z$).

   • Conditionering: In tegenstelling tot statische prefix tuning is deze brug query-conditioned. Het maakt gebruik van cross-attention tussen leerbare latente queries en de concatenatie van graaf-node embeddings en de natuurlijke taalvraag-embeddings ($H_Q$).
   • Output: De brug produceert een compacte, taakrelevante structurele prefix die samen met de geserialiseerde tabeltekst in het bevroren LLM wordt geïnjecteerd.

Trainingsparadigma:
Het LLM blijft strikt bevroren. Alleen de lichtgewicht graafencoder en de latente brug (totaal ~91M parameters) worden getraind. Het doel is om de auto-regressieve negatieve log-likelihood van het doelantwoord te minimaliseren, geconditioneerd op de vraag, de geserialiseerde tekst en de structurele soft tokens.

Belangrijkste Bijdragen

1. Architectuur: De introductie van GRAB, een GNN-gebaseerde tabelencoder die relationele gegevens naar een tripartiete graaf tilt en interfaceert met bevroren LLMs via query-conditioned latente tokens.
2. Diagnostische Taxonomie: Het ontwerp van een stress-test taxonomie die de lokalisatie van structureel bewijs isoleert van exacte aritmetiek, wat een nieuw instrument biedt om falen van LLMs in TQA te diagnosticeren.
3. Empirische Validatie: Demonstratie dat GRAB consistent beter presteert dan serialisatie-alleen baselines en gespecialiseerde TQA-modellen over 13 single- en multi-table benchmarks.

Experimentele Resultaten

De auteurs evalueerden GRAB op een reeks benchmarks, waaronder StructQA, HiTab, WTQ, WikiSQL, HCTQA, TabMWP, MultiHiertt, SCITAT, MMQA, TQA-Bench, Atis, GeoQuery en Spider.

• Prestatiewinsten: GRAB presteert significant beter dan serialisatie-alleen baselines, met de meest substantiële verbeteringen in structureel veeleisende scenario's.
  • Multi-table Joins: Op Spider (SQL-generatie) behaalde GRAB een +13,3 Cell F1 winst ten opzien van de bevroren baseline.
  • Complexe Lay-outs: Op HCTQA verbeterde GRAB de F1 met +17,5 punten ten opzien van de zero-shot baseline.
  • Efficiëntie: Ondanks het trainen van slechts ~91M parameters, benadert of overtreft GRAB de prestaties van een LoRA-gefinetuned LLM (die de backbone-gewichten bijwerkt) en presteert het beter dan gespecialiseerde modellen zoals TableLlama en MultiTabQA.
• Stress-Test Analyse:
  • Structurele Taken: GRAB vertoonde enorme winsten (+14 tot +46 F1) op taken die lokalisatie van bewijs (LOOKUP) en tellen (COUNT) vereisen, waar de graaf rijen expliciet verbindt via gedeelde waarden.
  • Aritmetische Limieten: De winsten waren minimaal op exacte aritmetische (AVG) taken, wat bevestigt dat de structurele brug helpt bij het lokaliseren van relevante rijen, maar niet de noodzaak vervangt voor het LLM om precieze symbolische berekeningen uit te voeren.
• Ablatie-studies:
  • Het verwijderen van question conditioning verminderde de prestaties, wat de noodzaak voor dynamische latente allocatie valideert.
  • Het verwijderen van de geserialiseerde tekst veroorzaakte een instorting van de prestaties, wat aangeeft dat de latente brug fungeert als een structurele aanvulling in plaats van een vervanging voor tekstuele bewijslast.
  • Een enkele message-passing laag bleek voldoende, wat suggereert dat de tripartiete structuur co-occurrence en lidmaatschap efficiënt blootlegt.

Betekenis en Claims

Het artikel stelt dat tabellen als een afzonderlijke, gestructureerde modaliteit moeten worden behandeld in plaats van louter als tekst. De auteurs beweren dat GRAB een praktisch middenpad biedt tussen pure tekst-serialisatie (die de relationele structuur onderbenut) en symbolische pipelines (die een gebrek aan LLM-flexibiliteit hebben).

Belangrijke claims zijn onder meer:

• Structurele Bias: Het injecteren van een expliciete structurele bias via een graafencoder is efficiënter qua parameters dan brute-force fine-tuning van LLM-gewichten om structuur uit tekst te leren.
• Compatibiliteit met Bevroren LLMs: De aanpak behoudt de algemene redeneercapaciteiten van het pre-trained LLM terwijl er een inductieve bias wordt toegevoegd voor joins en kruislingse rij-aggregatie.
• Schaalbaarheid: De methode maakt efficiënte training op een enkele GPU mogelijk, waardoor multi-table redeneren gedemocratiseerd wordt zonder de computationele kosten van volledige modeladaptatie.
• Toekomstige Richting: Het werk suggereert een pad naar "table foundation interfaces", waarbij pre-trained relationele encoders herbruikbaar kunnen zijn over datasets, analoog aan vision encoders in vision-language modellen.

De auteurs blijven bescheiden over beperkingen en erkennen dat de aanpak nog steeds afhankelijk is van het contextvenster van het onderliggende LLM voor exacte waarden, en dat de overhead voor graafconstructie aanzienlijk kan zijn voor zeer grote, sterk verbonden schema's. Ze merken ook op dat de huidige implementatie ervan uitgaat dat relevante tabellen al zijn opgehaald, waarbij schema-linking en retrieval als toekomstige integratiepunten dienen.