HELIOS: Harmonizing Early Fusion, Late Fusion, and LLM Reasoning for Multi-Granular Table-Text Retrieval

Het artikel introduceert HELIOS, een nieuw model dat vroege en late fusie combineert met LLM-redenering om de prestaties van tabel-tekstretriever voor open-domein vragen te verbeteren door onnodige context te filteren, relevante knopen dynamisch uit te breiden en logische inferentie op ster-graf-niveau uit te voeren, wat leidt tot aanzienlijke verbeteringen op de OTT-QA-benchmark.

De kern

Helius: De Slimme Zoekmachine die Tabellen en Tekst Samenbrengt

Stel je voor dat je op zoek bent naar een specifiek antwoord, maar de informatie is verspreid over twee heel verschillende bibliotheken. In de ene bibliotheek staan tabellen: strakke rijen en kolommen met feiten, zoals een sportuitslaglijst of een rooster. In de andere bibliotheek liggen boeken: lange, lopende teksten die de achtergrondverhalen vertellen.

De uitdaging? Een traditionele zoekmachine is vaak slecht in het combineren van deze twee. Of hij kijkt alleen naar de tabellen en mist de context, of hij leest alleen de boeken en ziet de precieze cijfers in de tabel niet.

De onderzoekers van dit paper hebben HELIOS bedacht. De naam is een knipoog naar de Griekse zonnegod, maar in dit geval staat het voor een systeem dat de zonneschijn (helderheid) brengt in een chaotische zoektocht. HELIOS werkt in drie stappen, die we kunnen vergelijken met het werk van een super-efficiënte detective.

Stap 1: De "Vaste Vrienden" (Early Fusion)

Stel je voor dat je een detective bent die eerst een lijst maakt van mensen die waarschijnlijk bij elkaar horen.

• Hoe het werkt: HELIOS kijkt eerst naar de tabellen en koppelt daar direct de bijbehorende teksten aan. Bijvoorbeeld: als er in een tabel "University of Notre Dame" staat, plakt hij direct het artikel over die universiteit eraan.
• Het probleem: Soms plakt hij te veel eraan. Hij plakt misschien ook het artikel over de voetbalclub van die universiteit eraan, terwijl jij alleen de schoolkleuren wilt weten. Hij is te breed en plakt soms onnodige rommel aan zijn dossier.

Stap 2: De "Slimme Uitbreiding" (Late Fusion)

Nu komt de detective met een tweede strategie. In plaats van vooraf alles te plakken, kijkt hij eerst naar je vraag.

• Hoe het werkt: Als jij vraagt: "Wat zijn de schoolkleuren?", zoekt HELIOS eerst naar de specifieke regel in de tabel die over de school gaat. Vervolgens kijkt hij: "Welk artikel hoort nu precies bij deze vraag?" en plakt alleen dat artikel eraan.
• Het probleem: Soms mist hij een belangrijk stukje informatie omdat hij te specifiek zoekt. Hij ziet misschien niet dat je een logische sprong moet maken (bijvoorbeeld: "De speler speelde in 2012, dus ik moet de tabel van dat jaar bekijken, niet de huidige").

Stap 3: De "Super-Detective" (LLM Reasoning)

Hier komt HELIOS echt tot leven. Hij combineert de twee bovenstaande methoden en voegt een Super-Detective (een AI) toe die het dossier in detail bekijkt.

• De Magie: De AI kijkt niet alleen naar woorden die lijken op je vraag. Hij denkt na.
  • Voorbeeld 1 (Aggregatie): Als je vraagt: "Wie was de meest recente speler van de maand?", telt de AI niet zomaar. Hij kijkt naar de rijen, ziet welke maand het laatst is (november in plaats van april), en pakt die specifieke rij.
  • Voorbeeld 2 (Meerdere stappen): Als je vraagt: "Waar is de speler geboren die in 2012 werd gekozen?", zoekt de AI eerst de speler in de tabel, en springt dan logisch naar het artikel over die speler om de geboortedatum te vinden.

Waarom is HELIOS zo goed?

De onderzoekers hebben getoond dat HELIOS veel beter presteert dan de huidige beste systemen.

• Geen rommel: Hij plakt niet zomaar alles aan elkaar, maar zoekt de juiste stukjes (de "randen" tussen tabel en tekst).
• Geen gemiste kansen: Hij breidt zijn zoektocht slim uit als hij ziet dat hij iets mist.
• Logisch denken: Hij kan complexe vragen beantwoorden die vragen om rekenen of het verbinden van verschillende feiten, iets waar andere systemen vaak op vastlopen.

Kortom:
HELIOS is als een detective die niet alleen een lijst met namen heeft, maar ook weet welke boeken hij moet lezen, en bovendien slim genoeg is om de puzzelstukjes logisch aan elkaar te rijgen. Het resultaat is dat hij veel sneller en nauwkeuriger het juiste antwoord vindt, zelfs als de vraag heel lastig is.

Technische samenvatting

Probleemstelling

Het doel van Table-Text Retrieval is het vinden van relevante tabellen en tekstdocumenten om open-domein vragen te beantwoorden (Open-Domain Question Answering, ODQA). Bestaande methoden kampen met drie fundamentele beperkingen:

1. Onvoldoende granulariteit van terugvind-eenheden:
   • Early Fusion (vroege fusie) koppelt tabelrijen vooraf aan bijbehorende passages via entiteitskoppeling, vormend "sterren" (stars). Dit leidt vaak tot het meenemen van irrelevante context en vervormt de gelijkenisberekening.
   • Late Fusion (late fusie) zoekt individuele knopen (rijen of passages) dynamisch. Dit riskeert echter het missen van cruciale contextuele verbanden omdat het te gefragmenteerd is.
2. Ontbreken van query-afhankelijke relaties:
   • Vroege fusie vertrouwt op vooraf gedefinieerde links (entity linking) die niet altijd de specifieke relatie bevatten die nodig is om een vraag te beantwoorden (bijv. een vraag over schoolkleuren vereist een link naar een specifieke sportpassage, niet de algemene universiteitspassage).
3. Gebrek aan geavanceerd redeneren:
   • Bestaande methoden vertrouwen voornamelijk op semantische gelijkenis. Ze falen bij complexe taken zoals kolomsgewijze aggregatie (bijv. "wie is de meest recente winnaar?") of multi-hop redeneren, waarbij logische inferentie nodig is bovenop simpele zoekopdrachten.

Methodologie: HELIOS

HELIOS is een nieuw grafisch terugvindkader dat de sterke punten van vroege fusie, late fusie en LLM-redenering combineert. Het werkt in drie opeenvolgende fasen:

1. Edge-based Bipartite Subgraph Retrieval (Vroege Fusie)

In plaats van hele "sterren" (een rij + alle passages) te gebruiken, gebruikt HELIOS randen (edges) als terugvind-eenheid.

• Een bipartiete graaf wordt offline geconstrueerd waar tabelsegmenten en passages knopen zijn, en entiteitskoppelingen de randen vormen.
• Bij een query worden de meest relevante randen (koppelingen tussen een specifiek tabelsegment en een passage) opgehaald via een multi-vector encoder (ColBERTv2).
• Dit voorkomt dat irrelevante context wordt meegenomen (een probleem bij vroege fusie) en biedt meer detail dan het zoeken naar losse knopen.

2. Query-relevant Node Expansion (Late Fusie)

Om het risico te verminderen dat belangrijke context wordt gemist, wordt de gevonden subgraaf dynamisch uitgebreid.

• Seed Node Selectie: De meest relevante knopen uit de initiële subgraaf worden geselecteerd als "zaadknopen" op basis van hun relevantie voor de query.
• Expansie: Er wordt een zoektocht uitgevoerd (beam search) om nieuwe randen te vinden die verbonden zijn met deze zaadknopen, zelfs als deze niet in de initiële offline graaf stonden. Dit gebeurt via uitgebreide query-retrieval, waarbij de query wordt gecombineerd met de inhoud van de zaadknopen om nieuwe relaties te ontdekken.
• Dit creëert een uitgebreide graaf die specifiek is afgestemd op de context van de vraag.

3. Star-based LLM Refinement (Redenering)

De uitgebreide graaf wordt verwerkt door een Large Language Model (LLM) om logische inferentie uit te voeren die semantische zoekopdrachten niet kunnen.

• Kolomsgewijze Aggregatie: Het LLM bepaalt of de vraag aggregatie vereist (bijv. "laatste", "hoogste"). Zo ja, dan worden de originele tabellen gereconstrueerd en analyseert het LLM deze om de juiste rijen te identificeren.
• Passage Verificatie: Het LLM verifieert of de gevonden passages daadwerkelijk relevant zijn voor het beantwoorden van de vraag, waardoor irrelevante "hard negatives" worden verwijderd.
• Granulariteit: In plaats van de hele graaf aan het LLM te geven, wordt deze opgesplitst in kleinere ster-grafen (star graphs). Dit vermindert hallucinaties en verbetert de nauwkeurigheid aanzienlijk.

Belangrijkste Bijdragen

1. Hybride Fusie Strategie: HELIOS harmoniseert vroege en late fusie door eerst op rand-niveau te zoeken (voor precisie) en vervolgens dynamisch uit te breiden (voor volledigheid).
2. Multi-Granulair Ontwerp: Het systeem past de granulariteit van de terugvind-eenheid aan per fase: randen voor initiële selectie, knopen voor expansie, en ster-grafen voor LLM-redenering.
3. LLM-gedreven Redenering: Het introduceert een specifieke stap voor logische inferentie (aggregatie en verificatie) die het systeem in staat stelt complexe vragen te beantwoorden die voorheen onmogelijk waren met puur semantische zoekopdrachten.
4. Formalisatie: Het formaliseert het probleem van table-text retrieval als een graafprobleem, waarbij bestaande methoden worden geïnterpreteerd als specifieke manieren van het selecteren van subgrafen (sterren vs. randen).

Resultaten

Het model is geëvalueerd op de OTT-QA en MultimodalQA (MMQA) datasets.

• OTT-QA: HELIOS presteert significant beter dan de state-of-the-art (SOTA) modellen.
  • Recall (AR@2): Een verbetering van 42,6% ten opzichte van de beste concurrent (COS).
  • nDCG@50: Een verbetering van 39,9%.
  • End-to-End QA: Verbetering in Exact Match (EM) en F1-score, wat aantoont dat de betere terugvindresultaten leiden tot betere uiteindelijke antwoorden.
• MMQA: HELIOS behoudt zijn superioriteit, met een gemiddelde verbetering van 20,9% in recall over alle k-waarden.
• Efficiëntie: Hoewel HELIOS complexer is dan enkele SOTA-modellen, is de uitvoeringstijd acceptabel (ongeveer 5 seconden per query), wat een goede balans biedt tussen snelheid en nauwkeurigheid. Ablatie-studies tonen aan dat zowel de Node Expansion als de LLM Refinement essentieel zijn voor de prestaties.

Betekenis en Conclusie

HELIOS vertegenwoordigt een doorbraak in het veld van table-text retrieval door de beperkingen van bestaande "early" en "late" fusie-methoden te overwinnen. Door een multi-granulair aanpak te combineren met LLM-redenering, lost het het probleem op van het vinden van relevante context zonder irrelevante ruis, en het kan complexe logische vragen beantwoorden.

De studie toont aan dat het simpelweg stapelen van bestaande modules niet voldoende is; de slimme integratie van deze modules op verschillende niveaus van granulariteit is cruciaal. HELIOS stelt een nieuwe standaard voor open-domein vraagbeantwoording over gestructureerde en ongestructureerde data, en opent de weg voor toekomstig werk met andere modaliteiten (zoals afbeeldingen) en nog geavanceerdere redeneertaken.