HELIOS: Harmonizing Early Fusion, Late Fusion, and LLM Reasoning for Multi-Granular Table-Text Retrieval

Each language version is independently generated for its own context, not a direct translation.

Immagina di dover rispondere a una domanda complessa come: "Quali sono i colori della scuola dell'atleta scelto al 27º posto nel draft del 2012?".

Per rispondere, un computer deve fare due cose:

Guardare una tabella sportiva (dove ci sono nomi, numeri e squadre).
Leggere un articolo di testo (che parla della storia di quella scuola e dei suoi colori).

Il problema è che i metodi attuali sono come due persone che cercano di risolvere questo puzzle in modi sbagliati:

Il metodo "Tutto insieme" (Fusione Anticipata): Prende un intero blocco di informazioni (tutta la riga della tabella + tutto il testo collegato) e lo butta in un unico mucchio. È come se, per trovare il colore di una scuola, ti dessimo l'intero libro di storia della scuola, anche le parti che parlano di cose che non c'entrano nulla con la tua domanda. Il computer si confonde tra i dettagli utili e quelli inutili.
Il metodo "Pezzo per pezzo" (Fusione Tardiva): Cerca un pezzetto alla volta. Potrebbe trovare la riga giusta della tabella, ma perdere il pezzo di testo che dice i colori, o viceversa. È come cercare di indovinare il finale di un film guardando solo un fotogramma alla volta senza sapere come sono collegati.

La Soluzione: HELIOS (L'Eroe che unisce i mondi)

Gli autori di questo paper hanno creato HELIOS, un sistema intelligente che funziona come un detective esperto che usa tre strategie diverse per non sbagliare mai.

Ecco come funziona, spiegato con un'analogia da "Caccia al Tesoro":

1. La Mappa dei Collegamenti (Ricerca basata sui "Bordi")

Invece di prendere interi blocchi o pezzi isolati, HELIOS guarda i collegamenti specifici (i "bordi") tra una cella della tabella e una frase del testo.

Analogia: Immagina di avere una mappa del tesoro. I metodi vecchi ti danno un'area enorme da scavare (troppo rumore) o un solo punto (troppo rischioso). HELIOS invece ti dà esattamente il filo che collega la "X" della tabella alla "X" del testo. Questo evita di sprecare tempo a leggere cose inutili.

2. L'Espansione Intelligente (Crescita Dinamica)

Una volta trovati i primi collegamenti promettenti, HELIOS non si ferma. Chiede: "C'è qualcos'altro collegato a questo che potrebbe aiutarmi?".

Analogia: È come se il detective trovasse un indizio (es. "Brendan King") e dicesse: "Ok, so che è collegato all'Università di Notre Dame. Ma aspetta, la domanda parla dei 'colori della scuola'. Devo espandere la ricerca per includere il testo che parla specificamente delle mascotte e dei colori, non solo della storia generale dell'università". Il sistema cresce la mappa solo dove serve, aggiungendo pezzi rilevanti e scartando quelli noiosi.

3. Il "Cervello" Finale (Raffinamento con LLM)

Qui entra in gioco l'intelligenza artificiale più potente (un LLM), ma non la usa per leggere tutto il libro. La usa come un capo squadra che guarda solo i pezzi più importanti.

Analogia: Immagina di avere un archivio di documenti. Invece di far leggere tutto al capo, gli dai solo i fogli più importanti raggruppati in piccoli mazzi (chiamati "stelle").
- Aggregazione: Se la domanda è "Chi è stato il giocatore più recente?", il capo squadra guarda la tabella, fa i calcoli (aggrega le date) e trova la riga giusta, anche se non era stata trovata all'inizio.
- Verifica: Se ci sono due documenti che sembrano utili, il capo squadra legge attentamente e dice: "Questo sì, questo no". Elimina le distrazioni.

Perché è un successo?

HELIOS vince perché non sceglie tra "tutto insieme" o "pezzo per pezzo", ma li armonizza:

Usa la precisione dei collegamenti specifici per non perdere tempo.
Usa l'espansione dinamica per non perdere informazioni importanti.
Usa il "cervello" AI per fare ragionamenti logici complessi (come sommare colonne o fare salti logici) che i metodi vecchi non sanno fare.

Il risultato?
Nei test, HELIOS ha superato tutti i rivali attuali, migliorando la capacità di trovare la risposta corretta fino al 42% in più. È come passare da un cercatore d'oro che setaccia la sabbia a caso, a un esperto che usa un metal detector preciso, un mappe aggiornate in tempo reale e un'intuizione infallibile per trovare l'oro esatto.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema: Recupero Tabella-Testo per QA a Dominio Aperto

Il recupero di informazioni da tabelle e testi (Table-Text Retrieval) è fondamentale per i sistemi di Risposta alle Domande a Dominio Aperto (ODQA). L'obiettivo è recuperare sia le righe pertinenti di una tabella strutturata che i passaggi di testo non strutturati necessari per rispondere a una domanda complessa.

I metodi esistenti si dividono in due categorie principali, entrambe con limitazioni significative:

Fusione Precoce (Early Fusion): Pre-allinea le righe delle tabelle con i passaggi associati tramite entity linking prima della query, creando blocchi fusi ("stelle").
- Limitazione: Spesso include contesti irrilevanti (rumore) e non cattura le relazioni dipendenti dalla query, portando a calcoli di similarità distorti.
Fusione Tardiva (Late Fusion): Recupera nodi individuali (righe o passaggi) e li allinea dinamicamente in base alla query.
- Limitazione: Rischi di recuperare contesti parzialmente pertinenti ma errati e di perdere informazioni cruciali che richiederebbero un ragionamento logico complesso (es. aggregazione per colonna o ragionamento multi-hop).

Entrambi gli approcci faticano a gestire compiti di ragionamento avanzato che vanno oltre la semplice similarità semantica.

2. Metodologia: Il Framework HELIOS

HELIOS è un framework di recupero basato su grafi che armonizza i punti di forza della fusione precoce, della fusione tardiva e del ragionamento tramite Large Language Models (LLM). Il sistema opera in tre fasi distinte, ciascuna con una granularità operativa specifica:

Fase 1: Recupero di Sottografi Bipartiti Basato su Archi (Edge-based Bipartite Subgraph Retrieval)

Obiettivo: Evitare l'inclusione di contesti irrilevanti tipica della fusione precoce.
Meccanismo: Invece di recuperare interi blocchi fusi (stelle), il sistema recupera archi specifici tra segmenti di tabella e passaggi.
Tecnica: Utilizza un encoder multi-vettore (basato su ColBERTv2) per creare embedding granulari degli archi. Viene effettuata una ricerca per similarità semantica tra la query e gli archi, seguita da un reranking per selezionare gli archi più pertinenti. Questo permette di costruire un sottografo bipartito candidato ( $G_c$ ) che contiene solo le connessioni più promettenti, riducendo il rumore.

Fase 2: Espansione dei Nodi Rilevanti per la Query (Query-relevant Node Expansion)

Obiettivo: Mitigare il rischio di perdere contesti importanti che non erano stati collegati inizialmente (problema della fusione precoce).
Meccanismo: Identifica i nodi "seme" più rilevanti nel sottografo candidato e li espande dinamicamente.
Tecnica: Utilizza un approccio di beam search in due passaggi:
1. Selezione dei nodi seme basata sulla similarità con la query.
2. Espansione dei nodi seme cercando nuovi archi nel grafo completo che collegano i semi a nuovi nodi, utilizzando tecniche di expanded query retrieval.
  Questo processo costruisce un grafo espanso ( $G_l$ ) che integra nuove relazioni emergenti specifiche per la query.

Fase 3: Affinamento Basato su Stelle con LLM (Star-based LLM Refinement)

Obiettivo: Abilitare il ragionamento logico avanzato (aggregazione, inferenza multi-hop) che la similarità semantica non può catturare.
Meccanismo: Invece di presentare l'intero grafo espanso all'LLM (che causerebbe allucinazioni o confusione), il grafo viene decomposto in grafi a stella (un nodo tabella centrale collegato ai suoi passaggi).
Tecnica: L'LLM esegue due compiti critici su ciascun grafo a stella:
1. Aggregazione per Colonna: Se la query richiede aggregazione (es. "chi è il giocatore più recente?"), l'LLM ricostruisce la tabella originale e identifica la riga corretta.
2. Verifica dei Passaggi: L'LLM esegue una verifica binaria per determinare se ogni arco (tabella-passaggio) è realmente rilevante per la risposta, rimuovendo i "falsi positivi" (hard negatives).
  Il risultato è un grafo raffinato ( $G_q$ ) ottimizzato per il lettore finale.

3. Contributi Chiave

Integrazione Ibrida Granulare: HELIOS non sceglie tra fusione precoce o tardiva, ma le combina strategicamente: usa la fusione precoce (a livello di arco) per la copertura iniziale, la fusione tardiva (espansione nodi) per la rilevanza dinamica e l'LLM per il ragionamento logico.
Granularità Adattiva: Introduce il concetto di adattare l'unità di recupero (arco, nodo, stella) a ogni fase del processo per bilanciare precisione e completezza.
Raffinamento Logico con LLM: Dimostra come decomporre il grafo in unità più piccole (stelle) permetta agli LLM di eseguire inferenze complesse (aggregazione, verifica) riducendo drasticamente le allucinazioni rispetto all'uso di prompt su grafi interi.

4. Risultati Sperimentali

Il modello è stato valutato sui benchmark OTT-QA (Open-domain Table-Text QA) e MultimodalQA (MMQA).

Performance di Recupero: HELIOS supera significativamente gli stati dell'arte (SOTA) come COS, CORE e Fusion-Retriever.
- Su OTT-QA, mostra un miglioramento del 42,6% nel Recall@2 e del 39,9% nell'nDCG@50 rispetto al modello SOTA precedente (COS).
- Migliora anche la metrica Hits@4K, indicando che la risposta si trova più frequentemente all'interno del contesto fornito al lettore.
Performance End-to-End: Utilizzando vari lettori (inclusi Llama-3.1-70B e GPT-4o), HELIOS ottiene punteggi EM (Exact Match) e F1 superiori, confermando che un recupero di alta qualità migliora le prestazioni finali del QA.
Ablation Study: L'analisi dimostra che sia il modulo di espansione dei nodi (QNE) che quello di raffinamento con LLM (SLR) sono essenziali; la rimozione di entrambi porta a un calo significativo delle prestazioni.
Efficienza: Nonostante la complessità, HELIOS mantiene un tempo di esecuzione competitivo, trovando un equilibrio ottimale tra accuratezza e latenza.

5. Significato e Impatto

Il lavoro HELIOS rappresenta un passo avanti significativo nel campo del recupero di informazioni multimodali (strutturato e non strutturato). Dimostra che:

La semplice sovrapposizione di metodi esistenti non è sufficiente; è necessaria un'architettura che gestisca la granularità dei dati in modo dinamico.
Gli LLM, quando utilizzati per il ragionamento su sotto-grafi specifici e non su interi dataset, possono risolvere problemi di logica complessa (come l'aggregazione di colonne) che i modelli di recupero tradizionali non riescono a gestire.
L'approccio proposto è scalabile e robusto, offrendo una soluzione pratica per i sistemi di QA a dominio aperto che devono navigare tra tabelle complesse e documenti testuali.

In sintesi, HELOS risolve le limitazioni fondamentali dei metodi attuali armonizzando recupero semantico e ragionamento logico, stabilendo un nuovo standard per l'accuratezza nel recupero di dati tabellari e testuali.