Riepilogo Tecnico: Contratti di Schema Eseguibili per il Recupero Multi-Fonte

Problema

I dati del mondo reale sono intrinsecamente eterogenei, spaziando da tabelle strutturate e log JSON semi-strutturati a documenti non strutturati e wiki interne. Queste fonti possiedono spesso identificatori inconsistenti e semantiche implicite. Mentre i sistemi di Retrieval-Augmented Generation (RAG) eccellono nel lookup di singoli documenti, essi spesso falliscono nelle join tra fonti diverse, nel recupero multi-hop e nei workflow che richiedono una provenienza verificabile. Il collo di bottiglia primario non è la capacità del modello linguistico, ma la mancanza di struttura: i sistemi non riescono a allineare in modo affidabile le entità, a attraversare le relazioni o a giustificare le risposte attraverso fonti disparate senza una manuale ingegneria dello schema. Le soluzioni esistenti richiedono o una costosa e statica cura manuale che non scala con l'evoluzione dello schema, o si affidano ad approcci completamente aperti che sacrificano correttezza e latenza.

Metodologia

Gli autori propongono un sistema che induce automaticamente uno schema eseguibile unificato da dati multi-fonte grezzi e lo utilizza come contratto condiviso sia per la costruzione offline di un grafo di conoscenza (KG) sia per il recupero online al tempo di query. La pipeline consiste in tre fasi principali:

1. Induzione dello Schema (Il Contratto)

Il sistema induce uno schema unificato $\Sigma = (F, T, R, I)$ da fonti eterogenee $S$ senza annotazione manuale.

• Catalogo Campi a Mondo Chiuso: Per prevenire le allucinazioni dell'LLM, il sistema profila prima le fonti per costruire un catalogo $F$ di tutti i campi osservabili con identificatori stabili. L'LLM è strettamente vincolato a fare riferimento solo a questi campi attestati.
• Scoperta Semantica a Due Passaggi: L'LLM esegue un passaggio di "scoperta profonda" su un campione rappresentativo e un passaggio di "validazione" su campioni diversificati per estrarre tipi di entità, mappature di attributi e relazioni. Questa strategia a due passaggi recupera tipi di entità rari che verrebbero persi da un'estrazione a singolo passaggio.
• Intelligenza Strutturale Statistica: Invece di fare affidamento sull'LLM per i pattern strutturali, il sistema utilizza l'analisi statistica deterministica per inferire chiavi di identità (per la deduplicazione), chiavi esterne (per il linking tra fonti) e gerarchie di sorgente basate sulla sovrapposizione dei valori e sulla cardinalità.
• Unificazione Cross-Source: Utilizzando il campionamento corrispondente (raggruppando i record per valori di chiave condivisi anziché per indicizzazione parallela), il sistema unifica gli schemi per singola fonte in un $\Sigma$ globale con hook di provenienza.

2. Costruzione Guidata dallo Schema

Lo schema indotto $\Sigma$ agisce come piano di controllo per la costruzione di un grafo di conoscenza Neo4j consapevole della provenienza $G$.

• Estrazione: $\Sigma$ detta la strategia di estrazione. I campi strutturati vengono estratti deterministicamente; l'estrazione tramite LLM viene attivata solo per fonti ibride o campi contrassegnati come tali.
• Deduplicazione: Le chiavi di identità definite in $\Sigma$ consentono una deduplicazione deterministica $O(n)$. Per i tipi senza chiavi, viene utilizzato il clustering basato su embedding come fallback.
• Linking: Gli archi cross-source vengono materializzati tramite join su hash-index sulle chiavi esterne dichiarate, consentendo query multi-hop tra le fonti.
• Provenienza: Ogni entità estratta è collegata al proprio nodo SourceRecord tramite archi DERIVED_FROM, garantendo la piena tracciabilità.

3. Recupero e QA Guidati dallo Schema

Al tempo di query, il sistema impiega un agente multi-tool che utilizza lo schema (opzionalmente esteso tramite un protocollo monotonico) per instradare il recupero.

• Routing Condizionato dallo Schema: L'agente ispeziona $\Sigma$ per costruire un contesto di runtime. Instrada le query basandosi su un ordine di preferenza: SCHEMALOOKUP per vincoli di tipo discreto e valori definiti; VECTORRAG per evidenze non strutturate; ed EXTERNALSEARCH per query fuori distribuzione (OOD).
• Gating di Affidabilità: Un meccanismo di gating a due stadi previene le allucinazioni. Un gate di pre-retrieval controlla se le entità della query rientrano nei set di valori noti dello schema; un gate di post-retrieval verifica che le risposte candidate siano fondate sulle evidenze recuperate.
• Estensione al Tempo di Query: Se una query introduce tipi di entità non risolti, il sistema può eseguire un'estensione monotona dello schema (aggiungendo nuovi tipi senza alterare le definizioni esistenti) per gestire i gap concettuali, sia in modo persistente che in memoria per la specifica query.

Contributi Chiave

Il paper formula la QA eterogenea attorno a un contratto di schema eseguibile condiviso. I contributi specifici sono:

1. Scoperta di Schema Eseguibile: Dimostrare che gli schemi scoperti da LLM possono essere resi eseguibili su fonti etogene grezze ancorandoli a un catalogo di campi a mondo chiuso e utilizzando metodi statistici per l'inferenza strutturale.
2. Costruzione Guidata dallo Schema: Mostrare che l'esecuzione dello schema indotto durante l'ingestione (specificando percorsi di estrazione, chiavi e link) migliora significativamente le prestazioni di QA a valle rispetto alla rimozione dell'intelligenza strutturale.
3. Recupero Guidato dallo Schema: Provare che esporre lo schema indotto all'agente di QA per le decisioni di routing produce guadagni sostanziali rispetto agli agenti generici di tool-use (es. ReAct, PlanAct) e ai baseline standard di RAG.
4. Estensione Monotonica: Introdurre un meccanismo per far evolvere gli schemi al tempo di query mantenendo l'integrità delle definizioni precedenti.

Risultati

Il sistema è stato valutato su quattro benchmark: BlendQA (scoperta cross-source), HybridQA (ponte tabella-testo), TAT-QA (ragionamento finanziario) e ComplexTR (ragionamento temporale multi-hop).

• Performance: In confronti zero-shot controllati utilizzando lo stesso LLM (GPT-4.1) e l'harness di valutazione, il sistema Schema-Guided ha ottenuto i punteggi più alti di Exact Match (EM) e F1 in tutti e quattro i benchmark.
  • Su BlendQA, ha migliorato l'EM di +2.6 rispetto al secondo miglior baseline controllato (AtomR) e di +10.2 rispetto a RAG.
  • Su HybridQA, ha ottenuto +19.8 EM rispetto ad AtomR e +51.3 EM rispetto a RAG.
  • Su TAT-QA e ComplexTR, ha ottenuto risultati simili, superando tutti i baseline con guadagni rispettivamente di +5.7 e +10.5 EM rispetto ai metodi successivi.
• Studi di Ablazione: La rimozione di componenti specifici ha confermato i loro contributi indipendenti:
  • Rimuovere la guida dello schema (tornando al routing in stile ReAct) ha ridotto l'EM di 9.3 su BlendQA.
  • Rimuovere l'ingestione KG ha danneggiato significativamente le performance multi-hop (es. -8.0 EM su BlendQA).
  • Rimuovere l'intelligenza strutturale ha degradato l'EM di 2.1–6.8 attraverso i dataset.
  • Rimuovere l'estensione al tempo di query ha ridotto le performance sui dataset che richiedevano l'evoluzione dello schema (HybridQA, TAT-QA), sebbene il sistema rimanesse robusto senza di essa.
• Valutazione Cross-Model: I guadagni sono stati coerenti in tre diverse famiglie di LLM (GPT-4.1, Claude Haiku, Llama 3.3 70B), indicando che l'approccio non è specifico per un'unica architettura di modello.

Significato e Claim

Gli autori sostengono che i loro risultati stabiliscono tre principi per la QA eterogenea:

1. L'induzione di uno schema a mondo chiuso è necessaria per rendere eseguibile la struttura scoperta dall'LLM e prevenire riferimenti a campi allucinati.
2. L'analisi strutturale statistica dovrebbe precedere l'estrazione semantica per inferire in modo affidabile chiavi e relazioni che gli LLM faticano a rilevare.
3. Gli agenti di recupero beneficiano quando lo schema usato per la costruzione condiziona anche il routing; questo approccio supera sostanzialmente l'uso di tool agentici generici.

Il paper posiziona questo lavoro come un passo verso sistemi di QA auto-configurabili e auto-estensibili che possono operare su fonti di dati non stazionarie senza il design manuale dello schema, mantenendo bassa latenza, controllabilità e provenienza verificabile. Gli autori notano limitazioni riguardanti l'ambito della valutazione cross-model (limitata a BlendQA per alcuni modelli) e il costo di latenza dell'estensione dello schema al tempo di query, che potrebbe essere proibitivo per applicazioni a tempo reale rigorose.