Riepilogo Tecnico: Baikal – Ricerca Strutturata per la Ricerca Approfondita su Data Lake

1. Formulazione del Problema

Il documento affronta la sfida della ricerca approfondita su data lake (deep research over data lakes), definita come il compito in cui un agente autonomo deve sintetizzare un rapporto investigando selettivamente prove distribuite tra migliaia di tabelle eterogenee e passaggi di testo non strutturato.

La difficoltà principale risiede nella natura di ricerca a budget limitato (budgeted search) del problema. Dato un budget fisso di $B$ passi (dove ogni passo produce un reperimento), l'agente deve:

1. Recuperare prove pertinenti alla query da una collezione massiva ed eterogenea ($L = T \cup P$).
2. Elaborare le prove mediante ragionamento.
3. Fondamentale: Identificare un insieme diversificato di aspetti salienti per la query senza sovra-sfruttare evidenze localmente promettenti.

I metodi esistenti di recupero e generazione iterativa spesso falliscono in questo ambito perché si affidano all'accumulo di contesto per spostare le credenze del modello. Ciò crea un bias che orienta l'agente verso evidenze localmente promettenti, portando a una scarsa copertura di regioni semantiche distinte e a rapporti di bassa qualità che trascurano aspetti chiave della query. Gli autori formalizzano l'obiettivo come la massimizzazione del punteggio di qualità medio dei reperimenti attraverso il budget, dove il punteggio di qualità ($\rho$) è il prodotto di quattro dimensioni: fondatezza (groundedness), pertinenza, distinzione e utilità.

2. Metodologia: Il Framework Baikal

Baikal riformula la ricerca approfondita come un problema di multi-armed bandit a budget limitato su uno spazio semantico strutturato. Il framework opera in tre fasi principali:

A. Aggiunta di Struttura (Pre-computazione)

Invece di cercare tabelle e passaggi grezzi, Baikal organizza prima il data lake in regioni semantiche:

• Embedding: Un singolo encoder (es. Qwen3-Embedding) inserisce sia i metadati delle tabelle (titolo, schema) che i passaggi di testo in uno spazio vettoriale condiviso.
• Clustering: Utilizzando BERTopic (UMAP per la riduzione della dimensionalità + HDBSCAN per il clustering), il sistema raggruppa migliaia di elementi in $|R|$ regioni semantiche.
• Definizione delle Regioni: Ogni regione $c$ contiene un sottoinsieme di tabelle $T_c$ e passaggi $P_c$, insieme a una descrizione. Le regioni sono progettate per rientrare nella finestra di contesto di un agente pur rimanendo tematicamente coerenti. Ciò riduce lo spazio di ricerca da $|L|$ elementi a $|R|$ "bracci" (arms).

B. Ricerca e Investigazione (Runtime)

Per una data query $q$, Baikal esegue una ricerca sequenziale sulle regioni candidate $C(q)$:

1. Selezione dei Candidati: La query viene trasformata in embedding e vengono recuperati i top-$k$ tabelle/passaggi. Qualsiasi regione che presenti una sovrapposizione con questi top-$k$ elementi viene mantenuta come candidata. Ciò assicura che il recupero di un singolo elemento porti con sé l'intera regione semantica di appartenenza.
2. Policy di Selezione della Regione: Una policy $\pi$ seleziona una regione $c \in C(q)$ da investigare. Il documento valuta diverse policy:
   • Random: Campionamento uniforme.
   • LLM-guided: Un LLM seleziona in base alle descrizioni delle regioni e alla cronologia.
   • Bayesian $\epsilon$-greedy: Sfrutta la regione con la media del reward stimata più alta, con una probabilità $\epsilon$ di esplorazione tramite softmax sulle medie posteriori.
   • Bayes-UCB: Seleziona la regione con il quantile superiore posteriore più alto, bilanciando esplorazione e sfruttamento.
   • Nota: Le policy Bayesiane sono inizializzate con prior elicitati da LLM per evitare di sprecare il budget in un'esplorazione non informata.
3. Generazione e Selezione di Sotto-domande: All'interno della regione selezionata, un LLM genera fino a $K$ sotto-domande analitiche (es. conteggi, confronti) basate sul contenuto della regione. Viene selezionata una sotto-domanda (casualmente o tramite una policy LLM) da rispondere.
4. Esecuzione: Un agente di codifica (es. OpenCode) esegue la sotto-domanda utilizzando SQL limitato alla regione contro un database SQLite delle tabelle della regione e legge i relativi passaggi. L'agente può anche eseguire l'espansione della regione (usando grep per recuperare passaggi aggiuntivi rilevanti) se la regione iniziale è insufficiente.
5. Feedback del Reward: Un LLM judge assegna un punteggio al reperimento risultante sulle quattro dimensioni della rubrica. Questo punteggio funge da reward $r_t$ per aggiornare la stima del valore della policy per quella regione (utilizzando uno schema di pseudo-conteggio per gli aggiornamenti Bayesiani).

C. Sintesi del Rapporto

Una volta esaurito il budget o non rimaste più regioni candidate, i reperimenti raccolti vengono sintetizzati in un rapporto finale, con le affermazioni attribuite a specifiche fonti di evidenza.

3. Contributi Chiave

1. Formalizzazione: Inquadrare la ricerca approfondita su data lake come un problema di ricerca a budget limitato su regioni semantiche strutturate, affrontando esplicitamente il compromesso tra esplorazione e sfruttamento.
2. Framework Baikal: Un sistema che raggruppa dati eterogenei in regioni semantiche e utilizza il processo decisionale sequenziale (policy bandit) per guidare la raccolta di evidenze, anziché fare affidamento esclusivamente sull'accumulo di contesto iterativo.
3. Nuovo Testbed e Valutazione: La costruzione di query di ricerca approfondita su data lake HybridQA (10.993 tabelle) e TAT-QA (2.757 tabelle), accompagnata da una rubrica pratica per valutare fondatezza, pertinenza, distinzione e utilità tramite giudici LLM.
4. Validazione Empirica: Dimostrare che i guadagni derivano dalla procedura di ricerca (allocazione sequenziale del budget) piuttosto che dalla sola struttura. Fornire un forte agente di codifica con le stesse regioni non replica le prestazioni di Baikal.

4. Risultati

Gli autori hanno valutato Baikal rispetto a solidi baseline, inclusi un agente OpenCode (con e senza artefatti di recupero/clustering) e DeepSearcher, su 15 query per data lake con un budget di 50 passi.

• Performance: La migliore configurazione di Baikal (Bayes-UCB su HybridQA; Random/Bayes $\epsilon$-greedy su TAT-QA) ha migliorato i punteggi dei rapporti del 28% su HybridQA e del 36% su TAT-QA rispetto ai baseline più forti.
• Dimensioni della Qualità: Baikal ha migliorato significativamente la fondatezza (0.92 vs ~0.72 per i baseline) e la distinzione (0.86 vs ~0.62), elementi critici per evitare contenuti ripetitivi o allucinati. Sebbene i baseline a volte ottenessero punteggi più alti sulla pertinenza, la loro mancanza di fondatezza risultava in punteggi complessivi inferiori a causa della natura moltiplicativa della rubrica.
• Efficienza di Ricerca: Le policy di Baikal si sono distanziate dai baseline già nei primi 10 passi. Sebbene la selezione casuale si sia comportata sorprendentemente bene (grazie alla struttura stessa), le policy Bayesiane hanno mostrato chiari vantaggi all'aumentare del budget (es. Bayes-UCB ha guadagnato l'8.8% rispetto al random con un budget di 200).
• Analisi dei Costi: Baikal ha sostenuto costi totali per query più elevati perché ha prodotto più reperimenti validi (44.6 vs 30.9 per OpenCode). Tuttavia, il costo per reperimento valido è comparabile ai baseline, indicando che il premio acquista evidenze utilizzabili piuttosto che passi costosi falliti.

5. Significato e Affermazioni

Il documento afferma che l'esplorazione semantica strutturata è essenziale per la ricerca sistematica su data lake eterogenei. Il contributo primario non è solo il clustering dei dati, ma la gestione esplicita del processo di ricerca sotto un budget fisso.

• Struttura vs Ricerca: Gli autori sottolineano che fornire a un agente forte le stesse regioni strutturate (recupero + clustering) non trasferisce i guadagni di prestazione. Il miglioramento deriva dalla policy di processo decisionale sequenziale che alloca il budget tra le regioni per massimizzare la copertura e la distinzione.
• Scalabilità: L'approccio gestisce la natura a "lungo termine" (long-horizon) della ricerca approfondita riducendo lo spazio di ricerca a regioni semantiche, permettendo all'agente di coprire parti distinte del data lake che i metodi basati sull'accumulo di contesto iterativo spesso perdono.
• Riproducibilità: La rubrica di valutazione (fondatezza, pertinenza, distinzione, utilità) è stata validata per l'accordo inter-LLM, mostrando un'alta coerenza nella valutazione di distinzione e fondatezza.

In conclusione, Baikal dimostra che trattare un data lake come uno spazio strutturato da cercare, piuttosto che come un corpus da cui recuperare informazioni, offre una base robusta per compiti di ricerca approfondita, specialmente quando le evidenze sono distribuite tra migliaia di tabelle e passaggi.