Riepilogo Tecnico: SANA - Framework di Ablazione per la Navigazione di Agenti di Ricerca

1. Definizione del Problema

L'Exploratory Question Answering (EQA) su data lake richiede che un agente LLM scopra iterativamente fonti rilevanti, analizzi i dati recuperati e adatti le proprie azioni in base ai risultati intermedi. A differenza della QA standard, l'agente deve determinare quali tabelle, metadati, filtri o calcoli siano necessari per rispondere a una domanda di alto livello senza una conoscenza pregressa dello schema dei dati.

Gli attuali metodi di valutazione si affidano all'accuratezza end-to-end, il che confonde i fallimenti tra componenti distinte:

• Ricerca (Search): Recupero di fonti irrilevanti, incomplete o mancanti.
• Pianificazione (Planning): Decomposizione della domanda in sottodomande errate o incomplete.
• Analisi dei Dati (Data Analysis): Scrittura di query/codice errati, interpretazione errata dei risultati o errori di schema.
• Politica dell'Agente (Agent Policy): Il processo decisionale a livello di turno (Action Policy) che determina cosa fare dopo, quando fermarsi o come sintetizzare le evidenze.

I precedenti benchmark (ad es. LakeQA, KramaBench) e le valutazioni agentiche (ad es. DCI, Metadata Reasoner) non isolano queste modalità di fallimento. Di conseguenza, rimane poco chiaro se un agente fallisca a causa di un'infrastruttura di recupero scarsa, di catene di ragionamento deboli o di politiche di esecuzione difettose.

2. Metodologia: Il Framework SANA

Gli autori propongono SANA (Search Agent Navigation Ablation framework), un framework di ablazione diagnostica progettato per decostruire le accuratezze dei compiti EQA end-to-end in specifici fallimenti di componente.

2.1 Profilazione del Compito (Task Profiling)

SANA trasforma i compiti EQA risolti in profili di runtime contenenti informazioni di verità fondamentale (ground-truth):

1. Sequenza di Fonti (Source Sequence): La sequza ordinata dei dataset gold ($D_{gold}$) richiesti per ogni sottodomina.
2. Sottodomande Sanificate (Sanitized Subquestions): Una sequenza di sottodomande ($\tilde{Q}$) in cui vengono rimossi i riferimenti diretti ai nomi dei dataset per evitare la fuga degli obiettivi di ricerca (ad es. sostituendo "nypd_crimes" con "trova i rapporti sui crimini riportati dalla NYPD").
3. Registri di Esecuzione (Execution Records): Specifiche del dataset, l'intento di analisi, il codice/query corretto e la risposta intermedia per ogni passaggio che richiede l'analisi dei dati.

2.2 Ablazione Basata sull'Intento (Intent-Based Ablation)

SANA isola il contributo delle componenti di sistema sostituendole con versioni idealizzate pur preservando l'Action Policy dell'agente (le decisioni su cosa fare dopo). Il framework definisce tre assi per l'ablazione:

• Ablazione della Pianificazione (Planning Ablation): L'agente riceve la sequenza di sottodomande sanificate ($\tilde{Q}$) e l'obiettivo di ogni passaggio, ma deve comunque formulare query di ricerca ed eseguire l'analisi. Questo testa se l'agente può seguire una decomposizione corretta.
• Ablazione della Ricerca (Search Ablation): Lo strumento di ricerca standard viene sostituito con un operatore simile a un oracolo ($f_{ideal}$) che restringe lo spazio di ricerca strettamente a $D_{gold}$. L'agente decide ancora cosa cercare e quando, ma la precisione del recupero è perfetta.
• Ablazione dell'Analisi dei Dati (Data Analysis Ablation): Lo strumento di esecuzione standard viene sostituito da $g_{ideal}$, che verifica se l'intento dell'agente corrisponde al registro di esecuzione annotato. Se corrisponde, restituisce la risposta intermedia verificata; altrimenti, utilizza un modello più forte per generare il codice corretto per l'intento dichiarato.

2.3 Configurazione della Valutazione

Il framework è stato applicato a due benchmark:

• LakeQA: Un ambiente data lake su larga scala (~40 milioni di documenti, 135 compiti).
• KramaBench (Convertito): Un ambiente su scala ridotta data-to-insight (1.764 fonti, 83 compiti) adattato per richiedere la scoperta dei dati.

Gli esperimenti sono stati condotti con due dimensioni di modello (gpt-5.4-nano e gpt-5-mini) sotto budget fissi ($B=30$ chiamate agli strumenti) e tempi di esecuzione. Lo studio confronta le configurazioni Naive (baseline), Standard (migliori pratiche attuali) e Ideal (ablazione).

3. Risultati Chiave

3.1 Risultati di LakeQA (Scoperta su Larga Scala)

• La Ricerca è un Collo di Bottiglia Maggiore: La ricerca ideale (recupero oracolare) ha migliorato il match semantico (SM) del +14,1% per gpt-5.4-nano e del +13,3% per gpt-5-mini rispetto a BM25. Il precaricamento delle fonti gold ha prodotto guadagni ancora superiori (+28,9% per nano), indicando che gli agenti più deboli faticano significativamente con la navigazione della ricerca (formulazione delle query e impegno verso le fonti).
• L'Analisi dei Dati è un Collo di Bottiglia Costante: L'analisi dei dati ideale ha migliorato l'SM del +18,5% per gpt-5-mini, suggerendo che i modelli più forti identificano spesso l'intento corretto ma falliscono nell'implementazione (generazione SQL/Python).
• La Pianificazione è Meno Limitante: L'ablazione della pianificazione ha fornito guadagni modesti (+3,0% per nano, +9,6% per mini). L'analisi ha rivelato che gli agenti possono spesso generare piani simili alla decomposizione gold, ma falliscono nel seguirli durante l'esecuzione (deriva della traiettoria).
• Fallimenti della Politica Residua (Residual Policy Failures): Anche con tutte le componenti idealizzate, rimane un divario (ad es. 76,3% SM per gpt-5-mini rispetto al 100% potenziale). I fallimenti includono l'allucinazione di risposte finali, lo spreco di budget in loop o il mancato rispetto della validazione delle evidenze intermedie.

3.2 Risultati di KramaBench (Analisi su Scala Ridotta)

• L'Analisi dei Dati Domina: In questo contesto, l'analisi dei dati era il collo di bottiglia primario, migliorando l'SM del +24,1% (nano) e del +14,5% (mini) quando idealizzata.
• La Ricerca è Meno Critica: I miglioramenti della ricerca sono stati marginali (+2,4% a +6,0%), riflettendo la scala ridotta e la natura dei compiti, che sono più vicini alle pipeline data-to-insight che alla scoperta ampia.
• Impatto della Pianificazione: L'ablazione della pianificazione ha mostrato guadagni relativi più significativi per il modello più debole (nano) rispetto a quello più forte, suggerendo che la decomposizione esplicita aiuta maggiormente gli agenti deboli nei compiti di analisi strutturata.

3.3 Analisi dei Fallimenti

L'audit delle tracce fallite ha rivelato profili di fallimento distinti:

• gpt-5.4-nano: I fallimenti erano distribuiti tra il targeting delle fonti, la divergenza dal piano, lo spreco di turni (loop ripetuti) e l'arresto prematuro.
• gpt-5-mini: I fallimenti erano concentrati nell'esecuzione/computazione (57,2% dei fallimenti) e nella finalizzazione (35,7%). Questo modello tipicamente raggiungeva l'evidenza corretta ma falliva nell'implementare correttamente l'operazione o nel sintetizzare la risposta finale.

4. Contributi

1. Framework SANA: Un framework di ablazione diagnostica che converte i compiti EQA risolti in profili di runtime per costruire interfacce idealizzate per pianificazione, ricerca e analisi dei dati, preservando al contempo la politica dell'agente.
2. Valutazione Controllata: Una valutazione sistematica su LakeQA e KramaBench convertito che isola i contributi end-to-end di ricerca, pianificazione ed esecuzione sotto condizioni fisse.
3. Diagnosi Empirica: Evidenza che l'analisi dei dati è un limite costante in tutti i benchmark, la ricerca è un limite maggiore nella scoperta su larga scala, e i fallimenti della politica residua (controllo della traiettoria, validazione, criteri di arresto) persistono anche quando le componenti sono idealizzate.

5. Significato e Rivendicazioni

Il documento sostiene che SANA fornisce un passaggio necessario dalla valutazione dell'accuratezza end-to-end "black-box" a un approccio diagnostico che identifica specifici modi di fallimento negli agenti EQA.

• Decostruzione dell'Accuratezza: Gli autori sostengono che l'accuratezza end-to-end da sola non può distinguere tra un fallimento nella ricerca, nella pianificazione o nella politica dell'agente. SANA consente confronti sistematici dei progressi in queste aree specifiche.
• Politica vs Qualità della Componente: I risultati suggeriscono che i futuri miglioramenti negli agenti EQA richiedono più del semplice miglioramento dei retriever o una generazione di codice più forte. Il "gap residuo" indica la necessità di politiche di runtime più forti che possano tracciare il progresso dei sottogruppi, impegnarsi su fonti validate, recuperare dalle derive della traiettoria e verificare le evidenze intermedie prima di sottomettere una risposta finale.
• Colli di Bottiglia Contestuali: Il documento sottolinea che i colli di bottiglia non sono universali; cambiano in base alla struttura del benchmark (ad es. la ricerca domina nei grandi data lake, mentre l'analisi domina nei compiti più piccoli orientati all'insight).

Limitazioni Riconosciute dagli Autori:

• Approssimazione Diagnostica: Gli strumenti ideali sono approssimazioni di oracoli; potrebbero non accreditare fonti valide alternative al di fuori del profilo.
• Ambito del Compito: Le conclusioni sono specifiche per i set di compiti valutati (LakeQA e K_ramaBench convertito) e potrebbero non generalizzarsi a tutti i benchmark per agenti.
• Dipendenza dai Giudici (Judge Reliance): Diversi parametri (match semantico, traiettoria del piano, etichettatura dei fallimenti) si affidano a giudici LLM, il che potrebbe introdurre falsi positivi/negativi.