Sintesi Tecnica: TaxoBench – Valutare il Gap di Sintesi negli Agenti di Ricerca Profonda (Deep Research)

1. Definizione del Problema

Gli agenti di Ricerca Profonda (Deep Research - DR) stanno automatizzando sempre più la generazione di survey accademiche attraverso la ricerca sul web, il recupero di paper e la produzione di panoramiche strutturate. Tuttavia, i benchmark esistenti valutano principalmente la qualità del testo generato, la veridicità o la correttezza delle citazioni, fallendo nel valutare congiuntamente due capacità fondamentali all'intersezione tra acquisizione di informazioni e generazione strutturale:

1. Recupero (Retrieval): Gli agenti sono in grado di recuperare l'insieme specifico di paper che gli esperti umani considerano essenziali per una survey?
2. Organizzazione: Gli agenti sono in grado di organizzare questi paper in una tassonomia gerarchica che rispecchi le strutture costruite dagli esperti?

I metodi di valutazione attuali si affidano spesso a metriche di clustering piatto (ad es., ARI, V-Measure) che ignorano la struttura gerarchica, o utilizzano outline giudicati da LLM senza un fondamento nell'assegnazione dei paper alle categorie. Ciò crea un "gap di sintesi" dove rimane poco chiaro se gli agenti siano in grado di replicare il processo dell'esperto di identificare la letteratura fondamentale e sintetizzarla in una tassonomia multi-livello coerente.

2. Metodologia: TaxoBench

Gli autori introducono TaxoBench, un benchmark progettato per isolare e valutare separatamente le capacità di recupero e di organizzazione.

Costruzione del Dataset

TaxoBench è costruito su 72 survey altamente citate relative agli LLM che coprono 8 sottodomini di AI/ML.

• Verità Fondamentale (Ground Truth): Ogni survey include una tassonomia redatta da esperti (gerarchia di categorie) e un insieme di 3.815 paper citati, mappati manualmente alle categorie degli esperti da annotatori con dottorato di ricerca (Ph.D.).
• Statistiche: Il dataset presenta una media di 354,5 citazioni per survey, una profondità della gerarchia di 4,9 e 14,0 categorie di paper per tassonomia.

Modalità di Valutazione

TaxoBench valuta i sistemi in due modalità distinte per separare il recupero dall'organizzazione:

1. Modalità Deep Research (End-to-End): Gli agenti ricevono solo l'argomento della survey. Devono utilizzare strumenti web per recuperare i paper e poi organizzarli in una tassonomia. Questo testa simultaneamente sia il recupero che l'organizzazione.
2. Modalità Bottom-Up (Isolamento dell'Organizzazione): Agenti vengono forniti con l'esatto insieme di paper citati dagli esperti ($P^*$). Devono organizzare questo insieme fisso in una tassonia. Ciò isola la capacità di organizzazione, rimuovendo il recupero come variabile.

Metriche

Il paper propone una suite di metriche per valutare sia le assegnazioni a livello di foglia (leaf-level) sia le strutture a livello di gerarchia:

• Livello Foglia (Leaf-Level): Indice di Rand Corretto (ARI) e V-Measure (Omogeneità/Completezza) per valutare l'assegnazione dei paper alle categorie.
• Livello Gerarchico:
  • US-TED / US-NTED (Unordered Semantic Tree Edit Distance): Misura la divergenza strutturale globale tra la tassonomia del modello e il riferimento dell'esperto, tenendo conto della somiglianza semantica dei label (tramite embedding) e ignorando l'ordine dei fratelli (sibling order).
  • Sem-Path (Similitudine del Percorso Semantico): Una metrica per singolo paper che misura la coerenza della catena radice-foglia. Allinea le catene degli antenati e penalizza le discrepanze nei label semantici e nella lunghezza del percorso.
• Calibrazione: Gli autori introducono controlli di "corrispondenza della profondità" (depth-matching) per tenere conto del fatto che i modelli producono spesso alberi più superficiali rispetto agli esperti, il che deprime artificialmente i punteggi Sem-Path. Stabiliscono inoltre dei baseline "floor" (ad es., tassonomie piatte) per interpretare i punteggi grezzi.

3. Contributi Chiave

1. Dataset TaxoBench: Un benchmark che accoppia 72 tassonomie esperte con 3.815 paper mappati, consentendo la valutazione separata di recupero e organizzazione.
2. Metriche Consapevoli della Gerarchia: Sviluppo di US-TED, US-NTED e Sem-Path, che catturano l'allineamento strutturale e semantico oltre il semplice clustering piatto. Gli autori distinguono anche tra risultati basati sull'allineamento (accordo con un riferimento specifico dell'esperto) e risultati basati sulla capacità (statistiche strutturali indipendenti dai label specifici).
3. Valutazione Esaustiva: Valutazione di 7 agenti di Deep Research e 16 configurazioni frontier di LLM (inclusi o3, GPT-5, Claude, Gemini, ecc.) in entrambe le modalità.

4. Risultati Chiave

Collo di Bottiglia del Recupero (Modalità Deep Research)

• Grave Deficit di Recupero: Anche il miglior agente (o3) recupera solo il 20,92% dei paper citati dagli esperti (Recall). Quattro dei sette agenti scendono sotto il 10% di F1.
• Correlazione con l'Organizzazione: La qualità del recupero correla fortemente con la struttura a livello gerarchico (Spearman $\rho=0,89$ per F1 rispetto a Sem-Path). Gli agenti che falliscono nel recuperare i paper fondamentali falliscono anche nel costruire gerarchie coerenti.
• Auto-Recupero: Sebbene alcuni agenti recuperino la survey stessa, ciò non gonfia i punteggi di Recall perché il titolo della survey non fa parte del set di paper dell'esperto.

Collo di Bottiglia dell'Organizzazione (Modalità Bottom-Up)

• Deficit di Profondità: I modelli falliscono costantemente nel costruire tassonomie profonde. La profondità media dell'esperto è 4,86, mentre tutti i 70 run dei modelli (attraverso generazioni e configurazioni) mediano tra 2,99 e 3,97. La configurazione più profonda è comunque corta 0,89 livelli.
• Sovra-segmentazione: I modelli tendono a frammentare le tassonomie in cluster granulari (alta Omogeneità) invece di consolidarli in categorie più ampie tipiche degli esperti. Ad esempio, GPT-5.6-sol produce 28,3 categorie con un tasso di singleton del 43,5% (paper in categorie di dimensione 1), rispetto alle 14,0 categorie e al 17,0% di singleton dell'esperto.
• Effetto Floor di Sem-Path: I punteggi grezzi di Sem-Path per i modelli si raggruppano strettamente (28–30%), difficilmente distinguibili da un baseline di tassonomia "Piatta" (27,49%). Ciò è dovuto alla mancanza di correzione per il caso e al deficit di profondità.
  • Analisi con Corrispondenza della Profondità (Depth-Matched): Quando i modelli vengono valutati contro un albero dell'esperto collassato alla profondità del modello, i punteggi salgono a 32–42% e la dispersione aumenta. Tuttavia, rimane un divario significativo: gli umani (annotatori) ottengono un 54,09% di Sem-Path sulle survey corrispondenti, mentre i modelli mediano il 38,71%.
  • Influenza del Prompt: Un test controllato mostra che forzare i modelli a corrispondere alla profondità dell'esperto (tramite istruzioni esplicite) non migliora l'organizzazione; al contrario, causa una maggiore frammentazione (tassi di singleton più alti) e abbassa i punteggi di allineamento (l'ARI scende, il Sem-Path scende). Ciò suggerisce che il deficit di profondità è un fallimento nel costruire un raffinamento gerarchico coerente, non un'incapacità di aggiungere livelli.

Baseline Umana

In un sottoinsieme di 10 survey, due annotatori umani indipendenti (senza vedere il riferimento dell'esperto) hanno ottenuto un Sem-Path del 53,91% e una profondità di ~4,65. Essi concordavano tra loro al 50,56% di Sem-Path. I modelli, al contrario, punteggiano vicino al floor (28–30%) e concordano con l'esperto più di quanto gli umani concordino tra loro sui metrici piatti (ARI), indicando che l'ARI è saturo e inaffidabile per questo compito.

5. Significato e Rivendicazioni

Il paper sostiene che TaxoBench identifichi il recupero e l'organizzazione gerarchica come colli di bottiglia separati e critici negli attuali agenti di Deep Research.

• Recupero: Gli agenti attualmente non sono in grado di replicare il processo di scoperta della letteratura degli esperti, recuperando meno del 21% dei paper essenziali.
• Organizzazione: Anche con un recupero perfetto, gli agenti falliscono nel costruire tassonomie profonde e coerenti. Tendono a produrre strutture superficiali e sovra-segmentate che mancano del raffinamento progressivo tipico delle survey degli esperti.
• Calibrazione delle Metriche: Gli autori sostengono che le metriche gerarchiche grezze (come Sem-Path) siano interpretabili solo senza la calibrazione rispetto alla profondità e ai baseline di "floor". Dimostrano che una generazione di un modello che guadagna 3,68 punti percentuali in ARI mostra quasi nessun movimento nel Sem-Path grezzo (0,87 punti percentuali), evidenziando l'insensibilità della metrica nel regime di alberi superficiali.
• Direzioni Future: Il lavoro richiede metriche gerarchiche corrette per il caso, workflow agentici più ricchi (oltre le attuali interfacce prodotto) e valutazioni multi-riferimento per tenere conto della soggettività del design tassonomico.

Gli autori concludono che, sebbene gli agenti di DR possano generare testo, essi mancano attualmente delle capacità fondamentali per sintetizzare autonomamente strutture di survey di livello esperto, rendendo necessaria la supervisione umana piuttosto che l'automazione completa.