💬 NLP

LoHoSearch: Benchmarking Long-Horizon Search Agents Beyond the Human Difficulty Ceiling

Per superare il limite di difficoltà dei benchmark di ricerca esistenti scritti da esseri umani, questo articolo introduce LoHoSearch, un benchmark automatizzato basato su grafi di conoscenza che presenta 544 domande complesse a lungo termine in 11 domini che sfida significativamente gli attuali agenti di ricerca allo stato dell'arte, riducendo la loro accuratezza al 34,74%.

Autori originali: Jiarui Zhao, Rongzhi Zhang, Lingchuan Liu, Hao Yang, Xunliang Cai, Xi Su

Pubblicato 2026-06-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jiarui Zhao, Rongzhi Zhang, Lingchuan Liu, Hao Yang, Xunliang Cai, Xi Su

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: La Trappola della "Modalità Facile"

Immaginate un videogioco in cui l'obiettivo è trovare un tesoro nascosto specifico. Per l'ultimo anno, i ricercatori hanno testato degli "agenti di ricerca" IA (robot che navigano su internet) usando un gioco chiamato BrowseComp.

All'inizio, il gioco era difficile. Ma poiché gli esseri umani hanno progettato le domande, accidentalmente le hanno rese troppo facili. Gli umani tendono a scegliere cose famose (come "La Torre Eiffel" o "Taylor Swift") e a collegarle con indizi ovvi. È come nascondere un tesoro dietro una porta con la scritta "Tesoro".

Poiché gli indizi erano così ovvi, i migliori robot IA hanno imparato rapidamente a risolvere il 90% degli enigmi. Il gioco ha perso la capacità di distinguere tra un robot intelligente e uno davvero intelligente. La difficoltà ha raggiunto un "tetto" che i progettisti umani non riuscivano a superare perché non possiedono una mappa perfetta dell'intero internet per vedere quanti altri "tesori" potrebbero adattarsi agli indizi.

La Soluzione: Costruire una "Super-Mappa"

Gli autori di questo paper, LoHoSearch, hanno deciso di smettere di affidarsi alle supposizioni umane. Invece, hanno costruito un sistema massiccio e automatizzato basato su un Grafo di Conoscenza (Knowledge Graph).

Pensate a questo Grafo di Conoscenza come a una gigantesca mappa digitale di tutto internet (specificamente Wikipedia), che contiene oltre 7 milioni di entità (persone, luoghi, cose) e il modo in cui sono collegate tra loro.

Invece di far scegliere una domanda a un essere umano, il computer usa questa mappa per:

Trovare i "Percorsi Difficili": Cerca connessioni dove ci sono migliaia di possibili risposte, non solo una o due celebri.
Costruire Labirinti Complessi: Crea domande che richiedono al robot di controllare molti vicoli ciechi prima di trovare il percorso giusto.
Verificare la Risposta: Dimostra matematicamente che solo una risposta specifica si adatta agli indizi, assicurando che l'enigma sia equo.

Il Nuovo Gioco: LoHoSearch

Il risultato è un nuovo benchmark chiamato LoHoSearch (Long-Horizon Search). Contiene 544 domande difficili suddivise in 11 diversi argomenti (come musica, sport e film).

Ecco come il nuovo gioco cambia le regole:

Lo Spazio di Ricerca è Enorme: Nel vecchio gioco, se l'indizio era "Chi ha cantato questa canzone?", potevano esserci 5 cantanti famosi. In LoHoSearch, l'indizio potrebbe essere "Chi ha cantato questa canzone oscura di un anno specifico in un genere specifico?", dove ci sono centinaia di cantanti possibili. Il robot deve controllarli tutti.
Il Labirinto è Intrecciato: Le domande non sono una linea retta. Sono come una rete aggrovigliata dove devi incrociare indizi che tornano su se stessi. Non puoi tirare a indovinare; devi pensare profondamente.

I Risultati: I Robot si Scontrano con un Muro

I ricercatori hanno testato i modelli IA più intelligenti del mondo su questo nuovo gioco. I risultati sono stati scioccanti:

Il Vecchio Gioco: I modelli top hanno ottenuto punteggi superiori al 90%.
Il Nuovo Gioco: Persino il miglior modello assoluto (GPT-5.5) ha ottenuto solo il 34,7%.

È come se i robot fossero passati dall'essere "Grandi Maestri" negli scacchi al faticare per imparare le regole di un nuovo gioco molto più difficile.

Perché i Trucchi Attuali Non Funzionano

Quando i robot rimangono bloccati su enigmi difficili, di solito provano una strategia chiamata "Gestione del Contesto" (Context Management). Immaginate un detective che ha scritto 100 pagine di appunti. Se il quaderno diventa troppo pieno, il detective prova a riassumere gli appunti o a buttare via le vecchie pagine per fare spazio alle nuove.

I ricercatori hanno testato queste strategie su LoHoSearch.

Sul vecchio gioco facile, questi trucchi hanno aiutato i robot a migliorare del 14%.
Sul nuovo gioco difficile, i trucchi hanno aiutato solo del 6,8%.

Questo dimostra che il problema non è solo ricordare le cose; il problema è che il "labirinto" è così complesso e lo "spazio di ricerca" è così vasto che i cervelli attuali dei robot semplicemente non riescono a gestire la lunga catena di ragionamento richiesta.

Il Punto Fondamentale

LoHoSearch dimostra che non possiamo limitarci a creare domande scritte dagli umani leggermente più difficili. Per testare davvero se l'IA sta diventando più intelligente, dobbiamo usare una mappa generata da un computer per creare enigmi che siano matematicamente garantiti per essere difficili.

Questo nuovo benchmark funge da "test di resistenza" che rivela i limiti attuali dell'IA. Dimostra che, sebbene l'IA sia brava a trovare risposte facili, fatica ancora significativamente quando deve navigare in una rete enorme e complessa di informazioni per trovare una singola, nascosta verità.

Riepilogo Tecnico: LoHoSearch

Problematica

I benchmark per gli agenti di ricerca, come BrowseComp, hanno rapidamente raggiunto un "tetto di difficoltà" in cui anche i modelli più avanzati ottengono un'accuratezza superiore al 90%. La causa principale di questa saturazione è la dipendenza da domande scritte da esseri umani. Gli annotatori umani mancano di una prospettiva globale sulle statistiche delle entità, il che li porta a selezionare entità familiari con alta popolarità e connessioni dirette. Di conseguenza, questi benchmark non riescono a massimizzare sistematicamente i due determinanti principali della difficoltà di ricerca:

Dimensione dello Spazio di Ricerca: Il numero di entità candidate che soddisfano un singolo vincolo.
Complessità Strutturale: Il numero di vincoli che devono essere soddisfatti congiuntamente per identificare univocamente una risposta.

Sebbene la profondità del ragionamento (salti di conoscenza o knowledge hops) sia stata ben affrontata dai benchmark esistenti, la combinazione di ampi spazi di ricerca e alta complessità strutturale crea una sfida a "lungo orizzonte" (long-horizon) con la quale gli attuali agenti faticano, ma che la costruzione umana non può scalare in modo affidabile per produrre.

Metodologia

Per superare i limiti dell'autoria umana, gli autori introducono LoHoSearch (Long-Horizon Search Agents), un benchmark costruito tramite una pipeline automatizzata basata su un grafo di conoscenza (KG) su larga scala.

1. Costruzione del Grafo di Conoscenza

La pipeline utilizza l'intero dump di Wikipedia in inglese per costruire un KG contenente circa 7,62 milioni di entità e 265 milioni di archi diretti.

Nodi: Pagine di Wikipedia.
Archi: Collegamenti ipertestuali tra le pagine.
Attributi: A ogni entità viene assegnato un tipo (tramite Wikidata P31) e una metrica di popolarità (grado di entrata o in-degree).

2. Campionamento dei Sottografi

Il sistema campiona due tipi di sottografi dal KG per formare la base delle domande, garantendo una bassa popolarità delle entità per prevenire inferenze facili:

Sottografi a struttura ad albero (Tree-Structured): Un nodo radice (la risposta) si connette a nodi intermedi, che a loro volta si connettono a nodi foglia. I vincoli sono selezionati per garantire:
- Ogni relazione ha uno spazio di ricerca ampio ( $|S| > \tau$ ).
- L'intersezione dei set di candidati per tutte le relazioni è esattamente il nodo radice (garantendo l'univocità).
- La rimozione di una singola relazione lascia molteplici candidati (assicurando che ogni relazione sia necessaria).
Sottografi a struttura a grafo (Graph-Structured): Questi introducono dipendenze cicliche e vincoli incrociati, rendendo il problema non decomponibile. Sono costruiti tramite un approccio greedy per massimizzare il numero di archi e la dimensione dello spazio di ricerca, mantenendo la connettività e la diversità dei tipi.

3. Generazione e Verifica delle QA

Offuscamento: Per ogni arco nel sottografo, un LLM estrae una descrizione in linguaggio naturale della relazione dalla pagina Wikipedia dell'entità sorgente. Per i nodi foglia, vengono aggiunte ulteriori descrizioni delle proprietà.
Verifica della Ricerca: Le relazioni vengono verificate per garantire che non possano essere localizzate direttamente tramite motori di ricerca o inferite da un LLM senza il contesto specifico della domanda.
Verifica dell'Univocità: Il sistema esegue ricerche esaustive di backtracking sull'intero KG per confermare che nessun altro insieme di entità soddisfi gli stessi vincoli strutturali.
Revisione Umana: Le 544 domande finali sono sottoposte a revisione professionale umana per verificare la correttezza della risposta, l'univocità, la coerenza logica e la fluidità del linguaggio.

Contributi Chiave

Pipeline di Costruzione Automatizzata: Una pipeline basata su grafi di conoscenza che controlla sistematicamente la dimensione dello spazio di ricerca e la complessità strutturale, rompendo il tetto di difficoltà intrinseco ai benchmark scritti da umani.
Il Benchmark LoHoSearch: Un dataset di 544 domande verificate da umani attraverso 11 domini tematici (es. Musica, Geografia, Cinema). Presenta sottografi strutturalmente complessi (sia di tipo albero che a grafo) con risposte univoche verificate tramite KG.
Valutazione della Gestione del Contesto: Il benchmark funge da banco di prova rigoroso per valutare le strategie di ragionamento a lungo orizzonte e di gestione del contesto, rivelandone i limiti negli scenari ad alta difficoltà.

Risultati Sperimentali

Gli autori hanno valutato una gamma di modelli allo stato dell'arte (inclusi GPT-5.5, DeepSeek-V4-Pro e Claude-Opus-4.6) su LoHoSearch.

Tetto delle Prestazioni: Anche il modello più forte, GPT-5.5, ha ottenuto solo il 34,74% di accuratezza. La maggior parte dei modelli ha punteggiato sotto il 14%, con alcuni (es. MiniMax-M2.5) che hanno raggiunto solo il 2,29%.
Utilizzo degli Strumenti (Tool Usage): Le traiettorie corrette su LoHoSearch richiedono significativamente più chiamate agli strumenti rispetto a BrowseComp. Il numero medio di chiamate agli strumenti è passato da 35 (BrowseComp) a 61 (LoLoSearch), un aumento relativo del 74%.
Limiti della Gestione del Contesto: Gli autori hanno testato varie strategie di gestione del contesto (Riassunto, Scarta-tutto, Verifica) su DeepSeek-V4-Flash.
- Su BrowseComp, queste strategie hanno prodotto un guadagno del 14,03%.
- Su LoLoSearch, la migliore strategia (Scarta-tutto + Verifica) ha prodotto solo un guadagno del 6,8% (dal 10,02% al 16,82%).
- Ciò suggerisce che le attuali tecniche di gestione del contesto sono insufficienti per le catene di ragionamento estese richieste da LoLoSearch.
Complessità Strutturale: Le domande a struttura di grafo (8,01% di accuratezza) si sono dimostrate significativamente più difficili di quelle a struttura ad albero (11,89% di accuratezza), evidenziando l'impatto delle dipendenze cicliche.
Campionamento Parallelo: L'utilizzo di una strategia "best-of-N" con 16 campioni ha migliorato le prestazioni al 24,6%, indicando un sostanziale margine di miglioramento attraverso il campionamento ripetuto, sebbene ancora molto lontano dalle prestazioni umane su benchmark più semplici.

Significato e Rivendicazioni

Il paper sostiene che LoLoSearch fornisca uno standard più impegnativo e discriminante per la valutazione degli agenti di ricerca. Sfruttando un grafo di conoscenza per massimizzare sistematicamente lo spazio di ricerca e la complessità strutturale, il benchmark riesce a creare un livello di difficoltà che i modelli attuali non possono superare facilmente.

Gli autori sostengono che LoLoSearch sia significativo perché:

Espone i limiti delle attuali strategie di gestione del contesto, mostrando che i guadagni osservati nei benchmark precedenti non si traducono in compiti ad alta difficoltà e lungo orizzonte.
Dimostra che l'annotazione umana non può scalare per creare domande veramente difficili a causa della mancanza di una prospettiva statistica globale, rendendo necessaria la costruzione automatizzata guidata dai KG.
Stabilisce un nuovo baseline dove anche i modelli più avanzati faticano, fornendo un banco di prova necessario per la ricerca futura sul ragionamento a lungo orizzonte e sulla gestione robusta del contesto.

Gli autori riconoscono i limiti, tra cui l'attuale restrizione alla lingua inglese, la natura statica del set di valutazione e la dipendenza da giudici LLM per la valutazione, che può introdurre rumore. Notano inoltre che per un sottoinsieme di domande, l'univocità della risposta non poteva essere confermata in modo conclusivo dagli annotatori umani, sebbene non siano state trovate alternative tramite una ricerca approfondita.