💬 NLP

Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests

Questo articolo analizza 14,44 milioni di richieste di ricerca agentiche reali provenienti da DeepResearchGym per rivelare modelli comportamentali chiave, come le distribuzioni della durata delle sessioni, le strategie di esplorazione dipendenti dall'intento e la forte tracciabilità lessicale delle riformulazioni delle query rispetto alle prove recuperate, offrendo infine segnali azionabili per ottimizzare la progettazione degli agenti di ricerca.

Autori originali: Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

Pubblicato 2026-04-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina una biblioteca enorme e vivace dove, invece di lettori umani, migliaia di bibliotecari robot stanno lavorando. Questi robot sono alimentati da un'intelligenza artificiale avanzata. Il loro compito non è solo trovare un libro; sono incaricati di risolvere puzzle complessi. Per farlo, non chiedono un libro una sola volta. Chiedono, leggono la risposta, fanno una domanda di follow-up basata su ciò che hanno appena letto, rileggono e continuano finché non pensano di avere il quadro completo.

Questo articolo è un massiccio studio osservazionale di questi bibliotecari robot. I ricercatori hanno esaminato oltre 14 milioni di richieste di ricerca (circa 4 milioni di "conversazioni" o sessioni) da un sistema pubblico chiamato DeepResearchGym. Volevano capire: Cosa stanno cercando di fare questi robot e come modificano le loro domande man mano che procedono?

Ecco una panoramica dei loro risultati utilizzando semplici analogie:

1. La "Lista della Spesa" contro l'"Investigatore" (Intento)

I ricercatori hanno scoperto che i robot rientrano in tre principali tipi di personalità, o "intenti", che modificano il modo in cui cercano:

Il Cercatore di Fatti (Dichiarativo): Questo robot vuole solo un fatto specifico, come "Chi possiede questa azienda di snack?".
- Comportamento: Tende a rimanere intrappolato in un ciclo. Se non trova la risposta immediatamente, continua a fare la stessa domanda o versioni leggermente modificate (come una persona che bussa alla porta e urla la stessa domanda ripetutamente).
La Guida "Come Fare" (Procedurale): Questo robot vuole sapere come fare qualcosa, come "Come si ripara un rubinetto che perde?".
- Comportamento: Fa domande più lunghe e dettagliate e scava più a fondo negli "scaffali della biblioteca" (recupera più documenti) per ottenere un insieme completo di istruzioni.
L'Investigatore (Ragionamento): Questo robot ha un puzzle complesso, come "Perché il gas è costoso?".
- Comportamento: È il più avventuroso. Non si attiene a un solo angolo; salta tra diversi argomenti (faccette) per collegare i punti. Esplora ampiamente invece di scavare più a fondo in un solo punto.

2. L'Abitudine di "Scendere nel Dettaglio"

Una delle scoperte più importanti è che questi robot hanno una forte abitudine di zoomare dentro piuttosto che zoomare fuori.

Immagina di guardare una mappa. La maggior parte delle volte, questi robot prendono una visione ampia e poi immediatamente zoomano su una stradina minuscola per cercare dettagli. Raramente fanno un passo indietro per dire: "Aspetta, forse sto guardando la città sbagliata del tutto".

Il "Bias di Scendere nel Dettaglio": Circa il 36% - 48% delle volte, stanno semplicemente ruotando verso un angolo leggermente diverso dello stesso argomento.
La Rarità dello "Zoom Out": Solo circa il 9% delle volte allargano effettivamente la loro ricerca per guardare il quadro generale. Quando lo fanno, quasi immediatamente zoomano di nuovo dentro. È come dare un'occhiata veloce all'intera mappa prima di concentrarsi immediatamente di nuovo su una singola strada.

3. L'Effetto "Camera dell'Eco" (Ripetizione)

Lo studio ha scoperto che il 90% di queste conversazioni robotiche è breve (10 passaggi o meno) e avviene molto velocemente (spesso sotto un minuto tra una domanda e l'altra).

Tuttavia, per i Cercatori di Fatti, c'è un problema. Man mano che la conversazione procede, iniziano a ripetersi sempre di più. Al nono passaggio, quasi la metà delle loro domande è quasi identica a quelle precedenti. È come una persona che ha dimenticato di aver già fatto una domanda, o che è bloccata in un ciclo cercando di ottenere la stessa risposta da un angolo diverso senza successo.

4. Il Test di "Adozione del Termine" (Hanno davvero letto?)

I ricercatori volevano sapere: Quando il robot fa una nuova domanda, usa effettivamente le informazioni che ha appena trovato?

Poiché non potevano vedere il "cervello" interno (memoria) del robot, hanno inventato un test intelligente chiamato CTAR (Tasso di Adozione dei Termini guidato dal Contesto).

L'Analogia: Immagina un investigatore che legge un indizio che dice "Il sospetto indossava un cappello rosso". Se la prossima domanda dell'investigatore è "Chi indossava un cappello rosso?", sta "adottando" il termine.
Il Risultato: I ricercatori hanno scoperto che il 54% delle nuove parole che i robot usavano nelle loro successive domande proveniva direttamente dal testo che avevano appena letto.
Il Problema: Questo non significa che il robot abbia capito perfettamente il testo, solo che le parole erano lì. È come un pappagallo che ripete le parole che ha sentito, piuttosto che un umano che ci pensa profondamente. Ma dimostra che i robot stanno almeno guardando le prove che hanno recuperato.

5. Il Problema del "Budget Fisso"

Ai robot è stato dato un "budget" per quanti documenti leggere per domanda (ad esempio, leggi 5 pagine, o 10 pagine).

La Scoperta: La maggior parte dei robot trattava questo budget come una impostazione hard-coded. Non lo modificavano in base al compito. Che stessero cercando un fatto semplice o risolvendo un mistero complesso, si attenevano per lo più allo stesso numero di pagine. Non sembravano rendersi conto che un mistero complesso potrebbe richiedere loro di leggere più pagine rispetto a un fatto semplice.

Riassunto

Questo articolo è come un rapporto sul traffico per gli agenti di ricerca AI. Ci dice che:

La maggior parte delle ricerche è breve e veloce.
I robot rimangono intrappolati in cicli quando cercano fatti semplici.
Preferiscono zoomare sui dettagli piuttosto che fare un passo indietro e guardare il quadro generale.
Raccoglievano parole da ciò che leggevano, ma spesso si attenevano a un "budget di lettura" rigido indipendentemente dalla difficoltà del compito.

Gli autori hanno rilasciato questi dati in modo che altri ricercatori possano costruire migliori "regolatori del traffico" per aiutare questi robot a uscire dai cicli, esplorare di più e utilizzare il loro budget di lettura in modo più saggio.

1. Enunciato del Problema

La comunità dell'Information Retrieval (IR) manca di una comprensione empirica di come la ricerca agentic potenziata da LLM operi in scenari reali. Sebbene esistano benchmark, questi non rivelano:

Come gli agenti evolvono le loro query durante sessioni multi-step.
Come le evidenze recuperate influenzino le successive riformulazioni delle query.
Come i comportamenti di ricerca differiscano in base all'intento utente sottostante (ad esempio, ricerca di fatti vs ragionamento).
Se gli agenti utilizzano efficacemente il contesto o cadono in loop ripetitivi.

I log attuali mancano di segnali di feedback implicito (come i click) presenti nella ricerca umana, creando un "divario di misurazione" in cui è difficile determinare se un agente stia utilizzando con successo le evidenze recuperate o stia semplicemente allucinando/ripetendo.

2. Dataset e Infrastruttura

Gli autori analizzano dati provenienti da DeepResearchGym (DRGym), un'API di ricerca open-source e agnostica rispetto al modello, accessibile da clienti agentic esterni.

Scala: 14,44 milioni di richieste di ricerca raccolte in sei mesi (giugno–dicembre 2025).
Sessioni: Preelaborate in 3,97 milioni di sessioni.
Diversità: I log coprono 25 paesi (principalmente Cina e Stati Uniti) e mostrano un'alta diversità semantica (bassa similarità cosmedia media tra le query), indicando che non sono dominati da pochi task di benchmark o prompt ripetitivi.
Privacy: Gli indirizzi IP sono anonimizzati; i prompt e la memoria lato client non sono registrati, il che significa che l'analisi si basa strettamente su tracce a livello API (query, parametri, timestamp ed evidenze restituite).

3. Metodologia

Gli autori propongono un framework di misurazione a tre componenti per analizzare la struttura della sessione e l'evoluzione delle query:

A. Sessionizzazione

A differenza dei log umani che utilizzano intervalli temporali fissi, le richieste agentic possono arrivare in rapidi burst paralleli. Gli autori hanno sviluppato un criterio di continuità semantica combinato con un taglio temporale rigido di 10 minuti:

Hanno addestrato un modello di continuità semantica (MLP con embedding Qwen3) per valutare le coppie di query.
Le query vengono assegnate alla sessione attiva più semanticamente continua se il punteggio supera una soglia; altrimenti, inizia una nuova sessione.

B. Etichettatura di Intento e Traiettoria (LLM-as-a-Judge)

Utilizzando gpt-5-nano, gli autori hanno annotato i dati a due livelli:

Intento a livello di sessione: Classificato in tre categorie basate sulla modellazione degli obiettivi di ricerca web:
- Dichiarativo: Recupero di fatti (es. "Chi possiede X?").
- Procedurale: Esecuzione di metodi (es. "Come riparare Y?").
- Ragionamento: Sintesi complessa (es. "Perché sta accadendo Z?").
Riformulazione a livello di traiettoria: Le coppie di query adiacenti ( $q_k \to q_{k+1}$ $q_{k} \to q_{k + 1}$ ) sono classificate in quattro tipi:
- Specializzazione: Restringimento dei vincoli.
- Generalizzazione: Allargamento dei vincoli.
- Esplorazione: Pivot verso una facciata correlata.
- Ripetizione: Riformulazioni quasi duplicate.

C. Tasso di Adozione dei Termini Guidato dal Contesto (CTAR)

Per misurare la tracciabilità delle evidenze senza accesso all'attenzione interna dell'agente, gli autori hanno introdotto il CTAR.

Definizione: La frazione di termini introdotti di nuovo in una query ( $q_{k+1}$ ) che appaiono lessicalmente nelle evidenze recuperate dai passaggi precedenti.
Contesti:
- Ultimo passaggio: Termini tracciati al recupero immediatamente precedente ( $E_k$ ).
- Aggregato: Termini tracciati all'unione di tutte le evidenze recuperate finora ( $\bigcup E_i$ ).
Significato: Fornisce una metrica conservativa e interpretabile per determinare se un agente sta incorporando informazioni recuperate nella sua prossima query, distinta dalla parafrasi semantica.

4. Risultati Chiave

Struttura e Dinamiche delle Sessioni

Lunghezza: Oltre il 90% delle sessioni multi-turno contiene al massimo 10 passaggi.
Velocità: L'89% degli intervalli inter-passaggio è inferiore a un minuto, indicando loop iterativi rapidi rispetto alla ricerca umana.
Profondità di Recupero: La maggior parte degli agenti tratta il numero di documenti recuperati ( $K$ ) come un parametro statico (principalmente $K \in \{1, 5, 10\}$ ), con solo l'1,35% delle sessioni che varia $K$ tra i passaggi.

Comportamenti Condizionati dall'Intento

Dichiarativo (88,6% delle sessioni): Mostra la più alta ripetizione (loop quasi duplicati), che aumenta nel tempo. Utilizza un recupero superficiale ma richiede più iterazioni.
Procedurale (3,96%): Utilizza un recupero più profondo ( $K \approx 37$ ) e mostra progressioni semanticamente stabili con meno passaggi di raffinamento.
Ragionamento (7,41%): Mantiene la più ampia esplorazione (pivot) e mostra il più alto drift semantico tra la prima e l'ultima query.

Dinamiche della Traiettoria

Bias di Drill-Down: Gli agenti favoriscono schiacciantemente la Specializzazione e l'Esplorazione. La Generalizzazione (allargamento) è la mossa meno utilizzata (<11%) e spesso agisce come un breve "reset" prima di rispecializzarsi.
Stabilità vs Ricambio: La Ripetizione mantiene una sovrapposizione di risultati elevata (~~78%), mentre l'Esplorazione causa un ricambio significativo di evidenze (~~7% di sovrapposizione).
Loop: Le sessioni dichiarative entrano frequentemente in "loop di riprova" ad alta stabilità (ripetendo query simili) nei passaggi successivi, suggerendo potenziali blocchi.

Tracciabilità delle Evidenze (CTAR)

Adozione Complessiva: In media, il 54,35% dei termini di query introdotti di nuovo è tracciabile lessicalmente al contesto delle evidenze aggregate.
Effetto di Recenza: Il contesto dell'ultimo passaggio rappresenta il 48,54% dell'adozione. La differenza (~5,8%) indica che gli agenti utilizzano anche evidenze da passaggi precedenti all'immediato precedente.
Variazione per Mossa:
- Specializzazione: CTAR alto (~78%), indicando che i nuovi termini sono tratti direttamente dalle evidenze recenti.
- Ripetizione: CTAR basso (~21%), suggerendo che gli agenti stanno riprovando senza incorporare nuovi termini lessicali dalle evidenze.

5. Contributi Chiave

Caratterizzazione Comportamentale su Grande Scala: La prima analisi della ricerca agentic alla scala di 14M+ richieste, rivelando che gli agenti operano in loop brevi e rapidi con budget di recupero statici.
Metrica CTAR: Una metrica nuova e interpretabile per quantificare l'evoluzione delle query condizionata dalle evidenze senza richiedere l'accesso agli stati interni dell'agente o a soglie di similarità semantica.
Insight Adattivi all'Intento: Ha dimostrato che le strategie di ricerca (ripetizione vs esplorazione) dipendono fortemente dall'intento del task, sfidando la nozione di un processo di ricerca agentic uniforme.
Dati Aperti: Rilascio dei log anonimizzati di DRGym e dei protocolli di analisi al pubblico tramite HuggingFace.

6. Significato e Implicazioni

I risultati forniscono segnali azionabili per la progettazione di migliori sistemi di IR agentic:

Arresto Consapevole della Ripetizione: Gli alti tassi di ripetizione nei task dichiarativi suggeriscono la necessità di controller per rilevare "loop di blocco" e attivare cambi di strategia (ad esempio, forzando l'esplorazione o la revisione umana).
Budgeting Adattivo all'Intento: Poiché i task procedurali beneficiano di un recupero più profondo mentre i task dichiarativi si basano sull'iterazione, i sistemi dovrebbero regolare dinamicamente la profondità di recupero ( $K$ ) in base all'intento rilevato invece di utilizzare parametri fissi.
Tracciamento del Contesto Cross-Passaggio: La tracciabilità misurabile verso evidenze più vecchie (oltre l'ultimo passaggio) suggerisce che i moduli di gestione del contesto dovrebbero esporre esplicitamente i termini delle evidenze storiche per aiutare la formulazione delle query.
Progettazione della Valutazione: Il CTAR offre un segnale leggero e pronto per l'audit per valutare se gli agenti stanno fondando efficacemente le loro query sulle evidenze recuperate, colmando il divario tra log API e ragionamento interno.

In conclusione, il documento stabilisce che, sebbene la ricerca agentic sia potente, attualmente esibisce comportamenti rigidi (budget fissi, loop ripetitivi) che possono essere ottimizzati attraverso politiche di controllo consapevoli dell'intento e migliori meccanismi di tracciamento del contesto.