Sintesi Tecnica: IterResearch

Definizione del Problema

I recenti progressi negli agenti di ricerca profonda (deep-research agents) hanno dimostrato il potenziale per la costruzione autonoma della conoscenza attraverso un ragionamento dinamico su fonti esterne. Tuttavia, gli approcci esistenti si affidano prevalentemente a un paradigma mono-contestuale, in cui tutte le informazioni recuperate e i passaggi di ragionamento intermedi vengono appesi a una singola finestra di contesto in continua espansione. Gli autori identificano due modalità di fallimento critiche in questo paradigma per compiti a lungo orizzonte:

1. Soffocamento del Contesto (Context Suffocation): Man mano che la finestra di contesto si riempie di interazioni precedenti, lo spazio disponibile per il ragionamento attivo si restringe, forzando risposte limitate che degradano in conclusioni premature o superficiali.
2. Contaminazione da Rumore (Noise Contamination): Informazioni irrilevanti provenienti da ricerche web ed errori di esplorazione precoce diventano permanentemente incorporate nel contesto, creando un'interferenza a cascata che diluisce la qualità del segnale durante l'intero processo di ragionamento.

Questi limiti impediscono agli agenti esistenti di mantenere una capacità di ragionamento sostenuta all'aumentare della profondità di esplorazione.

Metodologia

Il documento introduce IterResearch, un nuovo paradigma di ricerca profonda iterativa che reimmagina la ricerca a lungo orizzonte attraverso la lente dello Scaling dell'Interazione. La metodologia si basa su due componenti fondamentali:

1. Paradigma di Ricerca Profonda Iterativa (Architettura ispirata ai MDP)

Invece dell'accumulo lineare di contesto, IterResearch adotta una formulazione basata sui Processi Decisionali di Markov (MDP) definita dalla tupla $\langle S, D, E, T, R \rangle$.

• Spazio degli Stati ($S$): Ogni stato $s_t$ è uno spazio di lavoro ricostruito strategicamente che contiene solo elementi essenziali: la domanda costante $q$, un report in evoluzione $M_t$ (che funge da memoria compressa dei risultati validati) e il contesto immediato del passaggio precedente.
• Spazio Decisionale ($D$): La policy $\pi$ genera una decisione composta $d_t$ che consiste in un pensiero interno ($Think_t$), un report aggiornato ($M_{t+1}$) e un'azione esterna ($a_t$).
• Funzione di Transizione ($T$): Fondamentalmente, la funzione di transizione ricostruisce lo spazio di lavoro invece di appendere alla cronologia. La traiettoria storica viene deliberatamente scartata, preservando solo la conoscenza sintetizzata nel report aggiornato. Ciò assicura che la dimensione dello spazio di lavoro rimanga costante ($O(1)$) indipendentemente dal numero di round di interazione, consentendo teoricamente un'esplorazione illimitata.

2. Ottimizzazione della Policy Sensibile all'Efficienza (EAPO)

Per addestrare efficacemente questo paradigma iterativo, gli autori propongono EAPO, una strategia di addestramento che affronta due sfide:

• Sconto Geometrico del Premio (Geometric Reward Discounting): Riconoscendo che non tutte le traiettorie di successo sono ugualmente preziose, gli autori adattano lo standard dello sconto geometrico ($r_t = \gamma^{T-t} \cdot R_T$). Ciò crea una pressione implicita sull'efficienza, incentivando gli agenti a raggiungere conclusioni corrette attraverso un'esplorazione concisa e focalizzata piuttosto che attraverso una ricerca esaustiva.
• Sottocampionamento Adattivo (Adaptive Downsampling): Poiché il paradigma iterativo decompone le traiettorie in molteplici campioni di addestramento indipendenti (uno per ogni round), il conteggio dei campioni varia tra le diverse domande. Gli autori impiegano un sottocampionamento adattivo per allineare i batch di addestramento alla dimensione del parallelismo dei dati, garantendo un addestramento distribuito stabile pur preservando oltre il 99% dei dati.

Contributi Chiave

1. Nuovo Paradigma: La proposta di IterResearch, che elimina il soffocamento del contesto e la contaminazione da rumore mantenendo un report in evoluzione come memoria e performing una ricostruzione strategica dello spazio di lavoro.
2. Strategia di Addestramento: Lo sviluppo di EAPO, che combina lo sconto geometrico del premio per l'efficienza e il sottocampionamento adattivo per un addestramento stabile su traiettorie di lunghezza variabile.
3. Validazione Empirica: Esperimenti estesi che dimostrano come IterResearch raggiunga miglioramenti sostanziali rispetto agli agenti open-source esistenti e riduca il divario con i sistemi proprietari all'avanguardia.

Risultati Sperimentali

Gli autori hanno valutato IterResearch (basato su Qwen3-30B-A3B) su sei benchmark impegnativi: Humanity's Last Exam (HLE), BrowseComp, BrowseComp-zh, GAIA, Xbench-DeepSearch e SEAL-0.

• Guadagni di Performance: IterResearch ha ottenuto un miglioramento medio di +14,5 punti percentuali (pp) rispetto agli agenti open-source esistenti nei sei benchmark. Ha superato tutti i baseline open-source e ha dimostrato prestazioni competitive o superiori rispetto ai sistemi proprietari (ad esempio, superando OpenAI DeepResearch su HLE e BrowseComp-zh).
• Scaling dell'Interazione: Il paradigma ha mostrato capacità di scaling senza precedenti, estendendosi fino a 2048 interazioni con una lunghezza di contesto di soli 40K. Le prestazioni sono migliorate drasticamente dal 3,5% al 42,5% all'aumentare del limite massimo di interazioni da 2 a 2048, un traguardo strutturalmente impossibile per gli approcci mono-contestuali a causa dell'overflow del contesto.
• Trasferimento Cross-Paradigma: Si è scoperto che le traiettorie generate da IterResearch migliorano significativamente gli agenti mono-contestuali quando utilizzate come dati di addestramento, suggerendo che il paradigma induce comportamenti di esplorazione superiori trasferibili su diverse architetture.
• Strategia di Prompting: Senza alcun addestramento, applicando la struttura di prompting di IterResearch a modelli all'avanguardia (es. o3, DeepSeek-V3.1), si ottengono miglioramenti sostanziali rispetto al prompting ReAct standard, particolarmente su compiti a lungo orizzonte (fino a +19,2pp su BrowseComp).

Significato e Rivendicazioni

Il documento posiziona IterResearch come una soluzione versatile per il ragionamento a lungo orizzonte, efficace sia come agente addestrato che come paradigma di prompting agnostico rispetto al modello. Gli autori rivendicano tre intuizioni fondamentali:

1. Scaling dell'Interazione: Il paradigma iterativo sblocca uno scaling estremo delle interazioni, suggerendo che la difficoltà percepita dei compiti a lungo orizzonte possa derivare da una capacità di esplorazione insufficiente piuttosto che da limiti intrinseci di ragionamento.
2. Comportamenti di Esplorazione Superiori: Il paradigma induce comportamenti di esplorazione di alta qualità che creano segnali di addestramento trasferibili, anche per agenti che utilizzano paradigmi architettonici differenti.
3. Efficacia Agnostica rispetto al Modello: La struttura iterativa con ricostruzione dello spazio di lavoro fornisce un vantaggio cognitivo fondamentale per il ragionamento a lungo orizzonte, migliorando le prestazioni attraverso diverse architetture di modelli senza richiedere un fine-tuning specifico.

Il lavoro conclude che l'iterazione con sintesi strategica, piuttosto che l'accumulo lineare, è fondamentale per conquistare le sfide del ragionamento a lungo orizzonte.