Riassunto Tecnico: Harness-G

Problema: Collasso della Equivalenza di Recupero negli Agenti di Ricerca RL

Gli agenti di ricerca basati sul Reinforcement Learning (RL), come Search-R1, tipicamente modellano il recupero come la generazione di query in linguaggio naturale a forma libera. Questi agenti ottimizzano le traiettorie di interazione multi-turno utilizzando ricompense basate sulla risposta finale (ad es., F1 o Exact Match). Sebbene studi recenti tentino di migliorare l'addestramento tramite segnali di credito più densi (ad es., guadagno di informazione, ricompense di processo), essi mantengono l'interfaccia fondamentale in cui la policy genera una stringa e l'ambiente la mappa su evidenze recuperate.

Gli autori identificano un modo di fallimento critico in questa configurazione, definito collasso della equivalenza di recupero (retrieval-equivalence collapse). Durante l'addestramento, la policy genera diverse stringhe di query superficiali (alta diversità della forma della query), ma queste query spesso mappano a set quasi identici di evidenze recuperate (bassa diversità dell'esito del recupero). Man mano che l'addestramento procede, le traiettorie per la stessa domanda convergono in una singola classe di equivalenza di recupero. Questo collasso crea due problemi di ottimizzazione per i metodi group-relative come GRPO:

1. Vantaggi Evanescenti: Se più traiettorie recuperano la stessa evidenza e producono la stessa risposta, i loro rendimenti sono identici, causando la scomparsa degli vantaggi intra-gruppo.
2. Credito di Recupero Confuso: Se le traiettorie recuperano la stessa evidenza ma producono risposte diverse, le differenze di rendimento riflettono il ragionamento a valle piuttosto che la qualità del recupero, rendendo impossibile attribuire il successo o il fallimento a specifiche azioni di recupero.

Di conseguenza, l'"esplorazione" fornita da diverse stringhe di query è spesso illusoria, fallendo nel fornire un contrasto efficace per apprendere migliori strategie di recupero.

Metodologia: Harness-G

Per affrontare questo problema, gli autori propongono Harness-G, un framework di recupero strutturato su grafi che riprogetta l'interfaccia policy-ambiente. Invece di generare query a forma libera, la policy esegue una selezione di azioni finite su uno spazio di evidenze strutturato.

1. Ambiente Strutturato su Grafi

Harness-G costruisce un grafo tripartito leggero e programmatico offline dal corpus, composto da:

• Nodi paragrafo: Contesti documentali.
• Nodi frase: Le unità di evidenza minime.
• Nodi entità: Ponti tra salti cross-sentence e cross-document.
  Gli archi collegano i paragrafi alle frasi, le frasi alle entità (tramite menzioni), frasi adiacenti ed entità identiche/simili (tramite normalizzazione superficiale e vicini di embedding). Questo grafo viene costruito senza LLM generativi, affidandosi a segmentazione delle frasi, NER e codifica densa.

2. L'Interfaccia del Menù di Azioni

Ad ogni step, l'ambiente espone un menù di azioni limitato e finito ($M_t$) alla policy. La policy seleziona un ID azione da questo menù invece di generare una stringa di testo. Le azioni sono:

• Select(s): Impegna una frase visibile $s$ come evidenza.
• Lookup(e): Recupera informazioni attorno a una specifica entità $e$. L'ambiente costruisce deterministicamente la query (concatenando la domanda e l'evidenza impegnata) e restituisce i top-$K$ frasi.
• Answer / Answer_With: Termina il recupero e genera una risposta (opzionalmente impegnando le frasi visibili in un unico step).

Questo design garantisce che:

• Finitezza: Lo spazio delle azioni è limitato.
• Verificabilità: Le azioni non valide sono bloccate prima dell'esecuzione.
• Prevedibilità (Previewability): L'ambiente può simulare deterministicamente (previsualizzare) l'esito di qualsiasi azione candidata senza mutare lo stato.

3. Credito Strutturato Non Miopico (SNC)

Sfruttando la frontiera delle azioni prevedibili, Harness-G introduce il Credito Strutturato Non Miopico (SNC) per assegnare ricompense a livello di step senza richiedere ulteriori rollout dell'agente o modelli di ricompensa esterni. L'SNC consiste di due termini:

• Vantaggio Relativo alla Frontiera ($r^{fr}_t$): Uno scouter di risposte gold valuta la probabilità della risposta corretta dato il contesto corrente. Per un'azione di acquisizione informazioni, calcola il guadagno marginale dell'azione selezionata rispetto al guadagno medio di una "frontiera" di azioni alternative fattibili allo stesso stato. Questo fornisce un confronto locale nello stesso stato, non disponibile negli spazi di query aperti.
• Credito di Abilitazione ($r^{en}_t$): Per affrontare la natura non miopica del ragionamento multi-hop (dove un'azione di "ponte" precoce abilita un recupero successivo ad alto valore), l'SNC propaga i guadagni a valle lungo un grafo di provenienza. Se lo step $u$ consuma un'entità prodotta dallo step $t$, il credito fluisce dallo step $u$ verso lo step $t$ in ordine topologico inverso.

Il vantaggio totale dello step è combinato con la ricompensa standard di esito nell'obiettivo GRPO: $\hat{A}_i = \hat{A}^{out}_i + \lambda \hat{A}^{SNC}_i$.

Contributi Chiave

1. Identificazione del Collasso della Equivalenza di Recupero: Il paper dimostra empiricamente che le interfacce di query a forma libera negli agenti di ricerca RL portano a un collasso della diversità di recupero, rendendo inefficace l'ottimizzazione group-relative.
2. Riprogettazione dell'Interfaccia (Harness-G): Riformula il recupero multi-hop come selezione di azioni finite su un ambiente strutturato su grafi, sostituendo la generazione di stringhe aperte con un menù verificabile e prevedibile.
3. Credito Strutturato Non Miopico (SNC): Introduce un meccanismo di assegnazione del credito che utilizza la prevedibilità del menù di azioni per calcolare vantaggi relativi nello stesso stato e propagare il credito ritardato per le azioni di abilitazione, tutto senza ulteriori rollout.
4. Validazione Empirica: Esperimenti estesi su sei benchmark di QA (inclusi dataset multi-hop come 2Wiki, HotpotQA e MuSiQue) mostrano che Harness-G supera significativamente i baseline più forti, particolarmente in scenari multi-hop e con scale di modelli minori.

Risultati

Valutato su sei benchmark utilizzando modelli Qwen2.5-1.5B e Qwen2.5-3B:

• Performance: Harness-G raggiunge il più alto F1 medio a entrambe le scale di modelli.
  • A 1.5B, supera il baseline più forte (Graph-R1) di 10.74 punti in F1 medio.
  • A 3B, supera Graph-R1 di 3.98 punti.
• Studi di Ablazione:
  • Sostituire l'interfaccia di query libera con il solo menù di azioni migliora l'F1 di oltre 17 punti in media, con guadagni superiori a 35 punti su MuSiQue.
  • L'aggiunta di SNC migliora ulteriormente le prestazioni, specialmente nei compiti multi-hop dove il credito ritardato è cruciale.
• Stabilità ed Efficienza: Harness-G mostra dinamiche di addestramento stabili con gradienti limitati. Non richiede ulteriori rollout dell'agente per l'assegnazione del credito (solo previsualizzazioni in sola lettura) e comporta un overhead minimo (~9–11% di tempo di esecuzione per step). Dimostra inoltre capacità di trasferimento out-of-distribution (O.O.D.) più forti rispetto a Graph-R1.

Significato e Rivendicazioni

Il paper sostiene che il design dello spazio delle azioni è un asse complementare e critico rispetto al design delle ricompense per l'addestramento di agenti di ricerca. Gli autori argomentano che semplicemente densificare le ricompense (ad es., tramite ricompense di processo o guadagno di informazione) all'interno di un'interfaccia di query a forma libera non può risolvere fondamentalmente il problema del collasso della equivalenza di recupero perché l'interfaccia stessa permette molteplici mappature many-to-one dalle query alle evidenze.

Ridefinendo l'interfaccia di recupero per essere discreta, verificabile e prevedibile, Harness-G consente:

1. Esplorazione Autentica: Garantire che diverse azioni portino a esiti di recupero realmente differenti.
2. Assegnazione del Credito Precisa: Permettere all'agente di apprendere quali specifiche scelte di evidenza o entità siano superiori alle alternative nello stesso stato decisionale.
3. Apprendimento Non Miopico: Insegnare efficacementamente all'agente come eseguire i necessari passaggi di "ponte" che non producono immediatamente ricompense elevate, ma sono essenziali per il successo successivo.

Il lavoro conclude che, sebbene Harness-G sia attualmente solo testuale, il suo approccio strutturato agli spazi di azione e all'assegnazione del credito offre un framework robusto per l'addestramento di agenti di ricerca, suggerendo che il lavoro futuro potrebbe estendere questi principi all'evidenza multimodale.