Sintesi Tecnica: PathRouter

Definizione del Problema

I sistemi di Agentic Graph Retrieval-Augmented Generation (GraphRAG) utilizzano agenti basati su modelli linguistici per recuperare e ragionare iterativamente su evidenze strutturate a grafo. Sebbene questi sistemi mirino a migliorare il processo decisionale navigando in reti informative complesse, i metodi di addestramento esistenti che si affidano esclusivamente all'apprendimento per rinforzo (RL) basato sul risultato soffrono di due criticità fondamentali:

1. Aliasing della Ricompensa Percorso-Risposta (Answer-Path Reward Aliasing): Lo standard RL assegna ricompense basandosi solo sulla correttezza della risposta finale. Questo confonde le traiettorie in cui la risposta corretta è derivata da percorsi di evidenza utili con quelle in cui la risposta è recuperata dalla memoria parametrica del modello (scorciatoie/shortcuts) nonostante un fallimento nel recupero delle evidenze. Di conseguenza, il modello viene rinforzato per successi "fortunati" che non migliorano le capacità di recupero.
2. Ambiguità di Ricerca-Aggiornamento (Search-Update Ambiguity): Il feedback scalare a livello di traiettoria (ad esempio, un singolo punteggio di ricompensa per l'intera interazione) non riesce a indicare quali specifiche azioni di recupero (query di ricerca o passaggi di ragionamento) abbiano contribuito al risultato. Ciò lascia l'agente senza una guida azionabile per regolare la propria strategia di ricerca quando una traiettoria fallisce o ha successo tramite scorciatoie.

Metodologia: PathRouter

Gli autori propongono PathRouter, un framework di addestramento consapevole del percorso (path-aware) progettato per allineare i segnali di ricompensa alla qualità del recupero. Il framework opera attraverso tre meccanismi centrali:

1. Routing Consapevole del Percorso e Scalatura Differenziata dell'Avvantaggio

Invece di trattare tutte le traiettorie in modo uniforme, PathRouter valuta ogni traiettoria lungo due assi:

• Correttezza della Risposta ($C_i$): Se la risposta finale è corretta.
• Sovrapposizione del Percorso di Evidenza ($P_i$): La sovrapposizione F1 a livello di token tra i passaggi recuperati e l'evidenza di supporto "gold" (verità di base).

Sulla base di queste metriche, le traiettorie vengono categorizzate in quattro tipi, ciascuno dei quali riceve un peso differenziato per la scalatura dell'avvantaggio nella Group Relative Policy Optimization (GRPO):

• Successo Fedele ($C \uparrow, P \uparrow$): Risposta corretta con alta sovrapposizione di evidenza. Riceve il peso completo.
• Fallimento per Scorciatoia ($C \uparrow, P \downarrow$): Risposta corretta ma con bassa sovrapposizione di evidenza (dipendenza dalla memoria parametrica). Riceve un peso ridotto per sopprimere il rinforzo dei comportamenti di scorciatoia.
• Evidenza Recuperata ($C \downarrow, P \uparrow$): Risposta errata ma con alta sovrapposizione di evidenza (fallimento del ragionamento). Riceve un peso attenuato per evitare di penalizzare eccessivamente il comportamento di recupero utile.
• Fallimento Congiunto ($C \downarrow, P \downarrow$): Risposta errata con bassa sovrapposizione di evidenza. Riceve il peso completo.

Questo routing assicura che gli aggiornamenti della policy riflettano la qualità del recupero piuttosto che la sola correttezza della risposta finale.

2. Insegnante di Gold-Evidence Selettivo per l'Ambiguità di Ricerca-Aggiornamento

Per risolvere l'ambiguità su quali azioni di ricerca regolare, PathRouter introduce un insegnante di gold-evidence congelato per le traiettorie povere di evidenza ($P_i < \theta_P$).

• Meccanismo: L'insegnante viene istruito con la query e i passaggi di supporto gold (contesto privilegiato). Non genera una nuova traiettoria, ma valuta il rollout on-policy dello studente.
• Guida KL a livello di Token: L'insegnante fornisce la supervisione della divergenza di Kullback-Leibler (KL) specificamente sui token di ragionamento e sui token di query di ricerca.
• Esclusione: I token della risposta e i blocchi di osservazione recuperati sono esclusi dalla supervisione KL per evitare l'imitazione diretta della risposta e garantire che l'agente impari a trovare le evidenze piuttosto che limitarsi a emettere la risposta.
• Scheduling: Viene applicato un warmup lineare al coefficiente KL per consentire allo studente di esplorare tramite i premi GRPO prima che la restrizione dell'insegnante entri in vigore.

3. Obiettivo di Addestramento

La perdita totale combina la perdita GRPO routata con la perdita KL del docente selettivo:
$$\mathcal{L} = \mathcal{L}_{GRPO} + \lambda_T(s) \cdot \mathcal{L}_{TKL}$$
La funzione di ricompensa incorpora anche la modellazione dell'esplorazione (bonus per il recupero multi-turno, penalità per arresti pigri, timeout e ridondanza) per incoraggiare un'acquisizione di evidenze approfondita.

Contributi Chiave

1. Identificazione dell'Aliasing della Ricompensa: Il documento identifica l'aliasing della ricompensa percorso-risposta come un modulo di fallimento primario nell'agentic GraphRAG e propone un meccanismo di scalatura dell'avvantaggio GRPO condizionato dal percorso per decomporre la correttezza della risposta dalla qualità del recupero.
2. Distillazione Selettiva a Livello di Token: Viene introdotto un nuovo meccanismo di insegnante selettivo che applica la guida KL a livello di token ai token di ragionamento e di query di ricerca per le traiettorie povere di evidenza. Questo risolve l'ambiguità di ricerca-aggiornamento senza imitare le risposte finali.
3. Validazione Empirica: Esperimenti estesi dimostrano che PathRouter migliora costantemente sia l'accuratezza della risposta che la sovrapposizione del percorso di evidenza su sei benchmark e tre dimensioni di modello (1.5B, 3B, 7B).

Risultati Sperimentali

Valutato su sei benchmark (HotpotQA, 2WikiMultiHopQA, MuSiQue, NQ, PopQA, TriviaQA) utilizzando modelli Qwen2.5:

• Guadagni di Performance: PathRouter supera costantemente i forti baseline, incluso Graph-R1.
  • Sui modelli da 7B, ha ottenuto un guadagno medio di F1 di 4.9 punti (da 57.82 a 62.74) e un guadagno di Exact Match (EM) di 4.69 punti.
  • Sui modelli da 3B, ha ottenuto un guadagno medio di F1 di 3.1 punti.
  • I miglioramenti sono stati più pronunciati nei compiti di ragionamento multi-hop (ad esempio, +7.4 F1 su HotpotQA, +8.2 su MuSique per i modelli da 7B).
• Spostamento della Traiettoria: L'analisi delle distribuzioni delle traiettorie mostra che PathRouter sposta con successo la massa dalle categorie "scorciatoia" e "fallimento congiunto" verso le categorie "successo fedele" ed "errore di ragionamento con evidenza presente", indicando un miglioramento dell'acquisizione di evidenze indipendente dalla correttezza della risposta.
• Generalizzazione: I test di trasferimento cross-dataset hanno rivelato un'alta generalizzazione OOD (rapporto medio del 95.7%), suggerendo che le strategie di recupero apprese sono robuste e non legate alle distribuzioni specifiche dei dataset.
• Risultati dell'Ablazione:
  • Rimuovere la ricompensa del percorso ($r_p$) ha degradato significativamente la qualità dell'evidenza (SF-F1) mantenendo la F1 della risposta, confermando che il segnale mira al recupero.
  • Rimuovere il KL dell'insegnante selettivo ha ridotto le prestazioni, in particolare nei compiti multi-hop, confermando il suo ruolo nel risolvere l'ambiguità di ricerca-aggiornamento.
  • L'efficacia del KL dell'insegnante è risultata dipendente dalla capacità: i modelli più piccoli (1.5B) hanno mostrato risultati misti o degradazione con un insegnante forte, suggerendo che la capacità dello studente è un fattore limitante.

Significato e Rivendicazioni

Il documento afferma che PathRouter affronta i limiti fondamentali di assegnazione del credito dell'apprendimento per rinforzo basato solo sul risultato nei sistemi agentici. Valutando congiuntamente la correttezza della risposta e la sovrapposizione del percorso di evidenza, il framework assicura che gli aggiornamenti della policy siano guidati dalla qualità del processo di recupero, non solo dall'output finale.

Gli autori sostengono che questo approccio consente agli agenti di apprendere politiche di recupero che siano sia accurate nella risposta che fedeli all'evidenza. Il lavoro suggerisce che l'addestramento consapevole del percorso produce comportamenti di recupero generalizzabili che evitano le scorciatoie specifiche del dataset, offrendo una base più robusta per compiti di ragionamento complessi nei sistemi GraphRAG. Il documento riconosce i limiti riguardanti gli ulteriori iperparametri richiesti per il routing e lo scheduling, nonché l'aumento del costo computazionale per step dovuto ai passaggi in avanti (forward passes) dell'insegnante, notando un compromesso tra efficienza di addestramento e maggiore fedeltà.