Riepilogo Tecnico: EviBack

Problema

L'apprendimento per rinforzo (RL) ha permesso ai sistemi di Generazione Aumentata dalla Recupero (RAG) Agente-centrica di apprendere strategie di ricerca multi-turno da ricompense basate su esiti verificabili. Tuttavia, esiste un limite critico nei paradigmi di addestramento attuali: quando un gruppo di traiettorie campionate (rollout) non produce alcuna risposta corretta (un gruppo "all-zero"), il segnale RL standard non fornisce informazioni comparative. In questi scenari, l'advantage normalizzato è zero, rendendo il progresso parziale o i comportamenti di ricerca intermedi corretti indistinguibili dal fallimento totale. Inoltre, i metodi esistenti che si affidano alla progettazione manuale di prompt per la valutazione del processo spesso non riescono a caratterizzare stabilmente dimensioni quali la razionalità della query e la sufficienza dell'evidenza, o rischiano di permettere alle risposte di riferimento di sovrascrivere i giudizi sulla mancanza di prove.

Metodologia

Il paper propone EviBack, un framework progettato per fornire supervisione ausiliaria ai gruppi di rollout "all-zero", preservando al contempo l'integrità delle ricompense verificabili dell'Attore. La metodologia consiste in tre componenti principali:

1. Evidence-Constrained Teacher Backoff (Ritiro del Docente Vincolato all'Evidenza)

EviBack introduce un modello "Teacher" (Docente) che funge da meccanismo di fallback. Viene attivato solo quando un gruppo di rollout dell'Attore non contiene traiettorie con una corrispondenza esatta verificabile (gruppi all-zero).

• Architettura a due stadi: Il Teacher separa la valutazione dell'evidenza dalla raffinazione della risposta per evitare che le risposte di riferimento mascherino l'insufficienza delle prove.
  • Stadio A (Gold-Blind): Valuta se l'evidenza accumulata visibile all'Attore è sufficiente per rispondere alla domanda. Restituisce uno stato: Sufficiente (S), Insufficiente (I) o Ambiguo (A). Questo stadio opera senza accesso alla risposta reale (ground-truth).
  • Stadio B (Gold-Aware): Si esegue solo se lo Stadio A determina che l'evidenza non è insufficiente ($s_A \neq I$). Raffina la risposta per l'allineamento con il riferimento, ma preserva rigorosamente il confine di "Insufficiente" stabilito dallo Stadio A.
• Segnale di Ricompensa: Per i gruppi all-zero, il Teacher fornisce una ricompensa ibrida basata sullo stato e su un punteggio F1 allineato al riferimento. Questa ricompensa è scalata verso il basso (con un fattore $\lambda = 0.1$) per garantire che non sovrascriva il segnale di apprendimento dai gruppi contenenti hit verificati.

2. E2E-APE (Ingegneria Automatica dei Prompt End-to-End)

Per costruire la policy del Teacher, gli autori propongono E2E-APE, un metodo guidato da vincoli per la generazione di prompt di giudizio.

• Processo: A differenza della tradizionale ottimizzazione dei prompt che massimizza i punteggi finali del compito, E2E-APE parte da vincoli espliciti richiesti per la valutazione del processo intermedio (es. razionalità della query, efficacia dell'evidenza).
• Automazione: Utilizzando un controller GPT-5.5, la pipeline partiziona automaticamente i dati di rollout, genera prompt/workflow candidati, li valuta rispetto a metriche specifiche (conformità del confine dell'evidenza, stabilità, costo) e seleziona una policy a due stadi con gate.
• Risultato: Questo processo trasforma un Teacher a singolo prompt scritto manualmente in una policy a due stadi, congelata e versionata, senza intervento manuale dopo il lancio iniziale.

3. Protocollo di Addestramento

Il sistema utilizza GRPO (Group Relative Policy Optimization).

• Precedenza dell'Attore: Se una traiettoria in un gruppo raggiunge una corrispondenza esatta verificabile, il Teacher viene bypassato e vengono utilizzate le ricompense standard dell'Attore.
• Fallback Selettivo: Il Teacher viene invocato solo per i gruppi in cui tutti i rollout falliscono. Le ricompense risultanti sono normalizzate all'interno del gruppo, e l'advantage di fallback è scalato per mantenere un contributo al gradiente della policy inferiore rispetto ai gruppi con hit verificati.

Contributi Chiave

1. E2E-APE: Un metodo di ingegneria automatica dei prompt end-to-end basato su vincoli per generare prompt di giudizio. Sposta il focus dalla massimizzazione delle prestazioni finali del compito alla soddisfazione dei vincoli per la valutazione del processo intermedio, riducendo i costi di progettazione manuale e migliorando la stabilità della valutazione.
2. Framework EviBack: Un sistema di ricompensa ibrido per il RAG di agenti di ricerca che combina ricompense verificabili della risposta finale con ricompense di processo derivate dal Teacher. Estende la supervisione RL dai soli esiti finali alla qualità delle traiettorie di ricerca, affrontando specificamente il problema dei gruppi "all-zero".
3. Preservazione del Confine dell'Evidenza: Un nuovo design del Teacher a due stadi che decoppia il giudizio di sufficienza dell'evidenza dalla raffinazione della risposta, garantendo che le risposte di riferimento non possano sovrascrivere i giudizi sulla mancanza di evidenze.

Risultati Sperimentali

Gli autori hanno valutato EviBack su sette benchmark di QA open-domain (tra cui NQ, HotpotQA, MuSiQue, 2WikiMultiHopQA, ecc.) e su tre scale di modelli Qwen3 (0.6B, 1.7B e 4B).

• Guadagni di Performance: EviBack ha migliorato costantemente i punteggi F1 rispetto al forte baseline Search-R1.
  • Alla scala 1.7B, EviBack ha ottenuto un guadagno relativo del 16% rispetto al baseline.
  • Sono stati osservati miglioramenti sia nei punteggi macro F1 single-hop che multi-hop in tutte le scale.
• Efficienza di Ricerca: Il metodo ha ridotto il numero medio di ricerche, i tassi di query duplicate e i tassi di terminazione forzata (max-turn). Ad esempio, alla scala 1.7B, il tasso di risposte valide è aumentato da 0.7317 a 0.8611, mentre le ricerche medie sono diminuite da 1.73 a 1.59.
• Costruzione del Teacher: Il Teacher costruito con E2E-APE ha superato un Teacher a singolo prompt a doppio compito progettato manualmente, migliorando l'F1 di 0.0260 e il tasso di risposte valide di 0.2197, riducendo significativamente l'overhead di ricerca.
• Studi di Ablazione: Gli esperimenti hanno confermato che il vincolo dell'evidenza a due stadi e il fattore di scaling del fallback specifico ($\lambda=0.1$) sono stati critici per bilanciare i guadagni di performance con l'efficienza di ricerca.

Significato e Rivendicazioni

Il paper sostiene che EviBack affronti una lacuna fondamentale nell'addestramento degli agenti di ricerca: la mancanza di segnali comparativi nei casi di fallimento. Introducendo un meccanismo di backoff selettivo e vincolato all'evidenza, il sistema fornisce un feedback granulare sul ragionamento intermedio senza compromettere la verificabilità della ricompensa finale.

Gli autori sottolineano che il loro approccio:

• Ripristina la supervisione ausiliaria per i gruppi che altrimenti non fornirebbero alcun segnale di apprendimento.
• Previene la fuga del riferimento (reference leakage) dal distorcere i giudizi di sufficienza dell'evidenza, un problema comune nei modelli di ricompensa di processo.
• Dimostra la fattibilità dell'ingegneria automatica dei prompt (E2E-APE) per creare policy di valutazione complesse che soddisfano i vincoli e superano i design manuali.

Il lavoro conclude che, sebbene segnali più ricchi derivati dal Teacher (es. qualità della query, ridondanza) rimangano una direzione per la ricerca futura, l'attuale design vincolato all'evidenza offre un metodo robusto ed efficace per migliorare le prestazioni del RAG agenziale. Il codice sarà reso pubblico in una fase successiva.