Sintesi Tecnica: ProFact – Apprendimento per Rinforzo Agente per la Verifica dei Fatti Multi-stadio

1. Definizione del Problema

La verifica automatica dei fatti in contesti open-domain è intrinsecamente un processo decisionale multi-stadio che coinvolge la decomposizione delle affermazioni, la raccolta di prove e la predizione del verdetto. Sebbene approcci recenti combinino i Large Language Models (LLM) con il ragionamento basato sul recupero (retrieval-augmented reasoning), i metodi esistenti tipicamente ottimizzano questi stadi in isolamento o si affidano a euristiche fisse per la coordinazione. Questa separazione porta a risultati subottimali in cui le decisioni intermedie (ad esempio, la generazione di domande di verifica) non sono allineate con l'obiettivo finale della predizione accurata del verdetto. Inoltre, l'ottimizzazione dell'intero processo di verifica è resa difficile dalla supervisione sparsa e ritardata: l'etichetta di veridicità finale fornisce una ricompensa solo alla fine del processo, rendendo difficile l'attribuzione del merito a specifiche azioni intermedie (come una specifica query di ricerca o un passaggio di decomposizione).

2. Metodologia: Framework ProFact

Gli autori propongono ProFact, un framework di apprendimento per rinforzo (RL) agente progettato per l'ottimizzazione end-to-end di traiettorie di verifica dei fatti multi-stadio.

2.1 Formulazione come Processo Decisionale di Markov (MDP)

ProFact modella la verifica dei fatti come un MDP a orizzonte finito ($M = (S, A, P, r, \rho_0, T)$):

• Stato ($S$): Include l'affermazione, le domande generate, le prove recuperate, le coppie QA e lo stadio di ragionamento corrente.
• Azione ($A$): Azioni unificate generate da una singola policy $\pi_\theta$, inclusa la generazione di domande di verifica, la chiamata di strumenti di ricerca, la sintesi di risposte basate sulle prove e la predizione del verdetto finale.
• Traiettoria: Una sequenza di stati e azioni $(s_0, a_0, r_0, \dots, s_T, a_T, r_T)$ che rappresenta l'intero flusso di lavoro di verifica.

2.2 Rollout di Verifica in Tre Stadi

L'agente esegue un flusso di lavoro in tre stadi che rispecchia il fact-checking umano:

1. Stadio delle Domande: L'agente decompone l'affermazione in un insieme di domande di verifica ($Q$).
2. Stadio di Ricerca: Per ogni domanda, l'agente esegue un recupero iterativo da un archivio di prove pre-costruito (utilizzando la ricerca semantica tramite Qwen3-Embedding-0.6B e kNN) e genera risposte basate sulle prove ($A$). Il contesto viene resettato tra le domande per evitare espansioni non necessarie.
3. Stadio del Verdetto: Sulla base delle prove e delle risposte accumulate, l'agente predice l'etichetta di veridicità finale (Supportato, Confutato, Prove Insufficienti o Prove Conflittuali).

2.3 Funzione di Ricompensa Consapevole del Processo (Process-Aware)

Per affrontare la scarsità del label finale, ProFact introduce una funzione di ricompensa consapevole del processo che fornisce una supervisione densa a livello di stadio:

• Ricompensa dello Stadio delle Domande ($r_q$): Calcolata tramite il matching basato su METEOR tra le domande generate e le domande gold-standard.
• Ricompensa dello Stadio di Ricerca ($r_s$): Calcolata tramite il matching basato su METEOR tra le coppie domanda-risposta generate e le annotazioni delle prove gold-standard.
• Ricompensa dello Stadio del Verdetto ($r_v$): Una funzione indicatrice ($1$ se l'etichetta predetta corrisponde al label gold, $0$ altrimenti).
• Ritorno Totale: La somma delle ricompense attraverso la traiettoria, trasformando un segnale di esito sparso in segnali di apprendimento intermedi.

2.4 Ottimizzazione tramite GRPO

Il framework impiega la Group Relative Policy Optimization (GRPO) per l'addestramento. Invece di utilizzare una rete critic separata, GRPO stima la funzione di vantaggio confrontando un gruppo di $G$ traiettorie campionate per la stessa affermazione. L'vantaggio $\hat{A}_{i,g}$ è calcolato normalizzando il ritorno totale di una traiettoria rispetto alla media e alla deviazione standard del gruppo. Ciò consente un'ottimizzazione end-to-end stabile della policy unificata senza richiedere l'approssimazione della funzione di valore, che è difficile data la natura eterogenea delle ricompense di stadio e delle dipendenze di recupero.

3. Contributi Chiave

1. Framework di Verifica Agente: ProFact unifica la decomposizione delle affermazioni, il recupero delle prove e la predizione del verdetto in una singola policy con azioni di recupero esplicite, formulando la verifica come un problema decisionale agente a lungo orizzonte.
2. Ottimizzazione della Traiettoria Consapevole del Processo: L'introduzione di una funzione di ricompensa consapevole del processo fornisce un feedback intermedio denso, consentendo al modello di apprendere quali comportamenti intermedi (decomposizione, ricerca, ragionamento) contribuiscono all'accuratezza finale.
3. Validazione Empirica: Esperimenti completi dimostrano che ProFact migliora sia le prestazioni di verifica che l'efficienza dell'inferenza rispetto a solidi baseline.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset AVeriTeC utilizzando quattro modelli backbone open-source (Qwen2.5-3B/7B, Qwen3-4B/8B).

• Prestazioni: ProFact ha superato costantemente i baseline (Consistency, InFact, HerO) in tutte le metriche.
  • Punteggio AVeriTeC: ProFact ha ottenuto i punteggi più alti (ad esempio, 48.00 su Qwen2.5-7B rispetto a 42.80 per HerO), indicando una capacità di verifica end-to-end superiore.
  • Accuratezza: ProFact ha mostrato un miglioramento nella predizione dell'accuratezza dell'etichetta finale.
  • Qualità Intermedia: ProFact ha ottenuto i migliori punteggi METEOR per la sola fase Q (Q-only), indicando una decomposizione delle affermazioni più forte, e punteggi METEOR Q&A competitivi.
• Efficienza: ProFact ha dimostrato guadagni significativi nell'efficienza dell'inferenza. Rispetto a InFact, ProFact ha ridotto il tempo per affermazione di circa il 50–70% e ha ridotto sostanzialmente il consumo di token (ad esempio, 0.38M di token in output rispetto a 0.66M per InFact su Qwen2.5-7B).
• Studio di Ablazione: Rimuovere le ricompense di processo (w/o PR) ha causato un calo costante delle prestazioni in tutti i backbone, confermando che la sola supervisione del label finale è insufficiente per apprendere traiettorie multi-stadio efficaci.
• Confronto Algoritmico: È stato scoperto che GRPO è superiore a PPO, DAPO e GiGPO per questo compito, probabilmente grazie alla sua capacità di fornire segnali stabili a livello di traiettoria senza la complessità di apprendere una funzione di valore per ricompense di stadio eterogenee.

5. Significato e Claim

L'articolo sostiene che l'ottimizzazione della traiettoria consapevole del processo è un meccanismo critico per la verifica dei fatti multi-stadio. Trattando la verifica come un processo decisionale unificato piuttosto che come una pipeline di moduli isolati, ProFact consente alle decisioni precoci (come la decomposizione) di adattarsi ai requisiti degli stadi successivi (come la predizione del verdetto). I risultati evidenziano che:

• La supervisione intermedia è essenziale per un efficace credit assignment in compiti a lungo orizzonte.
• L'RL agente con ricompense consapevoli del processo può simultaneamente migliorare l'accuratezza e ridurre i costi di inferenza, imparando strategie di verifica più mirate e meno ridondanti.
• Modelli più grandi non producono necessariamente una verifica basata sulle prove migliore, poiché possono fare affidamento sulla conoscenza parametrica piuttosto che sul recupero delle prove; tuttavia, il framework ProFact rimane efficace attraverso diverse scale di modelli.

Gli autori concludono che il loro lavoro dimostra l'efficacia dell'apprendimento per rinforzo end-to-end per ottimizzare flussi di lavoro di ragionamento complessi e multi-stadio nella verifica automatica dei fatti.