Translate Policy to Language: Flow Matching Generated Rewards for LLM Explanations

1. Il Problema

Con la crescente integrazione di agenti intelligenti (basati su Reinforcement Learning - RL, Large Language Models - LLM e robotica) nella vita quotidiana, è fondamentale sviluppare la capacità di spiegare le loro politiche decisionali in linguaggio naturale. Le spiegazioni devono essere affidabili per garantire trasparenza, sicurezza e allineamento.

Tuttavia, esistono diverse sfide:

• Pluralismo e Probabilità Umana: Il giudizio umano sulle spiegazioni è intrinsecamente plurale e probabilistico; diverse persone possono valutare diversamente la stessa spiegazione.
• Limiti dei Metodi Esistenti: Le tecniche attuali sono spesso specifiche per il compito (es. guida autonoma, raccomandazioni) e non generalizzabili.
• Costo del Feedback Umano: L'addestramento tramite Reinforcement Learning from Human Feedback (RLHF) richiede una raccolta costosa e diversificata di feedback umano.
• Errori nei Proxy LLM: L'approccio Reinforcement Learning from AI Feedback (RLAIF), che utilizza LLM ausiliari per generare ricompense proxy, soffre di errori sistematici. Questi errori possono deviare significativamente dalla distribuzione reale delle preferenze umane, portando a spiegazioni di bassa qualità o non allineate.

2. Metodologia Proposta

Gli autori introducono un framework generale che addestra un LLM per le spiegazioni (denominato EXPLANATION LLM) utilizzando il Reinforcement Learning, ma con un meccanismo di ricompensa innovativo basato su Flussi Normalizzanti Continui Generativi (CNF), in particolare il Rectified Flow (RF).

Componenti Chiave:

1. Obiettivo: Addestrare l'EXPLANATION LLM a recuperare una politica sottostante specifica e generare spiegazioni che riflettano il comportamento di tale politica, basandosi solo sul contesto decisionale (senza conoscere a priori la decisione corretta).
2. Modello di Ricompensa Generativo (Rectified Flow):
   • Invece di usare una ricompensa scalare deterministica, il metodo genera una distribuzione di ricompense.
   • Viene utilizzato un modello di Rectified Flow ($\phi$) per mappare una distribuzione di rumore di base (es. Gaussiana) alla distribuzione complessa delle ricompense generate dai PROXY LLM.
   • Meccanismo di Denoising: Il PROXY LLM agisce come un processo forward che inietta rumore nelle ricompense umane ideali. Il Rectified Flow impara il processo inverso, "denoising" parzialmente i segnali proxy per recuperare la distribuzione sottostante delle ricompense umane.
   • Architettura: Il modello RF è condizionato sul contesto decisionale e sulla spiegazione in corso. Utilizza un meccanismo di Cross-Attention all'interno di un'architettura Transformer per selezionare attentamente i segnali linguistici e contestuali rilevanti quando genera le distribuzioni di ricompensa.
3. Addestramento Iterativo:
   • Il sistema addestra alternativamente il Rectified Flow (usando campioni positivi dove il PROXY LLM infers correttamente la decisione) e l'EXPLANATION LLM (usando PPO con le ricompense generate dal RF).
   • Vengono utilizzate ricompense dense a livello di frase: la ricompensa è definita come la variazione della probabilità della decisione corretta dopo l'aggiunta di ogni nuova frase alla spiegazione.

3. Contributi Teorici e Chiave

• Limiti di Errore Teorici: Gli autori dimostrano teoricamente che, sotto assunzioni moderate (rumore del PROXY LLM con la stessa forma funzionale della distribuzione di base del CNF), il Rectified Flow limita provabilmente la deviazione dalla vera distribuzione di ricompensa umana.
  • Senza RF, l'errore è limitato da $\epsilon' + \sqrt{|A|}|\sigma_r|$.
  • Con RF, l'errore è limitato da $\epsilon + L\sqrt{|A|}|\sigma - \sigma_r|$. Se i parametri sono ben stimati ($\sigma \approx \sigma_r$), il modello può recuperare efficacemente la distribuzione umana, trasformando un bias inevitabile in un errore controllabile.
• Generalizzazione ai Campioni Negativi: Il modello RF, sebbene addestrato principalmente su campioni positivi, impara a generalizzare ai campioni negativi (spiegazioni che portano a decisioni errate), distinguendo tra "veri negativi" (spiegazioni scadenti) e "falsi negativi" (spiegazioni buone ma classificate male dal PROXY LLM), assegnando loro ricompense appropriate.
• Indipendenza dal Task: Il metodo è agnostico rispetto al task e all'agente, funzionando sia per agenti RL (es. StarCraft) che per LLM (es. domande a scelta multipla).

4. Risultati Sperimentali

Il metodo è stato valutato su quattro benchmark: SMAC (RL multi-agente), AI2-THOR (robotica embodied), MMLU (comprensione linguistica professionale) e MathQA (risoluzione problemi matematici).

• Prestazioni Superiori: Il metodo proposto supera tutti i baselines (SFT, RLHF con PPO/DPO/KTO, RLAIF, CoT+SFT, ReFT, Skywork, DeepSeek, o3-mini).
  • Miglioramenti nell'accuratezza (ACC) rispetto al baselines Proxy LLM del 6.9% - 12.4%.
  • Miglioramenti rispetto ai baselines SOTA (come ReFT e Skywork) del 1.9% - 18.2% su tutti i task.
• Valutazione Umana: In una valutazione con 45 partecipanti umani, le spiegazioni generate dal metodo proposto hanno ottenuto i punteggi più alti per:
  • Accuratezza nella previsione della decisione reale (+25.7% rispetto al miglior baseline).
  • Correttezza Logica (Logical Soundness).
  • Azionabilità (Actionability).
  • Bassa Carica Cognitiva (Cognitive Load).
• Robustezza: L'analisi di ablazione conferma che la rimozione del Rectified Flow o del meccanismo di Cross-Attention degrada significativamente le prestazioni, specialmente nella capacità di generalizzare a campioni negativi.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'XAI (Explainable AI) e nell'allineamento degli LLM:

1. Gestione dell'Incertezza: Introduce un approccio rigoroso per gestire la natura probabilistica e plurale del giudizio umano, superando i limiti delle ricompense deterministiche.
2. Efficienza: Riduce la dipendenza da costosi feedback umani diretti, offrendo un metodo teoricamente fondato per correggere gli errori dei modelli AI proxy.
3. Generalizzabilità: Fornisce un framework unificato per generare spiegazioni per agenti eterogenei (da robot a LLM), promuovendo la fiducia e l'interpretabilità in sistemi critici come sanità, finanza e automazione.
4. Nuovo Paradigma di Addestramento: Dimostra che l'uso di modelli generativi (Flow Matching) come modelli di ricompensa è superiore ai metodi tradizionali per compiti che richiedono inferenza complessa e ragionamento logico.

In sintesi, il paper propone una soluzione elegante e teoricamente solida per trasformare le politiche degli agenti in linguaggio naturale, garantendo che le spiegazioni non siano solo plausibili, ma fedeli alla logica decisionale sottostante, anche in presenza di rumore nei dati di addestramento.