Riepilogo Tecnico: Apprendimento di Rappresentazioni Causali Fattorizzate per la Modellazione Robusta delle Ricompense in RLHF

1. Enunciato del Problema

L'Apprendimento per Rinforzo da Feedback Umano (RLHF) si basa su modelli di ricompensa per allineare i Modelli Linguistici di Grande Dimensione (LLM) alle preferenze umane. Tuttavia, i modelli di ricompensa standard sono inclini ad apprendere correlazioni spurie—pattern nei dati che correlano con le etichette umane ma non sono causalmente legati al vero intento della preferenza. Esempi comuni includono la lunghezza della risposta (risposte più lunghe che ricevono punteggi più alti indipendentemente dalla qualità) e il bias sycophantico (annuire all'utente piuttosto che fornire risposte veritiere).

Quando un LLM viene ottimizzato tramite RLHF utilizzando tali modelli di ricompensa difettosi, sfrutta queste scorciatoie per massimizzare la ricompensa prevista senza migliorare il comportamento effettivo. Questo fenomeno, noto come hacking della ricompensa, porta a modelli che generano output eccessivamente lunghi, ripetitivi o ossequiosi che non soddisfano l'obiettivo umano sottostante. Le strategie di mitigazione esistenti richiedono spesso di specificare esplicitamente le variabili spurie da controllare (ad esempio, penalizzare la lunghezza), il che è poco pratico poiché i pattern di sfruttamento sono difficili da anticipare completamente.

2. Metodologia: CausalRM

Gli autori propongono CausalRM, un framework che affronta l'hacking della ricompensa attraverso l'apprendimento di rappresentazioni causali fattorizzate. L'ipotesi di base è che l'embedding contestuale di una coppia prompt-risposta contenga sia fattori causali (sufficienti per prevedere la preferenza umana) sia fattori non causali (attributi irrilevanti come lunghezza o stile). CausalRM mira a disaccoppiare questi fattori per imporre l'invarianza causale, garantendo che la previsione della ricompensa dipenda esclusivamente dal componente causale.

Architettura

CausalRM potenzia un modello di ricompensa standard con una struttura di autoencoder variazionale (VAE) e tre testine specializzate:

1. Rappresentazione Latente Fattorizzata:

   • L'embedding di base $h$ viene mappato su due variabili latenti tramite un encoder variazionale: un latente causale $z_c$ e un latente non causale $z_{nc}$.
   • $z_c$ è incoraggiato a trattenere informazioni sufficienti per prevedere la preferenza umana.
   • $z_{nc}$ è incoraggiato a catturare attributi irrilevanti per la ricompensa.

2. Testina di Ricompensa Causale:

   • La previsione della ricompensa $\hat{r}$ è calcolata esclusivamente da $z_c$ tramite una testina lineare $g_\psi(z_c)$.
   • Questo vincolo strutturale impedisce alla testina di ricompensa di accedere a informazioni non causali.

3. Testina Avversaria con Inversione del Gradiente:

   • Una testina avversaria $a_\omega$ tenta di prevedere la ricompensa dal componente non causale $z_{nc}$.
   • Viene applicato un Livello di Inversione del Gradiente (GRL) tra $z_{nc}$ e la testina avversaria. Durante la retropropagazione, i gradienti dalla perdita avversaria vengono negati.
   • Obiettivo: La testina avversaria viene addestrata per minimizzare la perdita (prevedere bene), mentre l'encoder viene addestrato per massimizzare questa perdita (rendere $z_{nc}$ non informativo). Questo costringe l'encoder a rimuovere i segnali predittivi della ricompensa dal componente non causale.

4. Testina di Ricostruzione:

   • Per prevenire soluzioni degeneri (ad esempio, il collasso del posteriore dove $z_c$ e $z_{nc}$ non catturano le informazioni complete di $h$), un decoder ricostruisce l'embedding originale $h$ dai latenti concatenati $[z_c; z_{nc}]$.

Obiettivo di Addestramento

Il modello viene addestrato ottimizzando congiuntamente un obiettivo minimax (Eq. 10) composto da:

• Perdita di Preferenza ($L_{pref}$): Perdita standard Bradley-Terry a coppie su $z_c$ per garantire la sufficienza.
• Collo di Bottiglia dell'Informazione ($L_{KL}^c$): Penalizza le informazioni ridondanti in $z_c$ per incoraggiare la minimalità.
• Invarianza Avversaria ($L_{adv}$): Il termine minimax in cui l'encoder massimizza la perdita avversaria per sopprimere i segnali di ricompensa in $z_{nc}$.
• Perdita di Ricostruzione ($L_{rec}$): Garantisce che i latenti fattorizzati preservino collettivamente le informazioni nell'embedding di base.

3. Contributi Chiave

1. Framework Causale per la Modellazione delle Ricompense: Il documento introduce CausalRM, il primo framework a disaccoppiare esplicitamente le rappresentazioni latenti in fattori causali e non causali per la modellazione delle ricompense, andando oltre la semplice regolarizzazione.
2. Architettura Innovativa: Progetta un'architettura basata su VAE che combina una testina di ricompensa limitata ai fattori causali, una testina avversaria con inversione del gradiente per imporre l'invarianza e una testina di ricostruzione per garantire la non degenerazione.
3. Validazione Empirica: Gli autori dimostrano che questo approccio non solo migliora l'accuratezza della modellazione delle ricompense, ma mitiga anche significativamente i comportamenti di hacking della ricompensa nei task RLHF a valle.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Ragionamento Matematico (OpenMathInstruct-1, GSM8K, MATH, ecc.) e Dialogo Aperto (Anthropic-HH, MT-Bench, ecc.).

• Accuratezza della Modellazione delle Ricompense (RQ1): CausalRM ha superato le linee di base dello stato dell'arte (Standard RM, GoalRM, InfoRM) nell'accuratezza a coppie sia su benchmark in distribuzione (ID) sia fuori distribuzione (OOD). In particolare, il divario di prestazioni si è ampliato sui dati OOD, suggerendo una migliore generalizzazione contro le correlazioni spurie.
• Prestazioni RLHF a Valle (RQ2): Le politiche addestrate con CausalRM hanno mostrato miglioramenti coerenti nell'accuratezza della risposta finale (Matematica) e nei tassi di vittoria rispetto alle linee di base (Dialogo). Crucialmente, a differenza delle linee di base in cui la ricompensa "gold" (prestazione reale) divergeva dalla ricompensa prevista durante l'addestramento (indicando hacking), CausalRM ha mantenuto una tendenza coerente tra prestazione prevista e reale.
• Invarianza Causale (RQ3):
  • Bias di Lunghezza: CausalRM ha mostrato una sensibilità quasi nulla alla lunghezza della risposta (deviazione standard delle ricompense tra i bin di lunghezza $\sigma_{len} = 0.03$), mentre le linee di base mostravano fluttuazioni significative.
  • Bias Sycophantico: Quando valutato su dataset "hackerati" in cui sono stati iniettati prefissi sycophantici, CausalRM ha mantenuto un'alta accuratezza con un calo di prestazioni minimo, mentre le linee di base si sono degradate significativamente.
  • Analisi di Intervento: Interventi controllati sul fattore determinante la vera ricompensa (ad esempio, cambiare una risposta matematica corretta in una errata) hanno portato agli spostamenti di ricompensa attesi per CausalRM, confermando che si basa su fattori causali piuttosto che su indizi superficiali.

5. Significato e Affermazioni

Il documento afferma che CausalRM fornisce un meccanismo generale per mitigare l'hacking della ricompensa senza richiedere annotazioni esplicite di variabili spurie. Sfruttando l'apprendimento di rappresentazioni causali, il metodo impone che la previsione della ricompensa dipenda solo da fattori causali sufficienti e minimi, sopprimendo attivamente i segnali non causali.

Gli autori posizionano questo lavoro come un passo pratico verso una modellazione delle ricompense causalmente robusta. Sostengono che, sebbene il recupero dei veri meccanismi causali dai dati osservazionali sia teoricamente impegnativo, il loro approccio di fattorizzazione, supportato da vincoli di invarianza e addestramento avversario, produce modelli di ricompensa empiricamente affidabili che si generalizzano meglio a distribuzioni non viste e resistono allo sfruttamento di pattern spurie come il bias di lunghezza e la sycophancy.

Il documento conclude che questo approccio migliora sia l'accuratezza del modello di ricompensa sia la stabilità dell'allineamento RLHF a valle, offrendo una soluzione scalabile a una sfida centrale nell'allineamento degli LLM con l'intento umano.