Sintesi Tecnica: Self-CTRL: Self-Consistency Training con Reinforcement Learning

Definizione del Problema

I Large Language Models (LM) producono frequentemente spiegazioni che non sono fedeli ai loro reali processi decisionali. I modelli spesso dichiarano principi (ad es., "Non genererò contenuti discriminatori") che poi non riescono a seguire quando rispondono a specifiche richieste degli utenti. Questa mancanza di auto-coerenza mina la fiducia dell'utente, complica l'audit e ostacola la capacità degli sviluppatori di monitorare l'allineamento del modello. L'addestramento standard ottimizza i modelli per produrre risposte plausibili a singoli prompt in isolamento, senza imporre una relazione tra le spiegazioni a livello meta (ciò che il modello dice di voler fare) e i comportamenti a livello oggetto (ciò che il modello effettivamente fa). Di conseguenza, i modelli possono imparare a rispondere in modo plausibile a domande meta senza che tali risposte predicano il proprio comportamento su input correlati.

Metodologia: Self-CTRL

Il documento introduce Self-Consistency Training with Reinforcement Learning (Self-CTRL), un framework che ottimizza esplicitamente gli LM per la coerenza tra le loro auto-spiegazioni e i loro comportamenti. Il metodo tratta la spiegazione e il comportamento come output accoppiati generati da input distinti ma correlati:

• Input a livello meta ($x_{meta}$): Una query che chiede al modello di descrivere il proprio comportamento su una classe di input (ad es., "Descrivi come gestisci le richieste che coinvolgono la discriminazione").
• Input a livello oggetto ($x$): Un'istanza concreta di quella classe (ad es., una specifica richiesta di generare un testo discriminatorio).

Il modello campiona separatamente una spiegazione ($y_{meta}$) e un comportamento ($y$). Una funzione di coerenza esterna, $\phi(y_{meta}, y; x_{meta}, x)$, valuta se la spiegazione predice o giustifica correttamente il comportamento.

Framework di Ottimizzazione

Self-CTRL formula la coerenza come un problema di reinforcement learning. L'obiettivo è minimizzare una funzione di perdita derivata dal punteggio di coerenza negativo:
$$L(x, x_{meta}) = -\mathbb{E}_{y, y_{meta}}[\phi(y_{meta}, y; x_{meta}, x)]$$

Il framework supporta due direzioni di apprendimento complementari, che possono essere ottimizzate indipendentemente o congiuntamente tramite una combinazione convessa ($\lambda$):

1. Addestramento della Spiegazione ($\lambda = 0$): Aggiorna il modello per generare spiegazioni che predicano meglio il proprio comportamento esistente. Questo produce auto-report più fedeli senza necessariamente cambiare le azioni del modello.
2. Addestramento del Comportamento ($\lambda = 1$): Aggiorna il comportamento del modello per soddisfare meglio le proprie spiegazioni dichiarate. Questo allinea le azioni del modello con i suoi principi.
3. Addestramento Misto ($0 < \lambda < 1$): Ottimizza simultaneamente sia le spiegazioni che i comportamenti.

L'addestramento utilizza uno stimatore di tipo GRPO, campionando gruppi di spiegazioni e comportamenti candidati. Un comportamento (o una spiegazione) di riferimento è fissato, e i premi vengono assegnati in base al punteggio di coerenza $\phi$.

Istanziazione di $\phi$

La funzione di coerenza $\phi$ viene istanziata diversamente a seconda del dominio:

• Dominio Formale/Probabilistico: $\phi$ è calcolata come la log-likelihood del comportamento osservato sotto la distribuzione probabilistica descritta dalla spiegazione (ad es., un bias dichiarato di una moneta che predice una sequenza di lanci di moneta).
• Dominio Costituzionale/Linguaggio Naturale: Poiché le regole in linguaggio naturale non inducono dirette log-likelihood, $\phi$ viene istanziata utilizzando una Giuria LM (LM Jury). Moltiplicità di LLM che agiscono come giudici con diversi framework etici (ad es., utilitarismo, deontologia) valutano se il comportamento rispetta la regola dichiarata. Il punteggio finale è la media dei verdetti dei giurati.

Contributi Chiave ed Esperimenti

Il documento valida Self-CTRL in due domini distinti:

1. Ragionamento Probabilistico con Spiegazioni Formali

• Setup: I modelli vengono addestrati a generare campioni da monete truccate (comportamento) e a riportare il bias come un programma (spiegazione).
• Risultati: Inizialmente, i modelli potevano generare campioni calibrati ma fallivano nell'articolare il bias sottostante (bassa $R^2$). Dopo l'addestramento della spiegazione con Self-CTRL, la correlazione tra il bias articolato e il comportamento empirico è migliorata significativamente ($R^2$ da 0.24 a 0.64 su distribuzioni non viste). Ciò ha eguagliato le prestazioni di generalizzazione di un modello addestrato con supervisione diretta della ground-truth, dimostrando che l'addestramento alla coerenza può recuperare strutture latenti senza etichette esplicite.

2. AI Costituzionale con Spiegazioni in Linguaggio Naturale

• Setup: I modelli vengono addestrati a descrivere i principi per gestire richieste rilevanti per la sicurezza (ad es., hate speech, discriminazione) e poi a rispondere a tali richieste.
• Risultati:
  • Addestramento della Spiegazione: Ha migliorato la capacità di un auditor terzo di predire i rifiuti del modello basandosi sulle regole dichiarate dal modello. L'accuratezza della predizione del rifiuto da parte di un modello auditor è aumentata dal 36% al 92%.
  • Addestramento del Comportamento: Ha migliorato l'allineamento riducendo il tasso di successo degli attacchi HarmBench dal 15.0% allo 0.5% senza aumentare sostanzialmente l'over-refusal su prompt innocui.
  • Addestramento Misto: Ha raggiunto un trade-off Pareto-ottimale, migliorando simultaneamente la simulabilità (le spiegazioni predicono il comportamento) e la sicurezza (riducendo gli output dannosi).

Risultati e Significato

Il documento afferma che Self-CTRL fornisce una ricetta generale per addestrare i modelli di IA a essere più sicuri, trasparenti e controllabili. I risultati chiave includono:

• Fedeltà (Faithfulness): Il metodo allinea con successo ciò che i modelli dicono con ciò che fanno, affrontando il problema delle "spiegazioni non fedeli".
• Scalabilità: Poiché la coerenza è valutata utilizzando il modello stesso (o una giuria LM), il metodo scala per generare grandi quantità di prove accoppiate.
• Interfaccia Nativa: Le auto-spiegazioni sono elicitate attraverso lo stesso canale con cui gli utenti interagiscono, rendendole direttamente utili per la fiducia e il debugging.
• Generalizzazione: Il metodo dimostra una generalizzazione fuori contesto, recuperando i bias latenti e affinando i confini di rifiuto su dati non visti senza supervisione diretta.

Gli autori pongono Self-CTRL come un complemento all'interpretabilità esterna. A differenza degli audit esterni, esso addestra i modelli a rendere esplicite le proprie regolarità comportamentali nel linguaggio naturale. Il documento nota con moderazione alcuni limiti, come la potenziale convergenza dei modelli verso punti fissi banali (ad es., regole vaghe come "sii sicuro") se lo spazio delle spiegazioni non è vincolato, e la dipendenza dalla qualità del giudice di coerenza (la giuria LM). Tuttavia, gli esperimenti suggeriscono che con un design accurato (prompt strutturati, giurie diverse), tali problemi possono essere mitigati.