We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

Riepilogo Tecnico: Stereotipia Adattiva a Rami Multipli (AMBS) per l'Allineamento Multi-Obiettivo dei LLM

Enunciato del Problema
I Large Language Models (LLM) richiedono un allineamento con l'intento umano, tipicamente operazionalizzato attraverso tre obiettivi in competizione: Utilità, Innocuità e Onestà (HHH). Sebbene lavori precedenti abbiano raggiunto l'allineamento tramite Affinamento Supervisionato (SFT) o Apprendimento per Rinforzo da Feedback Umano (RLHF), questi metodi spesso faticano a soddisfare congiuntamente gli obiettivi HHH durante l'inferenza, in particolare in contesti complessi.

Gli approcci esistenti di allineamento in fase di inferenza, come i vettori di sterzata, trattano tipicamente gli obiettivi in isolamento. Quando una singola rappresentazione condivisa viene sterzata verso un obiettivo, può sovrascrivere o interferire con gli altri. Recenti estensioni a un setting Transformer "1-a-N" (replicando una rappresentazione condivisa in più percorsi) tentano di mitigare questo problema applicando trasformazioni indipendenti. Tuttavia, questi aggiornamenti indipendenti mancano di vincoli sulle relazioni tra i percorsi, portando a risposte incoerenti e divergenza tra gli obiettivi. Inoltre, i metodi di compromesso basati sull'addestramento (ad es. RLHF sicuro, Mixture-of-Experts) non vincolano le trasformazioni specifiche per obiettivo all'interno di una rappresentazione condivisa durante l'inferenza, risultando in un "collasso dell'asse" o in rappresentazioni disgiunte dove obiettivi conflittuali non possono essere soddisfatti simultaneamente.

Metodologia: Stereotipia Adattiva a Rami Multipli (AMBS)
Gli autori propongono AMBS, un framework a due stadi progettato per un setting Transformer 1-a-N che parametrizza le trasformazioni specifiche per obiettivo rispetto a una rappresentazione condivisa. L'innovazione centrale consiste nel definire gli aggiornamenti come deviazioni da un riferimento comune piuttosto che come modifiche indipendenti.

1. Stadio I: Calcolo della Rappresentazione Condivisa
   Il Transformer calcola una rappresentazione nascosta condivisa $h^{(0)}_\ell$ al livello $\ell$ (tipicamente l'ultimo livello $L$) per un dato input. Questa rappresentazione funge da base comune ed è riutilizzata attraverso tutti gli obiettivi.

2. Stadio II: Trasformazioni Guidate dal Riferimento
   La rappresentazione condivisa viene replicata in $N$ percorsi ($h^{(i)}_\ell = h^{(0)}_\ell$). Per ogni obiettivo $i$, viene applicata una trasformazione $\Delta h^{(i)}_\ell$ rispetto al riferimento condiviso $h^{ref}_\ell = h^{(0)}_\ell$.

   • Aggiornamento Basato sulla Deviazione: Invece di aggiornamenti indipendenti, la trasformazione è definita come una funzione della deviazione dal riferimento: $\Delta h^{(i)}_\ell = f_i(\tilde{h}^{(i)}_\ell - h^{ref}_\ell; \phi_i)$.
   • Parametrizzazione a Rango Basso: La politica $f_i$ è implementata come una proiezione a rango basso con un bias additivo: $\Delta h^{(i)}_\ell = ((\tilde{h}^{(i,0)}_\ell - h^{ref}_\ell)A_i)B_i + b_i$. Qui, $A_i$ e $B_i$ sono matrici a rango basso apprendibili, e $b_i$ è un bias apprendibile. Crucialmente, il bias $b_i$ garantisce una deviazione iniziale non nulla, attivando l'aggiornamento a rango basso immediatamente all'interno di un singolo passaggio in avanti senza calcolo iterativo a punto fisso.
   • Generazione dell'Output: Ogni percorso produce una distribuzione di output specifica per obiettivo $p^{(i)}_\theta$. Queste vengono combinate durante la decodifica in una singola distribuzione congiunta $p^{joint}_\theta$ utilizzando una media geometrica ponderata.

3. Ottimizzazione dell'Obiettivo
   Il framework minimizza una funzione di perdita composita:
   $$\min \sum_{i=1}^N L^{(i)}_{obj} + \lambda L_{cons}$$

   • $L^{(i)}_{obj}$: La perdita specifica per obiettivo (ad es. entropia incrociata) per il percorso $i$.
   • $L_{cons}$: Un termine di coerenza che misura la distanza euclidea quadrata tra le rappresentazioni trasformate attraverso i percorsi. Questo termine penalizza la divergenza eccessiva consentendo al contempo le necessarie variazioni specifiche per obiettivo, prevenendo il "collasso" osservato in altri metodi congiunti.

Contributi Chiave

• Progettazione del Framework: Introduzione di AMBS, che estende il setting Transformer 1-a-N parametrizzando le trasformazioni come deviazioni da un riferimento condiviso, controllando così l'interferenza mantenendo al contempo la distintività dei percorsi.
• Formulazione Teorica: Una formulazione matematica in cui le differenze tra percorsi dipendono esclusivamente dai termini di deviazione ($\Delta h^{(i)}_\ell - \Delta h^{(j)}_\ell$) piuttosto che da trasformazioni indipendenti dello stato di base, supportata da lemmi che provano l'inizializzazione non degenere e l'attivazione immediata dei parametri a rango basso.
• Prestazioni Empiriche: Dimostrazione che AMBS migliora le prestazioni congiunte HHH su quattro diversi modelli base (LLaMA-2-7B, Mistral-7B, Gemma-7B, DeepSeek-7B) mantenendo al contempo l'efficienza computazionale.

Risultati
Gli esperimenti sono stati condotti su benchmark standard: Alpaca (Utilità), BeaverTails (Innocuità) e TruthfulQA (Onestà).

• Guadagni di Prestazione: AMBS ha ottenuto i punteggi medi (Avg) più alti tra i modelli base. Per LLaMA-2-7B, AMBS ha raggiunto un Avg del 56,5%, superando il precedente Stato dell'Arte (TrinityX) al 55,1% e AlignX al 51,3%.
• Miglioramenti Specifici per Obiettivo:
  • Utilità: Aumento del Tasso di Vittoria (WR) al 53,0% (vs. 48,7% per RAHF).
  • Innocuità: Riduzione del Punteggio di Sicurezza (SS, dove un valore più basso è migliore) al 5,3% (vs. 7,2% per Aligner).
  • Onestà: Miglioramento della Veridicità-Informatività (TI) al 37,9% (vs. 31,7% per DExperts).
• Analisi dell'Interferenza: A differenza dei metodi a obiettivo singolo che mostrano grandi cali di prestazione quando gli obiettivi cambiano, o dei metodi congiunti che esibiscono "collasso" (punteggi identici tra gli obiettivi), AMBS ha mantenuto prestazioni elevate ma non uniformi tra gli obiettivi (ad es. 37,0% / 25,8% / 14,3%), indicando una ridotta interferenza senza collasso.
• Efficienza: Il metodo mantiene un'alta velocità di elaborazione (ad es. 189 token/sec) e bassi costi di addestramento (9 ore GPU) congelando il modello base e ottimizzando solo i parametri a rango basso.

Significato e Affermazioni
Il paper afferma che AMBS affronta una lacuna critica nell'allineamento multi-obiettivo in fase di inferenza. Vincolando le trasformazioni specifiche per obiettivo all'interno di una rappresentazione condivisa, il framework bilancia con successo il compromesso tra la soddisfazione di obiettivi distinti (Utilità, Innocuità, Onestà) e il mantenimento della coerenza tra di essi. Gli autori affermano che questo approccio previene il "collasso dell'asse" e l'instabilità osservati nei precedenti metodi di allineamento congiunto, offrendo una soluzione robusta per il deployment di LLM affidabili senza la necessità di costosi riaddestramenti o architetture modulari complesse. I risultati suggeriscono che l'allineamento è efficacemente catturato a livello di rappresentazione, con la decodifica che funge da passo di consolidamento piuttosto che come fonte primaria di guadagni.

Limitazioni
Gli autori riconoscono le limitazioni, tra cui la scala della valutazione, la dipendenza da giudici proxy (LLM) per le metriche piuttosto che da estese valutazioni umane, e l'attuale focus sui modelli decoder-only. Si suggerisce che il lavoro futuro includa studi umani più ampi, setting di sicurezza più estesi e l'estensione ai modelli multimodali.