Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies

1. Enunciazione del Problema

Le politiche condizionate da obiettivi (ad esempio, modelli fondazionali per la robotica o l'IA incarnata) hanno dimostrato forti capacità nell'interpretare istruzioni ed eseguire comportamenti diversificati. Tuttavia, le loro prestazioni a valle sono altamente sensibili ai prompt o alle istruzioni specifici utilizzati.

• Il Dilemma:
  • Prompt Engineering: Si basa su una ricerca testuale discreta e priva di derivate. Rispetta la politica congelata, ma spesso fallisce nell'elicitarne il comportamento ottimale a causa delle limitazioni del linguaggio naturale come interfaccia di controllo.
  • Standard Fine-Tuning: Aggiorna i parametri della politica per allinearli ai compiti. Sebbene efficace, rischia l'oblio catastrofico, l'overfitting su distribuzioni di compiti ristrette e la distruzione delle ampie capacità di generalizzazione acquisite durante il pre-addestramento.
• Il Vuoto: È necessario un meccanismo di adattamento che offra il potere di ottimizzazione del fine-tuning mantenendo al contempo la stabilità strutturale e la generalizzazione di un modello fondazionale congelato.

2. Metodologia: Preference Goal Tuning (PGT)

Gli autori propongono il Preference Goal Tuning (PGT), un framework di post-addestramento che riformula l'adattamento come un problema di controllo latente. Invece di aggiornare i pesi della politica, il PGT ottimizza un embedding di obiettivo continuo ($g$) per modulare il comportamento di una politica congelata.

Formulazione Principale

• Politica Congelata: I parametri della politica ($\theta$) rimangono fissi: $\pi(a|s, g; \theta)$.
• Controllo Latente: L'obiettivo $g \in \mathbb{R}^d$ è trattato come un parametro apprendibile. La politica definisce una "varietà comportamentale" indicizzata da $g$.
• Obiettivo: Trovare l'obiettivo ottimale $g^*$ che induce una distribuzione di traiettorie allineata alle preferenze del compito, minimizzando la divergenza da una distribuzione target definita da preferenze umane o basate su ricompense.

Processo Algorithmico

Il PGT opera in due fasi principali, spesso iterativamente:

1. Generazione di Campioni di Preferenza:
   • Si inizia con un prompt iniziale codificato in un obiettivo latente $g$.
   • Si raccolgono traiettorie ($\tau$) interagendo con l'ambiente utilizzando la politica congelata e $g$.
   • Le traiettorie vengono etichettate come positive (preferite) o negative (non preferite). Le etichette possono provenire da annotatori umani o segnali di ricompensa (ad esempio, ricompensa cumulativa in Minecraft).
2. Propagazione della Preferenza Comportamentale:
   • Si aggiorna l'obiettivo latente $g$ utilizzando un obiettivo di apprendimento delle preferenze (ad esempio, DPO - Direct Preference Optimization).
   • L'obiettivo massimizza la probabilità delle traiettorie preferite rispetto a un obiettivo di riferimento ($g_{ref}$), sopprimendo al contempo quelle indesiderate.
   • Funzione di Perdita: L'ottimizzazione minimizza il log-verosimiglianza negativo delle coppie di preferenze:
     $$\mathcal{L}(g, g_{ref}) = \mathbb{E}_{(\tau_w, \tau_l) \sim D} \left[ -\log \sigma \left( \beta \Delta \right) \right]$$
     Dove $\Delta$ è la differenza nei rapporti di log-verosimiglianza tra l'obiettivo corrente e l'obiettivo di riferimento per le traiettorie vincenti ($\tau_w$) e perdenti ($\tau_l$).

Insight Teorico Chiave

Limitando l'ottimizzazione a un vettore latente a bassa dimensionalità invece che a milioni di parametri, il PGT impone un forte bias induttivo che favorisce la generalizzazione rispetto alla memorizzazione. Cerca efficacemente l'input di condizionamento ottimale senza alterare le dinamiche fisiche sottostanti codificate nella politica.

3. Contributi Principali

1. Paradigma di Controllo Latente: Introduce un approccio innovativo di post-addestramento in cui l'adattamento è ottenuto esclusivamente ottimizzando l'embedding dell'obiettivo latente, mantenendo la politica fondazionale congelata. Questo disaccoppia l'allineamento del compito dalle dinamiche fisiche.
2. Ottimizzazione Basata sulle Preferenze: Adatta l'apprendimento delle preferenze (in particolare DPO e varianti) allo spazio degli obiettivi latenti, consentendo un allineamento efficiente alle preferenze del compito utilizzando dati minimi.
3. Robustezza all'OOD: Dimostra che isolare l'adattamento del compito all'obiettivo latente previene l'oblio catastrofico e mantiene la generalizzazione fuori distribuzione (OOD), che il fine-tuning standard spesso degrada.
4. Capacità di Apprendimento Continuo: Mostra che il PGT abilita un apprendimento continuo scalabile memorizzando un vettore latente compatto per compito, evitando interferenze tra compiti senza meccanismi complessi di replay o regolarizzazione.

4. Risultati Sperimentali

Il framework è stato valutato sul benchmark Minecraft SkillForge (17 compiti) utilizzando due politiche fondazionali (GROOT e STEVE-1) e sul benchmark di manipolazione robotica LIBERO-goal.

• Miglioramenti delle Prestazioni:
  • Il PGT ha raggiunto miglioramenti relativi medi del 72,0% (GROOT) e dell'81,6% (STEVE-1) rispetto alle politiche pre-addestrate su compiti in-distribution.
  • Ha costantemente superato i prompt creati da esperti e le linee di base standard di prompt engineering.
• Generalizzazione Out-of-Distribution (OOD):
  • In contesti OOD (semi cambiati, biomi, configurazioni di strumenti), il PGT ha migliorato le prestazioni rispettivamente del 73,8% e del 36,9%.
  • Crucialmente, il PGT ha superato il fine-tuning completo del 13,4% in contesti OOD. Il fine-tuning completo ha migliorato le prestazioni in-distribution ma ha spesso degradato la generalizzazione a causa dell'overfitting.
• Efficienza Parametrica:
  • Il PGT ottimizza solo 512 parametri (il vettore dell'obiettivo latente), mentre il fine-tuning completo coinvolge circa 100 milioni di parametri.
  • Ha superato altri metodi di Fine-Tuning Efficiente nei Parametri (PEFT) come LoRA, BitFit e VeRA in scenari OOD.
• Apprendimento Continuo:
  • Nell'acquisizione sequenziale di compiti, il PGT ha evitato completamente l'oblio catastrofico, mentre le linee di base come l'Apprendimento Continuo Naive (NCL) e la Consolidazione dei Pesi Elastici (EWC) hanno subito cali significativi delle prestazioni sui compiti precedenti.
• Validità Cross-Dominio:
  • Gli esperimenti sulla politica OpenVLA per la manipolazione robotica (LIBERO-goal) hanno confermato che il PGT è un meccanismo di post-addestramento generale applicabile oltre Minecraft, migliorando i tassi di successo in domini di controllo continuo.

5. Significato e Impatto

• Preservazione delle Capacità Fondazionali: Il PGT offre un modo "non distruttivo" per adattare grandi modelli. Permette al modello di apprendere nuovi compiti senza cancellare la conoscenza ampia e composizionale acquisita durante il pre-addestramento.
• Efficienza del Campione: Ottimizzando un vettore a bassa dimensionalità, il PGT richiede significativamente meno dati e potenza di calcolo rispetto al fine-tuning completo, rendendolo altamente pratico per il deployment nel mondo reale.
• Adattamento Scalabile: La capacità di memorizzare un singolo vettore latente compatto per compito suggerisce una via praticabile per agenti multi-compito scalabili che non soffrono di interferenze o della necessità di buffer di replay massicci.
• Sicurezza e Controllo: Il framework fornisce un'interfaccia continua e differenziabile per la modulazione del comportamento, colmando il divario tra prompt testuali discreti e il controllo continuo richiesto per compiti fisici complessi.

In conclusione, il Preference Goal Tuning rappresenta un cambiamento significativo nel modo in cui i modelli fondazionali vengono adattati, passando dalla modifica dei pesi alla navigazione nello spazio latente, raggiungendo così una robustezza, una generalizzazione e un'efficienza superiori nel processo decisionale condizionato da obiettivi.