Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies

1. Probleemstelling

Doelgeconditioneerde beleidsplannen (bijvoorbeeld fundatiemodellen voor robotica of embodied AI) hebben sterke capaciteiten aangetoond in het interpreteren van instructies en het uitvoeren van diverse gedragingen. Hun downstream-prestaties zijn echter zeer gevoelig voor de specifieke prompts of instructies die worden gebruikt.

• Het Dilemma:
  • Prompt Engineering: Verlaat zich op discrete, afgeleide-vrije tekstzoekopdrachten. Het respecteert het bevroren beleid, maar faalt vaak om optimale gedragingen te eliciteren vanwege de beperkingen van natuurlijke taal als controle-interface.
  • Standaard Fine-Tuning: Werkte beleidsparameters bij om af te stemmen op taken. Hoewel effectief, loopt het risico op catastrofaal vergeten, overfitting op smalle taakverdelingen en het vernietigen van de brede generalisatiecapaciteiten die tijdens pre-training zijn opgedaan.
• Het Gat: Er is behoefte aan een aanpassingsmechanisme dat de optimalisatiekracht van fine-tuning biedt, terwijl het de structurele stabiliteit en generalisatie van een bevroren fundatiemodel behoudt.

2. Methodologie: Preference Goal Tuning (PGT)

De auteurs stellen Preference Goal Tuning (PGT) voor, een post-training framework dat aanpassing herformuleert als een latent control probleem. In plaats van de beleidsgewichten bij te werken, optimaliseert PGT een continue latent doel-embedding ($g$) om het gedrag van een bevroren beleid te moduleren.

Kernformulering

• Bevroren Beleid: De beleidsparameters ($\theta$) blijven vast: $\pi(a|s, g; \theta)$.
• Latente Controle: Het doel $g \in \mathbb{R}^d$ wordt behandeld als een leerbare parameter. Het beleid definieert een "gedragsmanifold" geïndexeerd door $g$.
• Doel: Vind het optimale $g^*$ dat een trajectverdeling induceert die is afgestemd op taakvoorkeuren, en minimaliseer de divergentie van een doelverdeling die is gedefinieerd door menselijke of beloningsgebaseerde voorkeuren.

Algorithmisch Proces

PGT werkt in twee hoofdfases, vaak iteratief:

1. Generatie van Voorkeursstalen:
   • Begin met een initiële prompt die is gecodeerd in een latent doel $g$.
   • Verzamel trajecten ($\tau$) door te interageren met de omgeving met behulp van het bevroren beleid en $g$.
   • Label trajecten als positief (voorkeurs) of negatief (niet-voorkeurs). Labels kunnen afkomstig zijn van menselijke annotatoren of beloningssignalen (bijvoorbeeld cumulatieve beloning in Minecraft).
2. Voortplanting van Gedragsvoorkeuren:
   • Werk het latent doel $g$ bij met een voorkeursleerdoel (bijvoorbeeld DPO - Direct Preference Optimization).
   • Het doel maximaliseert de waarschijnlijkheid van voorkeurs-trajecten ten opzichte van een referentiedoel ($g_{ref}$), terwijl ongewenste trajecten worden onderdrukt.
   • Verliesfunctie: De optimalisatie minimaliseert de negatieve log-waarschijnlijkheid van de voorkeursparen:
     $$\mathcal{L}(g, g_{ref}) = \mathbb{E}_{(\tau_w, \tau_l) \sim D} \left[ -\log \sigma \left( \beta \Delta \right) \right]$$
     Waarbij $\Delta$ het verschil is in log-waarschijnlijkheidsverhoudingen tussen het huidige doel en het referentiedoel voor de winnende ($\tau_w$) en verliezende ($\tau_l$) trajecten.

Belangrijkste Theoretisch Inzicht

Door optimalisatie te beperken tot een laag-dimensionale latent vector in plaats van miljoenen parameters, legt PGT een sterke inductieve bias op die generalisatie boven memorisatie bevoordeelt. Het zoekt effectief naar de optimale conditionering-input zonder de onderliggende fysieke dynamiek die in het beleid is gecodeerd, te wijzigen.

3. Belangrijkste Bijdragen

1. Paradigma van Latente Controle: Introduceert een nieuwe post-training aanpak waarbij aanpassing uitsluitend wordt bereikt door het optimaliseren van de latent doel-embedding, terwijl het fundatiebeleid bevroren blijft. Dit ontkoppelt taakafstemming van fysieke dynamiek.
2. Voorkeursgebaseerde Optimalisatie: Past voorkeursleren (specifiek DPO en varianten) toe op de latent doelruimte, waardoor efficiënte afstemming op taakvoorkeuren mogelijk is met minimale data.
3. Robuustheid ten opzichte van OOD: Toont aan dat het isoleren van taakaanpassing tot het latent doel catastrofaal vergeten voorkomt en generalisatie buiten de verdeling (OOD) behoudt, wat bij standaard fine-tuning vaak verslechtert.
4. Vermogen tot Continue Leer: Laat zien dat PGT schaalbare continue leer mogelijk maakt door een compact latent vector per taak op te slaan, waardoor taakinterferentie wordt voorkomen zonder complexe replay- of regularisatiemechanismen.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de Minecraft SkillForge-benchmark (17 taken) met twee fundatiebeleidsplannen (GROOT en STEVE-1) en op de LIBERO-goal robotische manipulatie-benchmark.

• Prestatiewinst:
  • PGT bereikte gemiddelde relatieve verbeteringen van 72,0% (GROOT) en 81,6% (STEVE-1) ten opzichte van pre-getrainde beleidsplannen op taken binnen de verdeling.
  • Het presteerde consequent beter dan door experts ontworpen prompts en standaard prompt-engineering-baselines.
• Generalisatie Buiten de Verdeling (OOD):
  • In OOD-situaties (veranderde seeds, biomen, toolconfiguraties) verbeterde PGT de prestaties met respectievelijk 73,8% en 36,9%.
  • Cruciaal: PGT overschreed volledige fine-tuning met 13,4% in OOD-situaties. Volledige fine-tuning verbeterde prestaties binnen de verdeling, maar verslechterde vaak de generalisatie door overfitting.
• Parameter-efficiëntie:
  • PGT optimaliseert slechts 512 parameters (de latent doelvector), terwijl volledige fine-tuning ongeveer 100 miljoen parameters omvat.
  • Het presteerde beter dan andere Parameter-Efficient Fine-Tuning (PEFT)-methoden zoals LoRA, BitFit en VeRA in OOD-scenario's.
• Continue Leer:
  • Bij sequentiële taakverwerving vermijdt PGT catastrofaal vergeten volledig, terwijl baselines zoals Naive Continual Learning (NCL) en Elastic Weight Consolidation (EWC) aanzienlijke prestatiedalingen leden op eerdere taken.
• Kruis-domein Validiteit:
  • Experimenten met het OpenVLA-beleid voor robotische manipulatie (LIBERO-goal) bevestigden dat PGT een algemeen post-training mechanisme is dat verder gaat dan Minecraft, en de succespercentages verbetert in domeinen met continue controle.

5. Betekenis en Impact

• Behoud van Fundatiecapaciteiten: PGT biedt een "niet-destructieve" manier om grote modellen aan te passen. Het stelt het model in staat nieuwe taken te leren zonder de brede, compositieve kennis die tijdens pre-training is opgedaan, te wissen.
• Staal-efficiëntie: Door het optimaliseren van een laag-dimensionale vector vereist PGT aanzienlijk minder data en rekenkracht dan volledige fine-tuning, wat het zeer praktisch maakt voor implementatie in de echte wereld.
• Schaalbare Aanpassing: Het vermogen om één compact latent vector per taak op te slaan, suggereert een haalbare weg voor schaalbare, multi-task agenten die niet lijden onder interferentie of de behoefte aan enorme replay-buffers.
• Veiligheid en Controle: Het framework biedt een continue, differentieerbare interface voor gedragsmodulatie, waardoor de kloof wordt overbrugd tussen discrete tekstprompts en de continue controle die nodig is voor complexe fysieke taken.

Concluderend vertegenwoordigt Preference Goal Tuning een significante verschuiving in hoe fundatiemodellen worden aangepast, van gewichtsmodificatie naar navigatie in de latent ruimte, waardoor superieure robuustheid, generalisatie en efficiëntie worden bereikt in doelgeconditioneerde besluitvorming.