🤖 AI

Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies

Dieser Beitrag stellt Preference Goal Tuning (PGT) vor, ein Nachtrainierungsrahmenwerk, das eingefrorene zielkonditionierte Strategien durch Optimierung kontinuierlicher latenter Ziel-Embeddings anstelle einer Aktualisierung der Strategieparameter an Aufgabenpräferenzen anpasst und dadurch auf dem Minecraft SkillForge-Benchmark eine überlegene Leistung und Robustheit sowohl gegenüber Experten-Prompts als auch gegenüber einer vollständigen Feinabstimmung erzielt.

Ursprüngliche Autoren: Guangyu Zhao, Kewei Lian, Haoxuan Ru, Borong Zhang, Haowei Lin, Zhancun Mu, Haobo Fu, Qiang Fu, Shaofei Cai, Zihao Wang, Yitao Liang

Veröffentlicht 2026-05-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guangyu Zhao, Kewei Lian, Haoxuan Ru, Borong Zhang, Haowei Lin, Zhancun Mu, Haobo Fu, Qiang Fu, Shaofei Cai, Zihao Wang, Yitao Liang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen hochqualifizierten, vortrainierten Roboter-Koch. Dieser Koch hat Jahre damit verbracht, Millionen von Kochvideos anzusehen und kennt die Physik des Hackens, Bratens und Backens besser als jeder andere. Wenn Sie diesen Koch jedoch bitten, „einen Salat zuzubereiten", könnte er die Tomaten zu fein hacken oder das Dressing vergessen, einfach weil Ihre verbale Anweisung nicht der richtige Auslöser für seinen spezifischen Stil war.

Normalerweise haben Sie zwei schlechte Optionen, um dies zu beheben:

Die Anweisungen umschreiben: Sie probieren hunderte verschiedener Formulierungen („hacken Sie die Tomaten", „würfeln Sie die Tomaten", „schneiden Sie die Tomaten in Scheiben"), bis Sie eine finden, die funktioniert. Das ist wie das Raten des richtigen Passworts; es ist langsam und scheitert oft.
Den Koch neu ausbilden: Sie schicken den Koch zurück in die Kochschule, um alles von Grund auf neu zu lernen, basierend auf Ihrem spezifischen Geschmack. Dies ist teuer, dauert lange und birgt das Risiko, dass der Koch vergisst, wie man etwas außer Ihrem spezifischen Salat zubereitet (ein Problem, das als „katastrophales Vergessen" bekannt ist).

Diese Arbeit stellt eine dritte, intelligentere Methode vor, die „Preference Goal Tuning" (PGT) genannt wird.

Die Kernidee: Die „Fernbedienung"-Metapher

Anstatt das Gehirn des Kochs (die Policy) neu zu schreiben oder nach perfekten Worten zu raten, behandeln die Autoren die latente Ziel-Embedding des Kochs als eine kontinuierliche Fernbedienung.

Stellen Sie sich das Gehirn des Kochs als einen eingefrorenen High-End-Videospiel-Charakter vor. Sie können seinen Code oder seine Statistiken nicht ändern. Sie können jedoch einen versteckten „Regler" (das latente Ziel) justieren, der dem Charakter genau sagt, wie er den Befehl „ein Schaf jagen" interpretieren soll.

Alter Weg (Prompt Engineering): Sie rufen dem Charakter verschiedene Befehle zu und hoffen, dass einer hängen bleibt.
Alter Weg (Fine-Tuning): Sie zwingen den Charakter, seine gesamte Persönlichkeit neu zu lernen, um zu Ihrem Befehl zu passen.
PGT-Weg: Sie behalten die Persönlichkeit des Charakters exakt gleich, nutzen jedoch einen „Präferenz-Regler", um sein Verhalten zu lenken. Sie drehen den Regler leicht nach links, und er hackt die Tomaten perfekt. Sie drehen ihn leicht nach rechts, und er fügt das Dressing hinzu.

Wie es funktioniert: Die „Geschmackstester"-Schleife

Die Arbeit beschreibt einen Prozess, der wie eine sehr effiziente Geschmacksprobe funktioniert:

Das Setup: Sie beginnen mit einer grundlegenden Anweisung (z. B. „Holz sammeln"). Der eingefrorene Roboter versucht, dies zu tun.
Der Versuch: Der Roboter generiert einige Versuche (Trajektorien). Einige sind chaotisch; einige sind gut.
Das Feedback: Ein Mensch (oder ein Belohnungssystem) betrachtet die Versuche und sagt: „Ich mag diesen hier lieber als jenen." Sie müssen kein perfektes Handbuch schreiben; sie müssen nur einen Gewinner und einen Verlierer auswählen.
Die Anpassung: Das System nutzt dieses „Gewinner-gegen-Verlierer"-Feedback, um den versteckten Regler (das latente Ziel) zu justieren. Es fragt: „Welche winzige Änderung am Regler würde dazu führen, dass der Roboter die Aktion des 'Gewinners' anstelle der des 'Verlierers' ausführt?"
Das Ergebnis: Das Gehirn des Roboters bleibt unberührt, aber der Regler steht nun auf einem „Sweet Spot", der perfekt mit Ihren Präferenzen übereinstimmt.

Warum das eine große Sache ist

Die Arbeit testete dies im Spiel Minecraft (ein komplexes Open-World-Spiel) und an robotischen Armen. Hier ist das, was sie fanden, in einfachen Worten ausgedrückt:

Es ist ein magischer Regler: Durch das bloße Drehen dieses versteckten Reglers verbesserte das System die Leistung um 72 % bis 81 % im Vergleich zum bloßen Ausprobieren verschiedener Text-Prompts. Es schlug sogar die besten von Menschen verfassten Anweisungen.
Es zerstört den Roboter nicht: Da das Gehirn des Roboters (die Policy) eingefroren ist, vergisst er nicht, wie man andere Dinge tut. Wenn Sie den Regler auf „Holz sammeln" justieren, kann der Roboter später einfach durch Zurückdrehen des Reglers auf die „Bauen"-Einstellung wieder ein „Haus bauen".
Es bewältigt Überraschungen: Wenn sich die Umgebung änderte (z. B. sah die Spielwelt anders aus, oder der Roboter befand sich in einem neuen Raum), funktionierte die „Regler"-Methode viel besser als das Neutrainieren des Roboters. Sie war robuster, wie ein erfahrener Fahrer, der eine neue Straße bewältigen kann, ohne das Fahren neu lernen zu müssen.
Es ist günstig: Das Neutrainieren eines Roboterhirns erfordert Millionen von Dollar an Rechenleistung. Das Justieren dieses einzelnen „Reglers" benötigt nur einen winzigen Bruchteil dieser Leistung und Daten.

Das Fazit

Die Autoren nennen dies Preference Goal Tuning (PGT). Es ist eine Möglichkeit, einem vortrainierten KI-System neue Tricks beizubringen, ohne seine alten zu zerstören. Anstatt die KI zu zwingen, neue Regeln auswendig zu lernen, finden Sie einfach die perfekte „versteckte Einstellung", die das gewünschte Verhalten freischaltet und die Kernintelligenz der KI intakt lässt.

Im Papier erwähnte Einschränkungen:

Der Roboter muss bereits einige Fähigkeit besitzen, die Aufgabe zu erfüllen. Wenn der Roboter noch nie ein Schaf gesehen hat, wird das Drehen am Regler ihn nicht dazu bringen, eines zu jagen; er benötigt einfach einen Ausgangspunkt.
Sie müssen für jede einzelne Aufgabe einen neuen Regler justieren (einen für Holz, einen für Stein usw.), aber dies ist tatsächlich ein Vorteil, da es die Aufgaben getrennt hält und verhindert, dass sie sich gegenseitig beeinträchtigen.

1. Problemstellung

Zielbedingte Richtlinien (z. B. Fundamentmodelle für Robotik oder Embodied AI) haben starke Fähigkeiten beim Interpretieren von Anweisungen und der Ausführung vielfältiger Verhaltensweisen unter Beweis gestellt. Ihre Leistung in nachgelagerten Anwendungen ist jedoch stark von den spezifischen Prompts oder Anweisungen abhängig.

Das Dilemma:
- Prompt Engineering: Verlässt sich auf diskrete, ableitungsfreie Textsuche. Es respektiert die eingefrorene Richtlinie, versagt jedoch oft darin, optimales Verhalten hervorzurufen, aufgrund der Grenzen natürlicher Sprache als Steuerungsschnittstelle.
- Standard-Fine-Tuning: Aktualisiert die Richtliniengewichte, um sie mit Aufgaben abzugleichen. Obwohl effektiv, birgt es das Risiko des katastrophalen Vergessens, der Überanpassung an enge Aufgabenverteilungen und der Zerstörung der während des Pre-Trainings erworbenen breiten Generalisierungsfähigkeiten.
Die Lücke: Es besteht ein Bedarf an einem Anpassungsmechanismus, der die Optimierungskraft des Fine-Tunings bietet, gleichzeitig aber die strukturelle Stabilität und Generalisierung eines eingefrorenen Fundamentmodells bewahrt.

2. Methodik: Preference Goal Tuning (PGT)

Die Autoren schlagen Preference Goal Tuning (PGT) vor, ein Post-Training-Framework, das Anpassung als latentes Steuerungsproblem neu formuliert. Anstatt die Richtliniengewichte zu aktualisieren, optimiert PGT eine kontinuierliche latente Ziel-Embedding ( $g$ ), um das Verhalten einer eingefrorenen Richtlinie zu modulieren.

Kernformulierung

Eingefrorene Richtlinie: Die Richtliniengewichte ( $\theta$ ) bleiben fest: $\pi(a|s, g; \theta)$ .
Latente Steuerung: Das Ziel $g \in \mathbb{R}^d$ wird als lernbarer Parameter behandelt. Die Richtlinie definiert ein „Verhaltensmanifold", das durch $g$ indiziert ist.
Zielsetzung: Finden des optimalen $g^*$ , das eine Trajektorienverteilung induziert, die mit Aufgabenpräferenzen übereinstimmt, und die Divergenz von einer Zielverteilung minimiert, die durch menschliche oder belohnungsbasierte Präferenzen definiert ist.

Algorithmischer Prozess

PGT arbeitet in zwei Hauptphasen, oft iterativ:

Generierung von Präferenzproben:
- Starten mit einem initialen Prompt, der in ein latentes Ziel $g$ kodiert ist.
- Sammeln von Trajektorien ( $\tau$ ) durch Interaktion mit der Umgebung unter Verwendung der eingefrorenen Richtlinie und $g$ .
- Kennzeichnen von Trajektorien als positiv (bevorzugt) oder negativ (nicht bevorzugt). Die Kennzeichnungen können von menschlichen Annotatoren oder Belohnungssignalen stammen (z. B. kumulative Belohnung in Minecraft).
Ausbreitung von Verhaltenspräferenzen:
- Aktualisieren des latenten Ziels $g$ unter Verwendung eines Präferenzlern-Ziels (z. B. DPO – Direct Preference Optimization).
- Das Ziel maximiert die Wahrscheinlichkeit bevorzugter Trajektorien relativ zu einem Referenzziel ( $g_{ref}$ ), während unerwünschte unterdrückt werden.
- Verlustfunktion: Die Optimierung minimiert die negative Log-Likelihood der Präferenzpaare:
  $\mathcal{L}(g, g_{ref}) = \mathbb{E}_{(\tau_w, \tau_l) \sim D} \left[ -\log \sigma \left( \beta \Delta \right) \right]$
  wobei $\Delta$ die Differenz der Log-Likelihood-Verhältnisse zwischen dem aktuellen Ziel und dem Referenzziel für die gewinnenden ( $\tau_w$ ) und verlierenden ( $\tau_l$ ) Trajektorien ist.

Wichtige theoretische Erkenntnis

Durch die Beschränkung der Optimierung auf einen niedrigdimensionalen latenten Vektor anstelle von Millionen Parametern übt PGT einen starken induktiven Bias aus, der Generalisierung über Auswendiglernen begünstigt. Es sucht effektiv nach dem optimalen Konditionierungseingabe, ohne die zugrunde liegenden physikalischen Dynamiken, die in der Richtlinie kodiert sind, zu verändern.

3. Hauptbeiträge

Paradigma der latenten Steuerung: Einführung eines neuartigen Post-Training-Ansatzes, bei dem Anpassung ausschließlich durch Optimierung der latenten Ziel-Embedding erreicht wird, während die Fundamentrichtlinie eingefroren bleibt. Dies entkoppelt die Aufgabenabstimmung von physikalischen Dynamiken.
Präferenzbasierte Optimierung: Anpassung des Präferenzlernens (insbesondere DPO und Varianten) an den latenten Zielraum, was eine effiziente Abstimmung mit Aufgabenpräferenzen unter Verwendung minimaler Daten ermöglicht.
Robustheit gegenüber OOD: Zeigt, dass die Isolierung der Aufgabenanpassung auf das latente Ziel katastrophales Vergessen verhindert und die Generalisierung außerhalb der Verteilung (OOD) aufrechterhält, was beim Standard-Fine-Tuning oft verschlechtert wird.
Fähigkeit zum kontinuierlichen Lernen: Zeigt, dass PGT skalierbares kontinuierliches Lernen ermöglicht, indem pro Aufgabe ein kompakter latenter Vektor gespeichert wird, was Aufgabeninterferenzen ohne komplexe Replay- oder Regularisierungsmechanismen vermeidet.

4. Experimentelle Ergebnisse

Das Framework wurde am Minecraft SkillForge-Benchmark (17 Aufgaben) unter Verwendung zweier Fundamentrichtlinien (GROOT und STEVE-1) und am LIBERO-goal-Roboter-Manipulations-Benchmark evaluiert.

Leistungssteigerungen:
- PGT erzielte durchschnittliche relative Verbesserungen von 72,0 % (GROOT) und 81,6 % (STEVE-1) gegenüber vortrainierten Richtlinien bei Aufgaben innerhalb der Verteilung.
- Es übertraf konsistent expertenhandgefertigte Prompts und Standard-Prompt-Engineering-Baselines.
Generalisierung außerhalb der Verteilung (OOD):
- In OOD-Szenarien (geänderte Seeds, Biome, Werkzeugkonfigurationen) verbesserte PGT die Leistung um 73,8 % bzw. 36,9 %.
- Entscheidend übertraf PGT das vollständige Fine-Tuning in OOD-Szenarien um 13,4 %. Vollständiges Fine-Tuning verbesserte die Leistung innerhalb der Verteilung, verschlechterte jedoch oft die Generalisierung aufgrund von Überanpassung.
Parametereffizienz:
- PGT optimiert nur 512 Parameter (den latenten Zielvektor), während vollständiges Fine-Tuning ca. 100 Millionen Parameter umfasst.
- Es übertraf andere Parameter-Efficient-Fine-Tuning-Methoden (PEFT) wie LoRA, BitFit und VeRA in OOD-Szenarien.
Kontinuierliches Lernen:
- Bei sequenzieller Aufgabenakquisition vermied PGT katastrophales Vergessen vollständig, während Baselines wie Naive Continual Learning (NCL) und Elastic Weight Consolidation (EWC) erhebliche Leistungseinbußen bei früheren Aufgaben erlitten.
Geltungsbereich über Domänen hinweg:
- Experimente mit der OpenVLA-Richtlinie für Roboter-Manipulation (LIBERO-goal) bestätigten, dass PGT ein allgemeiner Post-Training-Mechanismus ist, der über Minecraft hinaus anwendbar ist und die Erfolgsraten in kontinuierlichen Steuerungsbereichen verbessert.

5. Bedeutung und Auswirkung

Erhaltung von Fundamentfähigkeiten: PGT bietet eine „zerstörungsfreie" Möglichkeit, große Modelle anzupassen. Es ermöglicht dem Modell, neue Aufgaben zu lernen, ohne das breite, kompositorische Wissen zu löschen, das während des Pre-Trainings erworben wurde.
Probeneffizienz: Durch die Optimierung eines niedrigdimensionalen Vektors benötigt PGT deutlich weniger Daten und Rechenleistung als vollständiges Fine-Tuning, was es für den Einsatz in der realen Welt hochgradig praktikabel macht.
Skalierbare Anpassung: Die Fähigkeit, pro Aufgabe einen einzelnen kompakten latenten Vektor zu speichern, deutet auf einen gangbaren Weg für skalierbare, Multi-Task-Agenten hin, die nicht unter Interferenzen leiden oder massive Replay-Puffer benötigen.
Sicherheit und Kontrolle: Das Framework bietet eine kontinuierliche, differenzierbare Schnittstelle zur Verhaltensmodulation und schließt die Lücke zwischen diskreten Textprompts und der kontinuierlichen Steuerung, die für komplexe physikalische Aufgaben erforderlich ist.

Zusammenfassend stellt Preference Goal Tuning eine signifikante Verschiebung dar, wie Fundamentmodelle angepasst werden: weg von der Gewichtsmodifikation hin zur Navigation im latenten Raum, wodurch überlegene Robustheit, Generalisierung und Effizienz bei zielbedingter Entscheidungsfindung erreicht werden.