🤖 machine learning

Zero-Shot Off-Policy Learning

Dieses Paper schlägt eine Zero-Shot Off-Policy-Lernmethode vor, die eine theoretische Verbindung zwischen Successor-Maßen und stationären Dichteverhältnissen nutzt, um optimale Importance-Sampling-Verhältnisse abzuleiten, was eine trainingsfreie Anpassung an neue Aufgaben über verschiedene Benchmarks hinweg ermöglicht.

Ursprüngliche Autoren: Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry Dylov, Fakhri Karray, Martin Takac

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry Dylov, Fakhri Karray, Martin Takac

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu lernen, wie man ein neues, komplexes Gericht kocht, aber es ist Ihnen verboten, das Essen zu probieren oder neue Zutaten zu kaufen. Sie haben nur ein riesiges, staubiges Kochbuch voller tausender Rezepte, die jemand anderes vor Jahren aufgeschrieben hat. Dies ist die Herausforderung des Zero-Shot Off-Policy Learning.

In der Welt der Künstlichen Intelligenz (KI) wollen Forscher sogenannte „Behavioral Foundation Models“ (BFMs) entwickeln. Denken Sie an diese KI-Köche, die Millionen von Rezeptbüchern (Offline-Daten) gelesen haben, aber noch nie ein konkretes Mahl für einen spezifischen Kunden gekocht haben (eine neue Aufgabe). Wenn ein Kunde sagt: „Ich möchte eine scharfe Pasta“, muss die KI sofort herausfinden, wie sie das Gericht unter Verwendung ausschließlich des Wissens aus ihren alten Büchern zubereitet, ohne dabei durch Ausprobieren (Trial-and-Error) zu kochen.

Das Problem: Die „Außerhalb-des-Buches“-Falle

Das Paper identifiziert einen schwerwiegenden Fehler in der Art und Weise, wie diese KI-Köche derzeit arbeiten.

Stellen Sie sich vor, Ihr KI-Koch sieht die Anfrage „Scharfe Pasta“. Er scannt seine alten Bücher und findet ein Rezept für „Scharfe Nudeln“. Er versucht, diesem Rezept zu folgen. Aber hier ist der Haken: Die alten Bücher könnten von einem Koch geschrieben worden sein, der immer nur in einer winzigen, spezifischen Küche gekocht hat. Die alten Bücher könnten voll von Anweisungen wie „Wasser kochen“ sein, aber völlig fehlende Anweisungen für „Knoblauch hacken“ enthalten, weil dieser Koch das nie getan hat.

Wenn der KI-Koch versucht, das neue Gericht zuzubereiten, könnte er beim Schritt mit dem Knoblauch stecken bleiben, weil die alten Daten diesen Schritt nicht abdeckten. In technischen Begriffen nennt man das Distributional Shift (Verteilungswandel). Die KI versucht, Aktionen in Bereichen des „Küchenraums“ (Zustandsraum) auszuführen, die ihre Trainingsdaten nie besucht haben. Dies führt dazu, dass die KI wilde Vermutungen anstellt, überschätzt, wie gut ihr Plan ist, und letztlich scheitert.

Die Lösung: ZOL (Zero-Shot Off-Policy Learning)

Die Autoren schlagen eine neue Methode namens ZOL vor. Sie erkannten eine verborgene mathematische Verbindung zwischen zwei Konzepten:

Successor Measures: Eine Möglichkeit vorherzusagen: „Wo werde ich landen, wenn ich diese Aktion ausführe?“
Stationary Density Ratios: Eine Möglichkeit zu messen: „Wie viel wahrscheinlicher ist diese Aktion in meinem neuen Plan im Vergleich zu meinen alten Büchern?“

Die kreative Analogie: Die „Popularitätskarte“

Stellen Sie sich die alten Daten (das Kochbuch) als eine Stadtkarte vor, auf der einige Straßen dicht befahren sind (in den Daten hoch frequentiert) und andere leere Schotterwege sind (selten besucht).

Alte KI: Wenn sie ein neues Ziel erhält, zieht die KI einfach eine gerade Linie dorthin. Wenn diese Linie über einen leeren Schotterweg führt, nimmt die KI an, dass dies in Ordnung ist, obwohl sie keine Erfahrung damit hat. Sie stürzt ab.
ZOL (Die neue KI): ZOL erstellt eine „Popularitätskarte“ (Dichteverhältnis) basierend auf den alten Büchern. Bevor sie sich auf einen Plan festlegt, fragt sie: „Erfordert dieser Plan von mir, über einen Schotterweg zu fahren, den ich noch nie gesehen habe?“

Wenn die Antwort „Ja“ lautet, sagt ZOL nicht einfach nur „Nein“. Stattdessen gewichtet es den Plan neu. Es sagt: „Okay, ich kann immer noch zum Ziel kommen, aber ich muss meine Route anpassen, um näher an den belebten, gut asphaltierten Straßen zu bleiben, die ich kenne, während ich trotzdem das Ziel erreiche.“

Wie es funktioniert (Der „Zaubertrick“)

Das Paper behauptet, dass das interne „Gehirn“ der KI (speziell ein Framework namens Forward-Backward Representations) bereits das Geheimnis dieser „Popularitätskarte“ enthält.

Kein neues Training: Die KI muss nicht hinausgehen, um das Kochen zu üben (keine Online-Interaktion). Sie nutzt die Mathematik, die sie bereits während ihrer anfänglichen „Lesephase“ gelernt hat.
Sofortige Anpassung: Wenn eine neue Aufgabe eingeht, berechnet ZOL einen einfachen Korrekturfaktor. Es sagt der KI effektiv: „Ignoriere die Teile deines Plans, die auf Daten basieren, die du nicht hast, und konzentriere dich auf die Teile, die durch deine Erfahrung gestützt werden.“
Das Ergebnis: Die KI findet einen neuen, optimalen Pfad, der sicher ist (bleibt innerhalb der Daten, die sie kennt), aber dennoch das Ziel erreicht.

Warum das wichtig ist

Die Autoren haben dies an verschiedenen „robotischen“ Aufgaben getestet, wie etwa dem virtuellen Gehen, Rennen oder Lösen eines Labyrinths eines Menschen.

Der Test: Sie gaben der KI eine neue Aufgabe (z. B. „Rückwärts gehen“), die sie zuvor noch nie gesehen hatte.
Der Vergleich: Andere Methoden versuchten, die Antwort zu erraten, und scheiterten oft oder halluzinierten (erfanden Dinge dazu).
Der ZOL-Sieg: ZOL fand konsistent bessere Lösungen. Es hat nicht einfach nur geraten; es hat seine Strategie intelligent angepasst, um den Grenzen seiner „Bibliothek“ gerecht zu werden und gleichzeitig das Rätsel zu lösen.

Zusammenfassend

Dieses Paper führt eine Methode ein, mit der sich KI augenblicklich an neue Aufgaben anpassen kann, ohne dafür üben zu müssen. Dies geschieht, indem die KI mathematisch prüft, ob die neue Aufgabe erfordert, dass sie in „unbekanntes Terrain“ vordringt (wo sie keine Daten hat). Wenn dies der Fall ist, lenkt ZOL die KI sanft zurück auf sicheres, vertrautes Gelände, um sicherzustellen, dass die KI nicht in das Unbekannte stürzt. Es ist wie ein GPS, das genau weiß, welche Straßen asphaltiert und welche Schotterwege sind, und Sie sofort umleitet, um sicherzustellen, dass Sie ankommen, ohne jemals die Karte zu verlassen.

Technisches Resümee: Zero-Shot Off-Policy Learning (ZOL)

1. Problemstellung

Die Arbeit befasst sich mit der Herausforderung des Zero-Shot Off-Policy Learning im Paradigma der Behavioral Foundation Models (BFMs). BFMs sind Agenten, die auf großen, unbeschrifteten, belohnungsfreien Datensätzen vortrainiert wurden, um wiederverwendbare Verhaltens-Priors zu erlernen. Dies ermöglicht es ihnen, sich zur Testzeit ohne zusätzliches Training (z. B. über Text-Prompts, Ziele oder Motion Capture) an neue Aufgaben anzupassen.

Diese inferenzbasierte Anpassung erbt jedoch einen kritischen Fehlermodus aus dem Off-Policy und Offline Reinforcement Learning (RL): die distributionale Verschiebung (distributional shift).

Die Diskrepanz: Eine durch eine neue Aufgabenspezifikation induzierte Policy fragt oft Zustands-Aktions-Regionen ab, die im Vortrainierungsdatensatz schlecht repräsentiert oder gänzlich abwesend sind (Out-of-Distribution oder OOD).
Die Konsequenz: Standardmäßige Zero-Shot-Inferenz (z. B. Auswahl eines latenten Vektors $z$ basierend auf der Reward-Projektion) führt zu systematischen Fehlern in der Wertschätzung und einer Überschätzung der Value-Funktion. Der Agent wählt möglicherweise latente Vektoren aus, die unter extrapolierten Werten optimal erscheinen, aber Besuchsverteilungen induzieren, die durch die Daten nicht gestützt werden, was zu suboptimalem oder unsicherem Verhalten führt.
Die Lücke: Bestehende Lösungen wie DICE (DualDICE, OptiDICE) erfordern aufgabenspezifische Optimierung, was dem „Zero-Shot“-Anspruch widerspricht. Andere schnelle Anpassungsmethoden (ReLA, LoLA) stützen sich auf Online-Umgebungsinteraktionen und On-Policy-Rollouts, was kostspielig ist und den rein Offline-Charakter des BFM-Settings verletzt.

Die Kernfrage lautet: Können wir optimale stationäre Besetzungsverhältnisse (occupancy ratios) für eine ganze Familie von BFM-induzierten Policies ohne pro-Aufgabe erfolgende Online-Optimierung schätzen, um eine schnelle Anpassung zur Testzeit zu ermöglichen und gleichzeitig Off-Policy-Pathologien zu vermeiden?

2. Methodik: Zero-Shot Off-Policy Learning (ZOL)

Die Autoren schlagen ZOL vor, ein trainingsfreies Test-Time-Verfahren, das die Lücke zwischen Successor Measures (SM) und stationären Dichteverhältnissen (stationary density ratios) schließt.

Theoretische Erkenntnis

Die Methode beruht auf einem theoretischen Zusammenhang, der aus dem Forward-Backward (FB)-Framework (Touati & Ollivier, 2021) abgeleitet ist, welches zur Schätzung von Successor Measures verwendet wird.

Successor Measures (SM): Die SM, $M^\pi$ , charakterisiert den diskontierten zukünftigen Besuch einer Policy $\pi$ . Im FB-Framework wird die Successor-Dichte $m_\pi$ mittels einer Low-Rank-Faktorisierung approximiert: $m_\pi(s_0, a_0, s, a) \approx F(s_0, a_0, z)^\top B(s, a)$ , wobei $F$ eine Forward-Embedding und $B$ ein Backward-Embedding ist.
Dichteverhältnis-Identität: Die Autoren leiten eine exakte Identität (Eq. 9) her, die zeigt, dass das stationäre Dichteverhältnis $w_{\pi/\beta} = d_\pi / d_\beta$ (der Korrekturfaktor, um die Besuchsverteilung der Policy mit dem Datensatz in Einklang zu bringen) proportional zur erwarteten Successor-Dichte unter der Initialverteilung $\rho_0$ ist:
$w_{\pi/\beta}(s, a) = (1-\gamma) \mathbb{E}_{(s_0, a_0) \sim \rho_0} [m_\pi(s_0, a_0, s, a)]$
Low-Rank-Schätzer: Durch Substitution der FB-Approximation in die Identität wird das Dichteverhältnis zu einer einfachen linearen Funktion des Backward-Embeddings:
$w_{\pi_z/\beta}(s, a) \approx (1-\gamma) W_{\pi_z}^\top B(s, a)$
Hierbei ist $W_{\pi_z}$ das erwartete Forward-Embedding über die Initialverteilung. Entscheidend ist, dass dieser Schätzer nur datengestützt (data-only) ist; er wird ausschließlich auf Proben $(s, a)$ evaluiert, die im Datensatz $D$ vorhanden sind, wodurch sichergestellt wird, dass die Policy niemals Wahrscheinlichkeiten für nicht unterstützte Regionen zuweist.

Algorithmus

ZOL operiert in drei Schritten, ohne das Vortraining des BFM zu verändern:

Vortraining: Training der FB-Embeddings ( $F$ und $B$ ) unter Verwendung von Standard-Temporal-Difference-Zielen auf dem Offline-Datensatz.
Latente Initialisierung: Für eine neue Aufgabe mit Belohnung $r_T$ wird ein initialer Task-Embedding $c_T$ durch Projektion der Belohnung auf die Backward-Features abgeleitet: $c_T = \mathbb{E}_{(s,a) \sim D}[B(s, a) r_T(s, a)]$ .
Latente Optimierung: Optimierung des latenten Vektors $z$ $z$ zur Maximierung eines regularisierten gewichteten Ertrags (regularized weighted return):
$J_{total}(z) = \mathbb{E}_{(s,a,r) \sim d_\beta} [w_{\pi_z/\beta}(s, a) (r(s, a) - \bar{r})] - \lambda_1 \chi^2(z) - \lambda_2 L_{trust}(z)$
- Gewichtung (Reweighting): Der Term $w_{\pi_z/\beta}$ gewichtet die Überwachung (supervision) hin zu datengestützten Regionen um und korrigiert so die distributional shift.
- Regularisierung:
  - $\chi^2$ -Strafe: Verhindert extreme Varianz in den Importance-Gewichten.
  - Trust-Region ( $L_{trust}$ ): Hält das optimierte Latent nahe am initialen Task-Embedding, um katastrophalen Drift zu verhindern.
  - Reward-Zentrierung: Verhindert triviale Lösungen (z. B. „Do-nothing“-Policies), die durch konstante Reward-Offsets entstehen.

Die Optimierung erfolgt mittels Gradientenaufstieg (Adam) auf $z$ unter Verwendung von Monte-Carlo-Sampling von Startzuständen, um $W_{\pi_z}$ zu schätzen, was keine weitere Interaktion mit der Umgebung außer der Stichprobenziehung der Initialzustände erfordert.

3. Zentrale Beiträge

Theoretische Brücke: Die Arbeit stellt eine neuartige theoretische Verbindung her, die zeigt, dass Forward-Backward Successor-Repräsentationen implizit die erforderlichen Off-Policy-Korrektur-Dichteverhältnisse enthalten. Dies ermöglicht die Berechnung optimaler Korrekturgewichte direkt aus den vortrainierten Komponenten.
ZOL-Algorithmus: Eine einfache, trainingsfreie und interaktionsfreie Methode zur Anpassung zur Testzeit, die Off-Policy-Überschätzung und Extrapolationsfehler durch explizite Durchsetzung von Support-Constraints mittels Dichteverhältnis-Gewichtung mildert.
Empirische Validierung: ZOL wird über verschiedene Benchmarks (ExORL, OGBench, SMPL Humanoid) evaluiert und übertrifft konsistent State-of-the-Art Zero-Shot-Baselines (FB, HILP, TD-JEPA) sowie Online-Adaptationsmethoden (LoLA, ReLA) in Bezug auf Robustheit und Ertrag, insbesondere bei Langzeit-Horizont-Aufgaben und hochdimensionalen Domänen.
Ablation und Analyse: Die Arbeit liefert ein minimales 2D-Spielzeugbeispiel, das zeigt, dass Standard-Zero-Shot-Inferenz aufgrund von Support-Bias scheitert, während ZOL die Task-Struktur erfolgreich rekonstruiert, indem es die Inferenz mit der induzierten Besetzung (occupancy) abstimmt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ZOL auf drei Benchmarks:

ExORL (DeepMind Control Suite): ZOL erzielte konsistente Gewinne gegenüber Baselines in den Domänen Walker, Cheetah, Quadruped und PointMass. Bemerkenswert ist, dass es signifikante Verbesserungen in Langzeit-Horizont-Aufgaben und hochdimensionalen Domänen (z. B. Quadruped) zeigte und dabei Online-Methoden wie LoLA und ReLA ohne die Notwendigkeit von Environment-Rollouts übertraf.
OGBench (Long-Horizon Goal-Conditioned RL): Bei Aufgaben, die zeitliches Stitching erfordern (z. B. AntMaze, Würfelmanipulation), erreichte ZOL überlegene Erfolgsraten im Vergleich zu FB und anderen Baselines. Es erreichte oder übertraf die Leistung von Online-Methoden (LoLA/ReLA) bei reinem Offline-Betrieb.
SMPL Humanoid (Motion Tracking): Unter Verwendung eines vortrainierten FB-CPR-Modells verbesserte ZOL die Performance beim Motion Tracking auf dem AMASS-Datensatz und fand wesentlich bessere Policies als die FB-CPR-Inferenz-Baseline.

In allen Benchmarks demonstrierte ZOL Robustheit gegenüber Hyperparameter-Wahlen und erforderte minimales Tuning.

5. Bedeutung und Ansprüche

Die Arbeit beansprucht, die Felder des Off-Policy Learning und der Zero-Shot Adaptation zu verbinden. Ihre primäre Bedeutung liegt in dem Nachweis, dass robuste Zero-Shot-Adaption nicht zwangsläufig teure Online-Interaktion oder pro-Aufgabe erfolgende Optimierung erfordert.

Milderung der Inferenz-Lücke: Die Autoren argumentieren, dass die Performance-Lücken in BFMs oft nicht aus der Repräsentationskapazität des Modells resultieren, sondern aus der Suboptimalität des Inferenzverfahrens selbst. ZOL adresst dies, indem es sicherstellt, dass der Anpassungsprozess in der Vortrainierungsverteilung verankert bleibt.
Trainingsfreie Anpassung: Im Gegensatz zu Methoden, die Fine-Tuning oder Online-Rollouts erfordern, bietet ZOL eine „Plug-and-Play“-Lösung, die die bestehende FB-Struktur nutzt, um distributional Shifts zur Testzeit zu korrigieren.
Theoretische Rechtfertigung: Die Arbeit liefert eine fundierte Begründung dafür, warum FB-Repräsentationen für Off-Policy-Korrekturen geeignet sind, und geht damit über heuristische Anpassungen hinaus.

Einschränkungen: Die Autoren räumen ein, dass ZOL die Repräsentations-Bias der gelernten FB-Faktorisierung erbt. Falls die Schätzung des Dichteverhältnisses ungenau ist oder eine nachgeschaltete Aufgabe strikt ein dauerhaftes Verhalten außerhalb des Supports erfordert, könnte die konservative Natur der Methode (Durchsetzung von Support-Constraints) die Performance zugunsten der Sicherheit einschränken. Zukünftige Richtungen umfassen Unsicherheit-bewusste Korrekturen und Erweiterungen auf teilweise beobachtbare Domänen.