🤖 machine learning

Zero-Shot Off-Policy Learning

Dit artikel stelt een zero-shot off-policy leermethode voor die een theoretische verbinding tussen successor-maten en stationaire dichtheidsratio's benut om optimale importance sampling-ratio's af te leiden, wat trainingvrije adaptatie naar nieuwe taken over diverse benchmarks mogelijk maakt.

Oorspronkelijke auteurs: Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry Dylov, Fakhri Karray, Martin Takac

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry Dylov, Fakhri Karray, Martin Takac

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te leren hoe je een nieuw, complex gerecht moet koken, maar je bent verboden om het eten te proeven of nieuwe ingrediënten te kopen. Je hebt alleen een gigantisch, stoffig kookboek vol met duizenden recepten die iemand anders jaren geleden heeft opgeschreven. Dit is de uitdaging van Zero-Shot Off-Policy Learning.

In de wereld van Kunstmatige Intelligentie (AI) willen onderzoekers "Behavioral Foundation Models" (BFMs) bouwen. Denk aan deze als AI-chefs die miljoenen kookboeken hebben gelezen (offline data), maar nog nooit een maaltijd hebben gekookt voor een specifieke klant (een nieuwe taak). Wanneer een klant zegt: "Ik wil een pittige pasta," moet de AI direct uitzoeken hoe hij die moet koken met alleen de kennis uit zijn oude boeken, zonder dat er sprake is van trial-and-error koken.

Het Probleem: De "Buiten-het-Boek" Valstrik

Het artikel identificeert een groot gebrek in de manier waarop deze AI-chefs momenteel werken.

Stel je voor dat je AI-chef kijkt naar de aanvraag voor "Pittige Pasta". Hij scant zijn oude boeken en vindt een recept voor "Pittige Noedels". Hij probeert dat recept te volgen. Maar hier komt de crux: de oude boeken kunnen geschreven zijn door een chef die alleen maar in een zeer specifieke, kleine keuken kookte. De oude boeken kunnen vol staan met instructies voor "water koken", maar kunnen volledig missen dat er instructies zijn voor "knoflook hakken", omdat die chef dat nooit deed.

Als de AI-chef probeert het nieuwe gerecht te maken, kan hij vast komen te zitten bij de stap met de knoflook omdat de oude data dit niet dekte. In technische termen wordt dit distributional shift genoemd. De AI probeert acties uit te voeren in gebieden van de "keuken" (de state-space) die zijn trainingsdata nooit heeft bezocht. Dit leidt ertoe dat de AI wilde gokken maakt, overschat hoe goed zijn plan is, en uiteindelijk faalt.

De Oplossing: ZOL (Zero-Shot Off-Policy Learning)

De auteurs stellen een nieuwe methode voor genaamd ZOL. Ze realiseerden zich dat er een verborgen wiskundige connectie bestaat tussen twee concepten:

Successor Measures: Een manier om te voorspellen: "Waar kom ik terecht als ik deze actie onderneem?"
Stationary Density Ratios: Een manier om te meten: "Hoe waarschijnlijker is deze actie in mijn nieuwe plan vergeleken met mijn oude boeken?"

De Creatieve Analogie: De "Populariteitskaart"

Stel je voor dat de oude data (het kookboek) een kaart van een stad is waar sommige straten vol verkeer liggen (zeer veel bezocht in de data) en andere onverharde wegen zijn (zelden bezocht).

Oude AI: Wanneer de AI een nieuwe bestemming krijgt, trekt hij gewoon een rechte lijn naar die bestemming. Als die lijn over een onverharde weg loopt, gaat de AI ervan uit dat het prima is om daarheen te rijden, ook al heeft hij geen ervaring. Hij crasht.
ZOL (De Nieuwe AI): ZOL creëert een "Populariteitskaart" (een density ratio) op basis van de oude boeken. Voordat hij zich aan een plan committeert, vraagt hij zich af: "Vereist dit plan dat ik over een onverharde weg rijd die ik nog nooit heb gezien?"

Als het antwoord "ja" is, zegt ZOL niet simpelweg "nee". In plaats daarvan herweegt ZOL het plan. Het zegt: "Oké, ik kan nog steeds naar de bestemming gaan, maar ik moet mijn route aanpassen om dichter bij de drukke, goed geasfalteerde straten te blijven die ik wel ken, terwijl ik nog steeds de bestemming bereik."

Hoe het werkt (De "Magische Truc")

Het artikel beweert dat de interne "hersenen" van de AI (specifiek een framework genaamd Forward-Backward representations) al het geheim van deze "Populariteitskaart" bevatten.

Geen Nieuwe Training: De AI hoeft niet uit te gaan om te oefenen met koken (geen online interactie). Hij gebruikt de wiskunde die hij al heeft geleerd tijdens zijn initiële "leesfase".
Directe Aanpassing: Wanneer er een nieuwe taak binnenkomt, berekent ZOL een eenvoudige correctiefactor. Het vertelt de AI effectief: "Negeer de delen van je plan die afhankelijk zijn van data die je niet hebt, en focus op de delen die ondersteund worden door je ervaring."
Het Resultaat: De AI vindt een nieuw, optimaal pad dat veilig is (blijft binnen de data die het kent) maar toch het nieuwe doel bereikt.

Waarom dit Belangrijk is

De auteurs hebben dit getest op diverse "robotica"-taken, zoals het laten lopen, rennen of een doolhof oplossen van een virtueel mens.

De Test: Ze gaven de AI een nieuwe taak (bijv. "Achteruit lopen") die de AI nog nooit had gezien.
De Vergelijking: Andere methoden probeerden het antwoord te raden en faalden vaak of hallucineerden (bedachten dingen zelf).
De ZOL Overwinning: ZOL vond consequent betere oplossingen. Het raadde niet alleen iets aan; het paste zijn strategie intelligent aan om binnen de grenzen van zijn "bibliotheek" te blijven, terwijl het toch het puzzelstukje oploste.

In een Notendop

Dit artikel introduceert een manier voor AI om zich direct aan te passen aan nieuwe taken zonder dat er oefening voor nodig is. Dit doet het door wiskundig te controleren of de nieuwe taak vereist dat de AI een "onbekend gebied" betreedt (waar de AI geen data voor heeft). Als dat het geval is, stuurt ZOL de AI voorzichtig terug naar veilig, bekend terrein, zodat de AI niet tegen het onbekende aan botst. Het is als een GPS die precies weet welke wegen geasfalteerd zijn en welke onverhard zijn, en die je direct een nieuwe route geeft om ervoor te zorgen dat je veilig aankomt zonder ooit de kaart te verlaten.

Technische Samenvatting: Zero-Shot Off-Policy Learning (ZOL)

1. Probleemstelling

Het artikel behandelt de uitdaging van Zero-Shot Off-Policy Learning binnen het paradigma van Behavioral Foundation Models (BFMs). BFMs zijn agenten die zijn voorgetraind op grote, ongelabelde, beloningsvrije datasets om herbruikbare gedragsbiases te leren, waardoor ze zonder extra training (bijv. via tekstprompts, doelen of motion capture) tijdens de testtijd kunnen adapteren aan nieuwe taken.

Deze inferentiegebaseerde adaptatie erft echter een kritieke foutmodus van off-policy en offline Reinforcement Learning (RL): distributional shift (distributieverschuiving).

De mismatch: Een beleid (policy) dat wordt geïnduceerd door een nieuwe taakspecificatie, bevraagt vaak staat-actie regio's die slecht gerepresenteerd of volledig afwezig zijn in de voortrainingsdataset (Out-of-Distribution of OOD).
Het gevolg: Standaard zero-shot inferentie (bijv. het selecteren van een latente vector $z$ op basis van reward projectie) leidt tot systematische fouten in de waardeschatting en overschatting van de waardefunctie. De agent kan latente vectoren selecteren die optimaal lijken onder geëxtrapoleerde waarden, maar die een bezoekingsdistributie induceren die niet door de data wordt ondersteund, wat resulteert in suboptimaal of onveilig gedrag.
De kloof: Bestaande oplossingen zoals DICE (DualDICE, OptiDICE) vereisen taakspecifieke optimalisatie, wat in strijd is met de "zero-shot" vereiste. Andere snelle adaptatiemethoden (ReLA, LoLA) vertrouwen op online interactie met de omgeving en on-policy rollouts, wat kostbaar is en de volledig offline aard van de BFM-setting schendt.

De kernvraag die wordt gesteld is: Kunnen we optimale stationaire bezettingsratio's schatten voor een hele familie van BFM-geïnduceerde beleidsregels zonder per taak online optimalisatie, wat snelle adaptatie tijdens de testtijd mogelijk maakt terwijl off-policy pathologieën worden vermeden?

2. Methodologie: Zero-Shot Off-Policy Learning (ZOL)

De auteurs stellen ZOL voor, een training-vrije, test-tijd procedure die de kloof overbrugt tussen Successor Measures (SM) en Stationary Density Ratios.

Theoretisch Inzicht

De methode berust op een theoretische verbinding afgeleid van het Forward-Backward (FB) framework (Touati & Ollivier, 2021), dat wordt gebruikt om Successor Measures te schatten.

Successor Measures (SM): De SM, $M^\pi$ , karakteriseert de gedisconteerde toekomstige visitatie van een beleid $\pi$ . In het FB-framework wordt de successor dichtheid $m_\pi$ benaderd via een laag-rang factorisatie: $m_\pi(s_0, a_0, s, a) \approx F(s_0, a_0, z)^\top B(s, a)$ , waarbij $F$ een forward embedding is en $B$ een backward embedding.
Density Ratio Identity: De auteurs leiden een exacte identiteit (Eq. 9) af die aantoont dat de stationaire dichtheidsratio $w_{\pi/\beta} = d_\pi / d_\beta$ (de correctiefactor die nodig is om de visitatie van het beleid af te stemmen op de dataset) proportioneel is aan de verwachte successor dichtheid onder de initiële distributie $\rho_0$ :
$w_{\pi/\beta}(s, a) = (1-\gamma) \mathbb{E}_{(s_0, a_0) \sim \rho_0} [m_\pi(s_0, a_0, s, a)]$
Low-Rank Estimator: Door de FB-benadering in de identiteit te substitueren, wordt de dichtheidsratio een eenvoudige lineaire functie van de backward embedding:
$w_{\pi_z/\beta}(s, a) \approx (1-\gamma) W_{\pi_z}^\top B(s, a)$
Cruciaal is dat deze estimator alleen op data gebaseerd is; deze wordt uitsluitend geëvalueerd op samples $(s, a)$ die aanwezig zijn in de dataset $D$ , waardoor de policy nooit waarschijnlijkheid toekent aan niet-ondersteunde regio's.

Algoritme

ZOL werkt in drie stappen zonder de pretraining van de BFM te wijzigen:

Pretraining: Train de FB-embeddings ( $F$ en $B$ ) met standaard temporal-difference doelen op de offline dataset.
Latent Initialisatie: Voor een nieuwe taak met beloning $r_T$ , infereer een initiële taak embedding $c_T$ door de beloning te projecteren op de backward features: $c_T = \mathbb{E}_{(s,a) \sim D}[B(s, a) r_T(s, a)]$ .
Latent Optimalisatie: Optimaliseer de latente vector $z$ $z$ om een geregulariseerde gewogen return te maximaliseren:
$J_{total}(z) = \mathbb{E}_{(s,a,r) \sim d_\beta} [w_{\pi_z/\beta}(s, a) (r(s, a) - \bar{r})] - \lambda_1 \chi^2(z) - \lambda_2 L_{trust}(z)$
- Reweighting: De term $w_{\pi_z/\beta}$ hergewichtet de supervisie naar door de dataset ondersteunde regio's, wat de distributional shift corrigeert.
- Regularisatie:
  - $\chi^2$ penalty: Voorkomt extreme variantie in de importance weights.
  - Trust region ( $L_{trust}$ ): Houdt de geoptimaliseerde latente vector dicht bij de initiële taak embedding om catastrofale drift te voorkomen.
  - Reward centering: Voorkomt triviale oplossingen (bijv. "do nothing" policies) veroorzaakt door constante reward offsets.

De optimalisatie wordt uitgevoerd via gradiënt ascent (Adam) op $z$ met behulp van Monte Carlo sampling van start-states om $W_{\pi_z}$ te schatten, waarbij geen interactie met de omgeving nodig is buiten de initiële state sampling.

3. Belangrijkste Bijdragen

Theoretische Brug: Het artikel legt een nieuwe theoretische link vast die aantoont dat Forward-Backward successor representaties impliciet de stationaire dichtheidsratio's bevatten die nodig zijn voor off-policy correctie. Dit maakt het mogelijk om de optimale correctiegewichten direct te berekenen vanuit de voorgetrainde componenten.
ZOL Algoritme: Een eenvoudige, training-vrije en interactie-vrije methode voor adaptatie tijdens de testtijd die off-policy overschatting en extrapolatie-fouten mitigeert door expliciet support-restricties af te dwingen via density ratio reweighting.
Empirische Validatie: ZOL wordt geëvalueerd over diverse benchmarks (ExORL, OGBench, SMPL Humanoid) en presteert consequent beter dan state-of-the-art zero-shot baselines (FB, HILP, TD-JEPA) en online adaptatiemethoden (LoLA, ReLA) wat betreft robuustheid en return, met name in long-horizon en hoog-dimensionale taken.
Ablatie en Analyse: Het artikel biedt een minimaal 2D toy voorbeeld dat aantoont dat standaard zero-shot inferentie faalt door support bias, terwijl ZOL succesvol de taakstructuur herstelt door de inferentie af te stemmen op de geïnduceerde occupancy.

4. Experimentele Resultaten

De auteurs evalueerden ZOL op drie benchmarks:

ExORL (DeepMind Control Suite): ZOL behaalde consistente winsten ten opzichte van baselines over de Walker, Cheetah, Quadruped en PointMass domeinen. Met name liet het significante verbeteringen zien in long-horizon taken en hoog-dimensionale domeinen (bijv. Quadruped), waarbij het online methoden zoals LoLA en ReLA overtrof zonder dat daarvoor environment rollouts nodig waren.
OGBench (Long-Horizon Goal-Conditioned RL): Op taken die temporele stitching vereisen (bijv. AntMaze, Cube manipulation), behaalde ZOL superieure succespercentages vergeleken met FB en andere baselines. Het kwam overeen met of overtrof de prestaties van online methoden (LoLA/ReLA) terwijl het volledig offline opereerde.
SMPL Humanoid (Motion Tracking): Gebruikmakend van een voorgetrainde FB-CPR model, verbeterde ZOL de motion tracking prestaties op de AMASS dataset, waarbij aanzienlijk betere policies werden gevonden dan de baseline FB-CPR inferentie.

In alle benchmarks demonstreerde ZOL robuustheid tegen hyperparameter keuzes en vereiste het minimale tuning.

5. Betekenis en Claims

Het artikel claimt een brug te slaan tussen de velden van off-policy learning en zero-shot adaptatie. De primaire betekenis ligt in het aantonen dat robuuste zero-shot adaptatie niet noodzakelijkerwijs dure online interactie of per taak optimalisatie vereist.

Het Mitigeren van de Inference Gap: De auteurs argumenteren dat de prestatiekloof in BFMs vaak niet voortkomt uit de representatieve capaciteit van het model, maar uit de suboptimale inferentieprocedure zelf. ZOL pakt dit aan door te zorgen dat het adaptatieproces geworteld blijft in de pretraining distributie.
Training-vrije Adaptatie: In tegenstelling tot methoden die fine-tuning of online rollouts vereisen, biedt ZOL een "plug-and-play" oplossing die de bestaande FB-structuur gebruikt om tijdens de testtijd distributional shifts te corrigeren.
Theoretische Rechtvaardiging: Het werk biedt een geprincipeerde rechtvaardiging waarom FB-representaties geschikt zijn voor off-policy correctie, waarmee het verder gaat dan heuristische adaptaties.

Beperkingen: De auteurs erkennen dat ZOL de representatieve bias erft van de geleerde FB factorisatie. Als de dichtheidsratio schatting inaccuraat is of als een downstream taak strikt gedrag buiten de support vereist, kan de conservatieve aard van de methode (het afdwingen van support restricties) prestaties opofferen voor veiligheid. Toekomstige richtingen omvatten uncertainty-aware correcties en extensies naar gedeeltelijk observeerbare domeinen.