🤖 AI

Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models

Dit paper introduceert Regularized Latent Dynamics Prediction (RLDP), een methode die door middel van eenvoudige orthogonaliteitsregularisatie de diversiteit van latenterepresentaties behoudt en zo complexe bestaande methoden voor zero-shot versterkende leerprestaties overtreft, zelfs in scenario's met beperkte datasetdekking.

Oorspronkelijke auteurs: Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

Gepubliceerd 2026-03-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt bouwen die alles kan doen: van het maken van koffie tot het rennen over een rotsachtig terrein, en zelfs dansen op muziek. De grote uitdaging is: hoe leer je die robot zonder vooraf te zeggen wat hij precies moet doen? Je wilt dat hij zelf leert hoe de wereld werkt, zodat hij later, als je zegt "ga koffie maken", dat direct kan doen zonder opnieuw te hoeven oefenen.

In de wereld van kunstmatige intelligentie noemen we dit Behavioral Foundation Models (BFM's). Het zijn als het ware de "algemene intelligenties" voor robots. Maar tot nu toe waren deze modellen erg lastig te trainen. Ze hadden ingewikkelde wiskundige formules nodig om te leren hoe de wereld eruitzag, en ze faalden vaak als ze niet genoeg voorbeelden hadden gezien.

De auteurs van dit paper (uit ICLR 2026) zeggen: "Wacht even, misschien maken we het te ingewikkeld." Ze hebben een nieuwe, veel simpelere manier bedacht om deze robots te trainen, genaamd RLDP (Regularized Latent Dynamics Prediction).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vervelende" Wiskunde

Stel je voor dat je een robot leert lopen. De oude methoden probeerden de robot te leren niet alleen hoe hij loopt, maar ook precies te voorspellen wat er gebeurt als hij een bepaalde stap zet, en dan weer een andere, en nog een andere... alsof hij een heel ingewikkeld schaakspel moet spelen in zijn hoofd terwijl hij probeert te lopen.

Dit heet het leren van "opvolgende maatstaven" (successor measures). Het probleem is dat dit heel kwetsbaar is. Als de robot in zijn training een stap zet die hij nog nooit eerder heeft gedaan (bijvoorbeeld in een nieuw terrein), raakt hij in de war. De wiskunde "klopt" dan niet meer, en de robot leert slechte dingen. Het is alsof je iemand leert autorijden door alleen maar theorieboeken te laten lezen over onmogelijke situaties; als hij dan echt de weg op gaat, crasht hij.

2. De Oplossing: "Wat zie ik morgen?"

De auteurs zeggen: "Laten we het simpel houden." In plaats van te proberen alles te voorspellen, laten we de robot gewoon leren hoe de wereld verandert.

Stel je voor dat je een kind leert spelen met blokken.

De oude manier: "Als je deze rode blok hier zet, en dan die blauwe, en dan die groene... wat gebeurt er dan met de hele toren in 10 stappen?" (Dit is te moeilijk en leidt tot verwarring).
De RLDP-methode: "Kijk naar deze blok. Als ik er nu een andere blok onder leg, hoe ziet de toren er dan uit?"

De robot leert een soort mentale kaart (een "latente dynamiek"). Hij leert: "Als ik hier ben en ik doe dit, dan ben ik daar." Dit is heel makkelijk te leren en werkt zelfs als de robot nog nooit precies die situatie heeft gezien.

3. Het Nieuwe Probleem: De "Klonter"

Maar er was een klein nadeel aan deze simpele methode. Omdat het zo makkelijk was, begon de robot te "slapen". Hij begon alle verschillende situaties op zijn mentale kaart op dezelfde plek te zetten.

Analogie: Stel je voor dat je een wereldkaart tekent. In het begin zie je duidelijk het verschil tussen Parijs, Tokio en New York. Maar door de simpele methode begon de robot Parijs, Tokio en New York allemaal op dezelfde stip te tekenen. Alles leek op elkaar. Dit noemen ze feature collapse (eigenschappen die instorten). Als alles op één punt staat, kan de robot niet meer onderscheid maken tussen "koffie maken" en "rennen".

4. De Geniale Knip: De "Orde-Regel"

Om dit op te lossen, voegden ze een heel simpel trucje toe: Orthogonaliteit.
Dit klinkt als wiskundig jargon, maar het is simpelweg een regel die zegt: "Zorg ervoor dat je verschillende ideeën zo ver mogelijk van elkaar houdt op je mentale kaart."

Analogie: Stel je voor dat je je boekenkast organiseert. De oude methode gooide alle boeken in één grote hoop. De simpele "voorspel-morgen"-methode deed het iets beter, maar de boeken lagen nog steeds te dicht op elkaar. De nieuwe regel zegt: "Zorg dat de boeken over wiskunde in de ene hoek staan, de kookboeken in de andere, en de reisgidsen helemaal links."
Door deze regel toe te passen, blijven de verschillende taken (zoals lopen, rennen, dansen) duidelijk gescheiden op de mentale kaart van de robot.

5. Waarom is dit geweldig?

De resultaten zijn verrassend:

Het werkt beter dan de ingewikkelde methoden: De simpele methode met de "orde-regel" doet het net zo goed, en soms zelfs beter, dan de super-complexe wiskundige modellen die de afgelopen jaren zijn ontwikkeld.
Het werkt met weinig data: De oude methoden faalden als ze niet genoeg voorbeelden hadden (bijvoorbeeld als de robot maar een paar keer had geoefend). De nieuwe methode werkt zelfs als de robot maar een klein beetje ervaring heeft. Het is alsof de robot een goede intuïtie heeft, zelfs als hij nog niet veel heeft gezien.
Het is robuust: Het faalt niet als de robot in een nieuwe situatie terechtkomt.

Conclusie

Kortom, deze paper zegt: "We hoefden niet zo ingewikkeld te doen." Door de robot simpelweg te leren hoe de wereld verandert (voorspellen wat er morgen gebeurt) en hem een simpele regel te geven om zijn ideeën gescheiden te houden, krijgen we een robot die veel beter en flexibeler is.

Het is alsof we stoppen met het proberen om een robot te leren alles te weten over de toekomst, en in plaats daarvan hem leren goed te kijken naar wat er nu gebeurt, zodat hij later zelf kan beslissen wat hij moet doen. Een simpele, maar krachtige stap voor de toekomst van robots.

1. Probleemstelling

Behavioral Foundation Models (BFM's) zijn agents die zijn getraind om zich aan te passen aan willekeurige, onbekende beloningfuncties of taken zonder extra training tijdens de testfase (zero-shot reinforcement learning). De prestaties van een BFM hangen echter sterk af van de kwaliteit van de staatsrepresentatie ( $\phi$ ).

Huidige uitdagingen: State-of-the-art methoden (zoals Forward-Backward en PSM) leren staatsrepresentaties door successor measures te voorspellen. Dit vereist het iteratief toepassen van Bellman-backups. Dit leidt tot verschillende problemen:
- Instabiliteit: Bellman-backups in functiebenadering kunnen leiden tot bias en instabiliteit.
- Feature Collapse: In scenario's met lage datadekking (low-coverage) kunnen methoden die Bellman-backups gebruiken fouten maken door acties buiten de verdeling (out-of-distribution) te kiezen, wat resulteert in degeneratieve representaties.
- Complexiteit: Deze methoden vereisen complexe objectieven en zorgvuldige hyperparameter-tuning.
De centrale vraag: Zijn deze complexe representatieleerdoelen echt noodzakelijk voor zero-shot RL, of kan een eenvoudiger aanpak werken?

2. Methodologie: RLDP

De auteurs stellen Regularized Latent Dynamics Prediction (RLDP) voor, een eenvoudige maar krachtige methode om staatsrepresentaties te leren voor BFMs.

Kerncomponenten:

Latente Dynamics Prediction: In plaats van successor measures te voorspellen (wat afhankelijk is van een beleidsstrategie), leert de methode een encoder $\phi$ die de dynamica van de omgeving voorspelt in een latente ruimte.
- Gegeven een huidige staat $s$ en actie $a$ , wordt de volgende latente staat $h_{t+1}$ voorspeld via een model $g(\phi(s), a)$ .
- Het doel is om de voorspelde latente staat zo dicht mogelijk bij de gecodeerde werkelijke volgende staat $\phi(s')$ te brengen.
- Dit is een beleids-onafhankelijk doel, wat het probleem van out-of-distribution acties tijdens het trainen van de representatie omzeilt.
Het probleem van Feature Collapse: De auteurs ontdekten dat puur het minimaliseren van de voorspellingsfout leidt tot een "milde vorm van feature collapse". De representaties van verschillende staten worden steeds meer op elkaar gelijkend (cosinussimilariteit neemt toe), wat de expressiviteit van de BFM vermindert en het vermogen om diverse beloningsfuncties te onderscheiden, beperkt.
Orthogonaliteitsregularisatie: Om dit collapse te voorkomen, wordt een eenvoudige regularisatie toegevoegd die de diversiteit van de representaties forceert.
- Alle staatsrepresentaties $\phi(s)$ en voorspelde latente staten worden geprojecteerd op een hypersfeer ( $S^{d-1}$ ).
- Een extra verliesterm ( $L_r$ ) minimaliseert de cosinussimilariteit tussen paren van staten, waardoor ze orthogonaal (divers) blijven.
- Het totale verlies is: $L_{RLDP} = L_{dynamics} + \lambda L_{orthogonality}$ .

Trainingstroom:

Representatie leren: Train $\phi$ en het dynamisch model $g$ op offline data zonder beloningssignalen.
BFM Training: Gebruik de bevroren representatie $\phi$ om successor features ( $\psi$ ) en het beleidsnetwerk ( $\pi_z$ ) te trainen via standaard successor measure loss (zonder Bellman-backups voor de representatie zelf).
Zero-shot Inference: Voor een nieuwe taak met beloning $r(s)$ , wordt de bijbehorende embedding $z$ gevonden via lineaire regressie ( $r(s) \approx \phi(s)^\top z$ ), waarna het optimale beleid direct kan worden afgeleid.

3. Belangrijkste Bijdragen

Vereenvoudiging: RLDP introduceert een simpel alternatief voor complexe successor measure-estimaties. Het vereist geen Bellman-backups voor het leren van de representatie en geen reconstructie van observaties (zoals bij auto-encoders).
Identificatie en Mitigatie van Collapse: De auteurs identificeren dat latent dynamics prediction zonder regularisatie leidt tot feature collapse en lossen dit op met orthogonaliteitsregularisatie.
Robuustheid in Lage Dekking: De methode presteert uitstekend in scenario's met lage datadekking (low-coverage), waar methoden die afhankelijk zijn van Bellman-backups (zoals FB en PSM) vaak falen.
Scalabiliteit: De methode schaalbaar bewezen in diverse domeinen, inclusief complexe humanoid-controletaken met hoge dimensies.

4. Resultaten

De auteurs evalueren RLDP uitgebreid tegen state-of-the-art baselines (FB, PSM, HILP) in offline en online settings.

Offline Zero-Shot RL (DeepMind Control Suite):
- RLDP presteert consistent op het niveau van of beter dan PSM en FB op taken zoals Walker, Cheetah en Quadruped.
- Het overtreft willekeurige features (Random Features) aanzienlijk, wat aantoont dat representatieleer cruciaal is.
Online Zero-Shot RL (SMPL Humanoid):
- In een complexe 3D-humanoid omgeving (358 dimensies observatie, 69 dimensies actie) presteert RLDP competitief met geavanceerde methoden zoals FB-CPR.
- Op specifieke taken (bijv. "raise arms", "lie on ground") overtreft RLDP zelfs de baselines.
Lage Dekking (D4RL Benchmark):
- In datasets met beperkte dekking (bijv. medium en medium-expert van HalfCheetah, Hopper, Walker2d) presteert RLDP significant beter dan FB, PSM en HILP.
- De auteurs tonen aan dat Bellman-backups in deze setting schadelijk zijn voor de representatiekwaliteit, terwijl RLDP (beleids-onafhankelijk) robuust blijft.
Ablatie Studies:
- Zonder orthogonaliteitsregularisatie ( $\lambda=0$ ) daalt de prestatie en neemt de cosinussimilariteit toe (collapse).
- Sferische normalisatie (projectie op een hypersfeer) is essentieel voor stabiliteit.

5. Betekenis en Conclusie

Dit paper is significant omdat het de complexiteit van het trainen van Behavioral Foundation Models drastisch reduceert zonder in te leveren op prestaties.

Praktische Impact: RLDP biedt een praktische, stabiele en schaalbare aanpak voor het trainen van generalistische agents in de robotica en andere domeinen waar data beperkt of duur is.
Theoretisch Inzicht: Het paper benadrukt dat het voorspellen van latente dynamica, gecombineerd met een eenvoudige regularisatie voor diversiteit, voldoende informatie bevat om succesvolle zero-shot RL te mogelijk maken. Het weerlegt de noodzaak van complexe Bellman-gebaseerde representatieleer voor dit doel.
Toekomst: De eenvoud en stabiliteit van RLDP maken het een veelbelovende kandidaat voor uitbreiding naar real-world robottoepassingen en het integreren van andere modaliteiten (zoals taal of video) in foundation models.

Kortom, RLDP bewijst dat een simpele, regularized latent dynamics prediction een sterke baseline is die complexe state-of-the-art methoden kan evenaren of zelfs overtreffen, vooral in uitdagende, data-schaarse omgevingen.