🤖 machine learning

Long-Horizon Model-Based Offline Reinforcement Learning Without Explicit Conservatism

Dit artikel introduceert NEUBAY, een modelgebaseerd offline versterkingsleeralgoritme voor lange horizon dat expliciet conservatisme vervangt door een Bayesiaanse perspectief om epistemische onzekerheid effectief te hanteren en state-of-the-art prestaties te behalen op diverse datasets.

Oorspronkelijke auteurs: Tianwei Ni, Esther Derman, Vineet Jain, Vincent Taboga, Siamak Ravanbakhsh, Pierre-Luc Bacon

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianwei Ni, Esther Derman, Vineet Jain, Vincent Taboga, Siamak Ravanbakhsh, Pierre-Luc Bacon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren door een kamer te lopen. Je hebt een gigantische videobibliotheek van andere robots die lopen, maar je kunt je robot niet in de echte wereld laten oefenen omdat hij misschien valt en iets breekt. Dit is de wereld van Offline Versterkingsleren: leren uitsluitend uit een statische dataset van eerdere ervaringen.

Jarenlang was het standaardadvies voor het leren van robots uit deze video's "Wees Super Voorzichtig."

De Oude Weg: De "Veiligheid Eerst" Benadering

De meeste eerdere methodes gedragen zich als een nerveuze ouder. Ze zeggen: "Als de robot een situatie ziet die hij niet in de videobibliotheek heeft gezien, moeten we het ergste aannemen. Probeer niets nieuws, anders kun je crashen."

De Metafoor: Stel je voor dat je een auto bestuurt op basis van alleen een kaart van een kleine wijk. Als je een weg ziet die niet op de kaart staat, zegt de "voorzichtige" aanpak: "Stop! Die weg is gevaarlijk. Blijf op de bekende straten."
Het Probleem: Dit werkt goed als de kaart perfect is, maar als de kaart een afkorting naar een betere bestemming mist, zal de voorzichtige bestuurder die nooit vinden. Ze blijven vastzitten in een lus van "veilige maar gemiddelde" prestaties.

Het Nieuwe Idee: De "Bayesiaanse Detective"

De auteurs van dit artikel, NEUBAY, stellen een andere vraag: Wat als we stoppen met zo pessimistisch te zijn en in plaats daarvan handelen als een detective die zijn overtuigingen bijwerkt naarmate hij vordert?

In plaats van het onbekende het ergste te veronderstellen, zegt de Bayesiaanse aanpak: "Ik weet niet precies hoe de wereld werkt, maar ik heb een reeks mogelijkheden. Laten we proberen uit te zoeken welke mogelijkheid waar is terwijl ik beweeg."

De Metafoor: Stel je voor dat je in een donkere kamer staat met een zaklamp. De "voorzichtige" methode weigert te bewegen omdat hij de hele kamer niet kan zien. De "Bayesiaanse" methode zegt: "Ik zet een stap, schijn met het licht, zie wat er is, en werk mijn mentale kaart bij. Als ik een muur zie, draai ik; als ik een pad zie, ga ik."
Het Resultaat: In situaties waar de videobibliotheek rommelig of onvolledig is (data van lage kwaliteit), is deze detective-aanpak veel beter in het vinden van het beste pad, omdat hij bereid is het onbekende te verkennen in plaats van alleen bij het bekende te blijven.

De Grote Uitdaging: De "Hallucinatie"-Valstrik

Er is een addertje onder het gras. Wanneer je stopt met voorzichtig te zijn, loop je het risico te hallucineren.

De Metafoor: Als je probeert te voorspellen wat er 100 stappen in de toekomst gebeurt op basis van een wankel vermoeden, zal je voorspelling snel een fantasie worden. Het is alsof je "Telefoon" met jezelf speelt; bij stap 50 is het bericht volledig verkeerd.
Het Inzicht van het Artikel: De auteurs ontdekten dat je om deze hallucinaties te voorkomen zonder overdreven voorzichtig te zijn, eigenlijk verder vooruit moet denken, niet korter.
- Waarom? Als je alleen 5 stappen vooruit denkt, moet je raden wat er bij stap 6 gebeurt. Als je 500 stappen vooruit denkt, wordt de "gissing" helemaal aan het einde afgezwakt (het maakt minder uit), en dragen de echte, bekende data van het begin van het plan meer gewicht.
- De Analogie: Het is alsof je een roadtrip plant. Als je alleen 10 mijl plant, kun je in een doodlopende straat rijden omdat je het bordje 20 mijl verderop niet zag. Als je de hele reis plant, zie je de doodlopende straat aankomen en vermijd je hem, zelfs als je kaart een beetje wazig is.

Hoe NEUBAY Het Oplost

De auteurs bouwden een systeem genaamd NEUBAY dat drie slimme trucs combineert om dit "langetermijndenken" te laten werken zonder dat de robot crasht:

De "Onzekerheids-Vertraging": In plaats van een harde stop, controleert de robot zijn eigen vertrouwen. Als hij begint te twijfelen over het terrein (hoge onzekerheid), stopt hij met het plannen van dat specifieke pad. Het is alsof een wandelaar stopt wanneer het pad te mistig wordt, in plaats van helemaal te weigeren te wandelen.
De "Stabilisator" (Lagenormalisatie): Ze voegden een wiskundige "schokdemper" toe aan het brein van de robot. Dit voorkomt dat de voorspellingen van de robot uit de hand lopen wanneer hij lange reeksen gebeurtenissen bedenkt. Het houdt de verbeelding van de robot gegrond.
De "Geheugenbank": Omdat de robot probeert de regels van de wereld te achterhalen terwijl hij gaat, moet hij alles onthouden wat eerder is gebeurd. Ze gaven de robot een langetermijngeheugen zodat hij kan leren van zijn hele reis, niet alleen van de laatste stap.

Wat Ze Vonden

Ze testten dit op 33 verschillende uitdagende taken (zoals robots die lopen, deuren zwaaien en doolhoven navigeren).

De Winnaar: NEUBAY versloeg de beste "voorzichtige" methodes op 7 van de datasets en was concurrerend op bijna allemaal.
Het Sweet Spot: Het blinkt het meest uit wanneer de trainingsdata rommelig of onvolledig is. In die gevallen blijven de "voorzichtige" methodes vastzitten, maar vindt het detectivewerk van NEUBAY de oplossing.
De Verrassing: Ze ontdekten dat het gebruik van zeer lange planningshorizonnen (honderden stappen vooruit denken) eigenlijk de sleutel tot succes was, wat het tegenovergestelde is van wat de meeste andere onderzoekers doen.

In het Kort

Het artikel betoogt dat in de wereld van leren uit oude data, blinde pessimisme niet altijd de veiligste gok is. Door een robot te vertrouwen om te leren uit zijn eigen geschiedenis en ver in de toekomst te plannen—terwijl we een veiligheidsnet houden voor wanneer hij in de war raakt—kunnen we agenten bouwen die slimmer en aanpasbaarder zijn dan diegene die alleen wordt verteld om "op safe te spelen".

1. Probleemstelling

Offline Versterkend Leren (RL) heeft tot doel beleidslijnen te leren uit statische datasets zonder verdere interactie met de omgeving. Het dominante paradigma in offline RL is expliciet conservatisme, dat uit-distributie (OOD) acties bestraft of roll-out horizons beperkt om waarde-over-schatting en onveilige extrapolatie te voorkomen.

De auteurs betwisten de universaliteit van dit principe en stellen het volgende:

Conservatisme beperkt adaptatie: Door OOD-acties strikt te bestraffen, falen conservatieve methoden vaak om zich aan te passen aan testomstandigheden, vooral in datasets van lage kwaliteit waar de optimale actie ondervertegenwoordigd kan zijn.
Bayesiaans potentieel is onderbenut: Een Bayesiaans perspectief (het optimaliseren van de verwachte opbrengst over een posterior van wereldmodellen) gaat op natuurlijke wijze om met epistemische onzekerheid zonder expliciet pessimisme, maar heeft historisch gezien moeite gehad met het opstapelen van modelfouten in situaties met lange horizon.
De Trade-off: Het verwijderen van conservatisme verwijdert het mechanisme voor het controleren van waarde-over-schatting, wat leidt tot de aanname dat korte horizonnen noodzakelijk zijn. Het artikel vraagt zich af of lange horizonnen daadwerkelijk schadelijk zijn of of ze kunnen worden ingezet om over-schatting te verminderen.

2. Methodologie: NEUBAY

De auteurs stellen NEUBAY (NEUtral BAYesian) voor, een model-based offline RL-algoritme dat is gebaseerd op het epistemische POMDP-kader. In plaats van te optimaliseren voor het worst-case model (conservatisme), optimaliseert het voor de verwachte opbrengst over een posterior-verdeling van wereldmodellen.

Kernontwerpkeuzes

Om de Bayesiaanse aanpak praktisch en effectief te maken zonder expliciet conservatisme, introduceert NEUBAY vier belangrijke architecturale en algoritmische innovaties:

A. Adaptieve lange-horizon rollouts (Het kerninzicht)

Probleem: Standaard model-based RL gebruikt korte horizonnen om het opstapelen van fouten te vermijden. Korte horizonnen vertrouwen echter zwaar op bootstrapping (het gebruik van de waardenfunctie om toekomstige beloningen te schatten), wat leidt tot ernstige waarde-over-schatting wanneer conservatisme wordt verwijderd.
Oplossing: NEUBAY maakt gebruik van lange-horizon rollouts (honderden stappen). Door de horizon te verlengen, verschuift het algoritme de schattingslast van gebootstrapte waarden (hoge bias) naar door het model gegenereerde beloningen (lagere bias). De disconteringsfactor $\gamma^H$ devalueert het gebootstrapte term aan het einde van de horizon exponentieel, wat over-schatting op natuurlijke wijze onderdrukt.
Mechanisme: Rollouts zijn niet van vaste lengte, maar worden adaptief afgekapt op basis van epistemische onzekerheid. Als de onzekerheid van het model $U_\theta(s, a)$ een drempelwaarde overschrijdt (gedefinieerd door een quantiel $\zeta$ van de onzekerheidsverdeling van de dataset), stopt de rollout. Dit zorgt ervoor dat rollouts lang blijven waar het model zeker is, maar kort waar het dat niet is.

B. Wereldmodelarchitectuur voor stabiliteit

Grote ensemble-grootte: Om de posterior-verdeling nauwkeurig te benaderen en de variantie die wordt geïntroduceerd door lange rollouts te hanteren, gebruikt NEUBAY een groot ensemble van wereldmodellen ( $N=100$ ), aanzienlijk groter dan de standaard $N=5$ of $N=10$ .
Laagnormalisatie (LayerNorm): De auteurs passen LayerNorm toe binnen de verborgen lagen van het wereldmodel. Theoretisch begrenst dit de grootte van voorspelde statedelta's en voorkomt het de exponentiële explosie van opstapelen fouten over lange horizonnen.

C. Geschiedenis-afhankelijk agent (Recurrent RL)

Omdat de Bayesiaanse doelstelling het echte MDP behandelt als een verborgen variabele, moet het optimale beleid geschiedenis-afhankelijk zijn (een POMDP-oplossing).
NEUBAY maakt gebruik van een recurrent actor-critic-architectuur met Linear Recurrent Units (LRUs) (een type State-Space Model). Dit stelt de agent in staat om langetermijngeheugen te behouden (over volledige episodes heen) om de onderliggende modelparameters af te leiden en zijn gedrag aan te passen tijdens de testfase zonder parameter-updates.

D. Trainingsstrategie

Geen onzekerheidsstraf: In tegenstelling tot conservatieve methoden (zoals MOPO, COMBO), voegt NEUBAY geen strafterm $\lambda U(s,a)$ toe aan de beloning.
Data-mixing: Het traint op een mengsel van echte data en verbeelde rollouts, gecontroleerd door een mixingsratio $\kappa$ .

3. Belangrijkste bijdragen

Afwijzing van universeel conservatisme: Het artikel toont aan dat expliciet conservatisme niet universeel optimaal is. In datasets van lage kwaliteit of met scheve verdelingen, presteert Bayesiaanse adaptatie beter dan conservatieve methoden door ondervertegenwoordigde maar hoog-reward acties te verkennen.
Lange horizonnen als regularisator: De auteurs bieden een theoretische en empirische analyse die aantoont dat lange-horizon rollouts fungeren als een natuurlijk mechanisme om waarde-over-schatting te controleren in niet-conservatieve situaties, en op tegen-intuïtieve wijze de noodzaak van korte horizonnen vervangen.
NEUBAY-algoritme: Een praktisch algoritme dat adaptieve onzekerheidsgebaseerde afkapping, grote ensembles, LayerNorm en recurrent geheugen combineert om state-of-the-art prestaties te bereiken zonder expliciet pessimisme.
Theoretische analyse: Het artikel bevat formele bewijzen die de "Bayes-optimal" en "Robust-optimal" beleidslijnen vergelijken, en laat zien dat Bayesiaanse concentrabiliteitscoëfficiënten onder bepaalde data-omstandigheden strikt zwakker (beter) zijn dan robuuste coëfficiënten, wat de prestatiekloof verklaart.

4. Experimentele resultaten

De auteurs hebben NEUBAY geëvalueerd op 33 datasets verspreid over D4RL en NeoRL-benchmarks (inclusief locomotie, Adroit-manipulatie en AntMaze).

State-of-the-Art (SOTA): NEUBAY behaalt nieuwe SOTA-resultaten op 7 datasets, met aanzienlijke winst op walker-random-v2, walker-medium-v2, pen-cloned-v1 en hammer-cloned-v1.
Prestaties op data van lage kwaliteit: NEUBAY presteert significant beter dan conservatieve baselines op datasets van lage kwaliteit (bijvoorbeeld willekeurige beleidslijnen) en datasets met gemiddelde dekking. Het slaagt erin zich aan te passen aan testomstandigheden waar conservatieve methoden vastlopen op suboptimale gedragingen.
Vergelijking met conservatieve methoden: Gemiddeld is NEUBAY concurrerend met toonaangevende conservatieve algoritmen (zoals VIPO, MOPO, COMBO) en presteert het beter dan andere door Bayes geïnspireerde methoden die nog steeds vertrouwen op conservatisme of korte horizonnen.
Ablatiestudies:
- Horizonlengte: Het verwijderen van adaptieve lange horizonnen (door korte vaste horizonnen te gebruiken) zorgt ervoor dat de prestaties instorten als gevolg van waarde-over-schatting.
- LayerNorm: Het verwijderen van LayerNorm leidt tot een snelle explosie van fouten in statvoorspellingen.
- Onzekerheidsafkapping: Het gebruik van een vaste korte horizon of een lage onzekerheidsdrempel ( $\zeta < 0.99$ ) leidt tot falen, wat de noodzaak bevestigt van adaptieve, lange horizonnen.
- Geheugen: Hoewel Markov-agenten werken op sommige locomotietaken, zijn geschiedenis-afhankelijke agenten cruciaal voor taken met hoge onzekerheid zoals AntMaze.

5. Betekenis en impact

Paradigmaverschuiving: Het artikel daalt de "pessimisme is noodzakelijk"-dogma in offline RL, en suggereert een verschuiving naar Bayesiaanse neutraliteit, waarbij agenten zich aanpassen aan onzekerheid in plaats van het te vermijden.
Praktische richtlijnen: Het biedt een nieuw recept voor model-based RL: gebruik grote ensembles, LayerNorm en adaptieve lange horizonnen in plaats van korte horizonnen en onzekerheidsstraffen.
Adaptatie tijdens de testfase: Het werk benadrukt het potentieel van offline RL-agenten die hun gedrag intra-episode kunnen aanpassen op basis van waargenomen geschiedenis, een vermogen dat conservatieve, Markoviaanse beleidslijnen missen.
Toekomstige richting: De auteurs suggereren dat naarmate wereldmodellering verbetert (bijvoorbeeld via generatieve modellen), de grenzen van Bayesiaans offline RL verder kunnen worden verlegd, waardoor het vakgebied zich verplaatst naar een "tijdperk van ervaring" waarin agenten gedrag verfijnen door interactie tijdens de testfase.

Kortom, NEUBAY toont aan dat door een Bayesiaans perspectief omarmen en lange-horizonplanning met adaptieve afkapping te benutten, men robuuste en adaptieve offline RL-prestaties kan bereiken zonder de restrictieve straffen van expliciet conservatisme.