🤖 machine learning

RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences

Het artikel stelt RENEW voor, een framework dat menselijke voorkeuren over geïmagineerde rollouts benut om modelexploitatie in offline reinforcement learning wereldmodellen direct te herstellen door epistemische onzekerheid te gebruiken om efficiënte fijnafstemming te sturen, waardoor de steekproefefficiëntie en generalisatie worden verbeteren zonder dat aanvullende expertdemonstraties vereist zijn.

Oorspronkelijke auteurs: Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

Gepubliceerd 2026-07-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een videogame te spelen, maar je mag de echte spelcomputer niet aanraken. In plaats daarvan geef je het een stapel oude video-opnames en vraag je het om een "droommachine" te bouwen—een mentale simulatie van hoe het spel werkt. Dit is de wereld van offline reinforcement learning, waar een AI volledig leert van een vaste dataset zonder ooit met de echte wereld te interageren. Het doel is om een wereldmodel te bouwen, een soort interne kristallen bol die voorspelt wat er zal gebeuren als de robot een specifieke actie onderneemt.

Echter, er zit een gevaarlijke glitch in deze droommachine. Omdat de robot alleen heeft geleerd van een beperkte set oude opnames, heeft zijn kristallen bol blinde vlekken. Als de robot probeert een zet te plannen die door een "blinde vlek" gaat, kan het model een hallucinatie van een kortere route creëren—zoals een muur die er eigenlijk niet is of een vloer die verandert in een trampoline. De robot, die een slimme optimizer is, zal deze valse kortere route opmerken en deze exploiteren om in de simulatie te winnen, om vervolgens in de werkelijkheid hard op zijn bek te gaan. Dit wordt model exploitation genoemd. Traditioneel proberen wetenschappers dit op te lossen door ofwel meer real-world data te verzamelen (wat duur en traag is), ofwel door de robot te vertellen dat hij bang moet zijn voor alles wat hij niet begrijpt (wat hem te timide maakt om iets nieuws te leren).

Dit artikel introduceert een slimme nieuwe manier om de droommachine van de robot te repareren zonder extra real-world beelden nodig te hebben. De auteurs, Logan Bhamidipaty, Mykel Kochenderfer en Subramanian Ramamoorthy, stellen voor dat we menselijke intuïtie kunnen gebruiken als een reparatietool. Ze realiseerden zich dat hoewel het een PhD vereist om te weten wat de beste manier is om een spel te spelen, bijna iedereen kan zien wanneer de natuurkunde niet klopt. Als een robot in een simulatie door een solide muur loopt of een auto laat zweven, kan een mens direct zeggen: "Dat is nep!" Het artikel suggereert om deze eenvoudige "echt vs. nep" oordelen te gebruiken om de wereldmodellen van de robot te leren hoe hij moet stoppen met hallucineren.

Het "Dream Repair" Project

De onderzoekers noemen hun nieuwe framework RENEW (Repairing ExploitatioN with Elicited World-model preferences). Hier is hoe het werkt, stap voor stap, met behulp van een eenvoudige analogie:

Stel je voor dat het wereldmodel van de robot een student is die probeert de regels van een bordspel te leren door een paar pagina's uit een regelboek te lezen. De student is zelfverzekerd, maar zit op sommige punten fout.

De Oude Manier (Naïeve DLHF): Je zou een mens kunnen vragen om naar twee verschillende spelzetten te kijken die de student zich heeft voorgesteld en te zeggen: "Welke ziet er echter uit?" Als je dit willekeurig vraagt, kan de mens urenlang tijd verspillen aan het corrigeren van zetten die de student al goed had, terwijl hij de krankzinnige, onmogelijke zetten mist waar de student het meest in de war is. Dit wordt naïeve Dynamics Learning from Human Feedback (DLHF) genoemd. Het artikel laat zien dat dit werkt, maar het is ongelooflijk verspillend. Om hetzelfde niveau van nauwkeurigheid te bereiken als slechts 1.000 echte voorbeelden, had de naïeve methode 1 miljoen menselijke voorkeursetiketten nodig. Dat is alsof je een mens vraagt om een miljoen essays te beoordelen om slechts een paar typefouten te corrigeren.
De RENEW-manier: In plaats van willekeurig te vragen, werkt RENEW als een slimme tutor. Het controleert eerst de "onzekerheidsmeter" van de student. Het vraagt: "Waar is de student het meest in de war?" Vervolgens vraft het de mens alleen om de zetten te vergelijken in die specifieke, verwarrende gebieden. Het richt de aandacht van de mens precies op de plekken waar de robot de grootste kans heeft om een gevaarige fout te maken.

Wat ze hebben ontdekt

Het team heeft deze idee getest in verschillende digitale omgevingen, waaronder een doolhof, een schuifpuzzel (zoals de 15-puzzle) en een doos-duwspel genaamd Sokoban. Ze gebruikten een computerprogramma om als een "perfecte mens" op te treden om de voorkeursetiketten te genereren, wat simuleerde wat er zou gebeuren als echte mensen de oordelen zouden geven.

Dit zijn de belangrijkste conclusies uit hun experimenten:

Voorkeuren kunnen natuurkunde direct aanleren: Ze bewezen dat je een wereldmodel de regels van de natuurkunde kunt aanleren door simpelweg te vragen: "Welk van deze twee paden ziet er echt uit?" Je hoeft de robot niet het juiste antwoord te laten zien of te vertellen wat het doel is. Alleen het "echt vs. nep" signaal is voldoende om het model te repareren.
Slimme targeting bespaart tijd: Wanneer ze de "willekeurige" methode (naïeve DLHF) vergeleken met de "slimme targeting" methode (RENEW), waren de resultaten duidelijk. Op een 3x3 schuifpuzzel verminderde RENEW het foutpercentage met de helft vergeleken met de willekeurige methode, met gebruik van exact hetzelfde aantal menselijke labels.
Het oplossen van het "amnesie"-probleem: Eén verrassende ontdekking was dat de willekeurige methode soms de boel verslechterde. In het Sokoban-spel veroorzaakte de naïeve aanpak zelfs dat de robot "vergat" hoe hij dozen correct moest bewegen, een probleem dat bekend staat als catastrophic forgetting. RENEW voorkwam dit volledig omdat het alleen de delen van het model aanpaste die daadwerkelijk kapot waren, waardoor de correcte delen met rust werden gelaten.
Potentieel in de echte wereld: In een doolhofomgeving ontdekten ze dat RENEW, met slechts 1.600 voorkeursetiketten, een vooraf getraind model dat gevoelig was voor exploitatie kon repareren, waarbij het foutpercentage aanzienlijk werd verminderd. De naïeve methode liet, zelfs met hetzelfde budget, veel fouten en onzekerheden achter.

De Kernboodschap

Het artikel suggereert dat we geen experts hoeven te zijn om AI-modellen te repareren; we hoeven alleen maar goed te zijn in het herkennen van onzin. Door mensen simpelweg te vragen aan te wijzen wanneer de verbeelding van een robot de natuurwetten schendt, kunnen we het "droommodel" van de robot efficiënt repareren.

De auteurs merken echter voorzichtig op dat dit nog in een vroeg stadium van onderzoek zit. Hun experimenten gebruikten door computers gegenereerde "perfecte" labels en kleine, eenvoudige grid-world spellen. Ze hebben dit nog niet getest met echte, vermoeide mensen die fouten kunnen maken, of in complexe, hoog-dimensionale werelden zoals het besturen van een echte auto. Maar de resultaten suggereren een veelbelovende nieuwe weg: in plaats van robots te dwingen bang te zijn voor het onbekende, kunnen we onze eigen gezonde verstand gebruiken om hen zachtjes terug naar de realiteit te leiden, waardoor ze veiliger en betrouwbaarder worden zonder dat er eindeloze hoeveelheden dure data nodig zijn.

Technische Samenvatting: RENEW: Naar het leren van wereldmodellen en het repareren van modelexploitatie vanuit voorkeuren

Probleemstelling

Modelgebaseerde reinforcement learning (RL) vertrouwt op geleerde wereldmodellen (dynamische modellen) om de steekproefefficiëntie te verbeteren door middel van synthetische ervaringen te genereren. Echter, in offline settings waar agenten leren van vaste datasets, lijden deze modellen aan modelexploitatie. Wanneer een beleid (policy) optimaliseert tegen een imperfect wereldmodel, kan het onnauwkeurige transities ontdekken en exploiteren (bijv. door muren heen teleporteren) om kunstmatig hoge rendementen te behalen die niet overdraagbaar zijn naar de echte omgeving.

Bestaande oplossingen vallen doorgaans in twee categorieën, die beide aanzienlijke beperkingen hebben:

Meer data verzamelen: Het verzamelen van extra expert-demonstraties in regio's waar het model faalt, is vaak duur, onveilig of onmogabel (bijv. zeldzame faalmodi in robotica of autonoom rijden).
Conservatieve algoritmen: Het bestraffen van bezoeken aan onzekere staten of het beperken van beleid tot de gedragsdistributie ruilt exploratie en generalisatie in voor robuustheid, wat het nut van modelgebaseerde methoden beperkt.

De auteurs stellen een nieuwe vraag: Kunnen we de dynamiek van een wereldmodel corrigeren zonder meer demonstraties te verzamelen? Zij observeren dat hoewel het demonstreren van correct gedrag domeinkennis vereist, het identificeren van onjuiste dynamiek (schendingen van intuïtieve fysica zoals solideïteit of objectpermanentie) vaak triviaal is voor mensen.

Methodologie

Het artikel introduceert twee kerncomponenten: een nieuw leerkader en een algoritme om dit te optimaliseren.

1. Dynamiek Leren van Menselijke Voorkeuren (DLHF)

De auteurs formaliseren DLHF, een kader dat het beloningsmodel in standaard Reinforcement Learning from Human Feedback (RLHF) vervangt door een dynamisch model.

Kernidee: In plaats van mensen te vragen trajecten te vergelijken op basis van taaksucces (wat exploitatie kan versterken, bijv. het verkiezen van een traject dat door een muur teleporteert omdat het sneller is), worden mensen gevraagd om trajectsegmenten te vergelijken op basis van fysieke plausibiliteit.
Formulering:
- Laat $\hat{T}_\theta$ het geleerde dynamische model zijn.
- De log-likelihood van een trajectsegment $\sigma$ onder het model wordt gedefinieerd als $\ell_\theta(\sigma) = \sum \log \hat{T}_\theta(s_{t+1} | s_t, a_t)$ .
- In het Bradley-Terry voorkeursframework is de kans dat segment $\sigma_0$ wordt verkozen boven $\sigma_1$ gemodelleerd als:
  $P(\sigma_0 \succ \sigma_1) = \text{logistic}(\ell_\theta(\sigma_0) - \ell_\theta(\sigma_1))$
- De modelparameters $\theta$ worden bijgewerkt door de cross-entropy loss te minimaliseren tegen menselijke voorkeurslabels. Dit stelt het dynamische model in staat om direct gesuperviseerd te worden door binaire voorkeuren zonder dat er beloningslabels, expert-demonstraties of interactie met de omgeving nodig zijn.

2. RENEW (Repairing ExploitatioN with Elicited World-model preferences)

De auteurs merken op dat naïeve DLHF niet steekproefefficiënt is omdat het uniform samplen van trajectparen budget verspilt aan transities die het model al goed voorspelt. RENEW pakt dit aan door epistemische onzekerheid te gebruiken om voorkeursvragen te sturen.

Actieve Querying: RENEW identificeert staat-actie paren waar het model een hoge epistemische onzekerheid heeft (bijv. via ensemble-disagreement).
Gerichte Sampling: Het genereert trajectsegmentparen beginnend vanuit deze regio's met hoge onzekerheid.
Iteratieve Finetuning: Het proces iterreert:
1. Bereken de epistemische onzekerheid $u$ onder het huidige model.
2. Sample segmentparen proportioneel aan $u$ .
3. Vraag menselijke (of oracle) voorkeuren op voor deze paren.
4. Finetune het model met de DLHF loss.
5. Herbereken de onzekerheid en herhaal.
Doel: Dit concentreert het voorkeursbudget op de specifieke regio's waar het model het meest kwetsbaar is voor exploitatie, wat de steekproefefficiëntie verbetert en catastrofale vergetelheid van eerder geleerde correcte dynamiek voorkomt.

Belangrijkste Bijdragen

DLHF Framework: Een nieuw formulering voor het leren van transitiemodellen direct van menselijke voorkeuren, waarbij de supervisiesignaal verschuift van taaksucces (beloning) naar fysieke realisme (dynamiek).
RENEW Algoritme: Een actief leeralgoritme dat epistemische onzekerheid gebruikt om voorkeursgebaseerd leren van dynamiek steekproefefficiënt te maken, specifiek gericht op regio's die gevoelig zijn voor modelexploitatie.
Empirische Validatie: Demonstratie dat binaire voorkeuren wereldmodellen vanaf nul kunnen leren en vooraf getrainde modellen kunnen repareren zonder aanvullende demonstraties of omgevinginteractie.

Experimentele Resultaten

De auteurs evalueerden hun aanpak op Jumanji (discrete grid worlds zoals Maze, Sliding Tile, Sokoban) en Classic Control (MountainCar, Acrobot) omgevingen.

Haalbaarheid van DLHF: Naïve DLHF kan eenvoudige wereldmodellen vanaf nul leren met alleen voorkeuren, maar het vereist een enorm budget (ongeveer 1 miljoen voorkeurslabels) om de prestaties van 1K gesuperviseerde transities te evenaren.
Steekproefefficiëntie van RENEW:
- Onder een identiek voorkeursbudget presteert RENEW aanzienlijk beter dan naïeve DLHF. Bijvoorbeeld, op de Sliding Tile 3x3 omgeving halveerde RENEW de uiteindelijke fout ongeveer vergeleken met uniforme sampling.
- Catastrofale Vergetelheid: In de Sokoban-omgeving degradeerde naïeve DLHF de prestaties van een vooraf getraind model, terwijl RENEW dit verbeterde. Dit suggereilt dat actieve querying voorkomt dat correcte dynamiek wordt overschreven door updates van onnauwkeurige transities.
Repareren van Exploitatie: In finetuning-experimenten op Maze-omgevingen (5x5 tot 20x20) met een vast budget van 1.600 labels, verminderde RENEW zowel de voorspelfout als de epistemische onzekerheid effectiever dan naïeve finetuning. Het bereikte een hogere transitie-accuratesse (bijv. 97,2% vs 93,2% op 10x10 Maze) en nauwere betrouwbaarheidsintervallen.
Continue Controle: Hoewel het leren van continue dynamiek uit voorkeuren moeilijker is vanwege minder duidelijke voorkeurssignalen, bereikte DLHF bijna gelijkwaardigheid met gesuperviseerde baselines op MountainCar en Acrobot. RENEW toonde voordelen in steekproefefficiëntie wanneer gradiëntstappen beperkt waren (bijv. bij $K=8$ kandidaten).

Betekenis en Claims

Het artikel beweert een eerste bewijs te leveren dat voorkeuren de dynamiek van wereldmodellen direct kunnen superviseren. De significantie ligt in:

Directe Dynamiek Supervisie: In tegen afhankelijk van voorgaande werken die voorkeuren gebruiken om beloningsfuncties of beleid uit te lijnen, gebruikt dit werk ze om de transitie-transitie zelf te leren.
Geen Expert Data Vereist: De aanpak vereist geen expert-demonstraties, geen beloningslabels en geen omgevinginteractie, wat een belangrijke bottleneck in offline model-gebaseerde RL aanpakt.
Praktisch Reparatiemechanisme: RENEW biedt een pragmatisch alternatief voor het verzamelen van meer data of het beperken van exploratie, waardoor de reparatie van modelexploitatie in vooraf getrainde modellen mogelijk wordt met een beperkt budget aan voorkeursqueries.

De auteurs blijven bescheiden over de huidige reikwijdte, waarbij zij opmerken dat de experimenten gebruik maakten van synthetische oracles in plaats van echte menselijke annotatoren en beperkt waren tot kleine discrete en laag-dimensionale continue omgevingen. Zij identificeren het valideren met ruisende menselijke labels en het schalen naar hoog-dimensionale observatieruimtes als cruciale volgende stappen.