🤖 machine learning

Yes, Q-learning Helps Offline In-Context RL

Dit artikel toont aan dat het integreren van versterkingsleerdoelstellingen, met name met conservatisme, in offline contextgebaseerde versterkingsleer aanzienlijk beter presteert dan bestaande toezichtsmethoden zoals Algorithm Distillation in diverse omgevingen en datasetcondities.

Oorspronkelijke auteurs: Denis Tarasov, Alexander Nikulin, Ilya Zisman, Albina Klepach, Andrei Polubarov, Nikita Lyubaykin, Alexander Derevyagin, Igor Kiselev, Vladislav Kurenkov

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Denis Tarasov, Alexander Nikulin, Ilya Zisman, Albina Klepach, Andrei Polubarov, Nikita Lyubaykin, Alexander Derevyagin, Igor Kiselev, Vladislav Kurenkov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een Robot Leren door Video's te Tonen versus Leren van Fouten

Stel je wilt een robot leren hoe hij een doolhof moet navigeren. Je hebt twee hoofdmanieren om dit te doen:

De "Supervised" Manier (De Oude Methode): Je toont de robot duizenden video's van een mens die het doolhof oplost. De taak van de robot is om precies te onthouden wat de mens op elk moment heeft gedaan. Als de mens in de video een fout maakte, leert de robot diezelfde fout te maken. Dit is als een student die probeert een toets te halen door het antwoordensleutel uit het hoofd te leren zonder te begrijpen waarom de antwoorden juist zijn.
De "Versterkingsleer" (Reinforcement Learning) Manier (De Nieuwe Methode): Je toont de robot nog steeds de video's, maar in plaats van alleen de bewegingen te kopiëren, zeg je tegen de robot: "Je doel is om zo veel mogelijk punten te scoren." De robot kijkt naar de video's, bedenkt welke bewegingen leidden tot hoge scores en welke tot lage scores, en leert een strategie om zijn eigen punten te maximaliseren, zelfs als de mens in de video niet perfect was.

De Ontdekking van het Paper:
De onderzoekers ontdekten dat de tweede aanpak (Versterkingsleer) veel beter is, vooral wanneer de robot niet in de echte wereld kan oefenen (wat "Offline" leren wordt genoemd). Ze testten dit in meer dan 150 verschillende scenario's, van simpele rasterdoolhoven tot complexe bewegingen van robotarmen.

Het Resultaat:
De nieuwe methode verbeterde de prestaties met ongeveer 30% in het gemiddelde, vergeleken met de oude "onthoud" methode. In één zeer moeilijke test verdubbelde het de prestaties zelfs.

Belangrijke Concepten Uitgelegd met Analogieën

1. Offline In-Context Learning (ICRL)

De Analogie: Stel je een chef-kok voor die nog nooit een specifiek gerecht heeft gekookt, maar wel een kookboek vol recepten heeft gelezen en video's heeft gezien van andere chefs die koken. Wanneer een klant dat gerecht bestelt, kijkt de chef naar de "context" (de recepten en video's) en bedenkt hij hoe hij het op dat moment moet koken, zonder terug te hoeven gaan naar school om de basis opnieuw te leren.
In het Paper: Dit is een systeem dat leert om zich direct aan te passen aan nieuwe taken door te kijken naar een geschiedenis van eerdere data, zonder zijn interne "hersenen" (parameters) te veranderen tijdens de daadwerkelijke taak.

2. Het Probleem met "Algorithm Distillation" (AD)

De Analogie: De oude methode (Algorithm Distillation) is als een papegaai. Je toont de papegaai een video van een mens die een puzzel oplost, en de papegaai leert de exacte woorden en acties van de mens te herhalen.

De Fout: Als de mens in de video verward was, een verkeerde afslag nam of vastliep, leert de papegaai hetzelfde te doen. Hij begrijpt niet het doel (de puzzel oplossen); hij begrijpt alleen het patroon (het nabootsen van de mens).
In het Paper: De auteurs lieten zien dat deze "papegaai"-aanpak worstelt wanneer de data niet perfect is of wanneer de robot slimmer moet zijn dan de persoon in de video.

3. Waarom Q-Learning (RL Doelen) Helpt

De Analogie: Stel je nu dat je de chef een scorebord geeft. In plaats van alleen de mens te kopiëren, kijkt de chef naar de video en zegt: "Ah, toen de mens linksaf draaide, kregen ze een beloning. Toen ze tegen de muur liepen, kregen ze een straf." De chef leert de principes van winnen, niet alleen de specifieke bewegingen.
In het Paper: Door een "scorebord" (een RL-doel) toe te voegen aan de training, leert het model om beloningen te maximaliseren. Het wordt robuust genoeg om slechte voorbeelden in de data te negeren en zich te focussen op wat echt tot succes leidt.

4. "Conservatisme" (Het Veiligheidsnet)

De Analogie: Stel je een student voor die een toets maakt. Als ze een vraag zien die er totaal niet uitziet als iets wat ze hebben bestudeerd, zal een "conservatieve" student zeggen: "Ik weet het niet zeker, ik blijf bij wat ik weet dat veilig is," in plaats van wild te gokken en te zakken.
In het Paper: De onderzoekers ontdekten dat het toevoegen van "conservatisme" (een techniek om te voorkomen dat de AI wilde gokken op data die ze niet heeft gezien) het systeem nog betrouwbaarder maakte. Het stopte de AI ervan om te proberen te slim te zijn met onvolledige informatie.

Wat Ze Testten (Het "Lab")

De onderzoekers spraken niet alleen over theorie; ze voerden enorme experimenten uit:

De Spellen: Ze gebruikten simpele rasterwereldspellen (zoals een digitaal Pac-Man) en complexe fysicasimulaties (zoals het besturen van een virtuele robotarm).
De Data: Ze creëerden meer dan 150 verschillende datasets. Sommigen hadden perfecte data (experts), sommigen hadden rommelige data (beginners), en sommigen hadden zeer weinig data.
De Verrassing: Zelfs wanneer de data rommelig was of de robot een willekeurige brij van video's kreeg (in plaats van een logisch verhaal), overtrof de "Scorebord"-methode (RL) de "Papegaai"-methode (AD) nog steeds.

De Conclusie

Het paper betoogt dat als je een AI wilt bouwen die leert van eerdere data om nieuwe problemen op te lossen, je niet alleen moet laten nabootsen wat het verleden deed. Leer het in plaats daarvan om het doel te begrijpen (beloningen maximaliseren).

Oude Manier: "Kopieer wat de mens deed." (Goed voor perfecte data, slecht voor rommelige data).
Nieuwe Manier: "Leer hoe je de hoogste score haalt op basis van wat de mens deed." (Werkt beter in bijna elke situatie, zelfs met rommelige of beperkte data).

De auteurs concluderen dat het afstemmen van het leerdoel van de AI op het werkelijke doel van de taak (beloningen krijgen) de geheime saus is om deze systemen te laten werken in de echte wereld.

Technische Samenvatting: Ja, Q-learning helpt bij Offline In-Context RL

Probleemstelling

Offline In-Context Reinforcement Learning (ICRL) heeft tot doel agenten te trainen die zich tijdens de implementatie puur via contextueel leren kunnen aanpassen aan nieuwe taken, zonder dat parameterupdates of online interactie met de omgeving vereist zijn. Deze mogelijkheid is cruciaal voor veiligheidskritieke domeinen zoals robotica en gezondheidszorg, waar online exploratie onuitvoerbaar is.

Bestaande offline ICRL-methoden, zoals Algorithm Distillation (AD) en Decision-Pretrained Transformer (DPT), vertrouwen echter voornamelijk op superviserende trainingsdoelen (bijvoorbeeld het voorspellen van de volgende actie op basis van een leerhistorie). De auteurs betogen dat deze benadering het fundamentele doel van Reinforcement Learning over het hoofd ziet: de expliciete maximalisatie van de cumulatieve beloning. In offline settings, waar data vaststaat en potentieel suboptimaal of schaars is, kan het uitsluitend vertrouwen op superviserende imitatie leiden tot beperkingen bij het hanteren van out-of-distribution (OOD) toestanden, data van lage kwaliteit en complexe dynamieken. De centrale vraag die wordt behandeld, is of het integreren van expliciete RL-doelen in het offline ICRL-framework aanzienlijke prestatieverbeteringen kan opleveren ten opzichte van superviserende baselines.

Methodologie

De studie stelt een systematisch empirisch onderzoek voor dat RL-doelen integreert in een Transformer-gebaseerde architectuur, waarbij Algorithm Distillation (AD) als baseline-ruggengraat wordt gebruikt.

Architectuur en Training

Ruggengraat: De auteurs behouden de Transformer-architectuur die in AD wordt gebruikt, die sequenties van trajecten (leerhistorieën) verwerkt om context af te leiden.
RL-integratie: In plaats van één enkele kop voor het voorspellen van de volgende actie, wordt het model uitgebreid met waardenfunctie-koppen ( $V$ en $Q$ ) en, voor continue controle, een beleidskop ( $\pi$ ).
Verliesfuncties: Het trainingsdoel verschuift van pure superviserende learning naar het minimaliseren van standaard RL-verliezen:
- Discrete Omgevingen: De auteurs implementeren IC-DQN (standaard TD-fout), IC-CQL (Conservative Q-Learning met pessimisme-regularisatie) en IC-IQL (Implicit Q-Learning met expectile-verlies). Voor IQL wordt een CQL-term aan het verlies toegevoegd om robuustheid te vergroten.
- Continue Omgevingen: De studie maakt gebruik van IC-TD3, IC-TD3+BC (Behavior Cloning-penalty) en IC-IQL.
Gradiëntstroom: Gradiënten van de waardenkoppen ( $Q$ en $V$ ) worden teruggepropageerd in de gedeelde Transformer-ruggengraat om de contextrepresentatie te trainen. Gradiënten van de beleidskop (in continue settings) worden losgekoppeld om trainingsstabiliteit te waarborgen.
Input-augmentatie: Om de prestaties te verbeteren, worden input-tupels aangevuld met vlaggen voor afloop van een episode (done) en het huidige aantal stappen in de episode.

Experimentele Opstelling

De evaluatie omvat meer dan 150 datasets afgeleid van:

Discrete GridWorlds: Dark Room (DR) en Dark Key-to-Door (K2D) in verschillende rastergroottes (9x9, 19x19, 13x13) en complexiteiten.
Continue MuJoCo: HalfCheetahVel, AntDir, HopperParams en Walker2DParams.
Uitdagende Benchmarks: XLand-MiniGrid (kleine dataset) en Janus (gemengde dynamieken).
Data-regimes: Experimenten variëren in datasetdekking (aantal trainingsdoelen), expertiseniveaus (vroege, mid, late, complete trajecten) en datastructuur (geordende leerhistorieën versus willekeurige/on gestructureerde trajecten).

Belangrijkste Bijdragen

Empirische Validatie van RL-doelen: De studie levert het eerste systematische empirische bewijs dat het expliciet optimaliseren van RL-doelen in offline ICRL significant beter presteert dan superviserende Algorithm Distillation. In discrete omgevingen behaalden op RL gebaseerde methoden een gemiddelde verbetering van 30% in de Genormaliseerde Oppervlakte Onder de Curve (NAUC) ten opzichte van AD.
Superioriteit van Offline-geregulariseerde Methoden: De resultaten tonen aan dat offline-geregulariseerde varianten (CQL, IQL) over het algemeen robuuster zijn dan hun ongeconstrueerde tegenhangers (DQN, TD3) en de superviserende baseline, met name onder omstandigheden van beperkte datasetdekking, lagere datakwaliteit en ongestructureerde volgorde van trajecten.
Robuustheid tegenover Datastructuur: In tegenstelling tot AD, dat sterk afhankelijk is van gestructureerde, voortschrijdende leerhistorieën, handhaven RL-gebaseerde benaderingen hun prestaties zelfs wanneer leerhistorieën ontbreken of willekeurig zijn geschud. In de XLand-MiniGrid-omgeving verdubbelde RL-doelen de prestaties van AD, ondanks het gebruik van een dataset die 100 keer kleiner was dan die welke in eerdere AD-studies werd gebruikt.
Extensie naar Continue Ruimten: De bevindingen zijn van toepassing op continue toestands- en actieruimten, waar offline RL-methoden (TD3+BC, IQL) consequent beter presteren dan zowel de superviserende baseline als online RL-methoden (TD3) die zijn getraind op vaste offline data.

Resultaten

Algemene Prestaties: Op discrete testdoelen toonde IC-CQL een gemiddelde verbetering van 28,8% ten opzichte van AD, gevolgd door IC-IQL (23,7%) en IC-DQN (16,6%).
Datasetdekking & Expertise: RL-methoden toonden een grotere data-efficiëntie. Waar de prestaties van AD aanzienlijk daalden wanneer meerdere leerhistorieën per doel niet beschikbaar waren of wanneer de datakwaliteit laag was (vroege datasets), behielden RL-methoden stabiele prestaties.
Gemengde Dynamieken: In de Janus-omgeving (testen van aanpassing aan gemengde dynamieken) behielden RL-methoden hun prestaties beter dan AD, hoewel de auteurs opmerken dat offline regularisatie OOD-uitdagingen in sterk asymmetrische settings met gemengde dynamieken niet volledig oplost.
Modelvergroting: Ablatiestudies op modelgrootte (breedte en diepte) onthulden een "sweet spot" (breedte 256–512, diepte 2–4). In tegenstelling tot bij grote taalmodellen garandeerde het simpelweg vergroten van de modelgrootte in deze setting geen betere prestaties, wat wijst op de noodzaak om capaciteit af te stemmen op data en doel.

Betekenis en Claims

Het artikel stelt dat het afstemmen van ICRL-leerdoelen op het intrinsieke doel van beloningsmaximalisatie cruciaal is voor de vooruitgang van offline ICRL. De auteurs benadrukken dat:

Offline RL een veelbelovende richting is: De integratie van offline RL-technieken (pessimisme, impliciete regularisatie) in Transformer-gebaseerde ICRL-frameworks adresseert de beperkingen van puur superviserende benaderingen.
Praktische Implicaties: Beoefenaars moeten voorkeur geven aan offline-beperkte RL-doelen bij het trainen van ICRL-agenten op grote schaal, vooral in scenario's waar datasetdekking onvolledig is of leerhistorieën ongestructureerd zijn.
Beperkingen: De studie erkent dat hoewel de prestaties verbeteren, de methode OOD-aanpassingsuitdagingen niet volledig oplost, en de aanpak nog steeds afhankelijk is van grote modelcapaciteiten en diverse trainingsdata. De bevindingen zijn empirisch en specifiek voor de geteste benchmarks en hyperparameterbudgetten, in plaats van theoretische garanties.

Kortom, het artikel betoogt dat "Ja, Q-learning helpt bij Offline In-Context RL", en toont aan dat het overstappen van superviserende imitatie naar expliciete beloningsoptimalisatie robuustere en capabelere agenten oplevert in offline settings.