🤖 machine learning

Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning

Dit artikel stelt een nieuwe adaptieve aanpak voor voor Offline-naar-Online Versterkend Leren die efficiënt kandidaatbeleid selecteert en fijnafstemt onder beperkte interactiebudgetten door offline prestatie-inschattingen te combineren met een upper-confidence-bound-strategie om de onbetrouwbaarheid van off-policy-evaluatie en de onuitvoerbaarheid van exhaustieve online testen te overwinnen.

Oorspronkelijke auteurs: Alper Kamil Bozkurt, Xiaoan Xu, Shangtong Zhang, Miroslav Pajic, Yuichi Motai

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alper Kamil Bozkurt, Xiaoan Xu, Shangtong Zhang, Miroslav Pajic, Yuichi Motai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een coach bent die een team van atleten voorbereidt op een grote wedstrijd. Je hebt een enorme bibliotheek met oude trainingsvideo's (de offline data) die laten zien hoe verschillende atleten in het verleden hebben gepresteerd. Je doel is om de beste atleet te kiezen en hen klaar te stomen voor de daadwerkelijke wedstrijd, maar je hebt een strikte regel: je mag hen slechts een zeer korte, beperkte tijd (het interactiebudget) op het echte parcours laten rennen voordat de wedstrijd begint.

Dit artikel behandelt een specifiek probleem in Versterkend Leren (RL), wat in wezen computers leren is om door middel van trial-and-error beslissingen te nemen. Hieronder breken de auteurs dit op met behulp van eenvoudige analogieën:

Het Probleem: De "Gokspel"-Valstrik

In het verleden probeerden coaches (algoritmen) de winnaar op twee manieren te kiezen, en beide hadden gebreken:

De "Video-analist"-benadering (Offline Evaluatie): Ze keken naar de oude trainingsvideo's en probeerden op basis van statistieken te raden wie zou winnen.
- Het Gebrek: De video's kunnen misleidend zijn. Een atleet kan er geweldig uitzien in de video, maar instorten wanneer hij het echte parcours oploopt omdat de omstandigheden anders zijn. Alleen vertrouwen op de video is riskant.
De "Iedereen proberen"-benadering (Online Evaluatie): Ze lieten elke atleet een beetje op het echte parcours rennen om te zien wie het snelst was, en kozen vervolgens de winnaar.
- Het Gebrek: Je hebt slechts een kleine hoeveelheid tijd op het parcours. Als je die tijd verdeelt over 20 atleten, krijgt niemand genoeg oefening om daadwerkelijk te verbeteren. Je verspilt je beperkte tijd gewoon door mensen te testen die misschien goed waren, maar meer oefening nodig hadden om te schitteren.

Het Echte Probleem: Soms ziet een atleet er vreselijk uit in de video's, maar wordt hij kampioen na een beetje oefening. Op andere keren ziet een atleet er geweldig uit in de video's, maar wordt hij slechter na oefening (misschien wordt hij moe of is het parcours anders). Je kunt van tevoren niet weten welke atleet zal verbeteren en welke slechter zal worden.

De Oplossing: De "Slimme Coach"-strategie

De auteurs stellen een nieuwe methode voor genaamd Adaptieve Policy-selectie en Fine-tuning. Denk hierbij aan een slimme coach die het beperkte parcours-tijd dynamisch beheert.

Hier is hoe hun "Slimme Coach" werkt:

De Warm-up (Offline Training): Eerst traint de coach een grote groep atleten (kandidaat-policies) met de oude video's. Ze proberen verschillende trainingsstijlen en instellingen om een diverse groep te krijgen.
De Eerste Gok (OPE): De coach kijkt naar de video's om een ruw idee te krijgen van wie misschien goed is. Dit is slechts een startpunt, geen definitieve beslissing.
De "Kristallen Bol" (Voorspelling en Zekerheid): Dit is de kerninnovatie. In plaats van alleen de huidige leider te kiezen, gebruikt de coach een wiskundige "kristallen bol" (een statistisch model) om de toekomst te voorspellen.
- De coach vraagt zich af: "Als ik Atleet A nog 10 minuten laat rennen, wordt hij dan beter, of zal hij crasht?"
- De coach berekent een zekerheidsscore (Upper Confidence Bound). Deze score gaat niet alleen over hoe goed ze nu zijn; het gaat over hoeveel ze kunnen verbeteren als ze meer tijd krijgen.
Het Dynamische Schakelen (De "Hete Aardappel"-regel):
- De coach kiest de atleet met de hoogste "potentiële score" en laat hen op het parcours rennen.
- Na een korte run controleert de coach de resultaten.
- Als de atleet verbetert: De coach houdt hen op het parcours om meer prestaties te halen.
- Als de atleet vastloopt of slechter wordt: De coach stopt hen onmiddellijk. Ze verspillen geen tijd. In plaats daarvan schakelen ze over naar de volgende atleet op de lijst die een hoge "potentiële score" heeft.
- Het is als een estafettewedstrijd waarbij de stok direct wordt doorgegeven aan de loper die eruitziet alsof hij de meeste ruimte heeft om te groeien, in plaats van vast te houden aan degene die momenteel wint, maar nergens meer naartoe kan.

Waarom Dit Belangrijk Is

Het artikel testte dit uit op virtuele robots (zoals looprobots en rennende cheeta's) in een gesimuleerde wereld. Ze vergeleken hun "Slimme Coach" met de oude methoden.

Oude Methoden: Kozen óf de verkeerde robot op basis van slechte video-voorspellingen, óf verspilden tijd door iedereen te testen zonder dat ze echt iets leerden.
De Nieuwe Methode: Door constant te controleren "Wordt deze robot beter?" en over te schakelen naar een nieuwe kandidaat als het antwoord "Nee" is, vond het team veel efficiënter de best mogelijke robot.

De Conclusie

Het artikel beweert dat door de beperkte oefentijd als een flexibele hulpbron te behandelen – waarbij je schakelt tussen kandidaten op basis van hun voorspelde toekomstpotentieel in plaats van alleen hun huidige score – je een veel beter eindresultaat kunt vinden. Het gaat erom slim om te gaan met je beperkte tijd: blijf niet oefenen met een speler die zijn piek heeft bereikt, en geef niet op met een speler die gewoon iets meer tijd nodig heeft om zijn ritme te vinden.

Kortom: Kies niet alleen de beste speler die je vandaag ziet; kies de speler die de beste morgen heeft, en blijf schakelen totdat je degene hebt gevonden die de wedstrijd daadwerkelijk kan winnen.

Technische Samenvatting: Adaptieve Beleidselectie en Fijne Afstelling onder Interactiebudgetten voor Offline-naar-Online Versterkend Leren

1. Probleemformulering

Het artikel adresseert een kritieke uitdaging in Offline-naar-Online Versterkend Leren (O2O-RL): hoe een beperkt budget aan online interacties efficiënt kan worden benut om het beste beleid uit een reeks offline voorgetrainde kandidaten te selecteren en te verfijnen.

In standaard O2O-RL-pijplijnen worden meerdere kandidaat-beleidsplannen offline getraind met behulp van diverse algoritmen en hyperparameters. Deze worden doorgaans geëvalueerd via Off-Policy Evaluation (OPE) om een enkel beleid voor implementatie te selecteren, dat vervolgens wordt fijne afgestemd. De auteurs identificeren twee primaire gebreken in deze aanpak:

Onbetrouwbaarheid van OPE: OPE-schattingen zijn vaak onnauwkeurig door distributieverschuivingen, waardoor het riskant is om een beleid uitsluitend op basis van deze scores te implementeren.
Inefficiëntie van Online Evaluatie (OE) en Naïeve Fijne Afstelling: Het grondig evalueren van alle kandidaten online verbruikt het interactiebudget zonder enig beleid te verfijnen. Omgekeerd is het riskant om zich vast te leggen op één beleid voor fijne afstelling, omdat voorgetrainde beleidsplannen kunnen stagneren of achteruitgaan tijdens online interactie, vooral in niet-stationaire omgevingen. Bovendien is het vaak onmogelijk om a priori te weten welk beleid het meeste voordeel zal halen uit fijne afstelling.

Het kernprobleem wordt gedefinieerd als het minimaliseren van regret binnen een vast interactiebudget $N$ . Het doel is een procedure te vinden die $N$ online transities over $K$ kandidaat-beleidsplannen allocateert (waarbij elk beleid mogelijk meerdere rondes van fijne afstelling ondergaat) om de waarde van het uiteindelijk geselecteerde beleid te maximaliseren, in plaats van simpelweg de beste initiële kandidaat te selecteren of alle kandidaten gelijkwaardig te evalueren.

2. Methodologie

Het voorgestelde kader, Adaptieve Beleidselectie en Fijne Afstelling, werkt in twee fasen:

A. Offline Fase

Een diverse pool van $K$ kandidaat-beleidsplannen wordt getraind met behulp van diverse offline RL-algoritmen (bijv. AWAC, IQL, CalQL, ReBRAC) en hyperparameterinstellingen.
Off-Policy Evaluation (OPE) wordt uitgevoerd om initiële prestatieschattingen te genereren. Deze schattingen worden gebruikt om beleidsplannen te rangschikken, maar worden niet behandeld als grondwaarheid voor waardeschatting tijdens de online fase.
Initiële waardeschattingen voor de online fase worden ingesteld op de waarde van het gedragsbeleid ( $\hat{v}_B$ ) afgeleid uit de dataset, aangevuld met pseudo-observaties om problemen met identificatie in een vroeg stadium op te lossen.

B. Online Fase (Adaptieve Lus)
De online fase maakt gebruik van een Upper Confidence Bound (UCB)-benadering om het interactiebudget $N$ dynamisch toe te wijzen. Het proces verloopt als volgt:

Selectie: Een prioriteitswachtrij (max-heap) selecteert het beleid met de hoogste max-UCB. De UCB wordt berekend op basis van een voorspelling van de toekomstige prestaties van het beleid.
Fijne Afstelling & Evaluatie: Het geselecteerde beleid ondergaat één iteratie van fijne afstelling met behulp van een deel van het budget, gevolgd door een online evaluatie om een nieuwe waardeschatting te verkrijgen.
Voorspellingsmodel voor Waarde: De auteurs modelleren de evolutie van beleidswaarden tijdens fijne afstelling met behulp van een lineair Autoregressief (AR(2)) proces gecombineerd met een conditieel Heteroscedastisch (ARCH(1)) proces. Dit vangt zowel korte-termijntrends (opwaarts/afwaarts) als tijdsvariërende variantie (volatiliteit), wat cruciaal is omdat curves voor fijne afstelling onregelmatig kunnen zijn, vastlopen of achteruitgaan.
Voorspelling & Update: Met behulp van het gefitte AR-ARCH-model simuleert het systeem $R$ toekomstige waardevoltrajecten om het 95e percentiel (UCB) voor toekomstige stappen te berekenen. De max-UCB (de maximale UCB over de resterende budgethorizon) wordt berekend.
Hervergadering: Het beleid wordt bijgewerkt met zijn nieuwe waarde en max-UCB en opnieuw in de prioriteitswachtrij geplaatst.
Wisselen: Als de max-UCB van een andere kandidaat die van het momenteel geselecteerde beleid overtreft, wisselt het systeem van focus naar de nieuwe kandidaat. Dit stelt het algoritme in staat beleidsplannen die achteruitgaan of stagneren te verlaten en middelen toe te wijzen aan veelbelovendere kandidaten.

Het proces gaat door totdat het interactiebudget is uitgeput, waarbij het beleid met de hoogste geschatte waarde uit de reeks van alle geëvalueerde beleidsplannen wordt teruggegeven.

3. Belangrijkste Bijdragen

Nieuw Kader: Het artikel stelt de eerste aanpak voor die adaptieve beleidselectie en fijne afstelling combineert onder een strikt online interactiebudget. Het gaat voorbij aan de binaire keuze "selecteer dan tune" of "evalueer allemaal" naar een dynamische toewijzingsstrategie.
Modellering van Volatiliteit bij Fijne Afstelling: De auteurs introduceren een AR(2)-ARCH(1)-model om de niet-stationaire evolutie van beleidswaarden tijdens fijne afstelling te voorspellen. Dit houdt expliciet rekening met de mogelijkheid van prestatieachteruitgang en variantie, wat standaard regressiemodellen vaak missen.
UCB-gebaseerde Toewijzing: Door gebruik te maken van een UCB-criterium op voorspelde toekomstige prestaties, balanceert de methode efficiënt exploratie (het evalueren van nieuwe kandidaten) en exploitatie (het fijne afstemmen van veelbelovende kandidaten), zodat het budget niet wordt verspild aan beleidsplannen die onwaarschijnlijk zullen verbeteren.

4. Experimentele Resultaten

De aanpak werd geëvalueerd op vier standaard locomotietaken voor benige robots uit de D4RL-benchmark (Hopper, Cheetah, Walker, Ant) over vier kwaliteitsniveaus van datasets (Random, Medium, Medium-Replay, Medium-Expert).

Baselines: De methode werd vergeleken met:
- OPE: Het selecteren van het beste beleid uitsluitend op basis van offline schattingen.
- OE: Het gelijk verdelen van het budget om alle kandidaten online te evalueren zonder fijne afstelling.
- FT: Het selecteren van het OPE-beste beleid en het fijne afstemmen daarvan met het volledige budget.
- Best: Een hypothetische bovengrens met gebruik van het werkelijk beste beleid.
Prestaties:
- De voorgestelde methode behaalde consistent de hoogste gemiddelde scores over alle omgevingen en budgetgroottes (160K en 320K transities).
- Het presteerde significant beter dan FT, dat vaak leed omdat het het volledige budget toewees aan één beleid dat zou kunnen achteruitgaan (bijvoorbeeld in Walker-Medium-Expert).
- Het presteerde beter dan OPE en OE door het budget effectief te benutten om zowel hoog-potentieel kandidaten te identificeren als ze te verfijnen, waardoor de "kansverlies" van niet-fijne afstelling of de "regret" van het verkeerde beleid fijne afstemmen wordt vermeden.
- De resultaten toonden aan dat adaptieve toewijzing het systeem in staat stelt te herstellen van slechte initiële OPE-rangschikkingen en middelen te besparen op beleidsplannen die niet verbeteren met online interactie.

5. Betekenis en Claims

De auteurs claimen dat dit werk een praktische oplossing biedt voor het implementeren van RL in real-world systemen waar online interacties kostbaar, riskant of tijdrovend zijn. Door te erkennen dat voorgetrainde beleidsplannen willekeurig slecht kunnen presteren en dat uitkomsten van fijne afstelling volatiel zijn, biedt het voorgestelde kader een robuust mechanisme om deze onzekerheden te navigeren.

Het artikel noteert bescheiden dat hoewel de aanpak sterke baselines overtreft, het geen definitieve oplossing is. Beperkingen omvatten de rekenkosten van frequente online evaluaties en de afhankelijkheid van specifieke hyperparameterinstellingen. De auteurs suggereren toekomstige richtingen zoals het benutten van exploratie-rollouts om expliciete evaluatiekosten te verlagen, het opnemen van beleidsgelijkheidsmetrieken, en het ontwikkelen van OPE-methoden die specifiek zijn toegesneden op O2O-RL-rangschikking. Uiteindelijk beoogt het kader de kloof te overbruggen tussen theoretisch offline RL en praktische, implementeerbare systemen.