🤖 machine learning

Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation

Dit artikel stelt een lichtgewicht framework voor genaamd Conservative Query and Adaptive Regularization under Uncertainty Estimation, dat een Morse-netwerk gebruikt om de onzekerheid van acties te schatten voor het sturen van informatieve voorkeursvragen en het dynamisch aanpassen van gegevensniveau-beperkingen, waardoor de prestaties van offline reinforcement learning op de D4RL-benchmark worden verbeterd.

Oorspronkelijke auteurs: Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

Gepubliceerd 2026-07-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren lopen, maar je kunt hem niet laten oefenen in de echte wereld. Misschien is het te duur, te gevaarlijk, of zou de robot iets kapot kunnen maken. In plaats daarvan geef je de robot een enorme videotheek van iemand anders die loopt. Dit is de wereld van Offline Reinforcement Learning. De robot moet een strategie leren door simpelweg naar deze oude video's te kijken, zonder zelf ooit een stap te zetten. Het lastige deel is dat de robot een beweging kan proberen te kopiëren die hij in de video zag, maar als hij iets probeert dat net even anders is dan wat in de bibliotheek stond, kan hij in de war raken of omvallen. Dit wordt het "distribution shift"-probleem genoemd: de robot doet een gok over dingen die hij nog niet eerder heeft gezien.

Om de robot slimmer te maken, laten wetenschappers hem soms een menselijke expert om hulp vragen. Stel je voor dat de robot zegt: "Moet ik naar links of naar rechts stappen?" en de expert zegt: "Links is beter." Dit wordt een action preference query genoemd. Het is alsof je een hint krijgt zonder dat je de beweging zelf daadwerkelijk hoeft uit te proberen. Er is echter een addertje onder het gras: als de robot hulp vraagt over een beweging die te vreemd is of te ver afstaat van wat hij in de video zag, kan het advies van de expert de interne wiskunde van de robot juist in de war brengen, waardoor hij het verkeerde leert. De grote vraag is: hoe vragen we om de juiste soort hulp zonder de robot in de problemen te brengen?

Dit artikel introduceert een slim nieuw systeem genaamd CQ2L (Conservative Query Q-Learning) om precies dat probleem op te lossen. De auteurs, Li-Rong Zhou, Qin-Wen Luo en Sheng-Jun Huang van de Nanjing University of Aeronautics and Astronautics, realiseerden zich dat eerdere methoden een beetje roekeloos waren. Ze vroegen om advies over elke beweging die de robot bedacht, zelfs als die beweging totaal vreemd was aan de trainingsvideo's. Dit leidde er vaak toe dat de robot "dronken" werd van slecht advies en struikelde.

De auteurs stellen een tweeledig vangnet voor om dit op te lossen. Ten eerste gebruiken ze een speciaal hulpmiddel genaamd een Morse neural network. Zie dit als een "vreemdheidsdetector". Voordat de robot om hulp vraft, controleert deze detector: "Is deze nieuwe beweging iets dat we eerder hebben gezien, of is het totaal vreemd?" Als de beweging te vreemd is (out-of-distribution), zegt het systeem: "Nee, vraag daar niet naar; het is te riskant." Het laat de robot alleen vragen over bewegingen die dicht bij de bewegingen in de videotheek liggen. Dit is de Conservative Query.

Ten tweede, zelfs wanneer de robot goed advies krijgt, moet het systeem weten hoeveel het naar dat advies moet luisteren. De auteurs hebben een Adaptive Regularization-systeem ontwikkeld. Stel je voor dat de robot een volumeknop heeft voor het advies van de expert. Als de robot iets heel vertrouwds doet (veilig), wordt het volume lager gedraaid omdat de robot prima kan leren van de videodata alleen. Maar als de robot iets probeert dat iets nieuw is maar nog steeds veilig, wordt het volume omhoog gedraaid om het advies van de expert toe te laten om hem te leiden. Als de robot iets gevaarlijks probeert, draait het systeem het volume helemaal omhoog om hem met kracht terug naar veiligheid te dwingen. Deze dynamische aanpassing voorkomt dat de robot te koppig of te gemakkelijk beïnvloedbaar is.

De onderzoekers hebben deze methode getest op een beroemde benchmark genaamd D4RL, die taken bevat zoals het laten rennen van een virtuele cheetah of een mier die door een doolhof navigeert. Ze vergeleken hun methode met andere topalgoritmen. De resultaten lieten zien dat hun "slimme vraagstelling"-aanpak beter werkte dan standaard offline learning. Sterker nog, het presteerde even goed als, of soms zelfs beter dan, methoden die de ruimte kregen om langdurig te oefenen in de echte wereld, maar ze deden dit met veel minder "vragen" (slechts 90.000 preference queries vergeleken met 250.000 stappen van echte wereld-praktijk voor andere methoden).

Het artikel voert expliciet argumenten aan tegen de oude manier om zomaar advies te vragen over elke willekeurige beweging, en laat zien dat dit leidt tot instabiel leren en slechte resultaten. Ze suggereren dat door voorzichtig te zijn over wat je vraagt en hoe je luistert, je het beste van twee werelden krijgt: de veiligheid van leren van een statische bibliotheek en de stimulans van deskundige begeleiding, zonder het risico dat de robot crasht. Hun experimenten op de D4RL-benchmark suggereren dat deze aanpak een solide, betrouwbare manier is om offline learning slimmer en veiliger te maken.

Technische Samenvatting: Conservatieve Query en Adaptieve Regularisatie voor Offline RL onder Onzekerheidsschatting

1. Probleemstelling

Offline Reinforcement Learning (RL) streeft ernaar effectieve policies te leren uit statische datasets zonder verdere interactie met de omgeving. De prestaties worden echter fundamenteel beperkt door de dekking van de dataset. Een primaire uitdaging is distributieverschuiving (distribution shift), waarbij de geleerde policy out-of-distribution (OOD) acties selecteert, wat leidt tot onnauwkeurige waardeschattingen en foutpropagatie.

Echter, actievoorkeur-querymechanismen (action preference query) bieden een manier om policies te verbeteren met behulp van expert-feedback (het vergelijken van actieparen) zonder online interactie, maar bestaande methoden (bijv. OAP [41]) kampen met twee kritieke beperkingen:

Query-verschuiving (Query Shift): Bestaande strategieën selecteren gekozen acties uitsluitend op basis van de Euclidische afstand tot de dataset. Dit kan resulteren in het selecteren van acties die ver buiten de distributie van de dataset liggen (OOD). In waarderegularisatiemethoden leidt dit tot onnauwkeurige waardeschatting en instabiele policy-updates, omdat de regularisatieterm onterecht de Q-waarden van OOD-acties kan verhogen.
Inefficiënte Exploitatie: Huidige benaderingen behandelen gekozen voorkeuren als statische restricties gedurende de training. Ze slagen er niet in om de afhankelijkheid van deze voorkeuren dynamisch aan te passen naarmendeel de policy verbetert, waardoor ze vaak onnodige restricties opleggen aan betrouwbare acties of het optimistische potentieel van Bellman-updates voor in-distribution acties niet volledig benutten.

2. Methodologie

De auteurs stellen een lichtgewicht framework voor dat Conservatieve Query en Adaptieve Regularisatie integreert onder Onzekerheidsschatting. De kerncomponenten zijn:

A. Onzekerheidsschatting via Morse Neural Networks
De methode maakt gebruik van een Morse Neural Network [10, 4, 45, 33] als een vooraf getrainde onzekerheidsschatter.

Training: Het netwerk wordt getraind op de offline dataset $D$ om een "Morse-score" $M_\phi(s, a) \in [0, 1]$ te produceren. Een score van 1 geeft aan dat de actie op het mode-submanifold van de datadistributie ligt, terwijl lagere scores duiden op afwijking (hogere onzekerheid/OOD-graad).
Mechanisme: Het netwerk minimaliseert de KL-divergentie tussen de datadistributie en de output van het netwerk, wat effectief de zekerheid kwantificeert dat een staat-actie paar afkomstig is uit de offline dataset.

B. Onzekerheidsgestuurde Conservatieve Query
Om query-verschuiving te voorkomen, filtert het framework kandidaat-acties voordat er een query naar een oracle wordt gestuurd (bijv. de Q-functie van een sterkere policy).

Selectiestrategie: In plaats van eenvoudige afstand-gebaseerde selectie, rangschikt de methode kandidaat-acties op basis van hun divergentie van de dataset, maar filtert deze met een dataset-bewuste drempelwaarde $\delta = \mu - n\sigma$ (waarbij $\mu$ en $\sigma$ het gemiddelde en de standaarddeviatie zijn van de Morse-scores op de dataset).
Restrictie: Alleen acties met $M_\phi(s, \hat{a}) > \delta$ worden behouden voor de voorkeursquery. Dit zorgt ervoor dat gekozen acties dicht bij de datasetdistributie blijven, wat de stabiliteit van Bellman-updates waarborgt en de overschatting van OOD-waarden voorkomt.

C. Onzekerheidsbewuste Adaptieve Regularisatie
Om de voorkeursinformatie effectief te benutten, vervangt de methode vaste regularisatiecoëfficiënten door data-afhankelijke coëfficiënten.

Dynamische Modulatie: De regularisatiestuctuur $\alpha(s, a)$ $α (s, a)$ wordt dynamisch aangepast op basis van de Morse-score van de huidige actie van de policy.
- Hoge In-Distribution Vertrouwen: Als een actie dicht bij de dataset ligt (hoge Morse-score), wordt de regularisatiestuctuur verminderd (nadert 0), waardoor de policy volledig kan profiteren van optimistische Bellman-updates.
- Laag In-Distribution Vertrouwen: Als een actie OOD is (lage Morse-score), wordt een sterkere regularisatie toegepast om de policy terug naar de datasetdistributie te leiden.
Nietlineaire Schaling: Om onderscheidend vermogen te garanderen (aangezien lineaire schaling vaak resulteert in zwakke restricties), wordt een nietlineaire schalingsfunctie geïntroduceerd om de regularisatiestuctuur te moduleren op basis van de distributie van de Morse-scores.

D. Integratie met CQL
Het framework wordt geïntegreerd in Conservative Q-Learning (CQL), een representatief waarderegularisatie-algoritme. Het resulterende algoritme, Conservative Query Q-Learning (CQ2L), wijzigt de CQL-doelfunctie om de adaptieve regularisatieterm op te nemen en werkt de geprefereerde acties $\tilde{a}$ bij op basis van het conservatieve querymechanisme.

3. Belangrijkste Bijdragen

Morse-gebaseerde Onzekerheidsschatting: De introductie van Morse Neural Networks om de OOD-graad van kandidaat-acties ten opzichte van de offline dataset te kwantificeren, wat dient als fundament voor zowel de query als de regularisatie.
Onzekerheidsgestuurde Conservatieve Query: Een mechanisme dat de query-kandidaten filtert om te garanderen dat zij binnen de datasetdistributie blijven, wat query-verschuiving mitigeert en de waardeschatting in waarderegularisatie-frameworks stabiliseert.
Onzekerheidsbewuste Adaptieve Regularisatie: Een dynamisch restrictiemechanisme dat de balans vindt tussen pessimistische regularisatie en optimistische Bellman-updates op basis van de betrouwbaarheid van de huidige acties van de policy, waardoor ineffectieve restricties op in-distribution acties worden vermeden.
Uitbreiding naar Waarderegularisatie: Het succesvol uitbreiden van het paradigma van actievoorkeur-queries van policy-constraint methoden naar waarderegularisatie-methoden (specifiek CQL), een domein waar eerdere query-methoden moeite mee hadden.

4. Experimentele Resultaten

De methode werd geëvalueerd op de D4RL benchmark, die MuJoCo locomotie en AntMaze navigatie taken omvat.

Offline Prestaties: CQ2L behaalde superieure of concurrerende prestaties vergeleken met state-of-the-art offline RL-baselines (inclusief AWAC, IQL, CQL, TD3+BC) en de vorige actievoorkeur-query methode (OAP). Merkwaardig genoeg behaalde het een gemiddelde genormaliseerde score van 91.4 op MuJoCo taken en 75.8 op AntMaze taken, waarmee het OAP (respectievelijk 89.9 en 69.3 in het offline schema) versloeg.
Offline-naar-Online (O2O) Efficiëntie: In de O2O-setting gebruikte CQ2L slechts 90.000 voorkeursqueries (significant minder dan de 250.000 online interactiestappen van fine-tuning baselines en minder dan de 100.000 queries van OAP). Ondanks dit presteerde het beter dan de meeste baselines die uitgebreide online fine-tuning ondergingen en behaalde het resultaten die vergelijkbaar met of beter waren dan gefinetunede CQL.
Ablatie-studies: Experimenten bevestigden dat zowel de Conservatieve Query (CQ) als de Adaptieve Regularisatie (AR) componenten essentieel zijn.
- In dense-reward, laag-dimensionale taken (MuJoCo) was Adaptieve Regularisatie cruciaal voor het benutten van Bellman-updates.
- In sparse-reward, hoog-dimensionale taken (AntMaze) was de Conservatieve Query vitaal om overschatting van OOD-acties te voorkomen en "trajectory stitching" binnen de data-manifold te faciliteren.

5. Betekenis en Claims

Het artikel claimt dat het voorgestelde framework de fundamentele instabiliteit aanpakt bij het integreren van actievoorkeur-queries in waarderegularisatie-methoden. Door gebruik te maken van onzekerheidsschatting, bereikt de methode het volgende:

Mitigeert Query-verschuiving: Zorgt ervoor dat voorkeursqueries de waardefunctie niet destabiliseren door queries te beperken tot de in-distribution regio.
Optimaliseert Informatiebenutting: Balanceert dynamisch de trade-off tussen conservatieve restricties en de optimistische aard van Bellman-updates, waardoor wordt gewaarborgd dat voorkeursinformatie effectief wordt gebruikt zonder het leren op betrouwbare acties te hinderen.
Verbreedt de Toepasbaarheid: Demonstreert dat actievoorkeur-queries succesvol kunnen worden aangepast aan waarderegularisatie-algoritmen, wat een nieuwe richting biedt voor het verbeteren van offline RL-prestaties zonder de kosten en risico's van online interactie.

De auteurs concluderen dat hun methode een robuuste, lichtgewicht oplossing biedt die superieure prestaties levert over diverse taken, wat de effectiviteit van het combineren van onzekerheidsgestuurde querying met adaptieve regularisatie valideert.