Technische Samenvatting: RankQ - Offline-naar-online Versterkende Leer via Zelftoezicht Actie-Rangschikking

Probleemstelling

Offline-naar-online versterkende leer (RL) streeft ernaar de sample-efficiëntie te verbeteren door gebruik te maken van vooraf verzamelde datasets voordat er interactie in de online fase plaatsvindt. Een primaire uitdaging in dit paradigma is het leren van een accurate criticus (waardefunctie) in grote staten-actie-ruimten waar de datasetdekking beperkt is. Bestaande methoden adresseren vaak waarde-over-schatting voor out-of-distribution (OOD) acties door pessimisme op te leggen, wat effectief leidt tot een lagere weging van OOD-acties ten opzichte van dataset-acties (bijvoorbeeld Conservative Q-Learning [3] en Calibrated Q-Learning [2]).

Hoewel pessimisme de training stabiliseert, stelt het artikel dat het fungeert als een "behavior cloning anker". Door onzichtbare acties uniform te bestraffen, vertonen deze methoden een bias in het beleid richting de dataset-verdeling. Dit wordt problematisch wanneer de offline dataset suboptimale of falende trajecten bevat; de pessimistische beperking kan de downstream online beleidsverbetering belemmeren door de agent te verhinderen potentieel superieure acties te verkennen die niet in de data aanwezig waren. De kernvraag die wordt aangepakt, is hoe waardefuncties buiten de dataset kunnen worden vormgegeven om effectieve online verbetering mogelijk te maken zonder te vertrouwen op uniform pessimisme.

Methodologie: RankQ

De auteurs stellen RankQ voor, een offline-naar-online Q-learning-doelstelling die standaard temporal-difference (TD) leren aanvult met een zelftoezicht multi-term rangschikkingverlies. In plaats van OOD-acties uniform te bestraffen, modelleert RankQ expliciet de relatieve kwaliteit van acties om een gestructureerde ordening in het Q-waarde landschap af te dwingen.

Kernmechanisme

De methode partitioneert de dataset $D$ in succes ($D_{success}$) en falen ($D_{failure}$) trajecten. Het construeert specifieke klassen van suboptimale acties om paarwijze rangschikkingbeperkingen te creëren:

1. Ruizige acties ($a_\epsilon$): $a + \epsilon$, waarbij $\epsilon \sim \mathcal{N}(0, \sigma)$.
2. Zeer ruizige acties ($a_{2\epsilon}$): $a + 2\epsilon$.
3. Willekeurige acties ($a_r$): Uniform gesamplede acties.
4. Gepermuteerde acties ($a_p$): Acties gesampled uit niet-gerelateerde staten.

De RankQ-verliesfunctie dwingt de volgende gestructureerde ordening af:

• Succesvoorkeur: Voor succesvolle transities moet de Q-waarde van de optimale actie hoger zijn dan alle suboptimale varianten: $Q(s, a) > Q(s, a')$ voor $a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$.
• Relatieve Kwaliteit onder Suboptimale Acties: De methode dwingt een hiërarchie af gebaseerd op de nabijheid tot de optimale actie: $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$. Dit zorgt ervoor dat de Q-landschapgradiënten ($\partial Q/\partial a$) wijzen naar gebieden van hogere kwaliteit in plaats van alleen weg van de dataset.
• Falen Supervisie: Voor falende trajecten dwingt de methode af dat de dataset-actie nog steeds preferabel is ten opzichte van willekeurige acties ($Q(s, a) > Q(s, a_r)$), maar vermijdt het opleggen van sterkere ordeningsbeperkingen vanwege het ontbreken van een zinvol begrip van relatieve kwaliteit onder falen.

Het uiteindelijke doel combineert deze rangschikkingverliezen met het standaard TD-verlies:
$$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$$

Belangrijkste Bijdragen

1. Benchmarks Prestaties: RankQ behaalt prestaties die concurrerend zijn met of superieur zijn aan zeven eerdere methoden (inclusief CQL, Cal-QL en Hybrid RL) over vier antmaze en drie adroit spaarzaam-beloning omgevingen in de D4RL-benchmark.
2. Low-Data VLA Fine-Tuning: In een uitdagende low-data regime (200 offline rollouts, 8 online rollouts per update) is RankQ de enige methode die significant verbetert ten opzichte van het baseline Vision-Language-Action (VLA) model. Het bereikt een gemiddeld 42,7% hogere successrate dan de volgende beste methode over drie manipulatie-taken (wortel-op-plate, kubus-stapelen, lepel-in-bak).
3. High-Data Prestaties en Sim-naar-Real Transfer: In een high-data setting met uitgebreide domeinrandomisatie verbetert RankQ de simulatiesuccesraten met 13,7% en de taakvoltooiingssnelheid met 25,7% ten opzichte van de volgende beste methode. Cruciaal is dat het een succesvolle sim-naar-real transfer demonstreert, waarbij de succesrate van kubus-stapelen in de echte wereld stijgt van 43,1% naar 84,7% vergeleken met de initiële VLA-prestatie.
4. Analyse van Q-Landschap: De auteurs bieden uitgebreide analyse die aantoont dat RankQ het Q-waarde landschap zo vormgeeft dat actiegradiënten worden gericht naar gedragingen van hogere kwaliteit, waardoor de onbegrensde pessimisme en excessieve gradiëntpieken die worden waargenomen bij CQL en Cal-QL worden vermeden.

Experimentele Resultaten

• D4RL Benchmarks: RankQ komt overeen met de sterkste baselines op eenvoudigere taken (bijvoorbeeld antmaze-medium, adroit-pen) en presteert beter dan alle baselines op moeilijke, lange-horizon taken zoals antmaze-large en adroit-relocate, waar andere methoden vaak falen om betekenisvolle beleidsplannen te leren.
• VLA Low-Data: Met slechts 800 totale online rollouts duwt RankQ het beleid consequent voorbij zijn imitatie-baseline, terwijl andere methoden (CQL, Cal-QL, SAC+OFF) grotendeels plateauën bij hun initiële prestaties.
• VLA High-Data & Sim-naar-Real: RankQ-getrainde beleidsplannen behalen niet alleen hogere succesrates, maar voeren taken ook sneller uit (ongeveer 8 seconden versus 10,5–12,5 seconden voor baselines). In real-world proeven verbeterde het RankQ-beleid de succesrate van het stapelen van kubussen van 43,1% naar 84,7% over 144 proeven, terwijl het ook de variantie in uitvoeringstijd verlaagde.

Betekenis en Claims

Het artikel beweert dat expliciet modelleren van relatieve actie-ordening een effectief alternatief biedt voor het uniforme pessimisme dat wordt gebruikt in state-of-the-art offline-naar-online methoden. Door de Q-functie zo te vormgeven dat het actiegradiënten leidt naar gedragingen van hogere kwaliteit in plaats van simpelweg onzichtbare acties te onderdrukken, maakt RankQ effectievere beleidsverbetering mogelijk tijdens zowel offline voortraining als online fine-tuning.

De auteurs suggereren dat deze aanpak bijzonder waardevol is in spaarsam-beloning en low-data settings, waar pessimistische methoden te restrictief kunnen worden en falen om leersignalen te extraheren uit overvloedige falendata. De succesvolle sim-naar-real transfer van het RankQ-beleid demonstreert dat gestructureerde waarde-vormgeving schaalbare offline-naar-online RL en real-world robotleren kan faciliteren, zelfs wanneer de initiële dataset gedomineerd wordt door suboptimale of falende trajecten.