Technische Samenvatting: Video-gebaseerd Optimale Transport voor Feedback-efficiënt Offline Preference-Based Reinforcement Learning

Probleemstelling

Reinforcement Learning (RL) agenten hebben geschikte beloningsfuncties nodig om besluitvormingstaken op te lossen. In realistische scenario's is het handmatig ontwerpen van dichte en informatieve beloningen uitdagend, omdat dit vaak uitgebreide instrumentatie vereist (bijv. bewegingsregistratie, tactiele sensoren) en het risico op belonings-misspecificatie met zich meebrengt, waarbij agenten onbedoelde shortcuts exploiteren. Preference-based RL (PbRL) biedt een alternatief door beloningsfuncties te leren van menselijke voorkeuren op paren van gedragstrajecten. De schaalbaarheid van PbRL wordt echter gehinderd door de hoge kosten van menselijke labeling, wat vaak duizenden queries vereist om effectieve beloningsfuncties te leren. Hoewel eerder werk heeft geëxperimenteerd met semi-supervised learning en meta-learning om dit te verzachten, blijft het potentieel van het benutten van menselijke visuele perceptie — specifiek de gestructureerde representatieruimte van Video Foundation Models (ViFMs) — om voorkeuren voor ongelabelde data af te leiden, onderbelicht.

Methodologie: Video-gebaseerde Optimale Transport Preferentie (VOTP)

De auteurs stellen VOTP voor, een semi-supervised framework dat is ontworpen om effectieve beloningsfuncties te leren van een minimaal aantal menselijke voorkeurslabels (bijv. 10 queries) door gebruik te maken van ongelabelde data uit offline datasets. De methode werkt in twee primaire stadia:

1. Trajectrepresentatie via ViFMs

In plaats van te vertrouwen op ruwe staat-actie paren, modelleert VOTP trajectsegmenten als korte videoclips. Deze clips worden ingebed in een latente ruimte met behulp van een off-the-shelf Video Foundation Model (ViFM), specifiek S3D, vooraf getraind op HowTo100M. Deze keuze wordt gemotiveerd door het vermogen van ViFMs om zowel ruimtelijke details als temporele dynamiek vast te leggen, wat actor-agnostische, semantisch rijke embeddings oplevert die robuust zijn tegen nuisance variaties (verlichting, gezichtspunt) en generaliseren naar onbekende robotomgevingen.

2. Generatie van Pseudo-voorkeurslabels via Optimale Transport

De kerninnovatie van VOTP is het gebruik van Optimale Transport (OT) om gelabelde en ongelabelde segmentparen binnen de ViFM latente ruimte uit te lijnen om pseudo-labels te generen.

• Setup: Laat $L$ de set zijn van gelabelde segmenten met bekende voorkeursrelaties gecodeerd in een scheef-symmetrische matrix $R$, en $U$ de set van ongelabelde segmenten.
• Optimale Transportplan: VOTP berekent een OT-plan $\mu^*$ die de transportkosten (Euclidische of cosinusafstand in de latente ruimte) minimaliseert tussen de empirische maten van $L$ en $U$. Dit plan $\mu_{ii'}$ vertegenwoordigt de waarschijnlijkheid dat een ongelabeld segment $\bar{\sigma}_{i'}$ overeenkomt met een gelabeld segment $\sigma_i$.
• Inference: De voorkeursscore voor een ongelabeld paar $(\bar{\sigma}_{i'}, \bar{\sigma}_{j'})$ wordt afgeleid door de voorkeuren van alle gelabelde paren te aggregeren, gewogen door hun relatieve uitlijningssterktes afgeleid van het OT-plan:
  $$S(\bar{\sigma}_{i'}, \bar{\sigma}_{j'}) = \sum_{i,j} R_{ij}(\mu_{ii'}\mu_{jj'} - \mu_{ij'}\mu_{ji'})$$
  Deze score wordt genormaliseerd en gedrempelwaard om een pseudo-label ($\tilde{y} \in \{0, 1, 0.5\}$) toe te wijzen.
• Beloningsleren: De beloningsfunctie wordt getraind met zowel de originele gelabelde data als de nieuw gegenereerde pseudo-gelabelde data. Tijdens de offline RL-fase vervangt de geleerde beloningsfunctie de originele beloningen in de dataset om de policy te optimaliseren.

Belangrijkste Bijdragen

1. VOTP Framework: Introductie van een semi-supervised framework dat Optimale Transport over de latente ruimte van Video Foundation Models gebruikt om automatisch voorkeurslabels toe te wijzen aan ongelabelde trajectparen.
2. Feedback-efficiëntie: Demonstratie dat VOTP effectieve beloningsfuncties en policies kan leren van slechts een handvol menselijke voorkeurqueries (bijv. 10), wat de annotatiebelasting aanzienlijk vermindert vergeleken met state-of-the-art offline PbRL methoden.
3. Robuustheid tegen Visuele Variatie: Validatie dat het benutten van ViFMs de methode in staat stelt om prestaties te behouden in aanwezigheid van visuele distractoren (veranderingen in verlichting, textuurvariaties, dynamische achtergronden), waar andere methoden moeite mee kunnen hebben.
4. Real-world Toepasbaarheid: Succesvolle toepassing van het framework op real-world robotica-taken (Lift Banana, Drawer Open) met een 7-DoF Sawyer arm, waarbij hogere succespercentages worden behaald dan baselines met minimale menselijke input.

Experimentele Resultaten

De auteurs evalueerden VOTP over locomotie (D4RL), manipulatie (MetaWorld) en real-world robotica-taken.

• Benchmark Prestaties: In D4RL en MetaWorld presteerde VOTP consistent beter dan state-of-the-art offline PbRL baselines (inclusief P-IQL, SURF, LiRE, en FTB) onder beperkte feedbackbudgetten. Opvallend genoeg behaalde VOTP prestaties die vergelijkbaar zijn met een "Oracle" baseline (die toegang heeft tot ground-truth beloningen voor ongelabelde data) op D4RL taken.
• Low-Data Regime: In experimenten waarbij het aantal labels varieerde, had VOTP aanzienlijk minder labels nodig om taak-beloningsprestaties te bereiken vergeleken met baselines. In de door-open taak presteerde VOTP met slechts 10 labels beter dan policies getraind met ground-truth beloningen.
• Ablatie Studies:
  • ViFMs vs. IFMs: Video Foundation Models (S3D, VideoCLIP, InternVideo) presteerden beter dan Image Foundation Models (R3M, CLIP), wat het belang van het vastleggen van temporele dynamiek voor voorkeursleren benadrukt.
  • OT vs. Gelijkenis: De OT-gebaseerde pseudo-labeling strategie presteerde aanzienlijk beter dan baselines die vertrouwden op eenvoudige gelijkenismetrieken (SIM-individual, SIM-mean, SIM-weighted), wat de effectiviteit van het transportplan bij het aggregeren van voorkeursinformatie aantoont.
  • Beloningscorrelatie: De door VOTP geleerde beloningsfunctie vertoonde een significant hogere Pearson-correlatie met ground-truth beloningen vergeleken met P-IQL, wat wijst op een betere dekking van de staat- en actieruimtes.
• Real Robot Evaluatie: Op een fysieke Sawyer robot behaalde VOTP 80% succes op "Lift Banana" en 70% op "Drawer Open", waarmee het Behavior Cloning (20-40%) en P-IQL (50%) versloeg. Cruciaal was dat VOTP succesvolle en gefaalde trajecten correct onderscheidde in de beloningsoutputs, terwijl P-IQL hoge beloningen toekende aan gefaalde gedragingen.

Betekenis en Claims

Het artikel claimt dat VOTP een schaalbare en praktische oplossing vormt voor offline Preference-based RL. Door gebruik te maken van de expressieve representatieruimte van pre-trained Video Foundation Models en de wiskundige strengheid van Optimale Transport, overbrugt de methode effectief de kloof tussen beperkt menselijk toezicht en de noodzaak voor uitgebreide beloningsdekking. De auteurs stellen dat deze aanpak de noodzaak voor menselijk toezicht substantieel vermindert terwijl de robuustheid tegen visuele distractoren behouden blijft, wat het een levensvatbaar pad maakt voor het implementeren van RL-agenten in complexe, real-world omgevingen waar beloningsontwerp onhaalbaar is.

De auteurs erkennen beperkingen met betrekking tot potentiële biases overgenomen van de pre-trained ViFMs en de computationele kosten van het oplossen van het OT-plan voor zeer grote datasets, en suggereren toekomstig werk in benaderde transportmethoden. Echter, binnen de reikwijdte van hun experimenten, blijkt de methode zeer effectief voor feedback-efficiënt leren.