Value Explicit Pretraining for Learning Transferable Representations

1. Probleemstelling

Agenten voor Visueel Versterkend Leren (RL) worstelen met generalisatie over taken wanneer ze geconfronteerd worden met variaties in omgevingsdynamiek en visuele verschijning. Waar mensen taakrelevante informatie kunnen extraheren ongeacht deze veranderingen, vereisen robots geleerde representaties die invariant zijn voor dergelijke variaties.

Huidige benaderingen voor representatieleren staan voor twee hoofdbeperkingen:

1. Niet-uitgelijnde Doelstellingen: Veel methoden gebruiken pretraining-doelstellingen (bijv. beeldreconstructie, temporele consistentie) die verschillen van de downstream controletaak (actievoorspelling).
2. Data-eisen: Bestaande transferleermethoden vereisen vaak hoogwaardige, gelabelde expertdemonstraties of succesvolle trajecten. Er ontbreekt een gebrek aan methoden die effectief transferbare representaties kunnen leren van suboptimale, ongelabelde data (reeksen observaties en spaarzame beloningen waarbij de agent de taak vaak niet voltooit).

De kernuitdaging is: Hoe kunnen we een encoder leren die representaties produceert die nuttig zijn voor controle, zonder te trainen op de controletaak zelf, en uitsluitend gebruikmakend van imperfecte, ongelabelde data?

2. Methodologie: Value Explicit Pretraining (VEP)

De auteurs stellen Value Explicit Pretraining (VEP) voor, een zelftoezichtcontrastieve leermethode die taakongebonden representaties leert door expliciet de "neiging tot succes" (waarde) te coderen in plaats van alleen visuele of temporele nabijheid.

Kerninzicht

De waardenfunctie $V(s)$ van een staat vertegenwoordigt de verwachte opbrengst (neiging tot succes) onder een optimale policy. De auteurs veronderstellen dat staten met vergelijkbare waarde-schattingen over verschillende taken (zelfs met verschillende visuele verschijningen) een vergelijkbare optimale strategie delen. Daarom moeten representaties worden geclusterd op basis van waarde-相似 in plaats van visuele gelijkenis.

Overzicht van het Algorithm

1. Data Bron: De methode maakt gebruik van offline, suboptimale, ongelabelde datasets ($D_{train}$) van een reeks trainingstaken. Deze datasets bevatten reeksen observaties en spaarzame beloningssignalen, maar geen actielabels.
2. Monte Carlo Waarde-schatting:
   • Aangezien de ware optimale waardenfunctie onbekend is, berekent VEP een Monte Carlo (MC) schatting $G$ voor elk frame in de dataset met behulp van de spaarzame beloningen:
     $$G(s_t, \tau) = \sum_{k=t}^{T} \gamma^{k-t} r_k$$
   • Frames met een waarde-schatting van 0 (wat aangeeft dat er in dat trajectsegment nooit een beloning werd behaald) worden verworpen.
3. Contrastief Leerdoel:
   • De encoder $f_\phi$ wordt getraind met een contrastieve loss (InfoNCE of Triplet loss).
   • Steekproefstrategie:
     • Anker ($z_{an}$): Een observatie van Taak $T_i$ met een waarde-schatting $g$.
     • Positief ($z_{ps}$): Een observatie van een andere taak $T_j$ met een waarde-schatting binnen een drempel $v_{thresh}$ van $g$.
     • Negatief ($z_{ng}$): Een observatie van een taak $T_k$ met een waarde-schatting die significant verschilt van $g$ (buiten $v_{thresh}$).
   • Doel: De lossfunctie minimaliseert de afstand tussen het anker en het positieve voorbeeld (vergelijkbare waarde/succesneiging) en maximaliseert de afstand tot het negatieve voorbeeld, waardoor de encoder representaties leert die invariant zijn voor taakspecifieke verschijning en dynamiek.

Implementatiedetails

• Voorverwerking: Een woordenboek koppelt gesorteerde waarde-schattingen aan frame-indices om efficiënte binaire zoek-steekproeven mogelijk te maken.
• Policy Training: Na pretraining wordt de encoder bevroren. Een online RL-algoritme (PPO) wordt getraind op de testtaken met de latente representaties $z_t$ als invoer. Er vindt geen fine-tuning van de encoder plaats.

3. Belangrijkste Bijdragen

1. Waarde-expliciete Representatie: Een nieuw pretrainingkader dat expliciet waarde-schattingen gebruikt om de latente ruimte te organiseren, zodat representaties taakvoortgang weerspiegelen in plaats van alleen visuele of temporele consistentie.
2. Gebruik van Suboptimale Data: De methode leert succesvol transferbare representaties met behulp van ongelabelde, suboptimale data (episoden die de taak niet altijd oplossen), een aanzienlijke afwijking van methoden die expertdemonstraties vereisen.
3. Taakongebonden Generalisatie: Door te focussen op waarde-相似, leert de methode representaties die generaliseren naar out-of-distribution (OOD) taken met verschillende visuele dynamiek maar vergelijkbare doelstellingen.
4. Ablatie- en Baseline Vergelijkingen: Het artikel vergelijkt VEP rigoureus met:
   • VIP (Value Implicit Pretraining): Die vertrouwt op temporele consistentie.
   • TCN (Time Contrastive Learning): Die positieven steekproeft op basis van tijdsafstand.
   • SOM (State Occupancy Measure): Die bezettingsmaten gebruikt voor steekproeven.
   • Value Regression (VR): Een baseline die simpelweg de waarde-schatting regresseert (wat aantoont dat contrastieve steekproeven van tripletten superieur is aan eenvoudige regressie).

4. Experimentele Resultaten

De auteurs hebben VEP geëvalueerd op drie benchmarks: Atari, Visuele Navigatie (StreetLearn) en Ant Locomotion.

• Atari Benchmark:
  • Opzet: Getraind op Demon-Attack en Space Invaders; getest op 4 andere schuttersgames.
  • Resultaat: VEP presteerde beter dan baselines (VIP, TCN, SOM) met tot wel 2× in beloningen op out-of-distribution taken. Het toonde een verbetering van ongeveer 25% op in-distribution taken.
• Visuele Navigatie:
  • Opzet: Getraind op 2 steden; getest op 4 onbekende steden.
  • Resultaat: VEP bereikte dezelfde prestaties als end-to-end training 2.1× sneller (steekproefficiëntie). Het presteerde aanzienlijk beter dan state-of-the-art vision-taalmodellen (CLIP, R3M, MVP).
• Ant Locomotion (Labyrint):
  • Opzet: Getraind op eenvoudige labyrinten; getest op complexe labyrinten met verschillende obstakels en visuele variaties.
  • Resultaat: VEP bereikte state-of-the-art prestaties in zowel in-domein als OOD labyrinten.
  • Visualisatie: t-SNE-plotten toonden aan dat terwijl TCN-embeddings clusterden op labyrint-uitstraling (overfitting), VEP-embeddings clusterden op taakvoortgang (waarde), wat echt taakongebonden leren aantoont.
• Ablatiestudies:
  • Suboptimaliteit: De VEP-prestaties bleven robuust, zelfs bij gebruik van data uit episoden die slechts 10% van de taak voltooiden.
  • Drempelwaarden: Een optimale waardedrempel ($v_{thresh} \approx 0.03$) werd geïdentificeerd; een te hoge drempel verslechterde de prestaties.
  • Contrastief versus Regressie: Het simpelweg regressive van de waarde (Value Regression baseline) faalde om transferbare representaties te produceren, wat bevestigt dat de contrastieve steekproef van tripletten het kritieke mechanisme is.

5. Betekenis en Impact

• Efficiëntie: VEP verbetert de steekproefficiëntie drastisch (tot 3×) voor downstream RL, waardoor de behoefte aan dure online interactie wordt verminderd.
• Toegankelijkheid van Data: Door de vereiste voor expert-, gelabelde of succesvolle demonstraties te verwijderen, verlaagt VEP de instapdrempel voor transferleren, waardoor gebruik kan worden gemaakt van enorme hoeveelheden "rommelige" real-world of gesimuleerde data.
• Generalisatie: De methode adresseert de "sim-to-real" en "task-to-task" kloof door representaties te leren die het doel van de taak vangen (voortgang naar een doel) in plaats van oppervlakkige visuele kenmerken.
• Toekomstige Richtingen: De auteurs suggereren dit uit te breiden naar continue controle-algoritmen (zoals SAC) en few-shot imitatieleer, evenals schalen naar complexere, grootschalige pretraining-scenario's.

Kortom, VEP vertegenwoordigt een paradigma-verschuiving in representatieleren voor robotica, van "hoe de wereld eruitziet" naar "hoe dicht de agent bij succes is", waardoor robuuste transfer mogelijk is zelfs met imperfecte data.