Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models

Technische Samenvatting: Het benutten van offline supervisie voor efficiënte en generaliseerbare reinforcement learning in grootschalige Vision–Language–Action-modellen

1. Probleemstelling

In het domein van Vision–Language–Action (VLA) modellen bestaat er een fundamentele afruil tussen trainings-efficiëntie en beleidsrobuustheid (policy robustness). Online Reinforcement Learning (RL) levert doorgaans superieure Out-of-Distribution (OOD) generalisatie en robuustheid op vergeleken met offline methoden zoals Supervised Fine-Tuning (SFT) of imitation learning. Echter, online RL is computationeel duur en vereist uitgebreide interacties met de omgeving. Daarentegen is offline training kosteneffectief, maar heeft het vaak moeite met distributieverschuivingen.

Recent werk (bijv. Liu et al., 2025) heeft aangetoond dat RL-fine-tuning van grootschalige VLA-modellen (specifiek OpenVLA met Low-Rank Adaptation, of LoRA) de OOD-prestaties aanzienlijk verbetert ten opzichte van SFT, maar tegen een hoge online trainingskost. Dit roept een cruciale vraag op: Kan offline supervisie worden geïntegreerd in het RL-optimalisatieproces, niet enkel als initialisatie, maar als een gestructureerd trainingssignaal dat de efficiëntie verbetert zonder de robuustheidswinst van online adaptatie op te offeren?

2. Methodologie

De auteurs onderzoeken hybride offline–online trainingsstrategieën voor parameter-efficiënte RL-fine-tuning van grootschalige VLA-modellen. De experimenten maken gebruik van de OpenVLA-architectuur, waarbij het basismodel bevroren blijft en alleen een LoRA-adapter wordt geoptimaliseerd. De studie vergelijkt standaard Proximal Policy Optimization (PPO) met twee geleide varianten die offline supervisie integreren:

• Reference-Policy Regularization (RefKL): Deze variant vergroot de standaard PPO-objectieffunctie met een Kullback–Leibler (KL) divergentie-straf. Het beleid (policy) wordt geregulariseerd om dicht bij een bevroren SFT-referentiemodel ($\pi_{ref}$) te blijven tijdens online updates. De verliesfunctie is:
  $$L(\theta) = L_{PPO}(\theta) + \beta L_{RefKL}(\theta)$$
  waarbij $L_{RefKL}$ de divergentie tussen het huidige beleid en het bevroren SFT-model bestraft.

• Offline Behavior Cloning (DataBC): Deze variant vergroot PPO met een behavior cloning-verlies dat rechtstreeks wordt berekend op de offline demonstratiedataset ($D_{off}$). De verliesfunctie is:
  $$L(\theta) = L_{PPO}(\theta) + \beta L_{DataBC}(\theta)$$
  waarbij $L_{DataBC}$ de waarschijnlijkheid van expert-acties in de offline dataset maximaliseert.

• Curriculum Scheduling: Om te voorkomen dat offline supervisie de laatstadium RL-adaptatie belemmert, hanteren de auteurs een curriculum-schema voor de regularisatie-gewicht $\beta$. Het gewicht wordt constant gehouden tijdens een initiële fase (100k stappen), lineair afgenomen over de volgende 200k stappen, en daarna op nul gezet, waardoor het beleid kan overgaan naar pure RL-optimalisatie.

• Baselines: De studie bevat een standaard PPO-baseline en een variant waarbij PPO direct wordt geïnitialiseerd vanaf de SFT LoRA-adapter (SFT-init) zonder aanvullende begeleidingstermen tijdens de training.

3. Belangrijkste Bijdragen

• Hybride Trainingsframework: Het artikel formuleert en evalueert twee eenvoudige offline-geleide PPO-varianten (RefKL en DataBC) specifiek voor LoRA-gebaseerde fine-tuning van grootschalige VLA-modellen.
• Oplossing voor de Efficiëntie-Robuustheid Afruil: De auteurs demonstreren dat offline begeleiding de trainings-efficiëntie aanzienlijk kan verbeteren terwijl de OOD-generalisatievoordelen die gewoonlijk met pure RL gepaard gaan, behouden blijven.
• Empirische Analyse: De studie biedt een gecontroleerde vergelijking van begeleidingsmechanismen, waarbij de gevoeligheid voor de regularisatiestuctuur ($\beta$) en de impact van curriculum scheduling worden geanalyseerd. Het benadrukt dat referentie-beleidsbegeleiding (RefKL) een stabieler optimalisatiesignaal biedt dan directe behavior cloning op offline data.

4. Resultaten

Experimenten werden uitgevoerd op de RL4VLA-benchmark met behulp van het OpenVLA-model, waarbij de prestaties werden geëvalueerd op zowel In-Distribution (IND) als OOD-taken (dekking van visuele, linguïstische en actie-verschuivingen).

• Trainings-efficiëntie: Bij 1 miljoen omgevingstappen presteerden beide geleide varianten (RefKL en DataBC) beter dan de standaard PPO die voor dezelfde duur werd getraind over alle metrieken. Opvallend genoeg bereikte de RefKL-variant een OOD-prestatie die vergelijkbaar is met een standaard PPO-model dat 2 miljoen stappen is getraind, wat effectief de vereiste online trainingsbudget halveert.
• Prestatie-metrieken:
  • RefKL (1M stappen): Behaalde een gemiddelde OOD-succesratio van 0,77, wat overeenkomt met de uiteindelijke prestatie van de 2M-stappen PPO-baseline (0,77).
  • DataBC (1M stappen): Behaalde een gemiddelde OOD-succesratio van 0,74, wat ook de 1M-stappen standaard PPO (0,64) overtreft.
  • SFT-Init: Hoewel het startte vanaf een hogere baseline dan standaard PPO, vertoonde de SFT-geïnitialiseerde PPO een tragere adaptatie en bleef deze onder de geleide methoden op het 1M-stappenpunt.
• Regularisatie-gevoeligheid: Sterkere initiële regularisatie ($\beta$) correleerde met hogere succesratio's. Een constant $\beta$-schema presteerde echter niet beter dan het curriculum-schema en introduceerde onnodige computationele overhead.
• Generalisatie: De geleide methoden behielden sterke OOD-capaciteiten, met name bij actie-verschuivingen, die vaak moeilijk zijn voor puur offline methoden om te behandelen.

5. Betekenis en Claims

Het artikel claimt dat offline supervisie en RL complementaire in plaats van concurrerende signalen zijn in de context van VLA-adaptatie. De primaire betekenis van het werk ligt in het aantonen dat offline begeleiding dient als een effectieve optimalisatie-prior. Het stabiliseert de vroege fase van RL-training wanneer on-policy signalen zwak zijn, waardoor het beleid de gepre-trainde representaties effectiever kan benutten.

De auteurs concluderen dat deze hybride aanpak een praktische oplossing biedt voor de hoge kosten van online RL: het vermindert de hoeveelheid dure interactie met de omgeving die nodig is om een sterk beleidsgedrag te bereiken, terwijl de robuustheidsvoordelen van RL ten opzichte van offline-only training behouden blijven. De referentie-beleidsbegeleiding (RefKL) wordt geïdentificeerd als de meest effectieve en consistente formulering voor deze setting. Het werk suggereert dat voor de parameter-efficiënte adaptatie van grote modellen, gestructureerde offline priors de ontdekking van effectieve online strategieën kunnen versnellen zonder catastrofale vergetelheid (catastrophic forgetting) te veroorzaken of de OOD-generalisatie te beperken.