Technische Samenvatting: CRL-VLA

Probleemstelling

Het artikel behandelt de uitdaging van Continual Reinforcement Learning (CRL) voor Vision-Language-Action (VLA) modellen in open-wereld robotica-omgevingen. Hoewel Reinforcement Learning (RL) post-training effectief is gebleken voor het afstemmen van VLA-modellen op complexe manipulatietaken, vereist het handhaven van deze aanpasbaarheid over niet-stationaire taakstromen een balans tussen stabiliteit (het behouden van eerder geleerde vaardigheden) en plasticiteit (het verwerven van nieuwe vaardigheden).

Bestaande CRL-methoden kampen met aanzienlijke beperkingen bij toepassing op grootschalige, multi-modale VLA-architecturen:

• Experience Replay: Het hergebruiken van verouderde transities induceert vaak off-policy fouten waarbij gradiënten conflicteren met nieuwe taken, wat het leerproces destabiliseert.
• Second-order Regularisatie: Methoden zoals de Fisher-informatie zijn computationeel te kostbaar voor hoog-dimensionale Transformers.
• Lichtgewicht Constraints: Benaderingen zoals KL-regularisatie dwingen vaak alleen gelijkenis in korte tijdshorizon af, waardoor langetermijnprestaties op taken niet worden behouden.
• Backbone Freezing: De aanname dat vooraf getrainde representaties uitgelijnd blijven met taaldoelen is fragiel; onder taakverschuivingen drift de waarde-lering weg zonder expliciete taalconditionering, wat leidt tot catastrofale vergetking.

Het kernprobleem is het identificeren van het mechanisme dat vergetking drijft in continual VLA-leren en het ontwikkelen van een framework dat de stabiliteit-plasticiteit balans rigoureus beheert zonder de computationele of architecturale overhead van bestaande methoden.

Methodologie: CRL-VLA

De auteurs stellen CRL-VLA voor, een continual post-training framework dat geworteld is in een verenigde theoretische bovengrens die de stabiliteit-plasticiteit trade-off koppelt aan de goal-conditioned advantage magnitude.

Theoretische Fundering

Het artikel leidt een verenigde prestatiebovengrens af die aantoont dat prestatievermindering op oude taken en verbetering op nieuwe taken worden beheerst door de koppeling van de advantage magnitude ($M_g$) en policy divergentie (gemeten door KL-divergentie).

• Stabiliteit ($M_{old}$): De maximale advantage van het oude beleid over zijn staatverdeling.
• Plasticiteit ($M_{new}$): De maximale advantage die haalbaar is op nieuwe taken.

De auteurs demonstreren dat $M_{old}$ en $M_{new}$ onafhankelijk kunnen worden gecontroleerd:

1. Stabiliteitscontrole: $M_{old}$ wordt begrensd door de critic approximatie-fout ($\epsilon_V$) op oude taakdata.
2. Plasticiteitscontrole: $M_{new}$ wordt natuurlijk begrensd door het return bereik van de omgeving bij gebruik van Monte Carlo (MC) schattingen op nieuwe taken.

Dit inzicht maakt asymmetrische regulatie mogelijk: het onderdrukken van advantage magnitudes op eerdere taken om stabiliteit te garanderen, terwijl gecontroleerde groei op nieuwe taken wordt toegestaan om plasticiteit mogelijk te maken.

Architectuur: Dual-Critic met Goal-Conditioned Value Formulation (GCVF)

Om deze theorie te operationaliseren, gebruikt CRL-VLA een dual-critic architectuur:

1. Frozen Goal-Conditioned Value (GCV) Critic ($\theta_{GCV}$): Geïnitialiseerd vanuit het geconvergeerde waardenetwerk van de vorige taak en bevroren tijdens de training van de nieuwe taak. Het verankert semantische consistentie en biedt referentiewaarden ($V_{old}$) om de waarde-approximatiefout op oude data te beperken.
2. Trainable MC Critic ($\theta_{MC}$): Bijgewerkt op nieuwe taaktrajecten met behulp van MC-returns. Het drijft adaptatie aan en zorgt ervoor dat de advantage magnitude op nieuwe taken natuurlijk begrensd blijft door het return bereik van de omgeving.

Beide critics delen een uniforme backbone ($\phi$) maar hebben ontkoppelde heads. Het waardenetwerk wordt geconditioneerd op taaldoelen door taal-embeddings te concateneren met staat-representaties vóór de MLP, wat de slechte taal-doelvolging in standaard VLA-waardeheads adresseert.

Trainingsdoelstellingen

De totale trainingsverliesfunctie integreert vier componenten om de trade-off te balanceren:
$$\mathcal{L}_{total} = \mathcal{L}_{PPO} + \alpha \mathcal{L}_{KL} + \beta_V \mathcal{L}^V_{GCV} + \eta \mathcal{L}^V_{MC}$$

• $\mathcal{L}_{PPO}$: Standaard PPO-objectief voor het maximaliseren van nieuwe taak-returns met een trust region constraint ($D_{new}$).
• $\mathcal{L}_{KL}$: KL-divergentie straf op oude taakdata om de policy divergentie ($D_{old}$) te begrenzen.
• $\mathcal{L}^V_{GCV}$: Consistentieverlies tussen de bevroren GCV-critic en de huidige backbone's voorspellingen op oude taakdata, waarbij $\epsilon_V$ wordt geminimaliseerd om $M_{old}$ te controleren.
• $\mathcal{L}^V_{MC}$: Verlies voor de trainbare MC-critic op nieuwe taakdata, wat zorgt voor nauwkeurige advantage schatting die begrensd is door het return bereik om $M_{new}$ te controleren.

Belangrijkste Bijdragen

1. Theoretisch Inzicht: Het artikel identificeert de goal-conditioned advantage magnitude als de cruciale grootheid die de stabiliteit-plasticiteit trade-off in continual VLA-leren beheerst, en leidt verenigde grenzen af die deze magnitude koppelen aan policy divergentie.
2. Asymmetrisch Regulatie Framework: CRL-VLA operationaliseert dit inzicht via een dual-critic architectuur die stabiele waarde-semantiek (bevroren GCV critic) ontkoppelt van adaptief beleidsleren (trainbare MC critic), wat onafhankelijke controle over stabiliteit en plasticiteit mogelijk maakt.
3. Goal-Conditioned Value Formulation (GCVF): Een nieuwe formulering die waardenetwerken direct conditioneert op taal-embeddings, wat de long-horizon waarde-consistentie en taal-doelvolging verbetert.
4. Empirische Validatie: Uitgebreide experimenten op de LIBERO benchmark tonen aan dat CRL-VLA beter presteert dan sterke baselines (Sequence Learning, LWF, Experience Replay, Multi-Task Learning) op zowel anti-vergetings (Backward Transfer) als forward adaptatie (Forward Transfer) metrieken.

Experimentele Resultaten

De auteurs evalueerden CRL-VLA in single-task en multi-task scenario's met behulp van de LIBERO benchmark met OpenVLA-OFT als basismodel.

• Single-Task Learning: CRL-VLA (Q-based) behaalde de hoogste Final Average Return (FAR) van 0.98, met de laagste vergetingsmetriek (0.03) en een Backward Transfer (BWT) van -0.02, waarmee het significant beter presteert dan baselines zoals Sequence Learning (FAR 0.00) en standaard Experience Replay (FAR 0.60).
• Multi-Task Learning: CRL-VLA (V-based) behaalde de hoogste FAR (0.74) en BWT (0.17), wat een superieure cross-taak kennisdeling en weerstand tegen catastrofale vergetking aantoont vergeleken met MTL en ER baselines.
• Ablatie Studies:
  • Verliesgewichten: Matige gewichten voor GCV en KL verliezen bleken optimaal; excessieve gewichten beperkten updates te veel, terwijl onvoldoende gewichten faalden om de advantage magnitude te onderdrukken.
  • Noodzaak van GCV: Het verwijderen van de GCV-component leidde tot een significante daling in succespercentages (FAR daalde van 0.31 naar 0.29 in specifieke ablatie-instellingen) en verhoogde vergetking, wat het belang van taal-geconditioneerde waarde-verankering bevestigt.
  • V vs. Q: De Q-gebaseerde variant presteerde beter in single-task scenario's, terwijl de V-gebaseerde variant meer robuustheid toonde in multi-task omgevingen waar de staat-doel distributies diverser zijn.

Betekenis en Claims

Het artikel claimt dat CRL-VLA een geprincieerd en effectief pad biedt voor het implementeren van VLA-modellen in lifelong robotica-scenario's. Door rigoureus theoretische grenzen af te leiden en deze te vertalen naar een eenvoudig dual-critic framework, lost de methode het stabiliteit-plasticiteit dilemma op zonder dat daar dure second-order berekeningen of grote replay buffers voor nodig zijn.

De auteurs stellen dat hun werk de eerste is die de stabiliteit-plasticiteit trade-off in VLA continual learning expliciet modelleert via advantage magnitude controle. Ze benadrukken dat CRL-VLA conflicterende doelstellingen effectief harmoniseert, waardoor agenten continu nieuwe vaardigheden kunnen verwerven terwijl ze voorkennis behouden, wat de haalbaarheid van lifelong learning voor belichaamde agenten in open-wereld omgevingen bevordert. Toekomstig werk wordt gesuggereerd om dit framework uit te breiden naar meer diverse taakstromen, inclus_ief partiële observabiliteit en niet-stationaire taaldoelen.