Technische Samenvatting: DyGRO-VLA

1. Probleemstelling

Het artikel adresseert een kritieke schaalbaarheidsbottleneck bij het trainen van Vision-Language-Action (VLA)-modellen voor generalistische robotmanipulatie. Hoewel recente vooruitgang in Reinforcement Learning (RL) de controleprecisie en succespercentages voor individuele taken heeft verbeterd, leidt het toepassen van RL na het trainen op multi-task settings vaak tot catastrophical forgetting (catastrofaal vergeten) en cross-task interference (interferentie tussen taken).

Empirische analyse op de LIBERO-benchmark onthult dat naarmate het aantal taken toeneemt, standaard RL-optimizers (zoals Soft Actor-Critic) in prestaties achteruitgaan. Specifiek:

• Representatiedistorsie: Single-task RL-finetuning vervormt de gedeelde feature space die tijdens pre-training is geleerd, isoleert taakspecifieke ervaringen en vermindert de uitlijning met andere taken.
• Prestatieachteruitgang: Modellen die zijn geoptimaliseerd voor specifieke taken lijden vaak aanzienlijke prestatiedalingen op niet-gerelateerde taken, en multi-task RL-training wordt steeds onstabiel naarmate het aantal taken groeit.
• De Trade-off: Er is een fundamenteel conflict tussen het bereiken van hoge dexteriteit op specifieke taken en het behouden van de cross-task generaliseerbaarheid die vereist is voor generalistische robots.

2. Methodologie: DyGRO-VLA

Om de trade-off tussen dexteriteit en generaliseerbaarheid op te lossen, stellen de auteurs DyGRO-VLA (Dynamic Grouped Residual Optimization) voor, een tweestaps optimalisatiekader.

Stap 1: Offline Pre-training met Information Bottleneck (IB)

De eerste stap richt zich op het leren van een robuuste, gedeelde cross-task latente representatie $p(z|o)$ uit offline demonstraties.

• Architectuur: Gebruik van een VLM-ruggengraat (DINOv2, SigLIP, Qwen2.5-0.5B) om visuele observaties en taalinstrukties te coderen, gefuseerd met proprioceptieve data.
• Doel: Het model wordt getraind met een Variational Information Bottleneck (VIB)-doelstelling. Het doel is om de wederzijdse informatie tussen de latente representatie $Z$ en de actie $A$ ($I(Z; A)$) te maximaliseren, terwijl de wederzijdse informatie tussen de observatie $O$ en $Z$ ($I(O; Z)$) wordt geminimaliseerd.
• Mechanisme: Dit dwingt de encoder om alleen taakrelevante informatie te behouden (bijv. objectgeometrie, ruimtelijke relaties) en storende factoren (bijv. achtergrondrommel, verlichting) te verwijderen, waardoor een compacte latente ruimte ontstaat die geschikt is voor generalisatie.
• Verlies: Een variational lower bound wordt afgeleid om het IB-doel hanteerbaar te maken, waarbij een neurale criticus $T_\psi$ wordt gebruikt om de wederzijdse informatietermen te schatten.

Stap 2: Online Finetuning via Mixture-of-RL-Residuals (MoRR)

De tweede stap optimaliseert het beleid voor multi-taskprestaties zonder de gedeelde representatie die in Stap 1 is geleerd, te verstoren.

• Residual Learning: In plaats van het basisbeleid direct bij te werken, voorspelt de RL-optimizer een residu ($\Delta a$) om het basisactieblok ($a_{base}$) te verfijnen. Dit behoudt de pre-trained prior terwijl het taakspecifieke correcties toestaat.
• Dynamic Routing (MoE): Om met meerdere taken om te gaan, hanteert het kader een Mixture-of-Experts (MoE)-architectuur met $N$ residual experts.
  • Task Embeddings: Een contrastive learning doelstelling ($L_{CL}$) leert task embeddings ($\tilde{z}_T$) die taakidentificatiepatronen coderen, onderscheiden van de beslissingsrelevante latente $z$.
  • Router: Een gating network conditioneert op de task embedding om dynamisch de top-$m$ experts voor een gegeven taak te selecteren en te wegen.
• Trainingsdoelstellingen: Het totale verlies combineert:
  1. RL Loss ($L_{RL}$): Standaard actor-critic loss voor het geaugmenteerde beleid.
  2. Contrastive Loss ($L_{CL}$): Zorgt ervoor dat task embeddings discriminerend zijn voor routing.
  3. Load Balancing ($L_{LB}$): Een entropie-gebaseerde regularizer om expert-collapse te voorkomen en een gebalanceerd gebruik van de MoE te waarborgen.
• Difficulty-Aware Sampling: Het trainingsproces biasert sampling naar onderopgeloste taken om het leren te focussen op uitdagende scenario's.

3. Belangrijkste Bijdragen

1. Analyse van RL-beperkingen: Het artikel levert empirisch bewijs dat aantoont dat standaard RL post-training catastrophical forgetting en representatiedistorsie veroorzaakt in multi-task VLA-settings, en benadrukt de noodzaak van cross-task feature behoud.
2. DyGRO-VLA Kader: Introductie van een nieuw tweestapskader dat Information Bottleneck pre-training combineert met een dynamische Mixture-of-RL-Residuals voor online finetuning.
3. Dynamic Grouped Optimization: Het ontwerp van een routingmechanisme dat dynamisch gespecialiseerde RL-experts composeert op basis van task embeddings, wat effectief gradientconflicten tussen diverse taken mitigeert.
4. Uitgebreide Validatie: Uitgebreide evaluatie over LIBERO (130 taken), RoboTwin2 (dual-arm) en real-world Sim2Real-transfer, die consistente verbeteringen toont ten opzichte van state-of-the-art baselines.

4. Experimentele Resultaten

De auteurs evalueerden DyGRO-VLA op de LIBERO- en RoboTwin2-benchmarks, waarbij ze het vergeleken met sterke baselines zoals Octo, OpenVLA, $\pi_0$, en diverse RL-finetuning-methoden.

• LIBERO Benchmark:
  • DyGRO-VLA behaalde een 97,1% gemiddeld succespercentage over alle suites, wat een prestatieverbetering van +4,4% is ten opzichte van het offline basismodel.
  • Een opmerkelijke verbetering werd waargenomen op de uitdagende LIBERO-Long-suite, waar de succespercentages stegen van 85,2% naar 95,0% (+9,8% absolute winst).
  • Het presteerde beter dan andere RL-gebaseerde baselines (zoals TGRPO, VLA-RL, RIPT-VLA), die worstelden met multi-task co-training.
• Gradient Conflict Analyse: Visualisaties van gradient cosine similarity toonden aan dat terwijl standaard MLP-residuals sterke negatieve correlaties (conflicten) vertonen tussen taakgroepen, de MoRR van DyGRO-VLA deze conflicten aanzienlijk verminderde terwijl de intra-groep synergie behouden bleef.
• Ablatiestudies:
  • Het verwijderen van de IB-doelstelling of de contrastive learning doelstelling leidde tot prestatiedalingen, wat de noodzaak bevestigt van gedeelde representatieleren en discriminerende routing.
  • Het verhogen van het aantal experts (van 1 tot 8) verbeterde consistent de prestaties, waarbij 8 experts de beste resultaten opleverden.
• Real-World (RoboTwin2):
  • Bij Sim2Real-transfer behaalde DyGRO-VLA het beste overall simulatiesucces (79,2%) en overtrof RFT-baselines in real-world proeven, met name op complexe bimanuele taken en taken met een lange horizon.

5. Betekenis en Claims

Het artikel claimt dat DyGRO-VLA een schaalbare en robuuste oplossing biedt voor efficiënte multi-task reinforcement finetuning. De primaire betekenis ligt in:

• Behoud van Generalisatie: Door het leren van gedeelde representaties te ontkoppelen van taakspecifieke verfijning via residual learning, voorkomt het het "overfitting" van RL-optimizers dat doorgaans multi-task VLA-training plagen.
• Overbrugging van de Kloof: Het overbrugt succesvol de kloof tussen hoogpresterende single-task controle en de generalisatiecapaciteiten die vereist zijn voor generalistische robots.
• Praktische Toepasbaarheid: De methode demonstreert dat complexe, multi-task RL-beleiden effectief kunnen worden overgebracht naar real-world robotsystemen zonder catastrophical forgetting.

De auteurs erkennen beperkingen, waaronder gevoeligheid voor reward-schaarste tijdens online training, afhankelijkheid van bekende taakidentiteiten voor routing, en de behoefte aan bredere real-world evaluatie over diverse implementaties. Ze positioneren DyGRO-VLA echter als een fundamentele stap richting general-purpose robotsystemen die diverse real-world taken kunnen hanteren met een unificerend model.