Résumé Technique : DyGRO-VLA

1. Énoncé du Problème

L'article aborde un goulot d'étranglement critique d'évolutivité dans l'entraînement des modèles Vision-Language-Action (VLA) pour la manipulation robotique généraliste. Bien que les récents progrès en Apprentissage par Renforcement (RL) aient amélioré la précision du contrôle et les taux de réussite pour des tâches individuelles, l'application du RL après l'entraînement à des paramètres multi-tâches conduit souvent à un oubli catastrophique et à des interférences inter-tâches.

Une analyse empirique sur le benchmark LIBERO révèle que, à mesure que le nombre de tâches augmente, les optimiseurs RL standards (par exemple, Soft Actor-Critic) voient leurs performances se dégrader. Plus précisément :

• Distorsion de la Représentation : Le fine-tuning RL sur une seule tâche déforme l'espace de caractéristiques partagé appris lors du pré-entraînement, isolant les expériences spécifiques à une tâche et réduisant l'alignement avec les autres tâches.
• Dégradation des Performances : Les modèles optimisés pour des tâches spécifiques souffrent souvent de baisses de performance significatives sur des tâches non liées, et l'entraînement RL multi-tâches devient de plus en plus instable à mesure que le nombre de tâches croît.
• Le Compromis : Il existe un conflit fondamental entre l'atteinte d'une dextérité élevée sur des tâches spécifiques et le maintien de la généralisabilité inter-tâches requise pour les robots généralistes.

2. Méthodologie : DyGRO-VLA

Pour résoudre le compromis entre dextérité et généralisabilité, les auteurs proposent DyGRO-VLA (Optimisation Résiduelle Groupée Dynamique), un cadre d'optimisation en deux étapes.

Étape 1 : Pré-entraînement Hors Ligne avec Goulot d'Information (IB)

La première étape se concentre sur l'apprentissage d'une représentation latente croisée-tâches robuste et partagée $p(z|o)$ à partir de démonstrations hors ligne.

• Architecture : Utilise un socle VLM (DINOv2, SigLIP, Qwen2.5-0.5B) pour encoder les observations visuelles et les instructions linguistiques, fusionnées avec des données proprioceptives.
• Objectif : Le modèle est entraîné à l'aide d'un objectif de Goulot d'Information Variationnel (VIB). Le but est de maximiser l'information mutuelle entre la représentation latente $Z$ et l'action $A$ ($I(Z; A)$) tout en minimisant l'information mutuelle entre l'observation $O$ et $Z$ ($I(O; Z)$).
• Mécanisme : Cela force l'encodeur à ne conserver que les informations pertinentes pour la tâche (par exemple, la géométrie de l'objet, les relations spatiales) tout en éliminant les facteurs parasites (par exemple, l'encombrement de l'arrière-plan, l'éclairage), créant ainsi un espace latent compact adapté à la généralisation.
• Perte : Une borne inférieure variationnelle est dérivée pour rendre l'objectif IB traitable, impliquant un critique neuronal $T_\psi$ pour estimer les termes d'information mutuelle.

Étape 2 : Fine-tuning en Ligne via Mélange de Résidus RL (MoRR)

La deuxième étape optimise la politique pour la performance multi-tâches sans perturber la représentation partagée apprise à l'Étape 1.

• Apprentissage Résiduel : Au lieu de mettre à jour directement la politique de base, l'optimiseur RL prédit un résidu ($\Delta a$) pour affiner le bloc d'action de base ($a_{base}$). Cela préserve l'a priori pré-entraîné tout en permettant des corrections spécifiques à la tâche.
• Routage Dynamique (MoE) : Pour gérer plusieurs tâches, le cadre emploie une architecture de Mélange d'Experts (MoE) avec $N$ experts résiduels.
  • Embeddings de Tâche : Un objectif d'apprentissage contrastif ($L_{CL}$) apprend des embeddings de tâche ($\tilde{z}_T$) qui encodent des motifs d'identification de tâche, distincts du latent pertinent pour la décision $z$.
  • Routeur : Un réseau de conditionnement basé sur l'embedding de tâche sélectionne et pondère dynamiquement les $m$ meilleurs experts pour une tâche donnée.
• Objectifs d'Entraînement : La perte totale combine :
  1. Perte RL ($L_{RL}$) : Perte acteur-critique standard pour la politique augmentée.
  2. Perte Contrastive ($L_{CL}$) : Garantit que les embeddings de tâche sont discriminants pour le routage.
  3. Équilibrage de Charge ($L_{LB}$) : Un régularisateur basé sur l'entropie pour prévenir l'effondrement des experts et assurer une utilisation équilibrée du MoE.
• Échantillonnage Sensible à la Difficulté : Le processus d'entraînement biaise l'échantillonnage vers les tâches sous-résolues pour concentrer l'apprentissage sur des scénarios difficiles.

3. Contributions Clés

1. Analyse des Limites du RL : L'article fournit des preuves empiriques démontrant que le fine-tuning RL standard après entraînement provoque un oubli catastrophique et une distorsion de la représentation dans les paramètres VLA multi-tâches, soulignant la nécessité de préserver les caractéristiques inter-tâches.
2. Cadre DyGRO-VLA : Introduction d'un nouveau cadre en deux étapes combinant un pré-entraînement par Goulot d'Information avec un Mélange Dynamique de Résidus RL pour un fine-tuning en ligne.
3. Optimisation Groupée Dynamique : La conception d'un mécanisme de routage qui compose dynamiquement des experts RL spécialisés basés sur des embeddings de tâche, atténuant efficacement les conflits de gradient entre des tâches diverses.
4. Validation Complète : Évaluation extensive sur LIBERO (130 tâches), RoboTwin2 (bras doubles) et transfert Sim2Real dans le monde réel, démontrant des améliorations constantes par rapport aux bases de référence de l'état de l'art.

4. Résultats Expérimentaux

Les auteurs ont évalué DyGRO-VLA sur les benchmarks LIBERO et RoboTwin2, en le comparant à des bases de référence solides incluant Octo, OpenVLA, $\pi_0$, et diverses méthodes de fine-tuning RL.

• Benchmark LIBERO :
  • DyGRO-VLA a atteint un taux de réussite moyen de 97,1 % sur tous les ensembles, surpassant le modèle de base hors ligne de +4,4 %.
  • Une amélioration notable a été observée sur l'ensemble difficile LIBERO-Long, où les taux de réussite sont passés de 85,2 % à 95,0 % (gain absolu de +9,8 %).
  • Il a surpassé d'autres bases de référence basées sur le RL (par exemple, TGRPO, VLA-RL, RIPT-VLA) qui peinaient avec l'entraînement conjoint multi-tâches.
• Analyse des Conflits de Gradient : Les visualisations de la similarité cosinus des gradients ont montré que, tandis que les résidus MLP standards présentent de fortes corrélations négatives (conflits) entre les groupes de tâches, le MoRR de DyGRO-VLA a considérablement réduit ces conflits tout en maintenant une synergie intra-groupe.
• Études d'Ablation :
  • La suppression de l'objectif IB ou de l'objectif d'apprentissage contrastif a entraîné des baisses de performance, confirmant la nécessité de l'apprentissage de représentations partagées et d'un routage discriminant.
  • L'augmentation du nombre d'experts (de 1 à 8) a constamment amélioré les performances, avec 8 experts produisant les meilleurs résultats.
• Monde Réel (RoboTwin2) :
  • Dans le transfert Sim2Real, DyGRO-VLA a atteint le meilleur succès global en simulation (79,2 %) et a surpassé les bases de référence RFT lors d'essais dans le monde réel, en particulier sur des tâches bimanuelles complexes et à long horizon.

5. Signification et Revendications

L'article revendique que DyGRO-VLA offre une solution évolutive et robuste pour un fine-tuning efficace par renforcement multi-tâches. Sa signification principale réside dans :

• Préservation de la Généralisation : En découplant l'apprentissage des représentations partagées du raffinement spécifique à la tâche via l'apprentissage résiduel, il prévient le « surapprentissage » des optimiseurs RL qui affecte généralement l'entraînement VLA multi-tâches.
• Combler le Fossé : Il comble avec succès le fossé entre le contrôle haute performance sur une seule tâche et les capacités de généralisation requises pour les robots généralistes.
• Applicabilité Pratique : La méthode démontre que des politiques RL complexes et multi-tâches peuvent être efficacement transférées vers des systèmes robotiques réels sans oubli catastrophique.

Les auteurs reconnaissent des limitations, notamment la sensibilité à la rareté des récompenses pendant l'entraînement en ligne, la dépendance aux identités de tâche connues pour le routage, et le besoin d'une évaluation plus large dans le monde réel sur des embodiments diversifiés. Cependant, ils positionnent DyGRO-VLA comme une étape fondamentale vers des systèmes robotiques à usage général capables de gérer des tâches réelles diverses avec un modèle unifié.