Résumé Technique : CRL-VLA

Énoncé du Problème

L'article traite du défi de l'apprentissage par renforcement continu (Continual Reinforcement Learning - CRL) pour les modèles de Vision-Langage-Action (Vision-Language-Action - VLA) dans des environnements robotiques en monde ouvert. Bien que l'apprentissage par renforcement (RL) post-entraînement se soit avéré efficace pour aligner les modèles VLA avec des tâches de manipulation complexes, maintenir cette adaptabilité à travers des flux de tâches non stationnaires nécessite un équilibre entre la stabilité (retenir les compétences précédemment apprises) et la plasticité (acquérir de nouvelles compétences).

Les méthodes de CRL existantes font face à des limitations significatives lorsqu'elles sont appliquées à des architectures VLA multimodales à grande échelle :

• Rejeu d'expérience (Experience Replay) : La réutilisation de transitions obsolètes induit souvent des erreurs hors-politique (off-policy) où les gradients entrent en conflit avec les nouvelles tâches, déstabilisant l'apprentissage.
• Régularisation du second ordre : Les méthodes comme l'information de Fisher sont trop coûteuses en termes de calcul pour les Transformers de haute dimension.
• Contraintes légères : Les approches comme la régularisation KL imposent souvent une similitude comportementale à court terme, échouant à préserver les performances à long terme des tâches.
• Gel du backbone (Backbone Freezing) : L'hypothèse selon laquelle les représentations pré-entraînées restent alignées avec les objectifs linguistiques est fragile ; lors de changements de tâches, l'apprentissage de la valeur dérive sans conditionnement explicite du langage, menant à un oubli catastrophique.

Le problème central est d'identifier le mécanisme qui conduit à l'oubli dans l'apprentissage continu des VLA et de développer un cadre capable de balancer rigoureusement stabilité et plasticité sans l'overhead computationnel ou architectural des méthodes existantes.

Méthodologie : CRL-VLA

Les auteurs proposent CRL-VLA, un cadre de post-entraînement continu fondé sur une borne théorique unifiée reliant le compromis stabilité-plasticité à l'amplitude de l'avantage conditionné par l'objectif (goal-conditioned advantage magnitude).

Fondement Théorique

L'article dérive une borne de performance unifiée montrant que la dégradation des performances sur les anciennes tâches et l'amélioration sur les nouvelles tâches sont régies par le couplage entre l'amplitude de l'avantage ($M_g$) et la divergence de politique (mesurée par la divergence KL).

• Stabilité ($M_{old}$) : L'avantage maximal de l'ancienne politique sur sa distribution d'états.
• Plasticité ($M_{new}$) : L'avantage maximal réalisable sur les nouvelles tâches.

Les auteurs démontrent que $M_{old}$ et $M_{new}$ peuvent être contrôlés indépendamment :

1. Contrôle de la Stabilité : $M_{old}$ est borné par l'erreur d'approximation du critique ($\epsilon_V$) sur les données des anciennes tâches.
2. Contrôle de la Plasticité : $M_{new}$ est naturellement borné par la plage de retour de l'environnement lors de l'utilisation de l'estimation de Monte Carlo (MC) sur les nouvelles tâches.

Cette intuition permet une régulation asymétrique : supprimer les amplitudes d'avantage sur les tâches antérieures pour assurer la stabilité tout en permettant une croissance contrôlée sur les nouvelles tâches pour favoriser la plasticité.

Architecture : Double Critique avec Formulation de Valeur Conditionnée par l'Objectif (GCVF)

Pour opérationnaliser cette théorie, CRL-VLA emploie une architecture à double critique :

1. Critique de Valeur Conditionnée par l'Objectif (GCV) gelée ($\theta_{GCV}$) : Initialisée à partir du réseau de valeur convergé de la tâche précédente et gelée pendant l'entraînement de la nouvelle tâche. Elle ancre la cohérence sémantique et fournit des valeurs de référence ($V_{old}$) pour contraindre l'erreur d'approximation de la valeur sur les anciennes données.
2. Critique MC Entraînable ($\theta_{MC}$) : Mise à jour sur les trajectoires des nouvelles tâches en utilisant les retours MC. Elle stimule l'adaptation et permet à l'amplitude de l'avantage sur les nouvelles tâches de rester naturellement bornée par la plage de récompense de l'environnement.

Les deux critiques partagent un backbone unifié ($\phi$) mais possèdent des têtes découplées. Le réseau de valeur est conditionné par les objectifs linguistiques en concaténant les plongements (embeddings) de langage avec les représentations d'état avant le MLP, traitant ainsi le faible suivi des objectifs linguistiques des têtes de valeur VLA standards.

Objectifs d'Entraînement

La perte totale d'entraînement intègre quatre composantes pour équilibrer le compromis :
$$\mathcal{L}_{total} = \mathcal{L}_{PPO} + \alpha \mathcal{L}_{KL} + \beta_V \mathcal{L}^V_{GCV} + \eta \mathcal{L}^V_{MC}$$

• $\mathcal{L}_{PPO}$ : Objectif PPO standard pour maximiser les retours des nouvelles tâches avec une contrainte de région de confiance ($D_{new}$).
• $\mathcal{L}_{KL}$ : Pénalité de divergence KL sur les données des anciennes tâches pour borner la divergence de politique ($D_{old}$).
• $\mathcal{L}^V_{GCV}$ : Perte de cohérence entre le critique GCV gelé et les prédictions de valeur du backbone actuel sur les données des anciennes tâches, minimisant $\epsilon_V$ pour contrôler $M_{old}$.
• $\mathcal{L}^V_{MC}$ : Perte pour le critique MC entraînable sur les données des nouvelles tâches, assurant une estimation précise de l'avantage bornée par la plage de retour pour contrôler $M_{new}$.

Contributions Clés

1. Intuition Théorique : L'article identifie l'amplitude de l'avantage conditionné par l'objectif comme la quantité clé régissant le compromis stabilité-plasticité dans l'apprentissage continu des VLA, dérivant des bornes unifiées qui lient cette amplitude à la divergence de politique.
2. Cadre de Régulation Asymétrique : CRL-VLA opérationnalise cette intuition via une architecture à double critique qui découple la sémantique de valeur stable (critique GCV gelé) de l'apprentissage de politique adaptatif (critique MC entraînable), permettant un contrôle indépendant de la stabilité et de la plasticité.
3. Formulation de Valeur Conditionnée par l'Objectif (GCVF) : Une formulation novatrice qui conditionne directement les réseaux de valeur sur les plongements linguistiques, améliorant la cohérence de la valeur à long terme et le suivi des objectifs linguistiques.
4. Validation Empirique : Des expériences approfondies sur le benchmark LIBERO démontrent que CRL-VLA surpasse les bases solides (Apprentissage de Séquence, LWF, Rejeu d'Expérience, Apprentissage Multi-Tâches) tant en termes d'anti-oubli (Transfert Arrière/Backward Transfer) qu'en termes d'adaptation vers l'avant (Transfert Avant/Forward Transfer).

Résultats Expérimentaux

Les auteurs ont évalué CRL-VLA dans des scénarios d'apprentissage à tâche unique et multi-tâches en utilisant le benchmark LIBERO avec OpenVLA-OFT comme modèle de base.

• Apprentissage à Tâche Unique : CRL-VLA (basé sur Q) a atteint le plus haut Retour Moyen Final (FAR) de 0,98, avec la métrique d'oubli la plus faible (0,03) et un Transfert Arrière (BWT) de -0,02, surpassant nettement les bases comme l'Apprentissage de Séquence (FAR 0,00) et le Rejeu d'Expérience standard (FAR 0,60).
• Apprentissage Multi-Tâches : CRL-VLA (basé sur V) a atteint le FAR le plus élevé (0,74) et le BWT le plus élevé (0,17), démontrant une supériorité dans le partage de connaissances entre tâches et une résistance à l'oubli catastrophique par rapport aux bases MTL et ER.
• Études d'Ablation :
  • Poids de Perte : Des poids modérés pour les pertes GCV et KL se sont révélés optimaux ; des poids excessifs contraignaient trop les mises à jour, tandis que des poids insuffisants ne parvenaient pas à supprimer l'amplitude de l'avantage.
  • Nécessité du GCV : Le retrait du composant GCV a entraîné une chute significative des taux de succès (le FAR est passé de 0,31 à 0,29 dans certains réglages d'ablation) et a augmenté l'oubli, confirmant l'importance de l'ancrage de la valeur conditionnée par le langage.
  • V vs. Q : La variante basée sur Q a mieux performé dans les scénarios à tâche unique, tandis que la variante basée sur V a montré une robustesse dans les environnements multi-tâches où les distributions état-objectif sont plus diverses.

Signification et Revendications

L'article affirme que CRL-VLA fournit une voie principled et efficace pour le déploiement des modèles VLA dans des scénarios robotiques de longue durée (lifelong learning). En dérivant rigoureusement des bornes théoriques et en les traduisant en une architecture à double critique simple, la méthode résout le dilemme stabilité-plasticité sans nécessiter de calculs du second ordre coûteux ou de grands buffers de rejeu.

Les auteurs déclarent que leur travail est le premier à modéliser explicitement le compromis stabilité-plasticité dans l'apprentissage continu des VLA via le contrôle de l'amplitude de l'avantage. Ils soulignent que CRL-VLA harmonise efficacement des objectifs conflictuels, permettant aux agents d'acquérir continuellement de nouvelles compétences tout en conservant les connaissances antérieures, faisant ainsi progresser la faisabilité de l'apprentissage continu pour les agents incarnés dans des environnements ouverts. Des travaux futurs sont suggérés pour étendre ce cadre à des flux de tâches plus diversifiés, incluant l'observabilité partielle et les objectifs linguistiques non stationnaires.