Résumé Technique : Domain Arithmetic (DART) pour l'adaptation One-Shot des VLA

Problématique

Les modèles Vision-Language-Action (VLA), entraînés sur de vastes corpus, présentent de fortes capacités multi-tâches au sein de leurs environnements d'entraînement sources. Cependant, ils souffrent d'une dégradation significative des performances lorsqu'ils sont déployés dans de nouveaux environnements caractérisés par des changements environnementaux (environmental shifts). Ces changements incluent des modifications de la pose de la caméra (changements de point de vue), des étalonnages de capteurs ou des modifications d'incarnation (par exemple, passer d'un robot Panda à un robot UR5e).

Les stratégies d'adaptation existantes font face à un goulot d'étranglement critique :

1. Fine-tuning sur données complètes : Nécessite l'accumulation de nombreuses démonstrations d'expert pour chaque tâche dans le domaine cible, ce qui est prohibitif en termes de coût de collecte dans des contextes réels (ex: environnements domestiques).
2. Fine-tuning One-shot : Bien qu'efficace en termes de données, le fine-tuning standard sur une seule démonstration échoue souvent à se généraliser aux tâches inédites dans le domaine cible. Au lieu d'apprendre le changement environnemental, le modèle s'adapte principalement à la tâche spécifique démontrée, perdant ainsi ses capacités multi-tâches.

Méthodologie : Domain ARiThmetic (DART)

Les auteurs proposent DART, un cadre basé sur l'analogie qui adapte les modèles VLA à de nouveaux environnements en utilisant uniquement une seule démonstration d'une seule tâche. La méthode repose sur l'observation que les poids issus d'un fine-tuning one-shot peuvent être décomposés en composantes additives et désentrelacées : des directions spécifiques à la tâche et des directions spécifiques au domaine.

Concept Fondamental

Grâce à une analyse d'alignement de sous-espace, les auteurs constatent que les vecteurs de mise à jour ($\Delta = \theta_{fine-tuned} - \theta_{base}$) issus du fine-tuning one-shot sont dominés par des directions spécifiques à la tâche. Cependant, une composante plus petite mais constante, spécifique au domaine, existe et encode le changement environnemental. Les auteurs émettent l'hypothèse que ces composantes sont linéairement additives et orthogonales, à l'instar de l'analogie « reine = roi + femme - homme » dans les modèles de langage.

Étapes Algorithmiques

DART extrait un vecteur de domaine réutilisable ($\tilde{\delta}_{tgt}$) pour adapter la politique de base ($\theta_0$) sans réentraînement sur de grands jeux de données.

1. Calcul du vecteur de mise à jour :

   • Calculer le vecteur de mise à jour du domaine cible ($\Delta_{m,tgt}$) en effectuant un fine-tuning du modèle de base sur une seule démonstration du domaine cible ($D_{m,tgt}$) pour la tâche $T_m$.
   • Calculer le vecteur de mise à jour du domaine source ($\Delta_{m,src}$) en effectuant le même fine-tuning du même modèle de base sur une seule démonstration du domaine source ($D_{m,src}$) pour la même tâche $T_m$.

2. Extraction du vecteur de domaine (Opération d'analogie) :

   • Effectuer une soustraction pour isoler la direction du domaine : $\delta_{tgt} = \Delta_{m,tgt} - \Delta_{m,src}$.
   • Cette opération annule les directions communes liées à la tâche, ne laissant que le décalage spécifique au domaine.

3. Filtrage de sous-espace et Mise à l'échelle (Réduction du bruit) :

   • Une soustraction directe peut conserver des artefacts du domaine source ou amplifier le bruit du fine-tuning. Pour y remédier, DART utilise deux étapes de raffinement :
     • Filtrage de sous-espace : En utilisant la décomposition en valeurs singulières (SVD), la méthode identifie et filtre les vecteurs de base du vecteur de mise à jour source qui ne s'alignent pas avec le sous-espace cible. Cela empêche le bruit spécifique à la source de corrompre le vecteur de domaine extrait.
     • Mise à l'échelle de sous-espace : Le vecteur de domaine résultant est mis à l'échelle par le score d'alignement de sous-espace ($\gamma$). Si les mises à jour source et cible sont mal alignées (indiquant un bruit élevé ou une non-pertinence), le vecteur est pondéré à la baisse.

4. Adaptation du Modèle :

   • Le vecteur de domaine raffiné est réajouté au modèle de base : $\theta^* = \theta_0 + \alpha \cdot \tilde{\delta}_{tgt}$, où $\alpha$ est un coefficient scalaire contrôlant la force de l'adaptation.

Contributions Clés

1. Preuve empirique d'additivité : L'article fournit la preuve que les poids issus du fine-tuning one-shot dans les modèles VLA se décomposent en directions de tâches et de domaines partageables et additives.
2. Cadre DART : Une nouvelle méthode basée sur l'analogie qui extrait un vecteur de domaine réutilisable à partir d'une mise à jour de poids issue d'un fine-tuning one-shot, en supprimant les directions spécifiques à la tâche via l'arithmétique de poids.
3. Raffinement par sous-espace : L'introduction du filtrage et de la mise à l'échelle de sous-espace pour atténuer le bruit et les artefacts lors de l'extraction du vecteur de domaine, garantissant une adaptation robuste.
4. Indépendance de l'architecture : La méthode est démontrée comme étant efficace sur différentes architectures VLA (flow-matching $\pi0.5$ et autoregressive $\pi0-FAST$) et divers types de décalages (visuels et d'incarnation).

Résultats Expérimentaux

Les auteurs ont évalué DART sur le benchmark LIBERO (simulation) et sur une configuration de robot réel UR10e.

• Simulation (Nouveaux points de vue) : DART surpasse significativement les bases (Zero-shot, One-shot Fine-tuning, FLA, et RETAIN) pour les décalages de point de vue Small, Medium et Large. Par exemple, sur $\pi0.5$ avec des décalages de point de vue Medium, DART atteint un taux de succès de 80,8 % contre 33,3 % pour le One-shot Fine-tuning et 76,4 % pour FLA.
• Perturbations combinées : DART maintient une performance supérieure sous des changements visuels combinés (Point de vue + Bruit + Lumière), démontrant sa robustesse aux changements environnementaux complexes.
• Transversalité d'incarnation (Cross-Embodiment) : Lors du transfert de politiques d'un robot Panda vers un robot UR5e, DART améliore le taux de succès de 37,2 % (Zero-shot) à 45,4 %, et le taux de progression à 73,8 %, surpassant à la fois le One-shot Fine-tuning et les bases Zero-shot.
• Monde Réel : Sur un robot UR10e avec un nouveau point de vue, DART a atteint un taux de succès moyen de 81,7 % sur cinq tâches (incluant la manipulation de précision) en utilisant seulement une seule démonstration pour l'adaptation, surpassant nettement tous les autres modèles de référence.
• Fusion de Vecteurs : Les auteurs ont démontré que les vecteurs de domaine provenant de différents domaines cibles peuvent être fusionnés en un seul vecteur, permettant à un seul modèle de s'adapter simultanément à plusieurs environnements.

Signification et Revendications

L'article affirme que DART offre une solution efficace en termes de données pour le goulot d'étranglement du déploiement des modèles VLA. En exploitant les propriétés structurelles des mises à jour de poids, DART permet une adaptation one-shot qui préserve les capacités multi-tâches du modèle de base tout en le transférant vers de nouveaux environnements.

Les auteurs soulignent qu'à la différence des approches précédentes nécessitant des données étendues ou des modifications architecturales, DART est :

• Indépendant de l'architecture : Applicable à différents backbones VLA.
• Robuste aux hyperparamètres : Stable sur une large gamme de coefficients de mise à l'échelle ($\alpha$).
• Composable : Les vecteurs de domaine peuvent être fusionnés pour gérer plusieurs décalages avec un seul ensemble de paramètres.

Ce travail suggère que la « connaissance du domaine » requise pour l'adaptation est implicitement apprenable à partir d'une seule démonstration et peut être isolée mathématiquement, offrant une voie pratique pour le déploiement de robots généralistes dans des environnements réels diversifiés et non structurés.