Résumé Technique : SemiVLA – Adaptation Vision-Langage-Action Semi-Supervisée

1. Définition du Problème

L'article traite du défi de l'adaptation des modèles Vision-Langage-Action (VLA) à de nouveaux robots, environnements et distributions de tâches lorsque les démonstrations étiquetées par des actions sont rares. Bien que les modèles VLA à grande échelle (ex. : OpenVLA, $\pi_0$, GR00T) possèdent de solides priors généraux, leur ajustement fin (fine-tuning) nécessite généralement des étiquettes d'actions robotiques denses et de bas niveau, qui sont coûteuses à collecter via la téléopération.

Les auteurs définissent un cadre d'adaptation semi-supervisé où :

• Un petit ensemble de trajectoires ($D_l$) contient une supervision complète : observations visuelles ($o$), instructions linguistiques ($q$) et actions de vérité terrain ($a$).
• Un grand ensemble de trajectures ($D_u$) contient uniquement les observations visuelles et les instructions linguistiques, manquant d'étiquettes d'action.

La difficulté centrale réside dans la nature de la supervision manquante. Contra-rent aux méthodes classiques de l'apprentissage semi-supervisé (SSL) en classification d'images où les pseudo-étiquettes sont des classes discrètes, les pseudo-étiquettes VLA sont des signaux d'action incarnés. Celles-ci doivent être :

1. Ancrées visuellement dans l'observation.
2. Sémantiquement cohérentes avec l'instruction linguistique.
3. Physiquement réalisables dans l'espace d'action du robot.
4. Temporellement stables à travers la trajectoire.

L'application directe du SSL conventionnel (ex. : étiquetage par pseudo-étiquette basé sur la confiance) échoue car un modèle VLA peut attribuer une confiance élevée à une action qui est physiquement impossible ou visuellement non ancrée, entraînant des erreurs cumulatives lors de l'exécution en boucle fermée.

2. Méthodologie : SemiVLA

Les auteurs proposent SemiVLA, un cadre de distillation de soi enseignant-étudiant conçu pour apprendre à partir de pseudo-actions fiables sur des trajectoires non étiquetées. La méthode se compose de trois composantes principales :

A. Pipeline d'Entraînement

1. Préchauffage Supervisé (Supervised Warm-up) : La politique étudiante ($\pi_\theta$) est d'abord ajustée sur l'ensemble étiqueté limité ($D_l$) pour établir une direction d'adaptation stable pour l'espace d'action cible.
2. Initialisation de l'Enseignant : La politique enseignante ($\pi_\xi$) est initialisée à partir de l'étudiant préchauffé.
3. Apprentissage par Auto-Distillation de Pseudo-Actions :
   • L'enseignant génère des pseudo-actions ($\hat{a}_t$) pour les trajectoires non étiquetées ($D_u$) en utilisant une vue "faible" de l'observation.
   • L'étudiant est entraîné pour correspondre à ces pseudo-actions sur une vue "forte" (avec des perturbations comme le recadrage, le jitter ou le bruit) uniquement si la pseudo-action est jugée fiable.
   • L'étudiant apprend via une combinaison de perte supervisée (sur $D_l$), de perte d'auto-distillation (sur $D_u$ fiable) et d'objectifs d'alignement/cohérence.

B. Contrôleur de Fiabilité Spécifique au VLA

Pour filtrer les pseudo-actions bruitées, SemiVLA introduit un contrôleur de fiabilité qui calcule un score $r_t$ comme le produit de trois signaux complémentaires :

1. Alignement Vision-Langage ($r^{vl}_t$) : Mesure la similitude cosinus entre l'embedding de l'instruction linguistique et les tokens visuels pertinents dans l'observation. Cela garantit que l'action est ancrée dans les bons objets/régions.
2. Faisabilité de l'Action ($r^{act}_t$) : Évalue la plausibilité physique. Pour les actions continues, il pénalise les amplitudes importantes et les sauts soudains (variation temporelle). Pour les tokens d'action, il vérifie l'entropie de la distribution et la cohérence.
3. Cohérence de Transition Temporelle ($r^{temp}_t$) : Utilise un prédicteur de transition léger pour vérifier si la pseudo-action peut expliquer la transition visuelle de $o_t$ à $o_{t+1}$. Un score élevé indique que l'action est dynamiquement cohérente avec la trajectoire observée.

Seules les pseudo-actions ayant un score de fiabilité supérieur à un seuil sont utilisées pour l'entraînement.

C. Mise à jour d'Alignement par Projection de Goulot d'Étranglement (Bottleneck-Projected)

Au lieu de mettre à jour l'enseignant via une Moyenne Mobile Exponentielle (EMA) standard, ce qui peut propager des mises à jour bruitées de l'étudiant, SemiVLA utilise une Mise à jour d'Alignement par Projection de Goulot d'Étranglement.

• Décomposition : Les paramètres entraînables sont divisés en un Groupe d'Alignement Sémantique (projecteurs visuels, PEFT vision-langage) et un Groupe de Précision d'Action (tête d'action, PEFT de politique tardive).
• Filtrage :
  • Le groupe sémantique n'est mis à jour que si le sous-espace visuel-linguistique est stable (faible sensibilité aux perturbations).
  • Le groupe d'action n'est mis à jour que si les pseudo-actions sont réalisables et temporellement cohérentes.
• Projection : Le déplacement de paramètre de l'étudiant ($\Delta$) est projeté à travers une porte de goulot d'étranglement avant de mettre à jour l'enseignant. Cela empêche les mises à jour visuelles sensibles aux nuisances ou les corrections d'action instables de contaminer l'enseignant, garantissant que l'enseignant reste un générateur de pseudo-actions fiable.

D. Inférence

Lors de l'inférence, seule la politique étudiante est utilisée. L'enseignant, le contrôleur de fiabilité et les mécanismes de mise à jour sont écartés, ce qui signifie que SemiVLA n'ajoute aucun coût d'inférence supplémentaire.

3. Contributions Clés

1. Formulation du Problème : L'article formule explicitement l'adaptation semi-supervisée VLA sous des signaux de supervision limités, se distinguant de l'ajustement fin supervisé classique et du SSL conventionnel en soulignant les contraintes uniques des signaux d'action incarnés.
2. Cadre SemiVLA : Une architecture enseignant-étudiant par auto-distillation qui exploite les trajectoires vision-langage non étiquetées pour améliorer l'adaptation sans nécessiter d'étiquettes d'action denses.
3. Contrôleur de Fiabilité : Un mécanisme novateur qui évalue les pseudo-actions sur la base de l'alignement vision-langage, de la faisabilité de l'action et de la cohérence temporelle, allant au-delà des simples seuils de confiance.
4. Mise à jour par Projection de Goulot d'Étranglement : Une stratégie de mise à jour de l'enseignant qui filtre le feedback de l'étudiant à travers des sous-espaces stables, empêchant la contamination par le bruit et améliorant la qualité de la boucle d'auto-distillation.
5. Validation Empirique : Des expériences exhaustives démontrant que SemiVLA surpasse l'ajustement fin supervisé et les bases de comparaison SSL existantes sur plusieurs benchmarks.

4. Résultats Expérimentaux

Les auteurs ont évalué SemiVLA en utilisant OpenVLA comme backbone sur les benchmarks LIBERO et CALVIN, avec seulement 10 % des trajectoires contenant des étiquettes d'action.

• Performance sur LIBERO :

  • SemiVLA + Selective LoRA a atteint un taux de succès moyen de 89,0 %.
  • Cela surpasse la meilleure base supervisée (OpenVLA + LoRA, 81,0 %) de 8,0 points de pourcentage.
  • Il surpasse également de manière significative le zero-shot OpenVLA (69,8 %) de 19,2 points.
  • Les gains sont particulièrement marqués sur LIBERO-Long (tâches à long horizon), où SemiVLA + Selective LoRA atteint 82,3 % contre 70,3 % pour le LoRA supervisé.

• Généralisation Inter-Benchmark (CALVIN) :

  • SemiVLA + Selective LoRA a réalisé en moyenne 2,58 tâches complétées, contre 1,86 pour le Selective LoRA supervisé et 1,32 pour le zero-shot.
  • Cela indique que la méthode améliore le transfert vers différents benchmarks de manipulation à long horizon, et pas seulement sur la distribution d'entraînement.

• Adaptation Few-Shot :

  • Dans les configurations 1-shot et 5-shot, SemiVLA surpasse systématiquement ses homologues supervisés, démontrant sa capacité à compenser l'extrême rareté des étiquettes d'action grâce aux données non étiquetées.

• Efficacité :

  • SemiVLA obtient ces gains avec des méthodes d'efficacité de paramètres (ex. : Selective LoRA avec seulement 31,6 millions de paramètres entraînables).
  • Il ne nécessite pas d'ajustement de l'ensemble des paramètres (7,0 milliards de paramètres) pour atteindre des résultats de pointe dans le régime à étiquettes limitées.

• Études d'Ablation :

  • Le retrait du contrôleur de fiabilité ou de la mise à jour par goulot d'étranglement réduit considérablement les performances, confirmant que la qualité des pseudo-actions et la méthode d'évolution de l'enseignant sont toutes deux critiques.
  • Le contrôleur de fiabilité complet (VL + Action + Temporel) était plus strict (acceptant environ 36,8 % des pseudo-actions) mais a produit des taux de succès plus élevés que les méthodes basées uniquement sur la confiance, prouvant que la qualité plutôt que la quantité est essentielle pour le VLA.

5. Signification et Revendications

L'article affirme que SemiVLA fournit un mécanisme d'adaptation semi-supervisé général qui convertit efficacement les trajectoires vision-langage sans étiquette d'action en une supervision fiable.

• Efficacité des Données : Il démontre que des politiques robotiques de haute performance peuvent être adaptées avec beaucoup moins de démonstrations étiquetées par des actions en exploitant la disponibilité abondante de données visuelles-linguistiques non étiquetées.
• Au-delà de la Confiance : Le travail soutient que les métriques de confiance SSL standard sont insuffisantes pour le contrôle incarné ; au lieu de cela, la fiabilité doit être évaluée par la faisabilité physique, l'ancrage visuel et la dynamique temporelle.
• Robustesse : La méthode améliore la généralisation à des tâches inédites et aux perturbations environnementales (éclairage, distracteurs), suggérant que le contrôleur de fiabilité aide le modèle à apprendre des correspondances vision-langage-action stables plutôt qu'à mémoriser des démonstrations spécifiques.
• Praticité : En n'ajoutant aucun coût d'inférence et en travaant avec un ajustement fin efficace en paramètres, l'approche est présentée comme une solution pratique pour déployer des modèles VLA dans des contextes réels où la collecte d'étiquettes d'action est un goulot d'étranglement.