Résumé technique : Apprentissage adaptatif informé par les échecs (AFIL) pour les modèles Vision-Language-Action

1. Énoncé du problème

Les modèles Vision-Language-Action (VLA) sont devenus un paradigme évolutif pour la manipulation robotique, exploitant des représentations préentraînées vision-langage à grande échelle pour permettre une prise de décision incarnée. Cependant, les modèles VLA actuels souffrent d'une fragilité significative lors du déploiement. Cette limitation découle principalement de leur dépendance à un clonage comportemental basé uniquement sur le succès. Les données d'entraînement consistent généralement en des trajectoires téléopérées collectées dans des environnements confinés, qui manquent de signaux correctifs pour les états sous-optimaux ou inédits.

Par conséquent, les politiques entraînées uniquement sur des démonstrations réussies ont tendance à surajuster à des variétés comportementales étroites. Lorsque de minimes erreurs d'exécution se produisent, elles s'accumulent rapidement en des échecs irréversibles et hors distribution. Bien que des travaux récents suggèrent que l'apprentissage à partir de données d'échec peut améliorer la robustesse, les approches existantes font face à des limitations critiques :

• Conception manuelle : De nombreuses méthodes reposent sur des taxonomies d'échec conçues à la main (par exemple, définir des catégories spécifiques comme « glissement » ou « préhension incomplète »), ce qui nécessite une expertise du domaine et échoue à capturer la diversité stochastique des échecs réels.
• Dépendance humaine : Le rétablissement dépend souvent d'heuristiques spécifiques à la tâche ou d'une intervention humaine en temps réel, limitant l'évolutivité.
• Coût computationnel : L'application d'une guidance négative (similaire au « negative prompting » dans la génération d'images) aux actions robotiques séquentielles n'est pas triviale. Les méthodes conventionnelles nécessitent souvent des modèles séparés pour les distributions souhaitées et indésirables, ce qui est prohibitif sur le plan computationnel pour les systèmes VLA construits sur des architectures de grands modèles Vision-Language (VLM).

2. Méthodologie : Apprentissage adaptatif informé par les échecs (AFIL)

Les auteurs proposent l'Apprentissage adaptatif informé par les échecs (AFIL), un cadre de bout en bout conçu pour les politiques VLA basées sur la diffusion et l'appariement de flux. AFIL exploite les trajectoires d'échec comme guidance négative adaptative pour orienter la génération d'actions loin des zones propices aux échecs.

2.1 Architecture à double générateur d'actions (DAG)

AFIL introduit une architecture à Double Générateur d'Actions (DAG) qui apprend conjointement à partir de données de succès et d'échec tout en maintenant une efficacité paramétrique :

• Backbone partagé : Les deux générateurs partagent un backbone VLM préentraîné commun ($\Phi_{VLM}$) pour la perception visuelle et l'ancrage sémantique.
• Double têtes : L'architecture emploie deux générateurs d'actions distincts :
  1. Générateur de succès ($\mathcal{G}_{succ}$) : Entraîné exclusivement sur des trajectoires réussies pour modéliser la distribution $p_{succ}(a | o, \ell)$.
  2. Générateur d'échec ($\mathcal{G}_{fail}$) : Entraîné exclusivement sur des trajectoires d'échec pour modéliser la distribution $p_{fail}(a | o, \ell)$.
• Génération d'échec en ligne : Au lieu de s'appuyer sur une annotation manuelle, AFIL génère des trajectoires d'échec en ligne en déroulant un VLA préentraîné sous exécution conditionnée par la tâche. Ces trajectoires capturent naturellement des modes d'erreur émergents et cumulatifs.

2.2 Stratégie d'entraînement

Le modèle est entraîné sur un ensemble de données mixte $\mathcal{D} = \{\mathcal{D}_s, \mathcal{D}_f\}$.

• Pour les politiques basées sur la diffusion, chaque générateur prédit du bruit $\epsilon_\theta$ et minimise l'objectif de diffusion standard sur son ensemble de données respectif.
• Pour les politiques d'appariement de flux, les têtes prédisent des champs de vitesse pour transporter les échantillons du bruit vers la distribution de données.
• Crucialement, les objectifs d'entraînement génératifs sous-jacents restent inchangés ; l'innovation réside dans la structure d'entraînement conjointe et le mécanisme de guidance au moment de l'inférence.

2.3 Échantillonnage adaptatif informé par les échecs

À l'inférence, AFIL emploie un mécanisme de guidance dynamique inspiré du Negative Prompting dans la génération d'images à partir de texte. Plutôt que d'utiliser une échelle de guidance statique, AFIL module adaptativement la force de la guidance négative en fonction de la divergence entre les prédictions de succès et d'échec à chaque étape de diffusion.

Le score guidé $\epsilon^*_{FI}$ est calculé comme suit :
$$\epsilon^*_{FI} = \epsilon_{succ} - \hat{\lambda}_\eta(\mathbf{a}^\eta) (\epsilon_{fail} - \epsilon_{succ})$$
Où l'échelle de guidance adaptative $\hat{\lambda}_\eta$ est déterminée par la similarité cosinus entre les vecteurs de bruit prédits par les générateurs de succès et d'échec :
$$\hat{\lambda}_\eta(\mathbf{a}^\eta) = \alpha (1 - \cos(\epsilon_{succ}, \epsilon_{fail}))$$

Raison d'être de l'adaptativité :

• Stades précoces : Au début d'un épisode, les déroulements réussis et échoués partagent souvent des mouvements d'approche similaires. Ici, la similarité cosinus est élevée, ce qui entraîne une faible échelle de guidance pour éviter de supprimer des actions valides.
• Stades de divergence : À mesure que la trajectoire progresse, si un mode d'échec émerge (par exemple, faire tomber un objet), les prédictions divergent. La similarité cosinus diminue, augmentant l'échelle de guidance pour repousser activement la politique loin de la variété d'échec et l'orienter vers des comportements correctifs.

3. Contributions clés

L'article expose trois contributions principales :

1. Cadre AFIL : L'introduction de l'Apprentissage adaptatif informé par les échecs pour les VLA basés sur la diffusion et le flux, utilisant des déroulements d'échec générés en ligne comme une forme principée de guidance négative adaptative pour la génération d'actions séquentielles.
2. Architecture DAG-VLA : Une architecture novatrice qui apprend conjointement les comportements de succès et d'échec avec un backbone VLM partagé, permettant un apprentissage de politique conscient des échecs efficace avec une surcharge paramétrique limitée.
3. Validation empirique : La démonstration qu'AFIL améliore systématiquement les taux de succès et la robustesse à travers diverses tâches de manipulation intra-domaine et extra-domaine, y compris dans des configurations à court et à long horizon.

4. Résultats expérimentaux

Les auteurs ont évalué AFIL sur les benchmarks ManiSkill et LIBERO en utilisant un backbone $\pi0.5$.

4.1 Performance intra-domaine (ManiSkill)

• Tâches à court horizon : AFIL a amélioré significativement les taux de succès par rapport aux bases de référence basées uniquement sur le succès. Par exemple, pour « Soulever le pion verticalement », les taux de succès sont passés de 70,7 % (Succès uniquement) à 90,7 % (Adaptive-FIL).
• Tâches à long horizon : Les gains ont été les plus prononcés dans des tâches complexes à multiples étapes où les erreurs s'accumulent. Pour « Placer la boîte de conserve sur l'assiette et la banane sur l'assiette », les taux de succès sont passés de 39,3 % à 71,3 %, surpassant l'échantillonnage informé par l'échec statique de plus de 12 %.
• Ablation : L'étude a confirmé que la guidance adaptative ($\alpha=1.0$) surpasse la guidance statique, en particulier pour équilibrer la répulsion des modes d'échec sans supprimer les actions valides lors des stades précoces de la trajectoire.

4.2 Évaluation sur benchmark (LIBERO)

• AFIL a atteint des performances de pointe sur les quatre suites LIBERO (Spatial, Object, Goal et Long).
• Sur la suite LIBERO-10 (long horizon) difficile, la méthode a amélioré les performances de base $\pi0.5$ de 92,4 % à 95,8 %.
• Le taux de succès moyen sur toutes les suites est passé de 96,9 % à 98,4 %, démontrant que même des politiques préentraînées robustes bénéficient d'une guidance adaptative par l'échec.

4.3 Évaluation extra-domaine (OOD)

• Dans des scénarios impliquant des objets inédits, des géométries nouvelles et des environnements encombrés, la politique basée uniquement sur le succès a dégradé significativement (par exemple, 10,7 % pour le tri de fruits).
• AFIL a démontré une généralisation robuste, atteignant 64,0 % de succès pour le tri de fruits, surpassant significativement à la fois la base de référence « Succès uniquement » et la base « Succès + Correction d'échec » sans guidance adaptative.

5. Importance et affirmations

L'article affirme qu'AFIL offre un mécanisme évolutif et efficace pour la génération d'actions robotiques robustes sans nécessiter :

• De modes d'échec ou de taxonomies conçus à la main.
• D'heuristiques de rétablissement spécifiques à la tâche.
• De modèles VLA séparés et à grande échelle pour la détection d'échec.

En modélisant explicitement les distributions d'échec et en les utilisant comme guidance négative adaptative, AFIL adresse la fragilité inhérente à l'entraînement basé uniquement sur le succès. Les auteurs postulent que cette approche offre une direction prometteuse pour développer des politiques VLA capables de se généraliser à des environnements de déploiement réalistes où les erreurs, les décalages de distribution et la nécessité de récupération sont inévitables. La méthode est présentée comme agnostique au modèle, applicable à toute politique VLA basée sur la diffusion ou l'appariement de flux.