Résumé Technique : HALO – Politique Visuomotrice Sensible à l'Histoire pour l'Apprentissage par Imitation Robotique à Longue Horizon

1. Énoncé du Problème

Les robots polyvalents opérant dans des environnements partiellement observables (par exemple, les domiciles) doivent exécuter des tâches de manipulation à long horizon qui nécessitent de se rappeler des informations qui ne sont plus présentes dans les entrées sensorielles actuelles. Les exemples incluent le souvenir de l'emplacement d'objets, le suivi de décomptes numériques, le rappel du moment d'un événement ou la compréhension de changements relationnels entre des objets.

Les politiques visuomotrices réactives standards échouent dans ces scénarios car elles manquent de mémoire. Bien que les approches existantes tentent de remédier à cela via des représentations mémorielles conçues à la main, des règles de récupération spécifiques à une modalité ou une compression apprise (par exemple, des résumés d'états latents), elles peinent souvent à généraliser. Elles reposent sur des hypothèses spécifiques à une tâche qui limitent leur extensibilité à travers diverses tâches de manipulation.

L'application directe de la récupération de mémoire basée sur l'attention (par exemple, les Transformers) à l'apprentissage par imitation hors ligne introduit deux défis fondamentaux :

1. Corrélations Spacieuses : La politique peut apprendre à porter attention à des observations passées qui sont corrélées au comportement de l'expert dans les données d'entraînement mais qui ne sont pas causalement pertinentes pour l'exécution de la tâche, entraînant une mauvaise généralisation lors du test.
2. Accumulation d'Erreurs et Dérive du Modèle : En exécution en boucle fermée, de petites erreurs de prédiction se cumulent au fil du temps. Le fait de se conditionner sur de grandes quantités d'informations historiques bruitées peut amplifier ces erreurs, menant à des échecs en cascade et à une dérive du modèle sur de longs horizons.

2. Méthodologie : HALO

Les auteurs proposent HALO (Politique visuomotrice sensible à l'histoire pour l'apprentissage par imitation robotique à long horizon), un cadre conçu pour permettre l'exécution de bout en bout de tâches s'étendant jusqu'à huit minutes en récupérant les informations pertinentes de l'historique. L'idée centrale est que, bien que l'attention fournisse un mécanisme de récupération général, elle doit être guidée vers les informations pertinentes à la tâche et contrainte pour éviter de se conditionner sur un historique non pertinent ou bruité.

A. Aperçu de l'Architecture

HALO paramètre une politique visuomotrice $\pi_\theta(a_t | \tau_t, l)$ avec trois composantes principales :

1. Encodeurs : Des encodeurs spécifiques aux modalités ($g_{obs}$, $g_{act}$) projettent des entrées hétérogènes (RGB, proprioception, actions passées) dans un espace latent commun.
2. Backbone de la Politique : Un backbone basé sur un Transformer ($f_\theta$) effectue la récupération de la mémoire sur l'historique encodé $M_t$ et traite l'information.
3. Têtes de Prédiction : Une tête d'action spécifique à la tâche ($h_{act}$) prédit les commandes de contrôle de bas niveau, et une tête de prédiction de texte ($h_{text}$) fournit une supervision auxiliaire.

B. Mécanismes Clés

1. Distillation des A Priori VLM via le Question-Réponse Vidéo (VQA)

Pour atténuer les corrélations spécieuses, HALO exploite les modèles de langage-vision (VLM) pour distiller des a priori sur quelles informations historiques sont pertinentes pour la tâche.

• Mécanisme : La politique est co-entraînée pour imiter à la fois les actions de l'expert et répondre à des questions sur l'historique de la trajectoire.
• Génération de VQA : Un pipeline multi-étapes génère des paires VQA de haute qualité à partir de trajectoires à long horizon. Cela implique :
  1. Résumé Trajectoire-vers-Texte : Combinaison de détecteurs d'objets et de VLMs pour créer des descriptions textuelles des éléments de la scène et des activités.
  2. Synthèse de Questions : Un LLM génère des questions sondant des besoins de mémoire spécifiques (par exemple, l'emplacement des objets, l'ordre des événements) liés à des images spécifiques.
  3. Vérification : Un vérificateur LLM filtre les paires incorrectes ou faiblement pertinentes.
• Objectif d'Entraînement : La politique minimise une perte conjointe : $L(\theta) = L_{IL}(\theta) + \lambda L_{VQA}(\theta)$. L'objectif VQA force le module de récupération à porter attention aux parties spécifiques de l'historique où les événements pertinents à la tâche se sont produits, fournissant une supervision directe sur ce qu'il faut récupérer.

2. Sparsification de l'Attention Top-k

Pour réduire l'impact de l'accumulation d'erreurs lors du contrôle en boucle fermée, HALO restreint la politique à se conditionner uniquement sur un sous-ensemble épars d'informations stockées.

• Mécanisme : Au lieu d'être attentive à tout l'historique, la politique calcule les similitudes requête-clé et ne sélectionne que les $k$ entrées de mémoire les plus pertinentes.
• Entraînement : Un estimateur "straight-through" est utilisé pour gérer l'opération top-k non différentiable. Les gradients renforcent la sélection des entrées qui améliorent la prédiction d'action ou la précision VQA, tout en pondérant moins les entrées non pertinentes.
• Bénéfice : Cela limite l'influence des informations bruitées, réduisant la dérive du modèle et atténuant les échecs en cascade.

3. Contributions Clés

• Récupération de Mémoire Générale : Introduit un mécanisme de récupération de mémoire appris et de bout en bout qui évite les hypothèses spécifiques à une tâche ou les règles conçues à la main.
• Récupération Guidée par VQA : Propose l'utilisation de la supervision par Question-Réponse Vidéo générée automatiquement pour orienter l'attention vers l'historique pertinent, transférant ainsi efficacement les a priori des VLM à la politique visuomotrice.
• Attention Sparse pour la Robustesse : Démontre que la sparsification top-k est une stratégie efficace pour réduire la dérive du modèle lors du contrôle en boucle fermée sur de longs horizons.
• Évaluation Complète : Valide l'approche sur le benchmark REMEMBENCH et cinq tâches du monde réel sur deux plateformes robotiques (manipulateur à base fixe et mobile).

4. Résultats Expérimentaux

Simulation (REMEMBENCH)

Évalué sur des tâches nécessitant une mémoire spatiale, relationnelle, numérique et temporelle :

• Performance Globale : HALO a atteint un taux de succès moyen de 41%, surpassant le Transformer Standard (22%), SAM2Act++ (20%), ReMemBer (18%) et les Caractéristiques Conçues à la Main (29%).
• Études d'Ablation :
  • Le retrait de la supervision VQA a réduit le succès moyen de 10% (à 31%), soulignant l'importance des a priori VLM pour identifier l'historique pertinent.
  • Le retrait de la sparsification top-k (utilisation de l'attention complète) a réduit la performance de 9%, confirmant son rôle dans la réduction de la dérive.
  • Le co-entraînement de la VQA et de la prédiction d'action a surpassé une approche de pré-entraînement puis de fine-tuning de 20% (64% contre 44%), suggérant que le co-entraînement est crucial pour façonner la récupération efficacement.
• Comparaisons : HALO a surpassé les autres méthodes de sparsification (fenêtre, sautée, hiérarchique, attention à porte) et les modèles de mémoire non associatifs (LSTM, Mamba, Transformer-XL).

Évaluation dans le Monde Réel

Évalué sur cinq tâches réelles (incluant la collaboration humain-robot) :

• HALO a atteint un taux de succès moyen de 55%, contre 3% pour la ligne de base du Transformer Standard.
• Des améliorations notables ont été observées dans des tâches complexes à long horizon, comme chauffer une cuisinière pendant jusqu'à huit minutes et stocker plusieurs objets.
• L'analyse de la tâche "Récupérer l'Objet" a montré que HALO a réduit les échecs de manipulation de 8% et les échecs de mémoire de 25% par rapport à la ligne de base.

5. Signification et Revendications

L'article affirme que HALO fournit une solution générale pour le contrôle à long horizon dans des environnements partiellement observables en apprenant à récupérer directement les informations pertinentes de la tâche à partir des données.

• Polyvalence : Contra-rément aux méthodes antérieures qui reposent sur des représentations fixes (par exemple, centrées sur les objets) ou des résumés textuels, HALO s'adapte à divers types d'informations (spatiales, numériques, temporelles) sans ingénierie manuelle.
• Nécessité de l'Ancrage : Les auteurs soulignent que si les a priori VLM sont utiles pour sélectionner l'information pertinente, ils sont insuffisants à eux seuls pour le contrôle de bas niveau (atteignant seulement 18% de succès sans ancrage par l'action). La combinaison de la récupération guidée par VLM et de l'imitation ancrée par l'action est critique.
• Robustesse : Le travail démontre que la récupération sélective via la sparsification top-k est une stratégie pratique et efficace pour atténuer les erreurs cumulées inhérentes à l'exécution en boucle fermée sur de longs horizons.

Les auteurs concluent que leur approche permet un contrôle fiable sur des horizons temporels étendus (jusqu'à huit minutes) en équilibrant le besoin d'un contexte historique riche avec la nécessité de filtrer le bruit et les corrélations non pertinentes. Des travaux futurs sont proposés pour explorer les stratégies de requête active et l'apprentissage de la mémoire inter-épisodique.