Résumé technique : ASH (Agents qui s'affinent eux-mêmes par apprentissage incarné)

Énoncé du problème

Les tâches incarnées à long terme restent un défi fondamental en intelligence artificielle. Les méthodes actuelles pour entraîner des agents dans ces environnements font face à des problèmes de scalabilité importants :

• Clonage comportemental (BC) : S'appuie sur des ensembles de données massifs, de haute qualité et étiquetés par des actions. L'assemblage de telles données nécessite une annotation humaine étendue et une connaissance du domaine. De plus, les politiques BC standard ne conditionnent souvent que sur une mémoire à court terme, échouant à capturer les dépendances à travers des séquences s'étendant sur plusieurs heures.
• Apprentissage par renforcement (RL) : Bien que performant dans des contextes complexes, le RL dépend généralement de fonctions de récompense denses et conçues à la main. Concevoir des récompenses pour des tâches ouvertes sur plusieurs heures avec des sous-objectifs diversifiés est fragile, laborieux et souvent intraitable pour les longues séquences.
• Modèles de fondation : Les approches zero-shot hallucinent souvent ou échouent à s'adapter à de nouveaux contextes visuels et mécaniques sans accès à un état privilégié ou à un étayage spécifique.

Le problème central est l'absence d'une méthode évolutive permettant aux agents d'apprendre des politiques à long terme à partir de vidéos internet non étiquetées et bruyantes, sans mise en forme de récompense humaine ni annotation d'experts.

Méthodologie : ASH

Les auteurs introduisent ASH, un système agentique qui emploie une boucle d'auto-amélioration dynamique pour apprendre à partir de vidéos internet non étiquetées. ASH opère sans mise en forme de récompense, s'appuyant plutôt sur un mécanisme de bootstrap déclenché lorsque l'agent est « bloqué ».

Architecture centrale

ASH utilise un système à double mémoire pour gérer les dépendances à long terme :

1. Mémoire à court terme : Les $w_s$ dernières paires observation-action (32 secondes de contexte) pour le contrôle réactif.
2. Mémoire à long terme : Un tampon des $w_l$ derniers « moments clés » (observations saillantes) qui fournissent un contexte pour les décisions prises plusieurs heures auparavant.

La politique $\pi$ est un transformateur causal qui se conditionne sur les deux types de mémoire pour prédire les actions.

La boucle d'auto-amélioration

ASH suit un cycle en trois étapes (Algorithme 1) :

1. Inférence :

   • $N$ agents interagissent avec l'environnement sous une politique partagée $\pi$.
   • Un classificateur de moments clés $K$ (basé sur le clustering HDBSCAN) identifie les observations saillantes en temps réel.
   • Si un agent rencontre un nouveau moment clé, il est ajouté à la mémoire à long terme de l'agent et un « minuteur de blocage » est réinitialisé.
   • Si un agent échoue à trouver un nouveau moment clé pendant $\Delta$ étapes (indiquant qu'il est bloqué), le système arrête l'inférence et initie le bootstrap.

2. Récupération :

   • Le système encode la trajectoire de l'agent bloqué en utilisant DINOv2.
   • Il récupère les $k$ segments vidéo les plus visuellement similaires d'un corpus internet à grande échelle (YouTube).
   • Un algorithme d'appariement glouton un-à-un note les fenêtres temporelles pour assurer une récupération de haute qualité des segments de jeu pertinents.

3. Bootstrap (Mise à jour de la politique) :

   • Mise à jour du Modèle de Dynamique Inverse (IDM) : L'IDM est mis à jour en utilisant les propres trajectoires de l'agent (paires observation-action) pour améliorer sa capacité à prédire les actions à partir des observations.
   • Découverte de moments clés : Le classificateur $K$ est mis à jour en utilisant les nouvelles vidéos internet récupérées pour identifier de nouveaux motifs récurrents.
   • Entraînement de la politique : Les vidéos internet récupérées (qui ne contiennent que des observations) sont étiquetées avec des pseudo-actions générées par l'IDM mis à jour. Ces trajectoires étiquetées, combinées à la mémoire à long terme construite par $K$, forment un nouvel ensemble de données d'entraînement $D_\pi$. La politique $\pi$ est ensuite entraînée sur ces données par apprentissage supervisé (perte d'entropie croisée).

Contributions clés

1. Bootstrap dynamique : Les auteurs proposent un mécanisme où les agents mettent à jour leurs politiques et leurs modèles de récupération de manière autonome uniquement lorsqu'ils rencontrent des obstacles, permettant une adaptation continue dans des environnements ouverts.
2. Mémoire à long terme à partir de vidéos internet : Au lieu de s'appuyer sur une mémoire manuellement curated ou des fenêtres de contexte fixes, ASH découvre et conserve de manière autonome des « moments clés » à partir de données internet à grande échelle, permettant une planification sur plusieurs heures.
3. Recette d'apprentissage incarné évolutive : Grâce à l'expérimentation, l'article démontre que la combinaison du bootstrap dynamique avec une mémoire à long terme crée une approche évolutive capable de contrôle moteur fin et d'adaptation à de nouveaux contextes visuels sans annotation humaine.

Résultats expérimentaux

ASH a été évalué sur deux environnements complémentaires à long terme :

• Pokémon Emerald : Un RPG au tour par tour nécessitant des combats stratégiques et une exploration ouverte.
• The Legend of Zelda : The Minish Cap : Un jeu d'action-aventure en temps réel nécessitant la résolution d'énigmes et un contrôle moteur fin.

Métriques de performance :

• Performance d'ASH : Après une évaluation de 8 heures, ASH a atteint une moyenne de 11,2/12 jalons dans Pokémon Emerald et 9,9/12 dans Legend of Zelda.
• Performance des références : Les références les plus solides (Clonage comportemental, Augmentation par récupération et Modèles de fondation Zero-Shot) ont plafonné beaucoup plus tôt, atteignant des moyennes de 6,5/12 et 6,0/12 jalons, respectivement.
• Adaptabilité : Alors que les références échouaient face à de nouvelles dynamiques (par exemple, entrer dans le château de Zelda ou l'interface de combat Pokémon), ASH s'est adapté avec succès. Par exemple, le checkpoint initial d'ASH ne pouvait pas combattre ; après le bootstrap, il a atteint un taux de victoire de 87 % dans les combats Pokémon.
• Ablation des composants : La suppression de la mémoire à long terme ou du bootstrap dynamique a entraîné des baisses de performance claires, confirmant que les deux composants sont essentiels pour une progression soutenue.
• Qualité de la récupération : La méthode de récupération d'ASH a atteint un taux de pertinence de 94 % pour les données d'entraînement, surpassant nettement la récupération aléatoire (8 %) et d'autres références de similarité.
• Oubli catastrophique : Les tests de lecture hors ligne ont montré qu'ASH n'a pas présenté d'oubli catastrophique ; la politique finale pouvait rejouer l'environnement depuis le début plus rapidement que l'agent d'apprentissage en ligne.

Signification et affirmations

L'article affirme qu'ASH démontre une recette évolutive pour l'apprentissage incarné à long terme. En exploitant des vidéos internet non étiquetées et une boucle d'auto-amélioration, ASH surmonte les limites des corpus d'entraînement statiques et des récompenses conçues à la main.

Les auteurs affirment que cette approche permet aux agents de :

• Maintenir une progression sur des horizons de plusieurs heures là où les politiques fixes échouent.
• Acquérir de nouvelles compétences (par exemple, combattre, se battre à l'épée) de manière autonome grâce à la récupération et à l'imitation.
• S'adapter aux changements de distribution et aux nouveaux contextes visuels sans intervention humaine.

Ce travail suggère que les agents auto-améliorants, qui bootstrapent à partir de leurs propres échecs et de la connaissance collective d'internet, offrent une voie viable vers une IA ouverte et à long terme qui ne dépend pas de l'échelle impraticable des données étiquetées par des humains ou de l'ingénierie de récompense. Les auteurs restent modestes, notant des limitations telles que la dépendance à la disponibilité de vidéos internet utiles et la difficulté d'inférer des actions qui ne sont pas visuellement distinctes.