Résumé Technique : Rester Curieux

Énoncé du Problème

L'exploration est une condition préalable fondamentale pour apprendre des comportements utiles dans des tâches à récompense clairsemée et à long horizon au sein d'environnements 3D. Bien que l'apprentissage par renforcement (RL) guidé par la curiosité offre un mécanisme pour générer des récompenses intrinsèques basées sur les erreurs de prédiction, le passage à l'échelle de cette approche vers des environnements complexes et photoréalistes s'est avéré difficile. Les approches existantes souffrent souvent d'une exploration « amnésique », où les agents se retrouvent piégés dans des boucles locales. Cela se produit car :

1. Absence de contexte épisodique : Sans historique des observations passées, les agents revisitent répétitivement les mêmes endroits, recevant des récompenses de « nouveauté » fraîches pour des états qu'ils ont déjà oubliés.
2. Absence de persistance spatiale : Les modèles du monde appris standards (par exemple, les modules de dynamique inverse/forward) agissent souvent comme des priors statistiques sur l'expérience plutôt que comme des enregistrements persistants. Par conséquent, ils ne parviennent pas à maintenir la cohérence de la scène, générant des erreurs de prédiction spurious dans les zones revisitées et fournissant de faux signaux de nouveauté.

Le défi central consiste à permettre aux agents guidés par la curiosité de naviguer dans des scènes 3D photoréalistes en utilisant uniquement des entrées visuelles (RGB) lors du déploiement, sans dépendre de cartes géométriques explicites ou de capteurs de profondeur, tout en évitant les comportements répétitifs.

Méthodologie

L'article propose un cadre de bout en bout, Rester Curieux, qui couple un modèle du monde persistant avec un agent épisodique.

1. Modèle Forward 3D Persistant (Modèle du Monde)

Pour fournir un signal de curiosité fiable, les auteurs utilisent un modèle de Splatting Gaussien 3D (3DGS) en ligne comme proxy pour le modèle forward du monde.

• Mécanisme : Le modèle ingère un flux d'observations privilégiées lors de l'entraînement (RGB, profondeur, poses de caméra) pour construire une représentation 3D persistante ($G_t$) de la scène.
• Récompense de Curiosité : À chaque étape, le modèle génère une prédiction de la prochaine observation ($\hat{o}_{t+1}$) basée sur l'état actuel du 3DGS et l'action de l'agent. La récompense de curiosité ($r^{cur}_t$) est dérivée de l'erreur de prédiction visuelle entre la vue rendue et l'observation réelle ($o_{t+1}$).
• Persistance : Contrairement aux modèles forward neuronaux standards, le 3DGS maintient un enregistrement continu et mis à jour de l'environnement. Cela garantit que les erreurs de prédiction ne proviennent que de régions véritablement nouvelles, et non du fait que le modèle « oublie » les états précédemment visités.
• Formulation de la Récompense : L'erreur est filtrée par un filtre passe-bas et sous-échantillonnée pour se concentrer sur la nouveauté structurelle significative plutôt que sur le bruit haute fréquence. Une récompense binaire est émise : $r_{new}$ pour les vues non expliquées et une petite pénalité $r_{old}$ pour les vues déjà expliquées par le modèle.

2. Architecture de l'Agent Épisodique

L'agent est une politique basée sur un transformateur qui opère purement sur une séquence d'observations RGB et d'actions, maintenant une mémoire épisodique interne sans cartographie géométrique explicite.

• Traitement des Entrées : Chaque trame RGB d'un pas de temps est appariée à l'action précédente (encodée comme une image de rayon de Plücker). Ces données sont traitées par un encodeur d'image et enrichies de caractéristiques DINOv2.
• Mécanisme de Mémoire : L'agent emploie une architecture d'attention hybride :
  • Attention Causale à Fenêtre Glissante : Traite efficacement le contexte temporel local.
  • Mémoire d'Attention Globale Linéaire : Inspirée des architectures TTT et LoGeR, ce module maintient un état caché en cours d'exécution ($h_t$) qui permet à l'information de se propager sur l'ensemble de l'épisode, permettant une planification à long horizon (par exemple, faire marche arrière pour trouver de nouvelles branches).
• Entraînement : La politique est entraînée via PPO en utilisant la récompense de curiosité comme seul signal. Pour éviter l'effondrement vers un comportement répétitif lorsque les récompenses deviennent clairsemées, le déploiement d'entraînement inclut un mélange de la politique apprise et d'une politique aléatoire uniforme (planifié de 20 % à 0 % au cours de l'entraînement), ainsi qu'une régularisation par entropie.

3. Déploiement

Au moment du test, l'agent agit uniquement sur le flux de trames RGB. Le modèle forward 3DGS n'est pas utilisé lors du déploiement ; l'agent repose entièrement sur sa représentation interne apprise du contexte épisodique pour naviguer.

Contributions Clés

1. Double Exigence pour la Curiosité : L'article démontre que la curiosité efficace dans des environnements 3D photoréalistes nécessite à la fois un modèle du monde persistant (pour éviter la fausse nouveauté provenant des états oubliés) et un agent épisodique (pour planifier vers des régions nouvelles en utilisant le contexte historique).
2. Politique de Bout en Bout Uniquement RGB : L'agent proposé ne nécessite aucune carte géométrique explicite, aucun capteur de profondeur ni aucun module de localisation lors du déploiement. Il apprend à naviguer dans des scènes 3D complexes purement à partir d'entrées visuelles.
3. 3DGS Persistant comme Proxy : Le travail utilise le Splatting Gaussien 3D en ligne pour fournir la persistance spatiale nécessaire aux signaux de curiosité, répondant aux limitations des modèles forward appris standards qui souffrent d'oubli spatial.
4. Comportements Émergents à Long Horizon : L'agent apprend à traverser des régions déjà vues (faire marche arrière) pour découvrir des « branches » invisibles de l'environnement, un comportement généralement difficile à apprendre dans des contextes à récompense clairsemée sans sélection hiérarchique d'objectifs ou apprentissage par imitation.

Résultats Expérimentaux

L'agent a été entraîné purement sur la curiosité en utilisant l'ensemble de données Habitat Matterport 3D (HM3D).

• Performance d'Exploration : Sur les ensembles de données HM3D et Gibson, l'agent surpasse les références de cartographie active basées sur le RL de l'état de l'art (ANS, OccAnt) en termes de complétude de la scène 3D et de distance moyenne aux points non observés. Il atteint une couverture plus élevée plus rapidement tout en ne nécessitant que l'entrée RGB, alors que les références reposent souvent sur la profondeur de vérité terrain ou des cartes explicites.
• Études d'Ablation :
  • Modèle du Monde : Supprimer la persistance (en utilisant une mémoire à court terme ou un ICM standard) provoque l'effondrement de l'agent dans des boucles locales ou le fait rester bloqué.
  • Mémoire de l'Agent : Réduire la fenêtre de contexte de l'agent ou utiliser des RNN dégrade les performances. Une mémoire asymétrique (seul le critique ayant le contexte) performe moins bien qu'une mémoire épisodique complète, confirmant la nécessité pour la politique de retenir l'historique.
• Adaptation en Aval : L'agent pré-entraîné a été affiné pendant quelques épisodes sur des tâches en aval à récompense clairsemée :
  • Ramassage de Pommes : Il surpasse les agents entraînés à partir de zéro, en particulier dans les scénarios avec des récompenses très clairsemées (moins de pommes).
  • Navigation vers un Objectif Image : Il redirige avec succès ses capacités d'exploration générales pour atteindre des points de vue cibles spécifiques, surpassant les références entraînées à partir de zéro.
• Généralisation Zero-Shot : L'agent s'est généralisé à des mondes 3D générés par IA hors distribution (Hobbit World, Spaceship) sans entraînement supplémentaire, naviguant dans des couloirs et évitant les collisions malgré les différences dans les pipelines de rendu et l'esthétique.

Importance et Revendications

L'article affirme que le couplage d'un modèle persistant du monde avec un agent épisodique offre une voie pratique pour passer à l'échelle l'exploration guidée par la curiosité vers des environnements 3D complexes et photoréalistes.

• Revendications Modérées sur les Modèles du Monde : Les auteurs reconnaissent que leur utilisation du 3DGS est un proxy pour un modèle du monde « sans dynamique », confinant l'agent à des scènes statiques. Ils postulent que, à mesure que les modèles génératifs de vidéo conditionnés par l'action matures, ils pourraient éventuellement remplacer le 3DGS, à condition qu'ils puissent atteindre une persistance spatiale similaire et une mise à jour en ligne en boucle fermée.
• Perspective pour le Travail Futur : L'étude sert de guide pour les futurs modèles du monde, soulignant que la persistance spatiale et la capacité à mettre à jour continuellement les représentations internes sont strictement requises pour une motivation intrinsèque fiable.
• Généralisation : Le travail démontre que l'exploration guidée par la curiosité, lorsqu'elle est ancrée dans une mémoire persistante, peut produire des agents qui sont non seulement de efficaces explorateurs, mais aussi hautement adaptables à diverses tâches en aval sans besoin de cartographie explicite ou d'amorçage par apprentissage par imitation.