Résumé technique : Apprentissage de structure en ligne et planification pour la navigation de robots autonomes via l'inférence active

Énoncé du problème

Les robots mobiles autonomes opérant dans des environnements inconnus sont confrontés au défi de localiser, cartographier et planifier simultanément sans dépendre de cartes prédéfinies, d'un entraînement hors ligne intensif ou d'une supervision humaine. Les approches existantes souffrent souvent de compromis spécifiques :

• Les systèmes de SLAM métrique (ex. ORB-SLAM3, FAST-LIO2) fournissent une estimation précise de la pose mais sont sujets à la dérive dans les environnements vastes ou non structurés et manquent de politiques d'exploration intrinsèques.
• Les planificateurs de trajectoire engendrent souvent des coûts de calcul élevés ou reposent sur des heuristiques gourmandes (ex. l'exploration basée sur les frontières) qui produisent des retours en arrière redondants.
• Les approches basées sur l'apprentissage (ex. Neural-SLAM, ViKiNG, NoMaD) améliorent la flexibilité mais nécessitent généralement une collecte de données hors ligne extensive, un pré-entraînement ou des démonstrations téléopérées dans l'environnement cible, ce qui limite l'adaptabilité à des contextes véritablement nouveaux.

Le défi central abordé est la création d'un système unifié capable d'effectuer un apprentissage de structure et une planification en ligne de manière entièrement auto-supervisée, résilient au bruit des capteurs, à la dérive odométrique et aux changements environnementaux, sans nécessiter de pré-entraînement ou de priors conçus à la main.

Méthodologie : Le cadre AIMAPP

Les auteurs proposent AIMAPP (Active Inference MAPping and Planning), un cadre qui unifie la cartographie, la localisation et la prise de décision au sein d'un modèle génératif unique basé sur le cadre de l'Inférence Active (AIF).

1. Représentation de l'état et cartographie cognitive

AIMAPP maintient une carte topologique parcimonieuse où l'état latent est décomposé en deux composantes :

• $s_t$ (État discret) : Un indice topologique représentant un nœud distinct dans le graphe (un « lieu »).
• $p_t$ (Position métrique continue) : Des coordonnées métriques 2D locales utilisées pour le raisonnement spatial.
  Cette décomposition reflète les systèmes de navigation biologiques (séparant l'identité des cellules de lieu de l'intégration de chemin par les cellules de grille). La carte croît de manière adaptative ; de nouveaux nœuds sont créés lorsque les prédictions de mouvement dépassent le « rayon d'influence » des états existants, déterminé par des comparaisons de l'énergie libre. Les observations sont stockées sous forme d'images panoramiques à 360° (ou de données de capteurs abstraites) associées aux nœuds.

2. Modèle génératif et inférence

Le système fonctionne comme un processus de décision markovien partiellement observable (POMDP). Le modèle génératif comprend :

• Transitions d'état ($B_s$) : Probabilité de passer entre des états topologiques.
• Transitions de position ($B_p$) : Probabilité de se déplacer entre des positions métriques.
• Vraisemblances d'observation ($A_o$) : Probabilité d'observer un panorama spécifique à un état donné.
• Vraisemblances de position ($A_p$) : Probabilité d'occuper une position métrique à un état donné.

La localisation est pilotée par la croyance. L'agent infère son état actuel en minimisant l'Énergie Libre Variationnelle (VFE), en combinant la prédiction de mouvement avec les preuves sensorielles. Cela permet au système de rester robuste à la dérive odométrique ; si une dérive se produit, l'agent donne la priorité à la cohérence entre les résultats prédits et observés, se relocalisant en cherchant des observations familières plutôt qu'en se fiant uniquement à l'odométrie brute.

3. Planification et prise de décision

La sélection des actions est pilotée par la minimisation de l'Énergie Libre Attendue (EFE) ($G$). Contraấtement de l'apprentissage par renforcement traditionnel où l'exploration et l'exploitation sont des objectifs distincts, AIMAPP tire les deux du même terme d'EFE :

• Valeur épistémique (Exploration) : Gain d'information attendu pour réduire l'incertitude concernant l'environnement (états et paramètres).
• Valeur pragmatique (Exploitation) : Alignement attendu avec les observations préférées (ex. atteindre une cible ou éviter des collisions).

Les politiques candidates sont évaluées à l'aide d'une recherche arborescente de Monte Carlo (MCTS) pour gérer la complexité combinatoire des espaces d'action. L'EFE pour une politique $\pi$ est décomposée en termes représentant le gain d'information sur les états/paramètres, l'évitement de collision attendu, et des termes d'utilité pour les observations, les positions et les états.

4. Apprentissage en ligne et expansion de la carte

Le système met à jour ses paramètres internes en continu. L'expansion de la carte est déclenchée lorsqu'un « modèle étendu » (incorporant un nouvel état) produit une énergie libre plus faible ($\Delta F < 0$) par rapport au modèle actuel. Les modèles de transition ($B_s$) et les vraisemblances d'observation ($A_o$) sont mis à jour à l'aide de pseudo-comptages de Dirichlet basés sur les transitions expérimentées versus prédites, permettant à l'agent d'affiner son modèle du monde à partir du feedback sensorimoteur sans pré-entraînement.

Contributions clés

1. Cadre d'Inférence Active Unifié : AIMAPP intègre la cartographie, la localisation et la planification dans un seul modèle génératif, éliminant le besoin de modules séparés ou de compromis arbitrés à la main entre l'exploration et l'atteinte d'objectifs.
2. Apprentissage en ligne entièrement auto-supervisé : L'agent construit et affine sa carte topologique dès la première interaction, sans pré-entraînement, collecte de données hors ligne ou démonstrations téléopérées.
3. Robustesse à la dérive et au bruit : En privilégiant la cohérence des croyances sur l'odométrie brute, le système tolère la dérive des capteurs et opère dans des environnements présentant un masquage perceptuel (aliasing) et des changements modérés.
4. Modularité et agnosticisme : L'architecture est agnostique aux capteurs (supportant RGB, profondeur, LiDAR) et à la plateforme (compatible ROS), séparant la couche cognitive de la perception et du contrôle du mouvement.
5. Évaluation évolutive : Le système est évalué dans des environnements allant jusqu'à 325 m² (réels et simulés), une échelle auparavant non traitée par les systèmes de navigation par inférence active.

Résultats expérimentaux

Les auteurs ont évalué AIMAPP par rapport à des lignes de base de pointe (Frontier-based, GBPlanner, FAEL) et à la téléopération humaine dans quatre environnements simulés et trois environnements réels.

• Efficacité de l'exploration : Dans les environnements simulés, AIMAPP a atteint une efficacité de couverture comparable ou supérieure aux méthodes de pointe (FAEL, GBPlanner). Plus précisément, il a atteint 90,3 % de l'efficacité de couverture de la téléopération humaine en moyenne. Dans les essais en monde réel, AIMAPP a systématiquement surpassé l'exploration basée sur les frontières en termes de vitesse de couverture et de taux de réussite.
• Robustesse : AIMAPP a fonctionné avec succès dans des conditions où les bases fondées sur l'odométrie (ex. Frontiers avec Nav2) ont échoué, telles que des parkings sablonneux et des sols moquettés avec une dérive significative. Il a démontré une résilience face aux obstacles déplacés en simulation et au bruit des capteurs en conditions réelles.
• Atteinte d'objectifs : Le système a atteint une performance d'atteinte d'objectif de 74 % par rapport à la performance de la téléopération humaine dans tous les environnements testés, sans réglage spécifique à la tâche.
• Taux de réussite : AIMAPP a obtenu un taux de réussite de 79 % pour obtenir cinq essais d'exploration réussis par environnement, surpassant les méthodes Frontier (52 %) et FAEL (48 %), bien qu'étant légèrement en dessous de GBPlanner (87 %). Les échecs étaient principalement attribués à des chevauchements de cartes irrécupérables dus à une dérive sévère dans de grandes zones inexplorées ou à des collisions physiques avec des obstacles non détectés.

Signification et affirmations

L'article affirme qu'AIMAPP démontre que l'Inférence Active, issue de la théorie des neurosciences computationnelles, peut être adaptée avec succès en une stratégie de navigation modulaire et robuste pour de vrais robots. La signification réside dans le fait de traiter la navigation comme un test d'hypothèse : les prédictions sur les états futurs sont générées, évaluées par l'action, et révisées sur la base de la « surprise » (erreur de prédiction).

Les auteurs soulignent qu'AIMAPP offre une solution modulaire et auto-supervisée pour la navigation évolutive dans des contextes non structurés. En unifiant l'exploration et l'atteinte d'objectifs au sein d'un seul objectif (minimisation de l'Énergie Libre Attendue), le système évite le besoin de réglages spécifiques à la tâche ou de connaissances préexistantes de l'environnement. Ce travail représente une étape vers des agents autonomes capables de découvrir la structure de leur environnement dès la première interaction, opérant efficacement dans des espaces dynamiques, non structurés et inconnus où les modèles de cartographie métrique traditionnels ou les modèles d'apprentissage pré-entraînés peinent à fonctionner.