Résumé technique : BeliefDiffusion pour la navigation dans des environnements partiellement observables

Énoncé du problème

La navigation autonome dans des environnements partiellement observables (EPO) présente un défi fondamental : les agents doivent atteindre un objectif sans connaissance préalable de la carte globale, en s'appuyant uniquement sur des informations sensorielles locales limitées. Les approches traditionnelles reposent souvent sur des processus de décision markoviens partiellement observables (POMDP) pour maintenir un « état de croyance » représentant la distribution de probabilité sur les états possibles de l'environnement. Cependant, les méthodes existantes basées sur la croyance simplifient fréquemment ces distributions en estimations ponctuelles unimodales (par exemple, l'état le plus probable). Cette simplification ne parvient pas à capturer la multimodalité inhérente aux espaces de croyance, particulièrement dans les scénarios de mimétisme perceptuel (où différents emplacements se ressemblent) et les espaces d'états de haute dimension. Par conséquent, les agents peuvent prendre des décisions sous-optimales en pariant sur une seule supposition plutôt qu'en se protégeant contre plusieurs réalités plausibles.

Bien que les modèles génératifs offrent un moyen de modéliser des distributions d'états complexes, ils nécessitent généralement de vastes démonstrations d'experts ou des trajectoires hors ligne et manquent souvent de mécanismes explicites pour la planification à long terme. Inversement, la commande prédictive de modèle (MPC) est efficace pour la planification mais nécessite traditionnellement des modèles de transition explicites qui sont difficiles à acquérir dans des contextes inconnus.

Méthodologie : BeliefDiffusion

Les auteurs proposent BeliefDiffusion, un cadre qui intègre les capacités génératives des modèles de diffusion avec la rigueur de la planification de la commande prédictive de modèle (MPC). Le système fonctionne selon une boucle « imaginer puis planifier » en deux étapes :

1. Génération de la croyance via des modèles de diffusion

Au lieu de prédire une seule carte, le cadre utilise un modèle de diffusion pour caractériser explicitement la distribution multimodale des configurations d'environnement plausibles (cartes locales) conditionnées par l'historique des observations de l'agent.

• Entrée : L'historique des observations de l'agent ($\tau$), qui comprend les observations locales et les coordonnées relatives de l'objectif.
• Plongement (Embedding) : Pour gérer des longueurs d'historique variables, le modèle agrège les observations passées pour chaque cellule de grille en utilisant l'attention multi-têtes. Cela crée des plongements conditionnels qui permettent au modèle de se concentrer sur les données passées pertinentes pour des emplacements de cartes spécifiques.
• Entraînement : Un squelette U-Net est entraîné en utilisant des modèles de diffusion probabilistes de débruitage (DDPM). Contra\à la prédiction de bruit standard, le modèle est entraîné pour prédire directement la carte binaire originale ($m_0$) à partir d'entrées bruitées.
• Conditionnement : Le modèle emploie le guidage sans classifieur (Classifier-Free Guidance - CFG) pour contrôler le processus de génération, lui permettant d'échantillonner des configurations de cartes diverses et plausibles, cohérentes avec les observations partielles de l'agent.

2. Planification via la commande prédictive de modèle (MPC)

Une fois que le modèle de diffusion a généré un ensemble de $N$ échantillons de cartes plausibles, ceux-ci sont intégrés dans un cadre MPC pour déterminer l'action optimale.

• Dynamique agrégée : Pour estimer la fonction de transition, le système agrège les $N$ cartes échantillonnées en une seule « carte de consensus » ($m_{agg}$). Une cellule est marquée comme obstacle dans $m_{agg}$ uniquement si elle apparaît comme un obstacle dans un pourcentage élevé ($\ge N \cdot \lambda_p$) des échantillons. Cela garantit que le planificateur évite les trajectoires susceptibles d'être bloquées dans n'importe quelle hypothèse raisonnable.
• Proposition d'action : Le système génère des chemins candidats pour chaque carte échantillonnée individuellement en utilisant un algorithme de recherche A*.
• Sélection : Tous les chemins candidats sont évalués par rapport au modèle de dynamique agrégée ($m_{agg}$). Les chemins violant la carte de consensus reçoivent une récompense nulle. Le chemin ayant la récompense la plus élevée à travers l'ensemble des hypothèses est sélectionné comme plan final.
• Exécution : L'agent exécute la première action du chemin sélectionné, observe le nouvel environnement, et répète le cycle de génération-planification.

Principales contributions

1. Modélisation de la croyance multimodale : Une nouvelle approche basée sur la diffusion qui modélise explicitement les états de croyance multimodaux dans la navigation, allant au-delà des estimations ponctuelles unimodales pour capturer la distribution complète des environnements plausibles.
2. Cadre de planification intégré : Un cadre MPC d'espace de croyance qui utilise les configurations de cartes générées pour effectuer une prise de décision robuste, combinant efficacement génération et planification.
3. Efficacité d'échantillonnage : Des preuves empiriques démontrant que cette approche atteint des performances supérieures avec nettement moins de données d'entraînement que les méthodes d'apprentissage par renforcement (RL) sans modèle et les approches génératives unimodales.

Résultats expérimentaux

Les auteurs ont évalué BeliefDiffusion dans des environnements de grille 2D synthétiques (cartes de 64x64) par rapport à plusieurs bases de référence :

• Bases de référence :
  • LSTM-PPO : Une base de référence forte de RL sans modèle, entraînée avec l'optimisation de politique proximale (PPO).
  • Prédiction déterministe : Un modèle d'apprentissage supervisé (U-Net) prédisant une carte unique la plus probable.
  • Diffusion de trajectoire : Un modèle basé sur un transformeur prédisant directement les trajectoires futures.
  • Suiveur d'objectif (Goal-Follower) : Une base simple se déplaçant directement vers l'objectif.
• Métriques : Taux de succès (SR) et Succès pondéré par la longueur du chemin (SPL).
• Constatations :
  • Performance : BeliefDiffusion a atteint un taux de succès de 47,3 % et un SPL de 37,0 % avec 10 millions d'étapes d'entraînement. Cela a surpassé le meilleur agent LSTM-PPO (45,5 % SR, 35,5 % SPL), qui nécessitait 500 millions d'étapes d'interaction pour atteindre une performance similaire.
  • Efficacité des données : La méthode proposée a atteint une haute performance avec un volume de données seulement 1/500ème de celui requis par la meilleure base de référence LSTM-PPO.
  • Génératif vs Déterministe : L'approche basée sur la diffusion a nettement surpassé à la fois le modèle de prédiction déterministe (20,4 % SR) et la base de référence de diffusion de trajectoire (9,4 % SR), soulignant la nécessité de modéliser la distribution de la configuration de la carte plutôt que de simplement prédire des trajectoires ou des états uniques.
  • Hyperparamètres : Une taille de carte d'inférence de 8x8 et un nombre d'échantillons ($N$) de 10 ont été jugés optimaux. Augmenter $N$ au-delà de 10 produisait des rendements décroissants, tandis que des tailles de cartes plus grandes augmentaient le coût computationnel sans gains de performance significatifs.

Signification et revendications

L'article affirme qu'incorporer explicitement des représentations de croyance multimodales dans la planification est la clé d'une navigation robuste dans des contextes partiellement observables. En « imaginant » plusieurs versions plausibles du monde invisible et en planifiant des actions qui performent bien à travers cet ensemble de possibilités, l'agent devient robuste au mimétisme perceptuel et réduit le risque d'échecs catastrophiques (par exemple, marcher dans un mur parce qu'une hypothèse unique était erronée).

Les auteurs soulignent que leur méthode ne nécessite pas les vastes données d'entraînement typiques de l'apprentissage par renforcement. Au lieu de cela, elle exploite la puissance générative des modèles de diffusion pour créer un espace latent structuré de mondes possibles, permettant une prise de décision informée dans des environnements complexes et inconnus. Ce travail suggère que traiter l'inférence de la configuration de la carte comme un problème génératif conditionnel est une stratégie de navigation plus efficace que de s'appuyer sur des approximations unimodales ou la prédiction directe de trajectoire.