💻 informatique

Uncertainty-Guided Belief World Models for Long-Horizon UAV Navigation under Partial Observability and Visual Degradation

Cet article propose l'Uncertainty-Guided Belief World Model (UG-BWM), un cadre qui exploite la covariance postérieure et l'incertitude prédictive basée sur des ensembles pour guider les mises à jour de croyance et déclencher une replanification sélective, améliorant ainsi considérablement le succès de la navigation des drones à long terme et réduisant les taux de collision en situation d'observabilité partielle et de dégradation visuelle par rapport aux modèles de référence de l'état de l'art.

Auteur original : Dhayaa Khudher

Publié 2026-11-05

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteur original : Dhayaa Khudher

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par l'auteur. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Piloter un drone à travers une ville ou une forêt est une tâche qui exige des décisions constantes et instantanées. La machine doit savoir où elle se trouve, deviner où elle sera dans un instant, et éviter les arbres, les bâtiments ou d'autres aéronefs. Dans le monde réel, cela est rarement facile. Le brouillard peut s'installer, le soleil peut descendre sous l'horizon, ou l'objectif d'une caméra peut se salir, laissant le drone avec une image floue ou incomplète de son environnement. Lorsque la visibilité est mauvaise, le drone ne peut pas simplement regarder le sol pour décider ; il doit se fier à ce dont il se souvient et à ce qu'il pense pouvoir arriver ensuite. C'est le défi de la navigation avec des informations partielles : la machine doit établir un plan basé sur un souvenir flou du passé et une supposition sur le futur, tout en évoluant dans un monde en constante mutation.

Les chercheurs tentent depuis longtemps d'apprendre aux drones à gérer ces situations délicates en utilisant l'intelligence artificielle. Une approche populaire consiste à apprendre à un ordinateur à imaginer le futur. Le système apprend une version simplifiée du monde, ce qui lui permet de lancer des milliers de simulations mentales en une fraction de seconde pour voir quel chemin semble le plus sûr. Cependant, un problème majeur survient lorsque la vision du drone est dégradée. Si le flux de la caméra est mauvais, la « mémoire » du drone sur sa position devient instable, et son « imagination » du futur devient encore plus incertaine. Si l'ordinateur traite ces suppositions fragiles comme des faits, il pourrait diriger le drone contre un mur parce qu'il a imaginé avec certitude un chemin dégagé qui n'existe pas réellement. La question clé pour les ingénieurs est de savoir comment concevoir un drone qui sache quand il suppose et quand il doit arrêter de supposer pour réfléchir plus attentivement.

Dans une nouvelle étude, un chercheur de l'Université de Basra a développé un système appelé « Uncertainty-Guided Belief World Model » (Modèle de monde de croyance guidé par l'incertitude) pour résoudre précisément ce problème. Le système est conçu pour des missions de longue durée où un drone doit voler pendant longtemps dans des environnements qu'il n'a jamais vus, souvent alors que ses caméras luttent contre le brouillard, l'obscurité ou le flou de mouvement. L'idée centrale est de donner au drone un sens de sa propre confiance. Au lieu de simplement dire au drone « tourne à gauche », le système lui dit : « tourne à gauche, mais nous ne sommes sûrs qu'à 60 % que ce soit le bon mouvement car la caméra est floue ». Il sépare la connaissance actuelle du drone sur sa position de ses suppositions sur son futur. Ce faisant, le système peut faire la distinction entre un bug momentané de la caméra et un danger réel devant lui.

Les chercheurs ont testé ce nouveau système dans une simulation informatique hautement réaliste qui imite la physique d'un vol réel et le comportement de véritables caméras. Ils ont opposé leur nouveau système à plusieurs autres méthodes de navigation avancées, dont certaines sont actuellement considérées comme étant à la pointe de l'état de l'art. Les tests étaient rigoureux, couvrant six scénarios différents allant de journées claires et ensoleillées à un brouillard épais, au flou de mouvement, et même à des coupures de caméra totales où le drone devait voler sans aucune entrée visuelle pendant plusieurs secondes. Ils ont également testé les drones sur des itinéraires de longueurs variables, de courts sauts à de longs voyages dépassant largement le temps que le système a été entraîné à imaginer dans sa tête.

Les résultats ont montré que le nouveau système était nettement meilleur pour maintenir le drone en sécurité et sur sa trajectoire. Dans les tests les plus difficiles, où le drone devait voler à travers des obstacles invisibles alors que sa vision était sévèrement dégradée, le nouveau système a réussi à atteindre son objectif avec une AUC de 0,63. Le deuxième meilleur système a atteint une AUC de 0,54. Plus important encore, le nouveau système a subi beaucoup moins de crashs, avec un taux de collision de seulement 15 % contre 20 % pour le concurrent le plus proche. Il a également volé plus efficacement, empruntant des chemins plus proches de l'itinéraire idéal. L'étude a révélé que la capacité du système à mesurer sa propre incertitude était le secret de ce succès. Lorsque le système réalisait que son image mentale du futur devenait peu fiable, il ne suivait pas aveuglément son plan précédent. Au lieu de cela, il interrompait sa routine automatique et lançait un nouveau calcul plus minutieux pour trouver un nouveau chemin.

Cette approche sélective de la réflexion a permis un gain d'efficacité majeur. Le système n'avait pas besoin de s'arrêter et de recalculer l'intégralité de son itinéraire chaque seconde. En fait, il ne déclenchait ce calcul supplémentaire et plus approfondi qu'avec une AUC de 0,18. Malgré le fait de lancer ce calcul lourd si peu fréquemment, il performait aussi bien qu'un système qui tentait de recalculer son chemin à chaque instant. Cela signifie que le drone pouvait économiser une quantité énorme de puissance de calcul tout en restant en sécurité. Les chercheurs ont également découvert que la capacité du système à juger sa propre confiance était cruciale. Lorsqu'ils ont forcé le système à ignorer ses niveaux de confiance et à agir comme s'il était toujours certain de lui-même, ses performances ont chuté de manière significative. Cela a prouvé que savoir quand on est incertain est tout aussi important que de connaître la bonne réponse.

L'étude a également examiné la manière dont le système gérait différents types d'incertitude. Elle a constaté que le fait de « supposer » l'avenir par le drone devenait moins précis à mesure que l'horizon s'éloignait, ce qui est attendu. Cependant, la mesure interne d'incertitude du système signalait correctement cette baisse de précision. Même lorsque le drone regardait loin dans le futur, son score de confiance diminuait à mesure que la prédiction se dégradait. Cela a permis au système de savoir exactement quand cesser de faire confiance à son imagination et commencer à chercher de nouvelles informations. Les chercheurs ont noté que cette méthode fonctionne mieux lorsque le drone vole dans des environnements qu'il n'a jamais vus ou lorsque la météo est mauvaise, des situations où les systèmes de navigation standards échouent souvent.

Bien que les résultats soient prometteurs, les chercheurs précisent avec prudence que ces conclusions proviennent de simulations informatiques. Le monde virtuel, bien que détaillé, ne peut pas reproduire parfaitement la nature chaotique du vent réel, les particularités spécifiques des capteurs de caméras réelles ou les défaillances mécaniques soudaines qui peuvent survenir sur un drone physique. L'étude suggère que cette approche consistant à enseigner aux machines à comprendre leur propre incertitude est une étape importante, mais qu'elle n'est pas une solution magique garantissant la sécurité dans tous les scénarios réels possibles. Le système n'impose pas une règle stricte et inviolable qui empêche les crashs ; il apprend plutôt à les éviter en prenant des décisions plus intelligentes et plus prudentes lorsqu'il détecte un danger.

Ce travail met en lumière un changement dans la manière dont nous pourrions construire des machines autonomes. Au lieu de chercher à créer un drone qui est toujours parfaitement sûr de tout, ce qui est impossible dans un monde désordonné, la nouvelle approche construit un drone qui est honnête sur ce qu'il ne sait pas. En admettant l'incertitude et en utilisant cette admission pour décider quand réfléchir plus intensément, le drone devient plus résilient. Les chercheurs concluent que pour que les drones volent en toute sécurité dans le monde réel, particulièrement par mauvais temps ou dans des lieux inconnus, ils ont besoin de ce genre de conscience de soi. La prochaine étape, suggèrent-ils, est de sortir ces systèmes de l'ordinateur pour les tester sur de véritables machines volantes afin de voir s'ils peuvent gérer la véritable imprévisibilité du ciel.

Résumé Technique : Modèles de Monde de Croyance Guidés par l'Incertitude pour la Navigation de Drones (UAV) à Longue Horizon

1. Énoncé du Problème

Le document traite du défi de la navigation à longue horizon pour les véhicules aériens sans pilote (UAV) opérant sous des conditions d'observabilité partielle et de dégradation visuelle. La navigation réelle des UAV est complexifiée par des facteurs tels que le brouillard, la faible illumination, le flou de mouvement et l'occlusion, qui dégradent la perception visuelle embarquée. Dans les contextes à longue horizon, les erreurs de navigation s'accumulent et les décisions doivent être révisées sur la base de représentations incomplètes ou bruitées de l'environnement.

Les méthodes existantes d'apprentissage par renforcement (RL) basées sur la vision reposent souvent sur une mémoire récurrente ou une attention temporelle pour gérer l'observabilité partielle, mais elles échouent à quantifier explicitement la confiance de l'état inféré actuel ou l'incertitude des trajectoires imaginées futures. De même, les modèles de monde standards peuvent optimiser les politiques en utilisant des déroulements (rollouts) imaginés peu fiables, ce qui conduit à une propagation d'erreurs. Crucialement, les modèles prenant en compte l'incertitude existants confondent souvent la confiance dans la croyance actuelle conditionnée par l'observation avec l'incertitude accumulée par la prédiction latente récursive, une distinction vitale en présence de dégradation visuelle.

2. Méthodologie : UG-BWM

L'auteur propose l'Uncertainty-Guided Belief World Model (UG-BWM), un cadre conçu pour séparer la confiance de la croyance actuelle de l'incertitude prédictive future et utiliser cette information pour guider à la fois l'apprentissage et le déploiement.

Architecture Centrale

Le système opère via deux voies de calcul :

Voie de la Postériorité (Inférence) : Traite les observations embarquées actuelles (images RGB, estimations de mouvement, objectifs relatifs et drapeaux de validité de la caméra) pour former une croyance explicite de l'incertitude.
- Il utilise un réseau récurrent basé sur un GRU pour maintenir l'historique temporel.
- Il produit une distribution postérieure gaussienne $q_\phi(z_t | h_t, e_t)$ caractérisée par une moyenne $\mu^q_t$ et une covariance diagonale $\Sigma^q_t$ .
- Caractéristique Clé : Les réseaux acteur et critique reçoivent explicitement la log-covariance de la postériorité, plutôt que simplement un état latent échantillonné. Cela permet à la politique d'agir en fonction de la confiance de son estimation d'état actuelle.
Voie Prédictive (Imagination) : Propage des trajectoires latentes à horizon fini en utilisant un ensemble de priors prédictifs.
- Un ensemble de $M$ têtes paramétrées indépendamment prédit les états latents futurs, les récompenses et les probabilités de collision.
- Estimation de l'Incertitude : L'incertitude prédictive est calculée en combinant le désaccord de l'ensemble (de type épistémique) et la variance prédictive conditionnelle moyenne (de type aléatoire). Ces composantes sont normalisées par rapport à des références de calibration pour produire un score d'incertitude combiné $U_{t+k}$ .
- Gestion des Collisions : Une estimation conservatrice de la probabilité de collision est dérivée en ajoutant une pénalité basée sur le désaccord entre les membres de l'ensemble concernant les prédictions de collision.

Mécanismes d'Apprentissage et de Contrôle

Objectif Acteur-Critique Guidé par l'Incertitude : Lors des déroulements imaginés, le signal de récompense est pénalisé par le risque de collision prédit et le score d'incertitude prédictive. Cela réduit l'influence des transitions latentes peu fiables sur l'apprentissage de la politique.
Replannification Sélective : Lors du déploiement, le système surveille l'incertitude prédictive d'un déroulement nominal généré par l'acteur déterministe.
- Une règle de déclenchement hystérétique active un planificateur dans l'espace latent uniquement lorsque l'incertitude maximale sur un horizon de surveillance dépasse un seuil ( $\tau_{on}$ ).
- Lorsqu'il est déclenché, le planificateur échantillonne plusieurs séquences d'actions candidates, les évalue en utilisant le rendement pénalisé par l'incertitude, et sélectionne la meilleure action.
- Ce mécanisme vise à n'activer le calcul intensif (planification) que lorsque la politique nominale est jugée peu fiable.

3. Contributions Clés

L'article identifie quatre contributions principales :

Interface de Croyance Explicite de l'Incertitude : Un mécanisme qui fournit à l'acteur et au critique à la fois l'estimation latente conditionnée par l'observation et sa confiance postériorité (log-covariance), distinguant la fiabilité de la croyance actuelle de l'incertitude de la prédiction future.
Prior Prédictif d'Ensemble : Une méthode pour propager les croyances latentes à travers un ensemble, combinant le désaccord de l'ensemble avec la variance prédictive conditionnelle pour estimer l'incertitude prédictive à travers les horizons imaginés.
Objectif Imaginé Guidé par l'Incertitude : Un objectif d'apprentissage qui pénalise les transitions à haute incertitude et incorpore des estimations de risque de collision conservatrices, réduisant l'impact des données imaginées peu fiables sur l'optimisation de la politique.
Mécanisme de Replannification Sélective : Une stratégie de déploiement qui utilise l'incertitude prédictive pour déclencher une planification supplémentaire uniquement aux états où le déroulement de la politique nominale est peu fiable, réduisant considérablement la charge de calcul par rapport à une planification continue.

4. Résultats Expérimentaux

La méthode a été évaluée dans Gazebo Harmonic avec PX4 SITL à travers six conditions de tests verrouillés, variant les longueurs de parcours et quatre types de dégradation visuelle (brouillard, faible illumination, flou de mouvement, occlusion), incluant des changements structurels non vus (Test-OOD).

Métriques de Performance

Comparé à la base de référence la plus proche (DreamerV3-CU, qui inclut des pénalités d'incertitude mais manque de confiance postériorité explicite et de replannification sélective), l'UG-BWM a obtenu :

Taux de Succès : 0,63 contre 0,54 (DreamerV3-CU).
Taux de Collision : 0,15 contre 0,20.
Longueur de Chemin de Succès (SPL) : 0,62 contre 0,54.
Performance à Longue Horizon : L'UG-BWM a maintenu un taux de succès plus élevé (0,47) sur les longs parcours par rapport à DreamerV3-CU (0,38).

Ablation et Analyse

Confiance de la Postériorité : Le retrait de l'entrée de covariance explicite ou son mélange a considérablement réduit les performances, confirmant que la confiance dépendante de l'état est critique pour la prise de décision sous dégradation.
Incertitude Prédictive : Le score d'incertitude combiné (désaccord + variance) a surpassé l'utilisation de l'une ou l'autre des composantes seules. L'incertitude prédictive est restée positivement corrélée à l'erreur de déroulement au-delà de l'horizon d'entraînement ( $H=15$ ).
Replannification Sélective : La replannification déclenchée par l'incertitude a égalé les performances de la méthode "toujours planifier" (planification à chaque étape) tout en n'activant le planificateur que sur 18 % des étapes de contrôle. Cela a réduit l'utilisation du planificateur de 82 % et a abaissé la latence de décision P95 de 71 ms (toujours planifier) à 48 ms.
Robustesse : L'UG-BWM a démontré une robustesse supérieure à la dégradation visuelle et aux géométries non vues par rapport aux bases de référence sans modèle (TD3, Recurrent PPO) et aux modèles de monde standards (DreamerV3).

5. Signification et Revendications

L'article affirme que la modélisation de la croyance explicite de l'incertitude et la planification sélective sont des stratégies efficaces pour la navigation de drones sous des conditions de capteurs dégradés.

Distinction de l'Incertitude : Le travail souligne l'importance de distinguer la confiance dans l'état inféré actuel (postériorité) de l'incertitude des états futurs imaginés (prédictive). Cette distinction permet au système de réagir de manière appropriée à la dégradation immédiate des capteurs par rapport à l'accumulation des erreurs de prédiction.
Efficacité : Le mécanisme de replannification sélective démontre que la navigation de haute performance ne nécessite pas une planification continue et coûteuse en calcul. Au lieu de cela, les signaux d'incertitude peuvent identifier efficacement les états spécifiques où la replannification est nécessaire, offrant un compromis pratique entre performance et coût de calcul.
Limites : L'auteur note modestement que l'étude est limitée à la simulation (Gazebo/PX4 SITL) et ne fournit pas de garanties de sécurité formelles. L'ensemble prédictif est approximé par une gaussienne unique, ce qui peut occulter des résultats futurs multimodaux. Des travaux futurs sont suggérés pour valider ces conclusions sur des drones physiques et intégrer des contraintes de sécurité explicites.

En résumé, l'UG-BWM fournit un cadre où l'agent est conscient de sa propre ignorance, utilisant cette conscience pour guider à la fois son processus d'apprentissage et ses ressources de calcul lors du déploiement, ce qui se traduit par une navigation plus robuste et efficace dans des environnements difficiles et partiellement observables.