A Machine-Learning and Cybernetic Control Framework for RGB--Geometric UAV Navigation

Résumé Technique : Un cadre de contrôle cybernétique et d'apprentissage automatique pour la navigation de drones (UAV) RGB–Géométrique

Énoncé du problème
La navigation de véhicules aériens sans pilote (UAV) à travers des corridors fluviaux présente des défis uniques, distincts des environnements aériens généraux. Les reflets sur l'eau altèrent l'apparence visuelle, les virages étroits restreignent l'espace de manœuvre, les interruptions de rives affaiblissent les indices géométriques, et les objets flottants ou les ponts créent des occlusions locales. Bien que les planificateurs basés sur des modèles offrent une interprétabilité lorsque les cartes sont précises, ils peinent face à l'incertitude inhérente aux géométries fluviales visuellement instables. À l'inverse, les contrôleurs basés sur l'apprentissage souffrent souvent de « fuite » (leakage), où les politiques s'appuient sur des variables privilégiées du simulateur (par exemple, des masques de vérité terrain ou des lignes médianes) plutôt que sur des entrées visuelles réelles, ou échouent à découpler la perception du contrôle métrique. Le problème central abordé est le développement d'une boucle unifiée perception–décision–action qui fusionne des observations RGB brutes avec un retour cinématique et géométrique structuré, garantissant que la politique apprise repose sur des preuves visuelles valides tout en maintenant la sécurité grâce à des couches d'intervention explicites et non apprises.

Méthodologie
Les auteurs proposent un cadre de contrôle cybernétique qui sépare strictement la perception visuelle, le retour d'état structuré, l'apprentissage adaptatif des récompenses et l'intervention basée sur des règles.

1. Architecture du système et représentation de l'état :

   • Flux Visuel : Le système traite une image RGB de 224×224 via un squelette ResNet-50 combiné à un réseau de pyramide de caractéristiques (FPN). Les caractéristiques multi-échelles sont agrégées par un pooling moyen global et un mécanisme d'attention appris pour produire un vecteur d'apparence de 256 dimensions.
   • État Structuré : Un vecteur d'état de 291 dimensions est construit en concaténant le latent visuel avec 35 variables géométriques et cinématiques explicitement définies. Celles-ci incluent la cinématique relative (vitesse, cap, accélération), la progression vers la cible, cinq échantillons de la ligne médiane centrale, huit valeurs de dégagement par lancer de rayons (ray-casting), et un bloc de mémoire contenant le dernier enregistrement de pose et de mouvement non occulté.
   • Résistance à la fuite (Leakage Resistance) : Crucialement, le cadre utilise des « ablations à largeur fixe ». Lors du test de composants spécifiques (par exemple, la suppression de la ligne médiane), le bloc correspondant est remplacé par des zéros sans insertion de variables de substitution ou de projections déterministes provenant d'autres blocs. Cela garantit que toute baisse de performance est uniquement attribuable à l'information manquante.

2. Cœur d'apprentissage (TD3 avec méta-gradients) :

   • Le contrôleur utilise l'algorithme Twin Delayed Deep Deterministic Policy Gradient (TD3).
   • Récompenses Adaptatives : Au lieu de stocker une récompense scalaire, le tampon de relecture (replay buffer) stocke un vecteur à six dimensions de composantes de récompense non pondérées (progression, sécurité, issue terminale, fluidité, cap et pénalité de pas). Cela permet de reconstruire dynamiquement la récompense scalaire à l'aide des poids actuels.
   • Optimisation par Méta-Gradient : Un méta-gradient différentiable lie les mises à jour virtuelles de l'acteur-critique à un objectif cinématique de validation à une étape. La perte externe minimise une fonction lisse de la distance à l'objectif, de l'erreur de dérive transversale, du dégagement des obstacles et de l'effort de contrôle. Les poids de la récompense ($\lambda$) sont mis à jour via un hypergradient, soumis à une projection qui impose un seuil de sécurité (par exemple, un poids minimum pour la composante de sécurité) après la détection d'une violation de sécurité.

3. Couche d'intervention hybride :

   • Une couche de règles figée et distincte opère indépendamment de la politique apprise. Elle se déclenche lors d'événements spécifiques : bifurcation (sélection de la branche la mieux alignée avec la cible), terminaison (freinage monotone lors de la perte de la rivière), occlusion sévère (combler les lacunes via la mémoire) et agrégation d'obstacles (fusion des actions de la politique avec un champ de potentiel artificiel).
   • Le système enregistre à la fois l'action de la politique ($a^\pi_t$) et l'action exécutée ($a^{exec}_t$) pour distinguer le comportement appris des interventions de sécurité ingénierées.

Contributions clés

1. Fusion Visuelle-Géométrique Validée : L'article formule un état de 291 dimensions où une représentation RGB/FPN en ligne est concaténée avec des variables métriques explicites. Les preuves au niveau de l'issue (84,0 % de complétion dans une ablation « vision plus cinématique » où tous les a priori géométriques sont mis à zéro) démontrent que la politique utilise efficacement le flux visuel plutôt que de s'appuyer sur des substituts géométriques privilégiés.
2. Graphe de Récompense Adaptative Mathématiquement Fermé : Les auteurs ferment le graphe de calcul pour l'adaptation de la récompense. En stockant les composantes brutes de la récompense et en utilisant un objectif externe différentiable impliquant une cinématique virtuelle, ils permettent le repondérage des transitions historiques sans dépendre de récompenses scalaires obsolètes.
3. Protocole d'Ablation Résistant à la Fuite : L'étude définit une méthodologie d'ablation rigoureuse où le retrait d'un intrinput structuré consiste à le remplacer par des zéros, garantissant qu'aucune information de substitution ne fuit dans l'état. Cela isole la valeur marginale d'entrées spécifiques (ex: mémoire, ligne médiane) sans confondre la capacité d'optimisation.
4. Séparation des Préoccupations : Le cadre sépare explicitement le contrôle appris, l'optimisation prédictive (NMPC) et l'intervention basée sur des règles. Cela permet une attribution indépendante des gains de sécurité et d'efficacité, évitant la confusion entre l'apprentissage de la politique et les boucliers de sécurité ingénierés.
5. Protocole d'Évaluation Reproductible : L'article fournit une suite d'évaluation complète comprenant des manifestes équilibrés figés, des statistiques appariées, des vérifications de gradient par différences finies, et des benchmarks distincts pour le contrôle de la géométrie générale et les événements spécifiques aux rivières (bifurcation, terminaison, occlusion, agrégation).

Résultats

• Ablations d'état : Dans les ablations à largeur fixe, la suppression du bloc de mémoire a entraîné la plus forte baisse observée de la complétion (4,25 points de pourcentage), bien que cela ne soit pas statistiquement significatif. La condition « vision-plus-cinématique » (suppression de toute la géométrie explicite) a conservé 84,0 % de complétion, validant l'utilité du flux visuel.
• Adaptation de la Récompense : Bien que les variantes de méta-gradient aient atteint des taux de complétion plus élevés (87,75 %) que les poids fixes (83,13 %), un contrôle « zéro-hypergradient » — qui applique la même projection déclenchée par la sécurité mais désactive la mise à jour de l'hypergradient — a atteint un taux de complétion identique de 87,75 %. Cela indique que le gain de performance est attribué à la reconfiguration de la récompense par projection (spécifiquement le seuil de sécurité) plutôt qu'au mécanisme d'hypergradient lui-même.
• Comparaison des Contrôleurs :
  • Navigation Générale : Le contrôleur hybride TD3 a atteint 88,5 % de complétion moyenne des tâches sur un benchmark d'événements fluviaux. Cela a dépassé le NMPC (Nonlinear Model Predictive Control) de 11,1 points de pourcentage et le RRT*-Replan de 15,9 points.
  • Contrôle de la Géométrie : Dans un benchmark de géométrie pure (sans RGB), le NMPC a surpassé un contrôleur de règles simples (78,7 % contre 65,3 % de complétion) mais a nécessité une latence de calcul nettement plus élevée (32,9 ms contre 4,5 ms par étape).
  • Impact de l'Intervention : L'activation de toutes les règles d'intervention a réduit les collisions en navigation générale mais a diminué le succès de l'atteinte de l'objectif ordinaire de 12,63 points de pourcentage, soulignant un compromis entre sécurité et efficacité. Les règles ont géré avec succès 81,5 % des cas de terminaison via des arrêts sécurisés ou des déroutements.

Signification et Revendications
L'article affirme établir un cadre reproductible et inspectable pour l'intégration de la perception visuelle, de l'apprentissage adaptatif des récompenses et de l'intervention de sécurité hybride dans la navigation de drones en corridor fluvial. Sa signification ne réside pas dans la proposition d'un algorithme unique « meilleur », mais dans une décomposition rigoureuse du problème de contrôle :

• Il prouve que l'information visuelle peut piloter la navigation même lorsque les a priori géométriques explicites sont supprimés, à condition que la représentation de l'état soit soigneusement conçue.
• Il démontre que l'apprentissage de récompense adaptative peut être mathématiquement fermé et vérifié via des contrôles de différences finies, bien que le principal avantage dans cette configuration spécifique provienne de la projection de reconfiguration des poids plutôt que du mécanisme de gradient lui-même.
• Il offre un modèle d'attribution clair où les contributions de la politique apprise, de l'optimiseur basé sur un modèle et de l'intervention basée sur des règles sont distinctes et mesurables, évitant l'écueil courant consistant à attribuer la sécurité ingénierée à l'intelligence apprise.

Les auteurs maintiennent une position modeste, notant que si le cadre améliore les taux de complétion par rapport aux bases de référence dans certains scénarios fluviaux, les gains sont souvent portés par la reconfiguration spécifique des poids de récompense et la couche d'intervention plutôt que par le mécanisme de méta-gradient seul. Ce travail sert de blueprint méthodologique pour séparer la perception, l'état et la sécurité dans des environnements complexes et visuellement instables.