💻 computer science

Synthetic-to-Real Pipeline for Safe Landing Zone Detection

Cet article présente un pipeline de synthèse vers le réel pour l'atterrissage autonome de drones (UAV) qui utilise un moteur de données procédural et un modèle de segmentation basé sur les Transformers pour générer des données d'entraînement annotées et identifier des zones d'atterrissage sûres dans des environnements non structurés sans annotation manuelle.

Auteurs originaux : Shrikant Banerjee, Reza Faieghi

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shrikant Banerjee, Reza Faieghi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un drone comment atterrir en toute sécurité dans une ville qu'il n'a jamais visitée. Le drone ne peut pas compter sur une plateforme d'atterrissage préétablie ou sur un pilote humain pour le guider vers le bas. Il doit regarder le sol, déterminer ce qui est sûr (comme un trottoir plat) et ce qui est dangereux (comme une voiture en mouvement ou un buisson), puis choisir le meilleur endroit pour se poser.

Le problème est que l'enseignement d'un atterrissage de drone nécessite généralement de lui montrer des milliers de photos du monde réel où des humains dessinent manuellement des contours autour de chaque voiture, arbre et bâtiment. C'est lent, coûteux et souvent impossible car faire voler des drones dans les villes pour la collecte de données est juridiquement complexe.

Ce document propose une solution ingénieuse : Enseignez au drone dans un jeu vidéo, puis laissez-le voler dans le monde réel.

Voici comment leur système fonctionne, décomposé en étapes simples :

1. La salle de classe « Jeu Vidéo » (Données synthétiques)

Au lieu de faire voler de vrais drones pour prendre des photos, les chercheurs ont construit un moteur de jeu vidéo super réaliste (en utilisant le logiciel appelé Blender).

Le Générateur : Ils ont créé un constructeur de ville « procédural ». Considérez cela comme une machine à sous pour les villes. Chaque fois que vous tirez le levier, vous construisez une nouvelle ville avec différents bâtiments, arbres, voitures et routes.
L'Enseignant : Comme l'ordinateur a construit la ville, il sait déjà exactement où se trouve chaque objet. Il n'a pas besoin qu'un humain dessine des lignes ; l'ordinateur génère automatiquement une « carte parfaite » (un masque sémantique) qui dit au drone : « Ce pixel est une route, ce pixel est une voiture. »
L'Entraînement : Pour s'assurer que le drone ne se contente pas de mémoriser le jeu vidéo, ils ont rendu le jeu difficile. Ils ont changé aléatoirement l'heure de la journée (lever du soleil à coucher du soleil), ajouté du flou de mouvement (comme une main tremblante) et modifié l'éclairage. C'est ce qu'on appelle la Randomisation de Domaine (Domain Randomization). C'est comme entraîner un étudiant dans une salle de classe avec des lumières changeantes et du bruit pour qu'il puisse toujours réussir un examen dans une bibliothèque calme et lumineuse.

2. Le « Super-Cerveau » (Le modèle d'IA)

Ils ont utilisé un type spécifique d'IA appelé OneFormer.

Considérez cette IA comme un étudiant qui est très doué pour regarder une image et comprendre toute la scène à la fois, et pas seulement de petites parties. Elle utilise une architecture « Transformer », qui est comme avoir un objectif grand angle capable de comprendre comment une voiture est liée à un trottoir et à un bâtiment en même temps.
Ils ont entraîné cette IA uniquement sur les données du jeu vidéo fictif. Parce que les données étaient si variées et que l'IA est intelligente, elle a appris les règles du jeu si bien qu'elle a pu comprendre des photos du monde réel sans jamais les avoir vues pendant l'entraînement. C'est ce qu'on appelle le Transfert Zero-Shot (Zero-Shot Transfer).

3. Le « Garde de Sécurité » (La logique d'atterrissage)

Une fois que l'IA regarde une photo réelle et dit : « C'est une route, c'est une voiture », le système ne fait pas confiance aveuglément. Il effectue une vérification de sécurité, comme un parent prudent.

La Zone Tampon : Si l'IA voit une voiture, le système ne se contente pas de dire « Ne pose pas sur la voiture ». Il dessine un cercle invisible de 20 pixels autour de la voiture et dit : « Ne pose nulle part près de ce cercle non plus. » Cela tient compte de la taille du drone et de tout vacillement éventuel.
Le Test du « Plus Grand Cercle » : Le système regarde tous les endroits sûrs (comme l'herbe ou les trottoirs) et demande : « Où se trouve le plus grand cercle vide dans lequel je peux faire entrer mon drone ? » Il utilise un tour mathématique appelé Transformée de distance euclidienne (Euclidean Distance Transform) pour trouver le centre de la plus grande zone sûre.
La Décision : Si l'endroit sûr est assez grand, le drone reçoit les coordonnées pour atterrir. Si l'endroit est trop petit ou trop proche d'une « zone de danger », il continue de chercher.

4. Est-ce que cela a fonctionné ?

Les chercheurs ont testé leur système de deux manières :

Le Test : Ils ont comparé les réponses de leur IA à un ensemble de données du monde réel célèbre (UAVid) qui a été étiqueté par des humains. Même si l'IA n'a vu que des données de jeux vidéo, elle a très bien performé, identifiant correctement les bâtiments, les arbres et les routes. En fait, ses contours étaient souvent plus nets et plus précis que les lignes tracées par les humains dans les données de test.
Le Vol Réel : Ils ont fait voler un vrai drone DJI au-dessus d'un quartier de banlieue. Le système a réussi à regarder le flux vidéo, identifier les zones d'herbe sûres, éviter les voitures et les obstacles, et choisir un point d'atterrissage dans 94 % des images de test.

L'essentiel

Le document affirme que vous n'avez pas besoin de photos du monde réel coûteuses et étiquetées manuellement pour apprendre à un drone comment atterrir. En créant un monde de jeu vidéo massif et randomisé et en entraînant une IA intelligente sur celui-ci, vous pouvez créer un système prêt à voler en toute sécurité dans le monde réel immédiatement. Cela comble le fossé entre la « simulation » et la « réalité » en rendant la simulation si variée et réaliste que le monde réel semble familier au drone.

Résumé Technique : Pipeline de la Synthèse vers le Réel pour la Détection de Zones d'Atterrissage Sécurisées

Énoncé du Problème

Alors que les véhicules aériens non habités (UAV) progressent vers une autonomie de haut niveau, la capacité d'effectuer des récupérations sans assistance dans des environnements non coopératifs et non structurés est devenue une exigence de sécurité critique. La phase terminale du vol présente des risques importants, particulièrement lorsque des plateformes d'atterrissage prédéfinies ou des coordonnées statiques sont indisponibles. Contrament à l'évitement d'obstacles standard, l'identification d'une zone d'atterrissage sécurisée (SLZ - Safe Landing Zone) nécessite une résolution sémantique de haute fidélité pour distinguer un terrain navigable (ex: pavage, herbe) des obstacles dangereux (ex: végétation, véhicules, sol irrégulier).

Un goulot d'étranglement primaire dans le développement de systèmes de perception Air-Sol (A2G) robustes basés sur la vision est la rareté des ensembles de données aériennes annotées. L'acquisition d'imagerie étiquetée au niveau du pixel dans le monde réel est logistiquement complexe, coûteuse et souvent soumise à des restrictions légales. Par conséquent, les architectures existantes sont fréquemment « verrouillées » sur des environnements ou du matériel spécifiques, souffrant d'une dégradation des performances dans des scénarios hors distribution. De plus, de nombreuses solutions actuelles reposent sur des capteurs actifs comme le LiDAR, qui imposent des pénalités sévères en termes de taille, de poids et de puissance (SWaP), ou sont limitées à des environnements structurés utilisant des marqueurs fiduciaires. Il existe un besoin persistant pour une perception de haute performance, déployable en périphérie (edge), capable d'exploiter des architectures de pointe sans dépasser les limites computationnelles des ordinateurs de vol embarqués.

Méthodologie

La recherche proposée introduit un pipeline complet de perception et de génération de données conçu pour combler le fossé entre la simulation et le réel (sim-to-real) pour l'atterrissage autonome. Le système fonctionne via trois étapes intégrées :

1. Génération Procédurale de Données Synthétiques

Pour pallier la rareté des données, les auteurs ont développé un moteur de données de haute fidélité au sein du moteur de rendu Blender Cycles. Ce système étend un générateur de ville procédurale en un moteur de données stochastique capable de produire des environnements urbains photoréalistes avec des annotations sémantiques automatiques et au pixel près.

Synthèse Procédurale : L'environnement est construit via une extrusion de maillage algorithmique, gérant sept classes sémantiques primaires (Arrière-plan, Arbres, Bâtiments, Basse Végétation, Routes, Trottoirs, Véhicules et Objets Entravants). Un système de gestion d'actifs utilise l'échantillonnage de disque de Poisson pour randomiser le placement des objets, empêchant le surapprentissage du réseau sur des géométries spécifiques.
Randomisation du Domaine : Pour combler le fossé de domaine, le pipeline emploie deux couches de randomisation :
- Dynamique d'Éclairage : Simule un cycle diurne complet en utilisant des images clés pour l'azimut et l'élévation solaire, générant une propagation d'ombres et une variance de contraste réalistes.
- Émulation de Capteur : La caméra virtuelle est calibrée pour correspondre aux capteurs physiques des UAV, introduisant un bruit stochastique, du flou et des longueurs focales oscillantes pour simuler la recherche d'autofocus et le flou induit par les vibrations. Une trajectoire par B-spline non linéaire assure des angles de vue et des densités d'objets diversifiés.
Annotation Automatisée : Des masques de vérité terrain sont générés via un protocole de « Remplacement de Matériau » (Material Override), où les objets sont assignés à des matériaux émissifs et non ombrés basés sur l'ID de classe. Cela garantit un alignement spatial parfait entre les rendus RGB et les masques sémantiques sans intervention manuelle.
Augmentation : Une étape de post-traitement applique une dérive de couleur aléatoire, des balayages de rotation à 360 degrés et des facteurs de zoom stochastiques pour renforcer davantage le pipeline d'entraînement.

2. Architecture de Perception Basée sur les Transformers

Le système utilise l'architecture OneFormer, un cadre de segmentation d'image universel basé sur un backbone de type transformer (Swin-L).

Stratégie d'Entraînement : Le modèle est affiné exclusivement sur le jeu de données synthétique généré. Il exploite des poids pré-entraînés sur le jeu de données Cityscapes pour établir une base d'initialisation robuste, adaptant les représentations de caractéristiques apprises aux changements de domaine spécifiques de la perspective aérienne synthétique.
Optimisation : Le réseau est optimisé à l'aide de l'algorithme AdamW avec un entraînement en précision mixte pour gérer la charge computationnelle. Le jeu de données est divisé en 70/20/10 pour l'entraînement, la validation et les tests.

3. Module d'Atterrissage Déterministe

La dernière étape traduit les prédictions sémantiques par pixel en une carte de traversabilité binaire pour la prise de décision autonome.

Taxonomie de Risque Hiérarchique : Les classes sémantiques sont catégorisées en trois ensembles :
- Sûr ( $S_{safe}$ ) : Classes statiques intrinsèquement adaptées à l'atterrissage (ex: Trottoirs).
- Non Sûr ( $S_{unsafe}$ ) : Régions prohibées (ex: Véhicules, Piétons).
- Potentiel ( $S_{pot}$ ) : Régions conditionnellement valides (ex: Routes) qui ne sont sûres que si elles n'intersectent pas des objets Non Sûrs.
Tampon de Sécurité : Une logique déterministe applique une dilatation de sécurité de 20 pixels (tampon circulaire) autour de tous les objets Non Sûrs. Si une région Potentielle intersecte ce tampon, elle est reclassée en Arrière-plan (non sûr) pour éviter un atterrissage dans un trafic actif ou des zones dangereuses.
Détermination Géométrique du Site d'Atterrissage : Le système applique une transformation de distance euclidienne (EDT) au masque binaire résultant pour identifier le Cercle Inscrit le Plus Grand (LIC). Le centre du LIC est sélectionné comme site d'atterrissage cible si son rayon respecte l'empreinte physique de l'UAV plus une tolérance de sécurité. Un vecteur de déviation est ensuite calculé pour guider le contrôleur de vol.

Contributions Clés

Moteur de Données Synthétiques Procéduraux : Un pipeline évolutif et de haute fidélité qui génère des environnements urbains photoréalistes avec des annotations sémantiques automatisées, atténuant efficacement la rareté de l'imagerie aérienne étiquetée grâce à la paramétrisation stochastique de la géométrie, de l'éclairage et du bruit de capteur.
Perception Basée sur les Transformers : Un cadre de segmentation de haute performance utilisant OneFormer, affiné exclusivement sur des données synthétiques, qui atteint une résolution sémantique de pointe pour distinguer les caractéristiques complexes du terrain et les obstacles dynamiques.
Validation Sim-to-Real : Une évaluation de transfert zero-shot démontrant la capacité du système à identifier des zones d'atterrissage sûres dans des environnements réels non vus (benchmark UAVid et séquences de drones DJI) tout en respectant les exigences de latence en temps réel via une optimisation accélérée par le matériel.

Résultats

Le pipeline proposé a été évalué par un benchmarking quantitatif par rapport au jeu de données UAVid et une validation qualitative sur des séquences réelles de drones DJI Mavic.

Performance Quantitative : Sur le benchmark UAVid, le modèle a démontré une forte généralisation. Il a atteint une précision élevée pour les classes structurelles (97,99 % pour les Bâtiments, 96,13 % pour les Arbres). La classe Routes a montré un rappel élevé (0,872), assurant l'identification maximale des surfaces d'atterrissage potentielles. Bien que la classe « Objet » ait montré une faible précision (0,025), l'analyse qualitative a attribué cela à la grossièreté de l'annotation dans la vérité terrain plutôt qu'à un échec du modèle ; le modèle a détecté avec succès de petits obstacles omis des étiquettes manuelles.
Observations Qualitatives : L'architecture Transformer a présenté une fidélité géométrique supérieure par rapport aux annotations manuelles de la vérité terrain, adhérant souvent aux limites à haute fréquence plus précisément que les approximations polygonales grossières des données de référence. Cependant, le modèle a montré une sensibilité aux éclairages à plage dynamique élevée, confondant occasionnellement des bâtiments avec des trottoirs sombres dans les zones d'ombre profonde.
Faisabilité Opérationnelle : Dans les tests en conditions réelles, le système a segmenté avec succès les scènes en zones de risque hiérarchiques. Dans 94 % des images de test, le système a convergé vers un centroïde situé dans des îlots d'herbe dégagés, confirmant que le transfert synthétique-vers-réel est suffisant pour identifier des zones d'atterrissage sans collision. Le module d'interférence déterministe a efficacement reclassé les segments de route comme non sûrs lors de la détection de véhicules.

Signification

Ce travail souligne le potentiel de la simulation procédurale de haute fidélité pour éliminer le besoin d'annotation manuelle tout en fournissant une conscience situationnelle robuste et déployable en périphérie pour la récupération autonome des UAV. En démontrant qu'un modèle entraîné exclusivement sur des données synthétiques peut atteindre un transfert zero-shot robuste vers des scénarios réels, cette recherche répond au « fossé de l'informatique en périphérie » (Edge Computing Gap) et aux obstacles logistiques du déploiement d'infrastructures réelles. L'intégration d'un module d'atterrissage déterministe garantit que les prédictions sémantiques sont traduites en commandes de navigation sûres et exploitables, privilégiant une évitement de risque conservateur. Cette approche offre une voie viable pour le déploiement de systèmes de récupération précis et sans assistance dans des environnements non coopératifs sans les coûts prohibitifs d'une collecte de données réelles à grande échelle.