Addressing Camera Sensors Faults in Vision-Based Navigation: Simulation and Dataset Development

Cette étude présente une analyse des défauts des capteurs d'images dans la navigation visuelle spatiale et introduit un cadre de simulation pour générer un jeu de données synthétiques destiné à entraîner des algorithmes d'intelligence artificielle capables de détecter ces pannes.

L'essentiel

🚀 Le Défi : Naviguer dans l'espace avec des yeux qui ne voient plus rien

Imaginez que vous conduisez une voiture autonome sur la Lune ou sur une comète. Votre seule façon de voir le chemin est une caméra. C'est ce qu'on appelle la Navigation Basée sur la Vision (VBN).

Mais dans l'espace, les choses ne sont pas toujours parfaites. Votre "œil" (la caméra) peut tomber malade de plusieurs façons :

• Il peut avoir un coup de poussière (comme un verre de lunettes sale).
• Il peut avoir des pixels morts (comme des taches sur un vieil écran de télévision).
• Il peut être aveuglé par le soleil (comme quand vous conduisez vers un soleil couchant éblouissant).
• Il peut devenir flou (comme un objectif de caméra qui se dégrade avec le temps).

Si la caméra voit mal, l'ordinateur de bord peut se tromper, faire tomber la sonde, ou la perdre dans l'espace. C'est un cauchemar pour les ingénieurs !

🤖 La Solution : Apprendre à l'IA à reconnaître les "maladies"

Pour éviter ces catastrophes, les chercheurs veulent utiliser une Intelligence Artificielle (IA). L'idée est simple : entraîner un cerveau numérique à dire : "Attends, cette image est floue à cause d'un défaut de caméra, pas à cause d'un rocher !"

Mais il y a un gros problème :
Pour apprendre à un enfant à reconnaître un chat, on lui montre des milliers de photos de chats. Pour apprendre à une IA à reconnaître une caméra défectueuse, il faut lui montrer des milliers de photos de caméras défectueuses.
Or, dans l'espace, on ne peut pas facilement créer des pannes pour les photographier. On ne peut pas dire à une sonde : "Hé, casse-toi un peu le capteur pour qu'on puisse t'entraîner !".

🎨 La Magie de l'Article : Un Studio de Cinéma pour l'Esace

C'est là que l'article de Riccardo Gallon et son équipe intervient. Ils ont créé un simulateur ultra-puissant (un peu comme un jeu vidéo très réaliste) pour fabriquer artificiellement ces défauts.

Voici comment ils ont fait, avec des analogies simples :

1. Le décor (La Comète 67P) : Ils ont pris un modèle numérique d'une vraie comète (celle visitée par la sonde Rosetta) et l'ont mis dans leur simulateur.
2. Le réalisateur (Le Simulateur) : Ils ont programmé leur logiciel pour qu'il puisse "salir" l'image à la demande.
   • Analogie : Imaginez que vous prenez une belle photo de paysage, puis que vous projetez dessus des taches de poussière, des lignes noires, ou que vous mettez un filtre "flou" ou "éblouissant". C'est exactement ce que fait leur logiciel, mais de manière mathématique et contrôlée.
3. L'entraînement (Le Dataset) : Ils ont généré 5 000 images avec différents types de "maladies" (poussière, pixels morts, reflets, flou). Pour chaque image, ils ont créé un "masque" (une feuille de papier calque) qui indique exactement où se trouve le défaut.
   • Analogie : C'est comme si vous aviez un livre de 5 000 pages. Sur chaque page, il y a une photo. À côté, il y a un corrigé qui dit : "Ici, c'est un pixel mort. Ici, c'est un reflet du soleil.".

🧠 Pourquoi c'est génial ?

Avant cet article, les chercheurs devaient deviner comment entraîner leurs IA ou utiliser de très rares données réelles. Maintenant, ils ont une boîte à outils complète.

• Pour les ingénieurs : Ils peuvent tester si leur IA est capable de dire "Oh, l'image est sale, je ne vais pas me fier à elle pour atterrir".
• Pour la sécurité : Si l'IA détecte un défaut, elle peut alerter le système pour qu'il utilise une autre méthode (comme des gyroscopes) pour ne pas perdre le contrôle.

🌌 En résumé

Cet article raconte l'histoire de chercheurs qui ont décidé de fabriquer des problèmes (des images de caméras cassées) dans un ordinateur pour préparer l'avenir.

C'est comme un entraîneur de football qui simule des matchs sous la pluie, avec du brouillard et des terrains boueux, pour que son équipe soit prête à gagner même si la météo est terrible le jour du vrai match. Grâce à ce travail, les futures missions vers les comètes et les astéroïdes seront beaucoup plus sûres et intelligentes.

Le mot de la fin : Ils ont créé une bibliothèque de données (un "dataset") que d'autres chercheurs pourront utiliser gratuitement pour entraîner leurs propres intelligences artificielles à ne pas se faire piéger par les défauts des caméras spatiales.

Résumé technique

1. Problématique

L'augmentation de l'utilisation de la Navigation Basée sur la Vision (VBN) pour les missions spatiales ambitieuses (exploration lunaire, martienne, corps célestes mineurs, débris spatiaux) soulève des défis majeurs en matière de fiabilité. Les capteurs optiques (caméras, LiDARs) sont sujets à des pannes qui peuvent dégrader la qualité des images et entraîner des échecs critiques des algorithmes de navigation.

Les défis principaux identifiés sont :

• Détection des pannes : Les méthodes traditionnelles de détection de pannes (FDIR) basées sur les standards de paquets (PUS) sont inadaptées à la nature multidimensionnelle des données d'images. L'Intelligence Artificielle (IA) est une solution prometteuse, mais elle nécessite des données d'entraînement massives et réalistes.
• Manque de données : Il existe un déficit crucial de jeux de données contenant des images défectueuses réelles pour l'entraînement de l'IA, car l'étiquetage manuel d'images spatiales est coûteux et complexe.
• Spécificités de l'environnement : Pour des missions comme Astrone KI (relocalisation autonome sur un corps céleste mineur, la comète 67P), les capteurs sont exposés à des environnements non protégés (rayonnement, poussière, dynamique rapide), générant des modes de défaillance spécifiques.

2. Méthodologie

Les auteurs proposent une approche systématique combinant analyse des défaillances, simulation physique et génération de données synthétiques.

A. Analyse des Modes de Défaillance (FMEA)

Une analyse approfondie des pannes potentielles des capteurs optiques dans l'espace a été réalisée, en s'appuyant sur l'expertise industrielle et les retours d'expérience de missions passées (Cassini, Hayabusa2, OSIRIS-REx). Les pannes suivantes ont été modélisées :

1. Poussière sur les optiques : Dépôt de grains de poussière (soulevés par les propulseurs lors de l'atterrissage ou par électrostatique) créant des ombres et réduisant la visibilité.
2. Pixels défectueux (Broken Pixels) :
   • Pixels chauds/morts causés par le rayonnement (particules solaires, rayons cosmiques).
   • Lignes défectueuses (pleines lignes de pixels morts ou saturés) dues à des défauts électroniques de lecture (CCD/CMOS).
   • Effets de propagation via les algorithmes de dématriçage (interpolation des couleurs).
3. Lumière parasite (Straylight) : Artifacts (flares, glares) causés par des réflexions internes des sources lumineuses (Soleil, corps célestes) dans les lentilles, réduisant le contraste.
4. Vignettage : Assombrissement naturel des bords de l'image dû à l'angle d'incidence de la lumière (loi du cosinus à la puissance 4).
5. Dégradation des optiques : Flou progressif dû à l'usure environnementale (oxygène atomique, UV, impacts de micrométéorites).

B. Infrastructure de Simulation

• Environnement : Utilisation du simulateur CamSim (développé par ASTOS Solutions) intégré dans Simulink.
• Scénario : La comète 67P/Churyumov-Gerasimenko (modèle de forme fourni par ESA/Rosetta) et un véhicule spatial simplifié (Astrone KI).
• Génération d'images : Création d'images synthétiques réalistes en intégrant le Soleil, la comète et le véhicule.

C. Stratégie de Génération du Jeu de Données

Pour créer un jeu de données équilibré et représentatif, les auteurs ont employé une technique d'échantillonnage stratifié :

• Deux phases d'échantillonnage :
  1. Face au Soleil : Pour garantir la présence de pannes de type "Straylight" (qui dépendent de la position du Soleil).
  2. Éloigné du Soleil : Pour les autres types de pannes indépendantes de la position solaire.
• Injection de pannes : Un mécanisme contrôlé injecte les défauts dans les images synthétiques en utilisant des textures pré-calculées ou des filtres mathématiques (ex: filtres gaussiens pour le flou, textures de grains pour la poussière).
• Paramétrisation : Les paramètres (nombre de grains de poussière, intensité du flou, position des flares, etc.) sont randomisés dans des bornes définies pour couvrir un large éventail de scénarios.
• Étiquetage (Labeling) : Génération automatique de masques binaires pour chaque type de panne, permettant un apprentissage supervisé pour la classification ou la segmentation.

3. Contributions Clés

1. Analyse FMEA complète pour la VBN : Une caractérisation détaillée des causes, effets et stratégies d'atténuation des pannes de capteurs spécifiques aux missions d'exploration interplanétaire.
2. Framework de Simulation de Pannes : Développement d'une méthode robuste pour simuler des défauts réalistes (poussière, pixels morts, lumière parasite) dans un environnement de navigation autonome.
3. Jeu de Données Synthétique Innovant : Création d'un jeu de données de 5 000 images injectées avec des pannes, spécifiquement conçu pour l'entraînement d'algorithmes d'IA pour la détection de pannes (FDIR) dans le contexte VBN.
   • Le jeu de données inclut des masques de segmentation pour chaque type de défaut.
   • Il couvre divers scénarios d'éclairage et d'attitude du véhicule.
4. Approche "Domain Gap" : Utilisation de textures et de modèles physiques simplifiés mais efficaces pour simuler une variété de configurations de caméras futures, rendant le jeu de données généralisable.

4. Résultats

• Le framework a permis de générer un ensemble de données diversifié contenant des images avec des combinaisons multiples de pannes (ex: poussière + pixels morts + flou).
• La stratégie d'échantillonnage stratifié a réussi à équilibrer la distribution des classes, en particulier pour la classe "Straylight" qui est souvent sous-représentée dans les échantillonnages aléatoires classiques.
• Les masques générés permettent de distinguer précisément les zones affectées par chaque type de panne, facilitant l'entraînement de réseaux de neurones pour la segmentation sémantique des défauts.
• L'analyse montre que les pannes comme les pixels défectueux concentrés (>3 pixels voisins) ou la poussière peuvent entraîner des erreurs de détection d'objets critiques pour la navigation.

5. Signification et Perspectives

• Avancement de l'IA spatiale : Ce travail comble un vide majeur dans la littérature en fournissant les données nécessaires pour entraîner des systèmes d'IA capables de détecter et de gérer les pannes de capteurs (FDIR) de manière autonome.
• Robustesse des missions : En permettant aux algorithmes de navigation de reconnaître les données corrompues, le système peut basculer vers des modes de sécurité ou des algorithmes de repli, augmentant ainsi la sécurité des missions vers des corps célestes mineurs (SSSB).
• Généralisation : Bien que conçu pour Astrone KI, le jeu de données et la méthodologie sont applicables à d'autres missions (atterrissage, observation de la Terre, rendez-vous orbital).
• Futur : Les auteurs prévoient d'utiliser ce jeu de données pour entraîner et tester des algorithmes de détection d'anomalies réels, et d'enrichir la simulation avec des modèles physiques de lentilles plus avancés (basés sur les méthodes de rendu physique) pour améliorer encore le réalisme.

En résumé, cet article pose les bases techniques essentielles pour l'intégration de l'IA dans les systèmes de navigation spatiale autonome, en transformant le problème de la fiabilité des capteurs en un problème de traitement de données résoluble par l'apprentissage automatique grâce à un jeu de données synthétiques de haute qualité.