Addressing Camera Sensors Faults in Vision-Based Navigation: Simulation and Dataset Development

Diese Studie adressiert die Herausforderungen bei der Zuverlässigkeit von visuellen Navigationssystemen im Weltraum durch die systematische Charakterisierung von Kamerafehlern und die Entwicklung eines Simulationsrahmens zur Generierung eines synthetischen Datensatzes für das Training von KI-basierten Fehlererkennungsalgorithmen.

Das Wesentliche

Stellen Sie sich vor, Sie steuern ein autonomes Auto durch eine fremde Stadt. Das Auto muss die Straße sehen, Hindernisse erkennen und sicher navigieren. Nun stellen Sie sich vor, dieses Auto fliegt nicht auf der Erde, sondern landet auf einem kahlen, staubigen Asteroiden im tiefen Weltraum. Das ist die Aufgabe des Projekts Astrone KI.

Das Problem: Die „Augen" dieses Raumfahrzeugs – also die Kameras – können im Weltraum kaputtgehen oder getäuscht werden. Wenn die Kamera nur noch ein verschwommenes Bild liefert oder von einem grellen Sonnenstrahl geblendet wird, kann das Navigations-System den Weg nicht mehr finden. Das könnte die ganze Mission gefährden.

Hier kommt die KI (Künstliche Intelligenz) ins Spiel. Sie soll wie ein sehr aufmerksamer Copilot funktionieren, der sofort merkt: „Hey, das Bild ist verdächtig! Die Kamera hat ein Problem!"

Aber wie trainiert man einen solchen Copiloten? Man kann ihm nicht einfach sagen: „Guck mal, hier ist ein kaputtes Bild." Denn im Weltraum gibt es keine fertigen Beispiele von kaputten Kameras, die man einfach einsammeln kann.

Die Lösung: Ein riesiges „Schulbuch" aus Simulationen

Die Autoren dieses Papers haben eine clevere Idee entwickelt: Sie haben eine digitale Spielwiese gebaut, in der sie absichtlich Fehler in die Bilder einbauen, um die KI zu trainieren.

Stellen Sie sich das wie einen Kochkurs für KI vor:

1. Die Zutaten: Sie brauchen Bilder von einem Asteroiden (in diesem Fall dem Kometen 67P).
2. Die Fehler (Die „verdorbenen" Zutaten): Die Forscher haben verschiedene Arten von „Verderb" simuliert, die in der echten Welt passieren können:
   • Staub auf der Linse: Wie wenn Sie mit einem dreckigen Finger über eine Kamera gehen. Das Bild wird dunkel und unscharf.
   • Tote Pixel: Stellen Sie sich vor, auf Ihrem Handy-Bildschirm wären ein paar Pixel schwarz oder leuchten immer weiß. Das passiert Kameras im All durch Strahlung.
   • Sonnenblendung (Straylight): Wie wenn Sie bei hellem Sonnenlicht durch eine Linse schauen und ein greller Lichtreflex (ein „Linsenblitz") das Bild überlagert.
   • Vignettierung: Das Bild wird an den Rändern dunkel, als würde man durch ein altes, schmutziges Fenster schauen.
   • Allgemeine Unschärfe: Die Linse wird mit der Zeit trüb, wie eine alte Brille.

Wie funktioniert das Training?

Normalerweise müsste man Jahre warten, bis eine echte Kamera im All zufällig einen dieser Fehler macht, um ein Foto davon zu machen. Das wäre viel zu langsam.

Stattdessen haben die Forscher einen Simulator gebaut (ein sehr komplexes Videospiel für Ingenieure).

• Sie lassen das virtuelle Raumschiff um den Kometen fliegen.
• Dann sagen sie dem Simulator: „Mach jetzt Staub auf die Linse!" oder „Blende das Bild mit der Sonne!"
• Der Computer erzeugt sofort ein neues Bild mit genau diesem Fehler.
• Gleichzeitig erstellt er eine Schablone (Mask), die genau markiert: „Hier ist der Staub, hier ist der tote Pixel."

Das Ergebnis ist ein riesiger Datensatz mit 5.000 Bildern. Jedes Bild ist ein Lehrbeispiel. Die KI kann damit lernen: „Aha, wenn ich so einen dunklen Fleck sehe, ist es Staub. Wenn ich so einen hellen Blitz sehe, ist es Sonnenblendung."

Warum ist das so wichtig?

Früher haben Ingenieure versucht, Fehler mit strengen Regeln zu finden (z. B. „Wenn ein Pixel zu hell ist, ist er kaputt"). Das funktioniert im chaotischen Weltraum oft nicht gut.

Mit dieser neuen Methode lernt die KI wie ein Mensch: Sie sieht tausende Beispiele von Fehlern und versteht das Muster. Wenn die echte Kamera dann im All plötzlich von Staub bedeckt wird, erkennt die KI das sofort und kann dem Raumschiff sagen: „Verlasse dich jetzt nicht auf die Kamera, wir müssen einen anderen Weg finden oder die Kamera reinigen."

Zusammenfassung in einer Metapher

Stellen Sie sich vor, Sie wollen einen Lehrer für einen blinden Schüler trainieren, damit dieser lernt, Hindernisse zu „fühlen".

• Das alte Problem: Sie müssten warten, bis der Schüler zufällig gegen einen Baum läuft, um zu lernen, dass Bäume weh tun.
• Die neue Methode (dieses Paper): Sie bauen eine virtuelle Welt, in der Sie dem Schüler absichtlich Bäume, Mauern und Löcher in den Weg legen. Sie zeichnen ihm genau auf, wo die Hindernisse sind. Der Schüler (die KI) trainiert in dieser sicheren Simulation, bis er perfekt ist. Dann ist er bereit für die echte Welt, ohne dass er sich verletzt.

Dieses Paper liefert also das Trainingsmaterial, damit die KI der Astrone-Mission sicher durch den Weltraum navigieren kann, selbst wenn ihre „Augen" mal einen Streich spielen.

Technische Zusammenfassung

1. Problemstellung

Die zunehmende Bedeutung von Vision-Based Navigation (VBN) für zukünftige Weltraummissionen (z. B. Mond- und Mars Exploration, aktive Trümmerbeseitigung, autonome Relokation auf kleinen Himmelskörpern) stellt hohe Anforderungen an die Zuverlässigkeit der Sensoren.

• Herausforderung: Sensorfehler (z. B. defekte Pixel, Staub auf der Optik, Streulicht) können zu fehlerhaften Navigationsausgaben oder einem kompletten Ausfall der Datenverarbeitung führen, was die Missionsziele gefährdet.
• KI als Lösung: Künstliche Intelligenz (KI) bietet vielversprechende Ansätze zur Fehlererkennung (FDIR – Fault Detection, Isolation and Recovery), die über traditionelle Methoden hinausgehen.
• Hauptbarriere: Der größte Engpass für den Einsatz von KI ist das Fehlen ausreichender und repräsentativer Datensätze, die fehlerhafte Bilddaten enthalten. Das manuelle Labeln realer Weltraumbilder ist extrem aufwendig und oft nicht praktikabel. Zudem existieren kaum Datensätze, die spezifische Fehlermodi von Kamerasensoren in VBN-Szenarien abbilden.

2. Methodik

Das Paper stellt einen umfassenden Ansatz vor, der auf dem Projekt Astrone KI basiert und sich auf die Erkundung des Kometen 67P/Churyumov-Gerasimenko konzentriert.

A. Simulationsumgebung

• Tool: Nutzung der CamSim-Software (von ASTOS Solutions), die in eine Simulink-Umgebung integriert ist.
• Szenerie: Rendering der Umgebung (Sonne, Komet, Raumfahrzeug) unter Verwendung von 3D-Modellen (.obj) und physikalisch korrekten Beleuchtungsbedingungen.
• Referenzsysteme: Definition mehrerer Koordinatensysteme (International Celestial, Target-Body Fixed, Local-Level, Body-Fixed, Camera-Fixed) zur präzisen Steuerung von Position und Ausrichtung.

B. Identifizierte Fehlermodi (Fault Cases)

Die Autoren analysierten Fehler, die für interplanetare Missionen kritisch sind, und klassifizierten sie wie folgt:

1. Staub auf der Optik (Dust on Optics): Durch Triebwerksabgase beim Landen aufgewirbelter Staub, der sich elektrostatisch auf den Linsen ablagert und Schatten wirft.
2. Defekte Pixel (Broken Pixels):
   • Hot/Dead Pixels: Verursacht durch Strahlung (Solar Particles, GCR), die die Detektorantwort verändert.
   • Salt & Pepper Defects: Extremfälle von Hot/Dead Pixels.
   • Demosaicing-Artefakte: Ausbreitung des Fehlers auf Nachbarpixel durch Interpolationsalgorithmen.
   • Zeilen-/Spaltenfehler: Durch Defekte in der Ausleseelektronik (CCD/CMOS-spezifisch).
3. Streulicht (Straylight): Unerwünschte Reflexionen (Flares, Glares) durch Lichtquellen (Sonne, Himmelskörper) innerhalb oder außerhalb des Sichtfelds, die Kontrast reduzieren und Objekte verdecken.
4. Vignettierung: Natürliche Abdunkelung der Bildränder durch den Einfallswinkel des Lichts (Cosine-fourth law).
5. Optik-Degradation: Langfristige Verschlechterung durch UV-Strahlung, Atomarer Sauerstoff oder Mikrometeoriten, simuliert hier als allgemeine Unschärfe (Blur).

C. Datengenerierungs-Strategie

• Stratifizierte Stichprobenziehung (Stratified Sampling): Um eine ausgewogene Verteilung der Fehlerklassen zu gewährleisten, wurde ein zweistufiger Prozess entwickelt:
  1. Sonnenausrichtung: Bilder werden generiert, bei denen die Sonne im oder nahe dem Sichtfeld liegt (für Streulicht-Fehler).
  2. Sonne fern: Bilder werden generiert, bei denen die Sonne außerhalb liegt.
     Dies verhindert, dass Streulicht-Fehler zufällig und unkontrolliert auftreten.
• Fehler-Injektion: Ein Matrix-basierter Ansatz steuert, welche Fehler in welchem Bild injiziert werden. Die Fehler werden durch das Überlagern von Texturen (z. B. Gauß-Verteilungen für Staub, synthetische Flare-Texturen) oder Filtern (Gauß-Filter für Unschärfe) auf die synthetischen Bilder simuliert.
• Labeling: Für jeden Fehlermodus werden binäre Masken generiert. Bei Streulicht wird dies durch Subtraktion eines sauberen Referenzbildes vom fehlerbehafteten Bild erreicht.

3. Wichtige Beiträge

1. Neue FMEA (Failure Modes and Effects Analysis): Eine detaillierte Analyse von Sensorfehlern, die speziell auf die Anforderungen von VBN-Systemen bei der Erkundung kleiner Himmelskörper (SSSB) zugeschnitten ist.
2. Simulationsframework: Entwicklung einer kontrollierten Umgebung zur systematischen Reproduktion von Fehlerzuständen, die auf industrieller Expertise und Literatur zu Weltraummissionen (Cassini, Hayabusa2, OSIRIS-REx) basiert.
3. Öffentlicher Datensatz: Erstellung eines Datensatzes mit 5.000 synthetischen Bildern des Kometen 67P, der verschiedene Beleuchtungsbedingungen, Raumfahrzeug-Attitüden und injizierte Fehlerkombinationen enthält.
   • Der Datensatz enthält sowohl die fehlerhaften Bilder als auch die zugehörigen Ground-Truth-Masken für Training und Validierung von KI-Modellen.
4. Übertragbarkeit: Obwohl auf Astrone KI zugeschnitten, ist die Methodik so gestaltet, dass sie auf andere Missionstypen (Landing, Earth Observation, Interplanetar) übertragbar ist (siehe Tabelle 9 im Paper).

4. Ergebnisse

• Der Datensatz deckt eine breite Palette von Szenarien ab, von reinen Himmelsszenen bis hin zu komplexen Geländeaufnahmen mit verschiedenen Fehlerkombinationen.
• Die Simulationen zeigen realistische Artefakte, die die Leistung von Navigationsalgorithmen beeinträchtigen (z. B. Verlust von Landmarken-Erkennung durch Streulicht oder Unschärfe).
• Die strukturierte Generierung ermöglicht es, KI-Modelle gezielt auf spezifische Fehlerklassen zu trainieren, was bei rein zufälligen Stichproben nicht möglich wäre.

5. Bedeutung und Ausblick

• Schlüsselrolle für KI in der Raumfahrt: Das Paper schließt eine kritische Lücke in der Entwicklung von autonomen Weltraumsystemen. Ohne solche fehlerbehafteten Datensätze ist das Training robuster KI-basierter FDIR-Systeme kaum möglich.
• Sicherheitsgewinn: Durch den Einsatz von KI zur Fehlererkennung können VBN-Systeme Ausfälle frühzeitig erkennen und auf Fallback-Algorithmen umschalten, was die Missionszuverlässigkeit erhöht.
• Zukünftige Arbeiten: Die Autoren planen, den Datensatz für das Training von Anomalie-Erkennungs-Algorithmen im Rahmen des Astrone KI-Projekts zu nutzen. Zudem wird die Integration physikalisch basierter Streulicht-Modelle (anstatt nur Texturen) als zukünftige Verbesserung vorgeschlagen.

Fazit: Die Studie liefert einen fundamentalen Baustein für die nächste Generation autonomer Weltraummissionen, indem sie die notwendige Dateninfrastruktur für KI-gestützte Fehlererkennung in visuellen Navigationssystemen bereitstellt.