Fusion of Visual-Inertial Odometry with LiDAR Relative Localization for Cooperative Guidance of a Micro-Scale Aerial Vehicle

Diese Arbeit stellt ein kooperatives Lokalisierungsverfahren vor, das die präzise LiDAR-basierte relative Positionsbestimmung einer großen Drohne mit der visuellen Inertial-Odometrie einer kleinen Mikrodrohne fusioniert, um deren Drift zu kompensieren und eine präzise Führung sowie das Erreichen für die große Plattform unzugänglicher Bereiche zu ermöglichen.

Das Wesentliche

Hier ist eine einfache und anschauliche Erklärung der Forschung, basierend auf dem vorliegenden Papier:

Das Problem: Der dicke Bär und der schnelle Spatz

Stellen Sie sich vor, Sie wollen ein riesiges, dunkles Lagerhaus erkunden. Dafür brauchen Sie zwei verschiedene Helfer:

1. Der „Dicke Bär" (Die große Drohne): Dieser trägt einen riesigen, schweren 3D-Laser-Scanner (LiDAR) auf dem Rücken. Er kann die Welt extrem präzise vermessen, sieht auch im Dunkeln und verirrt sich nie. Aber er ist schwer, langsam und passt nicht durch enge Gänge oder kleine Fenster.
2. Der „Schnelle Spatz" (Die kleine Drohne): Diese ist winzig, leicht und kann durch die engsten Ritzen fliegen. Sie hat nur eine einfache Kamera. Sie ist schnell und wendig, aber ihre Kamera ist „blind" für Entfernungen. Wenn sie lange fliegt, verliert sie den Bezug zur Welt (sie driftet ab), besonders wenn es dunkel ist oder die Wände glatt sind.

Das Dilemma: Wenn Sie nur den Spatz schicken, verirrt er sich. Wenn Sie nur den Bären schicken, kommt er nicht an den Ort.

Die Lösung: Eine unsichtbare Seilbahn

Die Forscher aus Prag haben eine clevere Idee entwickelt, wie diese beiden zusammenarbeiten können, ohne dass der Spatz einen schweren Laser braucht.

Stellen Sie sich vor, der Bär ist ein erfahrener Lotse, der eine unsichtbare, aber extrem präzise Seilbahn (die Laser-Daten) durch das Lagerhaus spannt. Der Spatz fliegt nicht mehr blind durch die Luft, sondern hält sich an diese unsichtbare Seilbahn fest.

Hier ist, wie das technisch funktioniert, ganz einfach erklärt:

1. Der Blick des Bären: Der Bär scannt die Umgebung mit seinem Laser und sieht den Spatz als einen klaren Punkt im Raum. Er weiß genau, wo der Spatz ist (z. B. „3 Meter links, 2 Meter hoch").
2. Das Gefühl des Spatzes: Der Spatz schaut durch seine Kamera und sagt: „Ich fliege gerade geradeaus!" (Das nennt man VIO – visuelle Navigation). Aber weil die Kamera ungenau ist, sagt er nach einer Weile: „Ich bin noch geradeaus geflogen", obwohl er eigentlich schon gegen eine Wand geflogen wäre.
3. Die Fusion (Das große Aha!): Der Bär schaut auf den Spatz und sagt: „Hey, du bist nicht geradeaus, du bist schon 2 Meter nach rechts abgedriftet!"
   • Der Bär nimmt die grobe, aber driftende Information des Spatzes (Kamera).
   • Er kombiniert sie mit seiner genauen, aber schweren Information (Laser).
   • Das Ergebnis: Der Bär berechnet den wahren Standort des Spatzes in Echtzeit.

Was passiert dann?

Der Bär sendet dem Spatz über Funk eine Nachricht: „Flieg nicht dorthin, wo deine Kamera sagt, sondern genau hier entlang dieser Linie!"

Dadurch kann der kleine Spatz:

• Durch enge Gänge fliegen, wo der Bär nicht hinkommt.
• Sich trotzdem nicht verirren, weil der Bär ihn ständig korrigiert.
• Auch in dunklen Ecken arbeiten, wo die Kamera des Spatzes eigentlich versagen würde, weil der Bär ihm sagt, wo er ist.

Ein anschauliches Bild: Der Tanzpartner

Stellen Sie sich ein Tanzpaar vor:

• Der Bär ist der erfahrene Tanzlehrer, der den Takt und die Position auf dem Parkett perfekt kennt.
• Der Spatz ist ein Anfänger, der gerne tanzt, aber oft den Rhythmus verliert und vom Platz tanzt.

Normalerweise würde der Anfänger allein schnell gegen die Wand tanzen. Aber in diesem System hält der Tanzlehrer (Bär) den Anfänger (Spatz) am Arm. Der Lehrer sagt dem Anfänger nicht, wie er tanzen soll, sondern korrigiert ihn sanft: „Nein, nicht so weit nach links, wir sind noch hier."

Dadurch kann der Anfänger die schwierigen Figuren (die engen Gänge) tanzen, während der Lehrer die Sicherheit garantiert.

Das Ergebnis in der echten Welt

Die Forscher haben das in einem echten Industrie-Lager getestet:

• Der große Bär blieb im Hauptgang.
• Der kleine Spatz flog in die engen Seitenkorridore, um eine 3D-Karte zu erstellen.
• Selbst wenn der Spatz kurz hinter einer Wand verschwand (und der Laser ihn nicht mehr sah), wusste das System durch die Kombination aus Laser und Kamera noch genau, wo er war. Sobald er wieder sichtbar wurde, wurde die Position sofort wieder auf den Millimeter genau korrigiert.

Zusammenfassend: Die Forscher haben einen Weg gefunden, wie eine große, teure Drohne mit einem Laser eine kleine, billige Drohne mit einer Kamera „blind" durch die Welt führen kann. So bekommen wir das Beste aus beiden Welten: Die Präzision des Lasers und die Wendigkeit der kleinen Drohne.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Papers auf Deutsch:

Titel: Fusion von visuell-inertialer Odometrie (VIO) mit LiDAR-basierter relativer Lokalisierung für die kooperative Führung eines mikro-skaligen Luftfahrzeugs

1. Problemstellung

Autonome Multi-Rotor-UAVs (Unmanned Aerial Vehicles) sind für Such- und Rettungseinsätze (SAR) in GNSS-verweigerten Umgebungen (z. B. Innenräume, unterirdische Bereiche) geeignet. Es bestehen jedoch fundamentale Herausforderungen bei der Lokalisierung:

• Kamerasbasierte Systeme (VIO): Leichte, kostengünstige Mikro-UAVs nutzen oft visuelle-inertiale Odometrie (VIO). Diese leiden jedoch unter signifikantem Drift über die Zeit, sind stark von Lichtverhältnissen und Textur abhängig und haben unbeobachtbare Freiheitsgrade (Skala, globale Translation, Gier-Winkel), was zu Ungenauigkeiten im globalen Referenzrahmen führt.
• LiDAR-basierte Systeme: 3D-LiDAR-Sensoren bieten hohe Genauigkeit, Robustheit gegenüber Licht und geringen Drift. Allerdings sind sie schwer, energieintensiv und erfordern große UAV-Plattformen, die oft nicht in enge Passagen vordringen können.

Das Ziel der Arbeit ist es, die Vorteile beider Sensortypen in einem heterogenen Team zu kombinieren: Ein großer, mit LiDAR ausgestatteter "Primär-UAV" soll einen kleinen, nur mit einer Kamera ausgestatteten "Sekundär-UAV" präzise führen und dabei den VIO-Drift des Sekundär-UAVs kompensieren, ohne dass dieser selbst einen LiDAR tragen muss.

2. Methodik

Der vorgeschlagene Ansatz basiert auf einer engen Kooperation zwischen zwei UAVs und einer zentralen Datenfusion auf dem Primär-UAV.

• Systemarchitektur:

  • Primär-UAV: Ausgestattet mit einem 3D-LiDAR (Ouster OS0-128) und einem Onboard-Computer. Er führt eine LiDAR-SLAM (Simultaneous Localization and Mapping) durch und fungiert als "Führer".
  • Sekundär-UAV: Ein leichter Mikro-UAV mit einer monokularen Kamera und IMU. Er nutzt VIO (z. B. VINS-Mono) für die Eigenlokalisierung, leidet aber unter Drift.
  • Kommunikation: Die UAVs sind über ein drahtloses Netzwerk synchronisiert. Der Primär-UAV berechnet die relative Position und sendet Trajektorienbefehle an den Sekundär-UAV.

• Fusionsalgorithmus (UAV Guider):
  Der Kern der Methode ist ein zweistufiger Schätzer auf dem Primär-UAV, der LiDAR-Detektionen mit VIO-Daten fusioniert:

  1. LiDAR-basierte Detektion: Der Primär-UAV detektiert den Sekundär-UAV direkt aus den 3D-Punktwolken (optional unterstützt durch reflektierende Marker in unübersichtlichen Umgebungen). Dies liefert präzise 3D-Positionen ($L_d$).
  2. NLS-Optimierung (Non-Linear Least Squares): Ein gleitender Fenster-Optimierer berechnet die Transformation ($^V_L T$) zwischen dem LiDAR-Rahmen ($L$) und dem VIO-Rahmen ($V$). Dies korrigiert die relative Ausrichtung und Position basierend auf Korrespondenzen zwischen LiDAR-Detektionen und VIO-Posen.
  3. LKF-Tracker (Linear Kalman Filter): Ein Kalman-Filter nutzt die Ergebnisse der NLS-Optimierung und fusioniert diese mit den neuesten LiDAR-Messungen und VIO-Daten (Position, Geschwindigkeit, Gier-Winkel). Dieser Schritt kompensiert Verzögerungen, behandelt Messrauschen und liefert eine drift-kompensierte Schätzung der Pose des Sekundär-UAVs im LiDAR-Rahmen.
  4. Referenztransformation: Die gewünschte Trajektorie, definiert im LiDAR-Rahmen des Primär-UAVs, wird in den lokalen Rahmen des Sekundär-UAVs transformiert und zur Nachverfolgung gesendet.

• Besonderheiten:

  • Der Ansatz ist "loosely-coupled" (lose gekoppelt), was ihn robust gegenüber Modellierungsfehlern und kompatibel mit verschiedenen VIO-Algorithmen macht.
  • Er erfordert keine Vorab-Kenntnisse über die Größe der UAVs oder die initiale Pose.
  • Er kann mit falschen Detektionen und variablen Kommunikationsverzögerungen umgehen.

3. Hauptbeiträge

1. Neue Fusionsmethode: Eine innovative relative Lokalisierung, die LiDAR-Genauigkeit und VIO-Leichtigkeit kombiniert, um eine gemeinsame Referenz für heterogene UAV-Teams zu schaffen.
2. Kooperative Führungsstrategie: Eine Methode, die es dem Primär-UAV ermöglicht, den Sekundär-UAV präzise entlang von Trajektorien zu führen, die im LiDAR-Rahmen definiert sind, und dabei den VIO-Drift effektiv zu unterdrücken.
3. Öffentliches Dataset: Die Freigabe von Rohdaten aus realen Experimenten, um die Forschung an relativen Lokalisierungsansätzen zu unterstützen.

4. Ergebnisse und Evaluation

Die Methode wurde in Simulationen (Gazebo) und realen Flügen evaluiert:

• Simulationen:

  • Die Methode konnte konstante Drift-Geschwindigkeiten von bis zu 0,7 m/s erfolgreich kompensieren.
  • In Nicht-Sichtlinien-Szenarien (NLOS) konnte die Lokalisierung bei Wiederaufnahme der Sichtlinie korrigiert werden, wobei der RMSE (Root Mean Squared Error) im Sichtbereich bei 0,11 m lag.

• Reale Experimente:

  • Genauigkeit: Die Fusion von LiDAR und VIO reduzierte den 3D-Absolute Trajectory Error (ATE) signifikant im Vergleich zu reinem VIO.
    • Kreisflug: LiDAR+VIO ATE = 0,19 m vs. VINS-Mono ATE = 1,21 m.
    • Acht-Form-Flug: LiDAR+VIO ATE = 0,36 m vs. VINS-Mono ATE = 3,55 m.
    • Durchschnittlicher 3D-ATE über alle Tests: 0,28 m (LiDAR+VIO) gegenüber 2,38 m (VINS-Mono).
  • Echtzeitfähigkeit: Die Algorithmen liefen vollständig on-board. Die LiDAR-Detektion erfolgte mit 10 Hz, und die Fusion benötigte weniger als 5 ms pro Schätzung.
  • Kooperative Kartierung: In einem industriellen Lagerhaus konnte der Primär-UAV den Sekundär-UAV in enge Gänge führen, die für den großen LiDAR-UAV unzugänglich waren. Die erstellten Karten wurden erfolgreich fusioniert.

5. Bedeutung und Ausblick

Diese Arbeit demonstriert, wie heterogene UAV-Schwärme die Stärken unterschiedlicher Sensoren nutzen können, um Aufgaben in komplexen Umgebungen zu lösen, die für einzelne Plattformen zu schwierig sind.

• Praktische Relevanz: Die Methode ermöglicht es, kostengünstige, kleine Drohnen präzise zu steuern, ohne deren Nutzlast durch schwere LiDAR-Sensoren zu erhöhen. Dies ist besonders für SAR-Einsätze in eingestürzten Gebäuden oder engen Gängen wertvoll.
• Robustheit: Durch die Nutzung von LiDAR wird die Abhängigkeit von Lichtverhältnissen und Texturen minimiert, was die Zuverlässigkeit in schwierigen Umgebungen erhöht.
• Skalierbarkeit: Die Kommunikation ist so effizient, dass eine Skalierung auf mehrere Sekundär-UAVs theoretisch möglich ist, wobei die Bandanforderungen weit unter den Grenzen aktueller WLAN-Module liegen.

Zusammenfassend bietet der vorgestellte Ansatz einen robusten Weg, um die Genauigkeit von VIO-Systemen durch die Fusion mit LiDAR-Daten eines kooperierenden Partners zu verbessern, und ermöglicht so präzise Navigation in GNSS-freien Zonen.