Fusion of Visual-Inertial Odometry with LiDAR Relative Localization for Cooperative Guidance of a Micro-Scale Aerial Vehicle

Dit artikel presenteert een innovatieve aanpak voor de coöperatieve navigatie van een micro-UAV door visueel-inertiaal odometrie te fuseren met LiDAR-gebaseerde relatieve lokalisatie van een grotere drone, waardoor een nauwkeurige en driftvrije geleiding mogelijk wordt die de voordelen van beide sensoren combineert.

De kern

De Grote Vriend en de Kleine Avonturier: Een Teamwork voor Vliegende Robots

Stel je voor dat je twee vliegende drones hebt die samen een missie moeten uitvoeren in een donker, krappe kelder of een groot magazijn zonder GPS-signaal.

1. De "Grote Vriend" (De LiDAR-drone): Dit is een zware, krachtige drone met een superkrachtige 3D-laser (LiDAR) op zijn rug. Hij kan de omgeving tot in de puntjes in kaart brengen, zelfs in het donker. Hij is als een ervaren verkenningshond die nooit verdwaalt. Maar hij is groot en zwaar, dus hij kan niet door kleine openingen of krappe gaten vliegen.
2. De "Kleine Avonturier" (De Camera-drone): Dit is een piepkleine, lichte drone met alleen een camera. Hij is zo klein dat hij overal naartoe kan, zelfs door spleten waar de grote drone niet komt. Maar hij is een beetje onzeker: hij gebruikt zijn camera om te navigeren (zoals een mens die rondkijkt), en als het licht verandert of de muren saai zijn, begint hij te "dromen". Hij denkt dat hij ergens anders is dan hij echt is. Dit noemen we drift (hij raakt langzaam de weg kwijt).

Het Probleem:
Als je de kleine drone alleen laat vliegen, raakt hij na een tijdje de weg kwijt en botst hij misschien tegen een muur. Als je de grote drone alleen laat vliegen, kan hij niet bij de interessante plekken komen.

De Oplossing uit het Onderzoek:
De onderzoekers van de Technische Universiteit Praag hebben een slimme manier bedacht om deze twee te laten samenwerken. Ze laten de Grote Vriend de Kleine Avonturier leiden, maar dan op een heel specifieke manier.

Hoe werkt het? (De Vergelijkingen)

1. De "Radar en de Kompas" (Sensorfusie)
De grote drone gebruikt zijn laser om de positie van de kleine drone te zien. Het is alsof de grote drone een radar heeft die de kleine drone continu ziet.

• De kleine drone zegt: "Ik denk dat ik hier ben!" (op basis van zijn camera).
• De grote drone zegt: "Nee, ik zie je daar staan!" (op basis van zijn laser).
• De computer op de grote drone mixt deze twee informatiebronnen. Hij neemt de nauwkeurige laser-data en koppelt die aan de beweging van de kleine drone. Hierdoor weet hij precies waar de kleine drone is, zelfs als de camera van de kleine drone begint te "dromen".

2. De "Gids die de Weg wijst"
Stel je voor dat de grote drone een kaart heeft die perfect is. Hij zegt tegen de kleine drone: "Vlieg naar punt A, dan naar punt B."

• Zonder hulp zou de kleine drone, door zijn eigen onnauwkeurigheid, punt A missen en steeds verder afdrijven.
• Met de hulp van de grote drone krijgt de kleine drone continu updates: "Je bent net iets naar links afgedreven, maak een kleine correctie."
• Zo blijft de kleine drone precies op de lijn, alsof hij aan een onzichtbaar touwtje hangt dat door de grote drone wordt vastgehouden.

3. Wat gebeurt er als ze elkaar niet zien?
Soms vliegt de kleine drone achter een muur of in een hoek waar de laser van de grote drone niet komt (geen zichtlijn).

• Dan vertrouwt het systeem even op de "dromen" van de kleine drone (zijn eigen camera).
• Zodra de grote drone de kleine drone weer ziet, corrigeert hij direct: "Ah, je was net iets verkeerd, hier ben je echt!" en zet de koers weer recht.

Waarom is dit cool?

• De beste van twee werelden: Je krijgt de precisie van de zware laser en de wendbaarheid van de kleine camera-drone.
• Veiligheid: De kleine drone kan nu veilig door krappe ruimtes vliegen zonder bang te zijn dat hij verdwaalt.
• Geen dure apparatuur: De kleine drone hoeft geen zware laser mee te nemen; hij kan gewoon zijn eigen camera gebruiken. De zware "werklast" wordt gedaan door de grote drone.

Het Resultaat

In hun tests hebben ze laten zien dat deze samenwerking werkt. De kleine drone kon precies de route volgen die de grote drone had bedacht, zelfs in een donker magazijn. Zonder deze hulp zou de kleine drone na een paar minuten al ver weg zijn van zijn route.

Kortom: Het is als een ervaren gids (de grote drone) die een enthousiaste maar wat vergetelijke toerist (de kleine drone) de weg wijst, zodat ze samen plekken kunnen ontdekken die voor de gids alleen te klein of te moeilijk zijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Fusion of Visual-Inertial Odometry with LiDAR Relative Localization for Cooperative Guidance of a Micro-Scale Aerial Vehicle", geschreven in het Nederlands.

Titel: Fusie van Visueel-Inertiaal Odometrie met LiDAR-Relatieve Lokalisatie voor Coöperatieve Geleiding van een Micro-Schaal Vliegende Robot

1. Probleemstelling

Autonome drones (UAV's) worden steeds vaker ingezet voor zoek- en reddingsoperaties (SAR) en inspecties in complexe, afgesloten ruimtes waar GPS-signaal ontbreekt (GNSS-ontzegde omgevingen). Er zijn twee hoofduitdagingen bij het gebruik van UAV-zwermen in deze omgevingen:

• Beperkte sensoren: Micro-UAV's zijn lichtgewicht en kunnen vaak alleen een camera en IMU (Inertial Measurement Unit) dragen. Ze gebruiken Visueel-Inertiaal Odometrie (VIO) voor zelflokalisatie. VIO is echter gevoelig voor slechte verlichting, gebrek aan textuur en lijdt aan significante drift over de tijd, wat leidt tot onnauwkeurige positieschattingen.
• Zware sensoren: 3D-LiDAR-systemen bieden zeer nauwkeurige en robuuste lokalisatie (minder drift), maar zijn zwaar, duur en verbruiken veel energie. Ze vereisen grote UAV-platforms die niet door nauwe doorgangen kunnen vliegen.

Het doel van dit onderzoek is het creëren van een heterogene UAV-zwerm waarbij een grote, LiDAR-uitgeruste "primaire" UAV een kleine, camera-uitgeruste "secundaire" UAV nauwkeurig kan leiden. Dit combineert de nauwkeurigheid van LiDAR met de wendbaarheid van micro-drones, zonder dat de secundaire drone zware sensoren hoeft te dragen.

2. Methodologie

De auteurs stellen een coöperatieve navigatie-architectuur voor die bestaat uit twee UAV's:

• Primaire UAV: Uitgerust met een 3D-LiDAR en een onboard computer. Deze voert SLAM (Simultaneous Localization and Mapping) uit en fungeert als de "gids".
• Secundaire UAV: Een micro-UAV met een monochromatische camera en IMU, die VIO gebruikt voor lokale navigatie.

Het kernproces (Fusie en Geleiding):

1. LiDAR-detectie: De primaire UAV detecteert de secundaire UAV direct in de 3D-LiDAR-puntenwolk. Dit levert een nauwkeurige relatieve positie ($L_d$) op in het LiDAR-coördinatenstelsel ($L$).
2. VIO-gegevens: De secundaire UAV stuurt zijn geschatte pose (positie en snelheid) via VIO ($V_p$) in zijn eigen lokale coördinatenstelsel ($V$) naar de primaire UAV.
3. Transformatie-schatting: De primaire UAV moet de transformatie vinden tussen het VIO-stelsel ($V$) en het LiDAR-stelsel ($L$). Dit gebeurt in twee stappen:
   • NLS-optimizer (Non-Linear Least Squares): Een schuifvenster (sliding window) wordt gebruikt om de relatieve transformatie ($^V_L T$) te optimaliseren door LiDAR-detecties en VIO-posities te aligneren. Dit corrigeert de schaal en de richting, maar kan vertraging hebben bij grote drift.
   • LKF-tracker (Linear Kalman Filter): Een Kalman-filter fuseert de output van de NLS-optimizer met de meest recente LiDAR-detecties en VIO-gegevens. Dit filter compenseert voor meetvertragingen, ruis en de drift van de VIO, en levert een stabiele, drift-compensatie pose-schatting ($^S_L T$) op.
4. Coöperatieve Geleiding: De primaire UAV plant een traject in zijn eigen referentiekader ($L$). Deze trajecten worden via de geschatte transformatie omgezet naar het lokale kader van de secundaire UAV ($S$) en daarheen gestuurd. De secundaire UAV volgt dit traject met zijn eigen VIO-gestuurde controller.

Speciale aandachtspunten:

• Het systeem is losjes gekoppeld (loosely-coupled), wat betekent dat het werkt met elke VIO-algoritme en geen vooraf bekende grootte van de UAV vereist.
• Het systeem kan omgaan met tijdelijke verlies van zicht (NLOS) door de VIO-gegevens te gebruiken, en corrigeert de drift zodra het zicht weer terugkeert.
• Optionele reflecterende markers op de secundaire UAV kunnen de detectie in rommelige omgevingen verbeteren, maar zijn niet strikt noodzakelijk.

3. Belangrijkste Bijdragen

• Nieuwe Lokalisatiemethode: Een innovatieve aanpak voor relatieve lokalisatie tussen heterogene UAV's door LiDAR-detecties te fuseren met VIO-gegevens. Dit creëert een gemeenschappelijk referentiekader zonder dat de secundaire drone zware sensoren nodig heeft.
• Drift-Compensatie: Het systeem kan de lange termijn-drift van VIO effectief mitigeren door de secundaire UAV te leiden via een primaire UAV met een stabiele LiDAR-lokalisatie.
• Coöperatieve Strategie: Een strategie die het mogelijk maakt om secundaire UAV's nauwkeurig te sturen langs trajecten die in het kader van de primaire UAV zijn gedefinieerd.
• Open Data: De auteurs hebben de ruwe data van hun real-world experimenten openbaar gemaakt, wat een uniek dataset biedt voor de onderzoeksgemeenschap voor het testen van vergelijkbare relatieve lokalisatie-methoden.

4. Resultaten

De methode is geëvalueerd via simulaties (Gazebo) en uitgebreide real-world experimenten in een industriële omgeving.

• Simulaties:
  • Het systeem kon driftsnelheden tot 0,7 m/s succesvol compenseren zonder dat de secundaire UAV uit de lijn raakte of botste.
  • Bij Non-Line-of-Sight (NLOS) situaties (achter muren) bleef het systeem de positie schatten via VIO, met een correctie zodra het zicht weer hersteld was.
• Real-world Experimenten:
  • Nauwkeurigheid: De gemiddelde 3D Absolute Trajectory Error (ATE) van de gefuseerde methode was 0,28 m. Dit is aanzienlijk beter dan de ruwe VIO-uitvoer (OpenVINS: 0,58 m, VINS-Mono: 2,38 m).
  • Trajectvolging: De secundaire UAV kon nauwkeurig cirkels en acht-vormige trajecten volgen, ondanks significante drift in zijn eigen VIO-schatting.
  • Coöperatieve Mapping: In een testscenario in een magazijn kon de secundaire UAV nauwe gangen in kaart brengen die te smal waren voor de LiDAR-draagende primaire UAV. De kaarten werden succesvol samengevoegd tot een globale occupancy map.
• Performance: De algoritmen draaiden volledig onboard met een verwerkingstijd van minder dan 5 ms voor de fusie, wat real-time gebruik mogelijk maakt.

5. Betekenis en Conclusie

Dit onderzoek toont aan dat het combineren van zware, nauwkeurige sensoren (LiDAR) op grote drones met lichte, goedkope sensoren (camera's) op micro-drones een krachtige oplossing biedt voor complexe missies in GNSS-ontzegde omgevingen.

De belangrijkste implicaties zijn:

• Efficiëntie: Het verminderen van het payload-gewicht op secundaire drones, waardoor ze kleiner, goedkoper en wendbaarder zijn.
• Robuustheid: Het creëren van een systeem dat minder gevoelig is voor de beperkingen van visuele systemen (licht, textuur) dankzij de LiDAR-achtergrond.
• Toepasbaarheid: De methode maakt het mogelijk om grote gebieden te verkennen met LiDAR-nauwkeurigheid, terwijl specifieke, ontoegankelijke locaties worden bezocht door de micro-drones.

De auteurs concluderen dat hun aanpak de eerste oplossing is die specifiek LiDAR en VIO fuseert voor relatieve lokalisatie in heterogene UAV-zwermen, en dat dit een solide basis vormt voor toekomstige coöperatieve zoek- en reddingsmissies.