Technische Samenvatting: Een Modulaire Dual-Camera Pipeline voor Micro-Inspectie met Luchtrobots

Probleemstelling

Bestaande systemen voor luchtinspectie worden geconfronteerd met aanzienlijke uitdagingen wanneer zij de taak krijgen om kleine doelen te inspecteren (micro-inspectie). Huidige benaderingen vereisen vaak dat drones gevaarlijk dicht bij de doelen vliegen of complexe vliegpaden volgen om fijne details vast te leggen, wat het collisionrisico en de operationele kosten verhoogt. Bovendien is de vlucht van een drone gevoelig voor omgevingsverstoringen en lokalisatieonnauwkeurigheden. Wanneer een drone vertrouwt op een camera met een smal gezichtsveld (FOV) voor inspectie, kunnen deze onnauwkeurighedenities ertoe leiden dat het systeem het doel volledig uit het oog verliest. Bovendien zijn veel bestaande trajectplanningsmethoden afhankelijk van voorkennis over de geometrie, positie en oriëntatie van het doel—informatie die vaak niet beschikbaar is voor niet-structurele doelen zoals bomen, voertuigen of mensen.

Methodologie

Het artikel presenteert aerial_micro_inspection, een generieke, open-source pipeline gebouwd op ROS 2 en compatibel met de PX4 flight stack. Het systeem maakt gebruik van een dual-camera architectuur gemonteerd op een luchtrobot:

1. Wide-FOV Stereo Navigatiecamera: Deze camera is star bevestigd aan de dronebody, legt het doeloppervlak ter plaatse vast, schat de diepte via stereovisie en segmenteert het oppervlak in kleinere inspectieregio's (partities). Het ondersteunt ook staatsschatting (state estimation) en navigatie.
2. Narrow-FOV Gimbal-Gemonteerde Inspectiecamera: Uitgerust met zoomoptiek, legt deze camera gedetailleerde beelden vast van specifieke partities zonder dat de drone in directe nabijheid van het doel hoeft te vliegen.

Belangrijke Technische Componenten

• Kinematische Modellering & Kalibratie: Het systeem gebruikt een kinematisch model om pixels van de navigatiecamera naar de inspectiecamera te mappen. Een aangepaste extrinsieke kalibratietool met behulp van een ArUco-marker bepaalt de transformatie tussen de star gemonteerde navigatiecamera en de gimbalbasis, rekening houdend met de pan-tilt vrijheidsgraden.
• Oppervlakte Partitionering: De pipeline gebruikt een parametrische veegstrategie (Algoritme 1) om het gesegmenteerde doeloppervlak te verdelen in partities die overeenkomen met het geprojecteerde gezichtsveld (FOV) van de inspectiecamera. Dit maakt systematische dekking mogelijk zonder voorafgaande geometrische kennis.
• Visuele Feedbackloop: Om de beweging van de drone en lokalisatiefouten tegen te gaan, houdt een oppervlaktespanning-module (gebruikmakend van Median Flow) continu de locatie van partities in realtime bij. Deze feedback past de richtingsaanwijzing van de gimbal aan, waardoor de inspectiecamera uitgelijnd blijft met de beoogde partitie, zelfs als de drone afwijkt.
• Modulaire Architectuur: De pipeline is ontworpen met uitwisselbare checkpoints voor oppervlaktesegmentatie en micro-doeldetectie (bijv. YOLO-gebaseerde modellen), waardoor aanpassing aan diverse use cases mogelijk is.

Belangrijkste Bijdragen

De auteurs identificeren vier primaire bijdragen:

1. Eerste Open-Source Modulaire Pipeline: Naar hun weten is dit de eerste ROS 2-gebaseerde pipeline die expliciet gericht is op luchtopinspectie, wat een modulair kader biedt voor verschillende toepassingen.
2. Parametrische Veegstrategie: Een methode om elk inspectiedoel te verdelen in zoom-compatibele partities voor systematische dekking.
3. Visuele Feedbackmechanisme: Een controlelus die de gimbal-uitlijning met de beoogde partities behoudt, ondanks lokalisatiefouten en platformbewegingen.
4. Extrinsieke Kalibratietool: Een specifieke tool voor het kalibreren van de relatie tussen een star bevestigde breedbeeldcamera en een gimbal-gemonteerde inspectiecamera.

Experimentele Resultaten

De pipeline werd geëvalueerd in zowel simulatie (Gazebo met PX4 SITL) als in real-world experimenten over twee primaire use cases:

1. Boominspectie: Detectie van eikenprocessierupsen en hun eitjes (1–2 mm) op boomstammen.
2. Kasinspectie: Monitoring van kleefvallen voor wittevlieg in een GPS-loze omgeving.
3. Simulatie (Voertuiginspectie): Een secundair simulatiescenario betreffende oppervlakte-inspectie van een auto-carrosserie om overdraagbaarheid aan te tonen.

Prestatiebevindingen

• Robuustheid tegen Verstoringen: In simulatie verbeterde de visuele feedbackloop voor oppervlaktespanning de robuustheid van de dekking aanzienlijk. Terwijl open-loop uitvoering leed onder degradatie van de dekking onder invloed van GPS-ruis (standaarddeviatie van 1,0 m) en externe verstoringen, herstelde het feedback-gestuurde systeem zich snel en behield het een hoge dekking.
• Real-World Nauwkeurigheid:
  • Boominspectie: Behaalde een gemiddelde hoekfout van 2,17°, wat voldoende was voor betrouwbare rupsdetectie.
  • Kasinspectie: Behaalde een gemiddelde fout van 3,34°. Hoewel dit hoogwaardige beelden van insecten mogelijk maakte, merken de auteurs op dat dit onvoldoende was om wittevlieg te onderscheiden van andere insecten bij het huidige zoomniveau.
• Geobserveerde Beperkingen: De auteurs merkten op dat de interne nulreferentie van de gimbal kan verschuiven tussen stroomcycli, wat richtingsbiases introduceert die toenemen met de zoomniveaus (bijv. tot 35% van de beeldbreedte bij 10× zoom).

Betekenis en Claims

Het artikel claimt dat aerial_micro_inspection een oplossing biedt voor de kritieke behoefte aan betrouwbare, autonome micro-inspectie die operationele risico's en blootstelling van personeel vermindert. Door de navigatie- en inspectietaken te ontkoppelen en een visuele feedbackloop te integreren, bereikt het systeem stabiele close-up beelden vanaf veiligere afstanden zonder voorafgaande kennis van de doelgeometrie nodig te hebben.

De auteurs benadrukken dat de pipeline een fundamentele stap is naar generaliseerbare luchtinspectie. Zij erkennen bescheiden de huidige beperkingen, zoals vereenvoudigingen in de modellering met betrekking tot de gimbal-uitlijning en de noodzaak voor hogere precisie bij extreme zoomniveaus. Zij stellen voor dat toekomstig werk zich zal richten op het verfijnen van kinematische modellen, de overgang naar online targetless kalibratie, en het uitbreiden van de planninglaag om hiërarchische viewpoint-generatie voor grotere structuren te beheren. De code wordt als open-source vrijgegeven om aanpassing aan nieuwe domeinen zoals infrastructuurmonitoring en industriële kwaliteitscontrole te faciliteren.