Vision-Based End-to-End Learning for UAV Traversal of Irregular Gaps via Differentiable Simulation

Probleemstelling

Vliegend onbemande luchtvaartuigen (UAV's) moeten in real-world missies, zoals reddingsoperaties en inspecties, vaak door krappe en onregelmatige openingen navigeren. Bestaande methoden hebben hierbij twee belangrijke beperkingen:

1. Traditionele planning: Methoden die gebaseerd zijn op expliciete gap-extractie en meting zijn kwetsbaar voor ruis en vereisen nauwkeurige voorafgaande kennis van de omgeving. Ze worstelen vaak met onregelmatige openingen (niet-rechthoekig, scheef, deels verduisterd) omdat hoekpunten en randen ontbreken.
2. Bestaande End-to-End benaderingen: Veel leer-gebaseerde methoden verwaarlozen de koppelings tussen positie en oriëntatie (de volledige SE(3)-ruimte) of vereisen nog steeds geometrische hints (zoals bekende gap-posities) om lage-dimensionale toestanden te extraheren. Dit beperkt hun generalisatievermogen naar onbekende, complexe omgevingen.

Het doel is een systeem te ontwikkelen dat direct ruwe dieptebildjes omzet naar besturingscommando's, zonder expliciete perceptie-voorbewerking, en dat robuust is in zowel getrainde als ongetrainde (irreguliere) scenario's.

Methodologie

De auteurs presenteren een volledig visie-gebaseerd, end-to-end leerframework dat gebruikmaakt van differentieerbare simulatie. Het systeem werkt als volgt:

1. Differentieerbare Simulatie & CTBR Dynamica:

   • In plaats van een vereenvoudigd punt-massamodel, gebruiken ze een Collective Thrust and Body Rate (CTBR) model. Dit model koppelt de dynamiek van de quadcopter nauwkeurig aan de SE(3)-toestand (positie en oriëntatie).
   • Een CUDA-versnelde renderer genereert dieptebildjes vanuit 3D-mesh-omgevingen. Omdat de simulatie differentieerbaar is, kunnen fouten (loss) via de dynamica teruggepropageerd worden naar het visuele encoder-netwerk (Backpropagation Through Time - BPTT).

2. Netwerkarchitectuur:

   • Het beleid (policy) is een recurrent netwerk dat een dieptebild (32x24) en een gedeeltelijke toestandsvector (snelheid en rotatie) verwerkt.
   • Een CNN extrahere visuele features, die worden samengevoegd met de staat en verwerkt door een GRU (Gated Recurrent Unit) voor tijdsafhankelijkheid.
   • De output zijn directe besturingscommando's (body rates en collectieve stuwkracht).

3. Belangrijke Ontwerpkeuzes voor Stabiliteit:

   • Stop-Gradient (SG) Operator: Een kritieke component die de gradiëntstroom blokkeert bij de afstandsterm in de loss-functie. Dit voorkomt dat het beleid "aarzelt" of lokale minima bereikt wanneer de drone een grote hoek moet maken om een scheve opening te passeren. Het zorgt ervoor dat de focus ligt op de kritieke momenten van doorgang.
   • Bimodal Initialisatie Distributie (BIO): Tijdens training wordt de starttoestand van de drone getrokken uit een bimodale verdeling: één piek bij een stabiele, lage snelheid (voor de eerste opening) en één piek bij hoge snelheid/versnelling (na het passeren van een opening). Dit leert het beleid om snel te stabiliseren na een agressieve doorgang, wat essentieel is voor het passeren van opeenvolgende openingen.

4. Auxiliaire Voorspellingsmodules:

   • Gap-Crossing Classifier: Een lichtgewicht MLP die de recurrente verborgen staat van het beleid gebruikt om te detecteren of een opening succesvol is gepasseerd. Bij succes wordt de verborgen staat gereset, wat het systeem voorbereidt op de volgende opening.
   • Traversability Predictor: Een module die een score voorspelt of een opening veilig te passeren is, gebaseerd op de verborgen staat. Dit stelt het systeem in staat om gevaren vooraf te detecteren en een noodstop uit te voeren.

Belangrijkste Bijdragen

1. Volledig Visie-gebaseerde End-to-End SE(3) Beleid: Een systeem dat ruwe dieptebildjes direct omzet naar besturing, zonder expliciete perceptie of planning. Het generaliseert van regelmatige trainingsgaten naar onregelmatige, onbekende openingen in de echte wereld.
2. Robuustheid door Differentieerbare Simulatie: Het gebruik van een differentieerbare CTBR-dynamica en mesh-based rendering maakt het mogelijk om complexe geometrieën te leren zonder handmatige feature-extractie.
3. Stabilisatie voor Meerdere Gaten: De combinatie van Stop-Gradient en Bimodal Initialisatie lost het probleem op van instabiliteit na het passeren van een opening, waardoor naadloze navigatie door opeenvolgende gaten mogelijk wordt.
4. Veiligheid en Betrouwbaarheid: De introductie van data-gedreven modules voor het detecteren van succesvolle doorgangen en het voorspellen van bevaarbaarheid verhoogt de veiligheid in uitdagende omgevingen.

Resultaten

De auteurs hebben hun methode uitgebreid getest in simulatie (AirSim) en in de echte wereld:

• Simulatie (Ablatie Studies):

  • Het systeem behaalde een 98% succesratio in AirSim, vergeleken met 80% voor een PPO-baseline (die afhankelijk is van randdetectie) en slechts 40% voor een state-of-the-art visie-navigatiemethode die niet is ontworpen voor SE(3) gap-traversal.
  • Bij het toevoegen van ruis (via Semi-Global Matching dieptebildjes) daalde de prestatie van de baseline drastisch, terwijl het voorgestelde systeem slechts een minimale daling vertoonde, wat de inherente robuustheid tegen perceptieruis aantoont.
  • Ablatie studies toonden aan dat het verwijderen van de Stop-Gradient of de Bimodal Initialisatie leidde tot grote fouten in positie en oriëntatie, en vaak tot crashes bij opeenvolgende gaten.

• Real-World Experimenten:

  • Het beleid werd gedeployed op een kleine quadcopter (462g) met een Intel RealSense camera en een Radxa Zero3W computer (NPU).
  • Zero-Shot Generalisatie: Het model was uitsluitend getraind op regelmatige, rechthoekige gaten in simulatie. In de echte wereld slaagde het er echter in om succesvol door onregelmatige openingen te vliegen, zoals een half-gemaskerde ring, een onregelmatig gat in een muur, en een deur die deels geblokkeerd was door een betegelde muur.
  • Traversability Predictor: In real-world tests detecteerde de predictor correct wanneer een opening te gevaarlijk was (bijv. een deels geblokkeerd gat) en initieerde een noodstop, terwijl het doorging bij veilige openingen.

Betekenis en Impact

Dit werk is significant omdat het een praktische oplossing biedt voor een van de moeilijkste problemen in UAV-navigatie: het veilig en snel passeren van onbekende, onregelmatige openingen zonder voorafgaande kaart of geometrische analyse.

• Generalisatie: Het bewijst dat end-to-end learning via differentieerbare simulatie kan leiden tot beleid dat niet alleen werkt in de trainingsomgeving, maar ook generaliseert naar volledig nieuwe, chaotische real-world scenario's.
• Efficiëntie: Door het weglaten van complexe perceptie-pipelines (zoals edge-drawing of 3D-reconstructie) en het direct koppelen van visie aan besturing, wordt het systeem sneller en robuuster tegen sensorruis.
• Toepasbaarheid: De succesvolle implementatie op een kleine, op batterijen werkende drone met beperkte rekencapaciteit (NPU) toont aan dat deze technologie direct inzetbaar is voor toepassingen zoals reddingsoperaties in ingestorte gebouwen of inspectie van complexe industriële structuren.