Technische Samenvatting: MonoRace: Winnen op Kampioensniveau met Robuuste Monoculaire AI voor Drone Racing

Probleemstelling

Autonome drone racing (ADR) vormt een kritieke grens in de robotica, waarbij kunstmatige intelligentie in staat moet zijn te opereren onder strikte hulpbron- en tijdsbeperkingen terwijl het fysieke systemen tot het uiterste drijft. Eerdere state-of-the-art systemen, zoals de "Swift"-aanpak, bereikten prestaties op kampioensniveau maar vertrouwden op stereocamera's en externe bewegingsvolgsystemen (zoals motion capture-systemen) voor nauwkeurige staatsschatting. Deze afhankelijkheden beperken de toepasbaarheid in de echte wereld door de economische kosten te verhogen en de operatie te beperken tot gecontroleerde, geïnstrumenteerde omgevingen. Bovendien introduceert hoge snelheid significante uitdagingen, waaronder grote inter-frame verplaatsingen die bewegingsonscherpte veroorzaken, complexe aerodynamische effecten die moeilijk te modelleren zijn, en sensorverzadiging (specifiek IMU-accelerometers) tijdens agressieve manoeuvres. Het kernprobleem dat door dit werk wordt aangepakt, is het bereiken van autonome vlucht op kampioensniveau met behulp van enkel onboard sensoren — specifiek een enkele monoculaire rolling-shutter camera en een IMU — zonder externe hulpmiddelen, terwijl de robuustheid tegen sensorfouten en omgevingsinterferentie behouden blijft.

Methodologie

Het voorgestelde systeem, MonoRace, maakt gebruik van een volledig onboard perceptie-controle pijplijn bestaande uit drie hoofdonderdelen: robuuste staatsschatting, offline optimalisatie en een directe neurale controlepolicy.

1. Robuuste Staatsschatting

De perceptiepijplijn verwerkt beelden van een enkele monoculaire rolling-shutter camera (155° horizontaal gezichtsveld) op 90 Hz.

• Adaptieve Cropping: Om de computationele belasting te verminderen, voorspelt het systeem de locaties van gates en cropt het de afbeelding adaptief naar een regio van 384×384 die de twee dichtstbijzijnde zichtbare gates bevat, waarbij de resolutie voor verre gates behouden blijft terwijl die voor nabije gates wordt verlaagd.
• Gate Segmentatie (GateNet): Een U-Net-achtige architectuur segmenteert de racing gates. Het netwerk maakt gebruik van multi-scale voorspellingen met hulp-verliesfuncties om de gradiëntstroom te verbeteren.
• Hoekdetectie (QuAdGate): Om sub-pixel nauwkeurigheid te bereiken ondanks potentiële segmentatiefouten, extraheert het systeem gate-randen met behulp van een Line Segment Detector (LSD). Het berekent de snijpunten van uitgebreide lijnen om hoekkandidaten te identificeren en koppelt deze aan eerdere schattingen met behulp van handmatige descriptors en RANSAC-gebaseerde outlier-rejectie.
• Pose Schatting: Het systeem combineert hoeken van meerdere gates (wanneer beschikbaar) in een enkele Perspective-n-Point (PnP) optimalisatie om het onderscheid tussen translatie en rotatie te verbeteren. Dit wordt gefuseerd met IMU-data in een Extended Kalman Filter (EKF).
• Omgaan met Sensorverzadiging: Tijdens high-g manoeuvres (tot 7g) verzadigen accelerometers vaak (limiet 16g), wat leidt tot filterdivergentie. MonoRace implementeert een model-gebaseerd versnellingsvoorspellingsmechanisme. Wanneer het verschil tussen de gemeten en de model-voorspelde versnelling een drempelwaarde overschrijdt, schakelt de EKF over naar het gebruik van de dynamische modelvoorspellingen in plaats van verzadigde sensorwaarden.
• Omgaan met Beeldbeschadiging: Het systeem hanteert fail-safe strategieën voor elektromagnetische interferentie (bijv. door gebogen kabels), inclus\nuit het verwerpen van gecorrumpeerde frames in het segmentatienetwerk, RANSAC-gebaseerde hoek-rejectie en Kalman Filter outlier-rejectie op basis van onzekerheidsniveaus.

2. Offline Optimalisatie

Om de parameters van de staatsschatting te verfijnen zonder externe grondwaarheid (ground truth), maken de auteurs gebruik van de bekende geometrie van de racing gates. Ze definiëren een objectieffunctie gebaseerd op de Intersection over Union (IoU) tussen gereprojecteerde gate-masks (afgeleid van de staatsschatting) en de daadwerkelijk geobserveerde gate-segmentatie. Met behulp van Bayesiaanse optimalisatie verfijnt het systeem cruciale parameters, zoals de extrinsieke camera-kalibratiehoeken, puur op basis van onboard vluchtgegevens. Dit maakt zelf-gesuperviseerde post-vlucht verfijning mogelijk, wat essentieel is voor het corrigeren van offsets veroorzaakt door drone-impacten of reparaties.

3. Guidance en Controle (G&CNet)

De controlestrategie omzeilt traditionele inner-loop controllers (zoals PID) ten gunste van één enkel neuraal netwerk, het Guidance-and-Control Network (G&CNet).

• Architectuur: Een klein, volledig verbonden netwerk (3 lagen, 64 neuronen elk) dat de geschatte staat direct naar motoraansturingen mapt.
• Training: Het netwerk wordt getraind in simulatie met Proximal Policy Optimization (PPO) met uitgebreide domein-randomisatie (tot 50% variatie in drone-dynamica, sensorruis en aerodynamische parameters) om de sim-to-real kloof te overbruggen.
• Executie: Het netwerk draait op de flight controller (STM32H743) op 500 Hz en geeft motoraansturingen uit met minimale latentie (0-100% throttle verandering in 2 ms).

Belangrijkste Bijdragen

1. Monoculaire Prestatie op Kampioensniveau: MonoRace is het eerste systeem dat menselijke wereldkampioenen FPV-piloten heeft verslagen in een direct knockout-toernooi met behulp van slechts één monoculaire camera en een IMU, zonder externe bewegingsvolging.
2. Robuustheid tegen Sensorfalen: Het systeem gaat succesvol om met ernstige sensor-degradatie, waaronder 50% beeldcorruptie door elektromagnetische interferentie en IMU-verzadiging tijdens high-g manoeuvres, waarbij het stabiele vlucht behoudt waar eerdere systemen zouden falen.
3. Zelf-gesuperviseerde Parameterverfijning: De introductie van een offline optimalisatieprocedure met behulp van gate-reprojectie (IoU) maakt de verfijning van extrinsieke kalibratie en andere staatsschattingparameters mogelijk met enkel onboard data, waardoor nauwkeurige pre-flight kalibratie of grondwaarheid overbodig wordt.
4. Direct-to-Motor Controle: De implementatie van een lichtgewicht G&CNet dat direct motoraansturingen uitvoert op 500 Hz, demonstreert dat end-to-end neurale controle effectief de modulaire pijplijnen kan vervangen in snelle, wendbare vluchten.

Resultaten

Het MonoRace-systeem nam deel aan de April 2025 Abu Dhabi Autonomous Drone Racing Competition (A2RL) en de Drone Champions League (DCL).

• Grand Challenge: Het systeem behaalde de snelste voltooiingstijd van 16,56 seconden voor twee ronden op een track met 11 gates, waarmee het alle andere AI-teams versloeg.
• Mens vs. AI: In een direct knockout-toernooi versloeg de autonome drone sequentieel drie menselijke wereldkampioenen FPV-piloten.
• Snelheid: De drone bereikte snelheden tot 100 km/u (28,23 m/s) op het wedstrijdcircuit, wat een nieuw record vestigt voor volledig onboard, autonome vlucht.
• Robuustheidsmetrieken: Het meest betrouwbare netwerk (M23) voltooide 43 vluchten met een succespercentage van 88,4%. Het systeem navigeerde succesvol door tracks met tot 75% beeldcorruptie en herstelde van IMU-verzadigingsgebeurtenissen die in baseline-benaderingen eerder tot crashes leidden.
• Simulatie vs. Realiteit: De voltooiingstijden in de echte wereld kwamen nauw overeen met de gemiddelden in simulatie, wat de effectiviteit van de domein-randomisatie strategie valideert.

Betekenis

Het artikel stelt dat MonoRace een nieuwe mijlpaal zet in autonoom drone racing onderzoek door aan te tonen dat snelle, wendbare vlucht haalbaar is zonder afhankelijkheid van externe infrastructuur of stereovisie. De auteurs benadrukken dat de kleine omvang van de G&CNet (draaiend op een microcontroller) wijst op het potentieel voor optimale controle in zelfs de kleinste en goedkoopste robots. Hoewel de directe toepassing drone racing is — een e-sport waarbij AI mensen kan ondersteunen bij training en strategie — hebben de onderliggende technologieën (robuuste monoculaire staatsschatting en directe neurale controle) bredere implicaties voor maatschappelijke toepassingen die snelle, energie-efficiënte en volledig autonome vlucht in ongestructureerde omgevingen vereisen. Het werk onderstreept tevens het vermogen van AI om fysieke sensorbeperkingen (verzadiging, interferentie) te overwinnen via model-gebaseerde compensatie en robuust leren, waarmee de grenzen van wat mogelijk is in autonome systemen worden verlegd.