NanoBench: A Multi-Task Benchmark Dataset for Nano-Quadrotor System Identification, Control, and State Estimation

Dit paper introduceert NanoBench, een open-source benchmarkdataset voor de Crazyflie 2.1 nano-quadcopter die gesynchroniseerde actuator- en sensordata biedt voor het bestuderen van systeemidentificatie, besturing en schatting op nano-schaal, waar bestaande benchmarks ontoereikend zijn.

De kern

Stel je voor dat je een mini-helikopter hebt die zo klein is als een handpalm en weegt minder dan een pakje suiker (ongeveer 27 gram). Dit is de Crazyflie 2.1. Nu, als je een grote drone bestuurt, is dat als het besturen van een auto: de regels zijn redelijk voorspelbaar. Maar deze mini-drone? Die vliegt in een heel andere wereld. De lucht voelt voor hem dikker en stroperig (als honing voor een muis), zijn motortjes reageren traag en zijn computer is zo klein dat hij nauwelijks meer kan doen dan een simpele rekenmachine.

Vroeger hadden onderzoekers geen goede manier om deze kleine drones te testen of te leren. Ze gebruikten datasets van grote drones, wat net zo zinloos is als proberen een Formule 1-auto te leren rijden door te oefenen met een speelgoedautootje. De regels zijn gewoon anders.

Wat is NanoBench?
De auteurs van dit paper hebben NanoBench bedacht. Je kunt je dit voorstellen als een gigantische, super-accurate testbaan voor deze mini-drones. Het is een openbare bibliotheek met data, zodat iedereen (onderzoekers, studenten, hobbyisten) op dezelfde manier kan testen of hun nieuwe software werkt.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Zwarte Doos" is opengebroken

Bij de meeste drone-datasets zie je alleen waar de drone was (de route). Maar bij NanoBench kijken ze ook onder de motorkap. Ze hebben alles opgenomen:

• De bevelen: Welke stroomtjes de motoren kregen (alsof je ziet hoeveel gas de bestuurder gaf).
• De gedachten: Wat de drone zelf dacht dat hij deed (zijn interne schattingen).
• De werkelijkheid: Een camera-systeem (Vicon) dat met millimeter-nauwkeurigheid ziet waar de drone écht was.

Dit is als een auto-test waarbij je niet alleen de snelheid meet, maar ook precies ziet hoe de motor reageert, wat de bestuurder dacht te doen, en wat de GPS zegt.

2. De "Tijd-Regisseur"

Een groot probleem bij deze kleine drones is dat hun interne klok en de camera-klok niet precies tegelijk lopen. Het is alsof je een film bekijkt waarbij de geluidssynchronie net een fractie van een seconde verschuift.
De auteurs hebben een slimme methode bedacht om deze tijdverschillen op te lossen. Ze kijken naar hoe de drone draait (via zijn gyroscoop) en vergelijken dat met hoe hij draait volgens de camera. Door deze patronen op elkaar te laten "vallen" (zoals twee puzzelstukjes), kunnen ze het tijdsverschil oplossen tot minder dan een halve milliseconde. Precies genoeg om de data betrouwbaar te maken.

3. De Drie Spellen (Taken)

NanoBench stelt onderzoekers drie verschillende uitdagingen voor, alsof je een drone op drie niveaus test:

• Spel 1: De Voorspeller (Systeemidentificatie)
  • De uitdaging: Kijk naar de bevelen die je gaf en probeer te voorspellen waar de drone over 1 seconde zal zijn.
  • De les: Simpele natuurkundige formules werken goed voor de eerste fractie van een seconde, maar daarna gaan ze de mist in omdat de batterij leegraakt en de motoren minder kracht geven. De beste modellen zijn een mix van natuurkunde en "leren uit ervaring".
• Spel 2: De Bestuurder (Controller Benchmarking)
  • De uitdaging: Laat een algoritme de drone langs een complexe route vliegen (zoals een achtbaan of een ster).
  • De les: De standaard software (PID) is oké, maar een slimme, geometrische besturing (Mellinger) houdt de drone veel stabieler, zelfs als hij moet schieten. Een andere methode (MPPI) faalde echter volledig; het probeerde te optimistisch te zijn en de drone vloog uit de bocht. Dit laat zien dat je software moet afstemmen op de beperkingen van de kleine drone.
• Spel 3: De Waarnemer (State Estimation)
  • De uitdaging: Hoe goed kan de drone zelf weten waar hij is, zonder camera's?
  • De les: Bij langzame snelheid is de drone's eigen "geheugen" (EKF) heel goed (fouten kleiner dan 2 centimeter). Maar zodra hij te snel gaat, raakt hij de draad kwijt en "dwaalt" hij af. Dit laat zien waar de limiet zit van de kleine computer aan boord.

Waarom is dit belangrijk?

Vroeger deed iedereen zijn eigen experimenten in zijn eigen lab, met eigen drones en eigen meetapparatuur. Het was alsof iedereen een eigen spelletje voetbal speelde met een andere bal en een ander veld. Je kon de resultaten nooit vergelijken.

Met NanoBench hebben ze nu een standaard voetbalveld gecreëerd. Iedereen speelt met dezelfde bal, op hetzelfde veld, met dezelfde regels. Hierdoor kunnen onderzoekers eindelijk eerlijk zeggen: "Mijn nieuwe software is beter dan die van jou," in plaats van: "Mijn software werkt beter op mijn specifieke drone."

Kortom: NanoBench is de eerste echte, openbare testbaan die het geheim van de mini-drones onthult, zodat we ze slimmer, veiliger en sneller kunnen maken voor taken zoals reddingswerk, inspectie of zwermen van drones die samenwerken. En het beste van alles? Iedereen mag de data en de code gratis gebruiken!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "NanoBench: A Multi-Task Benchmark Dataset for Nano-Quadrotor System Identification, Control, and State Estimation" in het Nederlands.

Probleemstelling

Bestaande benchmarks voor luchtrobotica richten zich voornamelijk op drones met een gewicht van enkele honderden grammen tot meerdere kilogrammen. Deze datasets bieden vaak alleen hoog-niveau statische data en missen signaalniveau-data van de actuatoren (zoals motorcommando's). Dit is een kritiek probleem voor nano-quadcopters (onder de 50 gram, zoals de Crazyflie 2.1 van 27 g), omdat deze systemen opereren in een fundamenteel ander fysiek regime:

• Aerodynamica: Ze vliegen bij lage Reynolds-getallen ($\sim 10^4$), waarbij laminair afscheiding en viskeuze verliezen de stuwkracht en koppelkarakteristieken sterk beïnvloeden.
• Actuatoren: Ze gebruiken kernloze DC-motoren met dode zones en responsvertragingen die niet voorkomen bij brushless motoren.
• Rekenkracht: Ze draaien op beperkte microcontrollers (bijv. 168 MHz Cortex-M4), wat zware beperkingen oplegt aan de complexiteit van schatting- en regelalgoritmen.

Huidige modellen en controllers, ontwikkeld voor grotere drones, zijn vaak onbruikbaar voor nano-systemen. Er ontbreekt een open, gestandaardiseerde dataset die de volledige gesloten-lus-stack (actuatoren, regelaar, schatter) blootlegt voor reproducible onderzoek.

Methodologie

De auteurs hebben NanoBench ontwikkeld, een open-source multi-task benchmark verzameld op een commerciële Crazyflie 2.1 in een Vicon-motion-capture-omgeving.

1. Dataverzameling en Hardware:

• Platform: Crazyflie 2.1 (27 g startgewicht) met vier 7x16 mm kernloze DC-motoren.
• Sensoren: Een Bosch BMI088 IMU (100 Hz) en Vicon-ground-truth (100 Hz, sub-millimeter nauwkeurigheid).
• Datastromen: De dataset bevat gesynchroniseerde data van:
  • Ground truth (positie, oriëntatie, afgeleide snelheid).
  • Ruwe IMU-data.
  • Onboard Extended Kalman Filter (EKF) schattingen.
  • PID-regelaar interne waarden (setpoints, outputs).
  • Motor PWM-commando's (16-bit, 0-65535).
  • Batterijspanning (10 Hz).
• Synchronisatie: Een cruciale stap was het synchroniseren van de Vicon-tijd met de firmware-tijd van de drone. De auteurs gebruikten kruiscorrelatie tussen de gyroscoop-data en de Vicon-hoeksnelheid om een clock-offset te schatten en te corrigeren, resulterend in een resterende misalignatie van < 0,5 ms.

2. Trajecto-ontwerp:
De dataset omvat meer dan 170 vluchttrajecten verdeeld over drie categorieën:

• Categorie A (Excitatie): Multi-sine trajecten voor systeemidentificatie (frequentiebereik 0,1 - 5 Hz).
• Categorie B (Tracking): Geometrische trajecten (cirkels, 8-vormen, lissajous, helix, etc.) uitgevoerd op verschillende snelheden (0,5 - 1,0 m/s).
• Categorie C (Batterij-ontlading): Lange hover-vluchten om de degradatie van de stuwkracht door de afnemende batterijspanning (4,2 V tot 3,1 V) te modelleren.

3. Evaluatie Taken:
De benchmark definieert drie gestandaardiseerde taken:

1. Systeemidentificatie: Voorspellen van de 6-DoF toestand op basis van motorcommando's.
2. Regelaar Benchmarking: Evaluatie van gesloten-lus trackingprestaties (RMSE, divergentie).
3. Staatsschatting: Evaluatie van de nauwkeurigheid van de onboard EKF tegenover ground truth.

Belangrijkste Bijdragen

1. Eerste Publieke Nano-Dataset: De eerste dataset die gelijktijdig actuatorcommando's, regelaar-interne waarden en schatter-outputs biedt met millimeter-nauwkeurige ground truth op een standaard commercieel nano-platform.
2. Multi-Task Framework: Het biedt train/test-splits en metrics voor drie interconnecterende taken binnen één dataset, wat vergelijkbaarheid tussen verschillende onderzoeksgroepen mogelijk maakt.
3. Open Source Baselines: Het paper levert open-source implementaties van baselines voor alle drie de taken, waaronder fysiek gebaseerde modellen, residu-MLP's, LSTM's, en diverse regelaars (PID, Mellinger, MPPI).

Resultaten

De auteurs hebben de baselines geëvalueerd om de prestaties van de nano-quadcopter te kwantificeren:

• Taak 1: Systeemidentificatie:

  • Fysiek gebaseerde modellen (rigid-body dynamics) presteren uitstekend op korte horizon (< 100 ms) met sub-millimeter fouten.
  • Op langere horizon (> 100 ms) divergeren deze modellen echter sterk door cumulatieve fouten in de stuwkrachtmodellen.
  • Een hybride model (Fysiek + Residu MLP) presteert het beste op cumulatieve fouten, maar pure data-gedreven modellen (zoals LSTM) kunnen op zeer lange horizon soms beter presteren dan fysieke modellen, hoewel ze moeite hebben met rotatie-dynamiek.

• Taak 2: Regelaar Benchmarking:

  • De Mellinger-geometrische regelaar (SE(3)) reduceert de trajectdivergentie aanzienlijk (van 4,2% bij PID naar 0,01%) ten koste van iets hogere snelheidstransienten.
  • MPPI (Model Predictive Path Integral) faalt grotendeels (75% divergentie) op dit platform, wat aantoont dat modelgebaseerde voorspellende regeling zonder domeinspecifieke tuning niet werkt binnen de strikte stuwkrachtlimieten (0,6 N) van nano-drones.
  • Offline-geleerde regelaars (Behavior Cloning) presteren goed in simulatie, maar kunnen niet direct worden vergeleken met hardware-resultaten zonder rekening te houden met de "reality gap".

• Taak 3: Staatsschatting:

  • De onboard EKF behoudt een nauwkeurigheid van < 22 mm (ATE RMSE) bij lage en middelhoge snelheden.
  • Bij hoge snelheden (1,0 m/s) treedt divergentie op (fout > 3 m), wat de limiet aangeeft van de rekenkracht van de STM32F405 en het lichtgewicht EKF-algoritme voor dynamische manoeuvres.

Betekenis en Conclusie

NanoBench vult een kritieke leemte in de literatuur voor nano-robotica. Het stelt onderzoekers in staat om systemen te testen onder realistische, zware beperkingen (rekenkracht, aerodynamica, batterijverval) die niet worden weerspiegeld in datasets voor grotere drones.

De resultaten tonen aan dat:

1. Standaard fysieke modellen onvoldoende zijn voor lange-termijn voorspelling op nano-schaal.
2. Geometrische regelaars robuuster zijn dan traditionele PID-lussen voor complexe trajecten.
3. Er een duidelijke grens bestaat voor de prestaties van lightweight schatters bij hoge snelheden.

Door het openbaar beschikbaar stellen van de data, code en evaluatieprotocollen, faciliteert NanoBench gestandaardiseerde vergelijkingen en versnelt het de ontwikkeling van autonome nano-drones voor toepassingen zoals zwermrobotica, veilig leren en navigatie in krappe ruimtes.