NanoBench: A Multi-Task Benchmark Dataset for Nano-Quadrotor System Identification, Control, and State Estimation

Ce papier présente NanoBench, un nouveau jeu de données open-source et multi-tâches collecté sur un nano-quadrirotor Crazyflie 2.1, qui fournit des signaux de niveau actionneur et un état de référence précis pour faciliter l'identification de systèmes, le contrôle et l'estimation d'état à l'échelle nanométrique.

L'essentiel

🚁 NanoBench : Le "Permis de Conduire" pour les Mini-Drones

Imaginez que vous voulez apprendre à conduire une Formule 1. Vous ne pouvez pas simplement utiliser les manuels d'une voiture de ville, car la Formule 1 réagit différemment, va beaucoup plus vite et a des règles de physique uniques.

C'est exactement le problème que rencontrent les chercheurs en robotique avec les nano-drones (des drones de la taille d'une main, pesant moins de 30 grammes, comme le Crazyflie 2.1). Jusqu'à présent, ils devaient utiliser des données de drones géants (de plusieurs kilos) pour les entraîner, ce qui ne fonctionnait pas du tout. C'est comme essayer d'apprendre à piloter un avion de chasse avec les règles d'un vélo.

NanoBench est la solution : c'est une immense bibliothèque de données (un "benchmark") créée spécifiquement pour ces mini-drones, pour apprendre à les faire voler, les comprendre et les contrôler parfaitement.

---

🧩 Le Problème : Pourquoi les anciens modèles échouent ?

Les petits drones vivent dans un monde différent :

1. L'air est "collant" : À leur échelle, l'air se comporte comme du miel. Les hélices créent des tourbillons bizarres que les gros drones ne connaissent pas.
2. Les moteurs sont capricieux : Ils utilisent de petits moteurs sans aimant (coreless) qui ont des "zones mortes" (ils ne bougent pas tant qu'on ne les pousse pas assez fort).
3. Le cerveau est petit : Le micro-ordinateur à bord est très limité. Il ne peut pas faire de calculs complexes comme un ordinateur de bureau.

Avant NanoBench, les chercheurs devaient deviner ces règles ou utiliser des données privées. Personne ne pouvait comparer ses résultats avec ceux des autres de manière équitable.

---

🎁 La Solution : La Boîte à Outils NanoBench

Les auteurs ont créé un ensemble de données open-source (gratuit et public) qui agit comme un laboratoire virtuel ultra-précis. Voici ce qu'il contient, expliqué simplement :

1. Le "Fil de la Vérité" (Synchronisation)

Imaginez que vous filmez un pilote de drone avec une caméra ultra-rapide (le système Vicon) et que le drone enregistre ses propres mouvements en même temps. Souvent, les deux horloges ne sont pas parfaitement synchronisées (décalage de quelques millisecondes).

• L'analogie : C'est comme si vous essayiez de danser avec quelqu'un, mais que vous aviez un décalage de temps dans vos oreillettes. Vous marcheriez sur les pieds de l'autre.
• La solution NanoBench : Ils ont inventé une méthode mathématique pour aligner parfaitement les deux horloges, avec une précision inférieure à la moitié d'un millième de seconde. C'est comme si le danseur et son partenaire étaient parfaitement synchronisés.

2. Le "Journal de Bord Complet" (Les Données)

La plupart des bases de données donnent juste la position du drone (X, Y, Z). NanoBench donne tout :

• Les commandes envoyées aux moteurs (le "gaz").
• Ce que le drone "pense" (ses estimations internes).
• Ce que le contrôleur fait (ses calculs de correction).
• L'état de la batterie (qui change la puissance du moteur).
• L'analogie : C'est la différence entre regarder une voiture passer dans le miroir (juste la position) et avoir accès au tableau de bord, au carnet de bord du mécanicien, à la tension de la batterie et aux ordres donnés au moteur, le tout en temps réel.

3. Le "Terrain d'Entraînement" (Les Trajectoires)

Ils ont fait voler le drone 170 fois dans des configurations variées :

• En vol stationnaire (pour voir comment il gère la fatigue de la batterie).
• En "tremblement" (pour tester sa réactivité).
• En figures acrobatiques (8, spirales, étoiles) à différentes vitesses.
• L'analogie : C'est comme un circuit de course avec des virages serrés, des lignes droites, des bosses et des conditions de pluie, pour tester si le pilote (ou l'algorithme) est vraiment prêt.

---

🧠 Les Trois Défis (Les Tâches)

NanoBench propose trois tests pour évaluer les intelligences artificielles et les algorithmes :

1. Le Prédicteur (Identification de système) :

   • Le défi : "Je te donne les ordres moteurs, peux-tu prédire où le drone va être dans 1 seconde ?"
   • Le résultat : Les modèles physiques classiques (basés sur les lois de Newton) sont excellents pour l'instant présent, mais ils font des erreurs qui s'accumulent vite. Les modèles hybrides (physique + apprentissage) sont les meilleurs.

2. Le Pilote (Contrôle) :

   • Le défi : "Peux-tu faire suivre au drone une trajectoire précise sans qu'il ne s'écrase ?"
   • Le résultat : Un contrôleur géométrique sophistiqué (Mellinger) est beaucoup plus stable et ne perd jamais le drone, même si le contrôleur classique (PID) fait des erreurs. En revanche, un contrôleur très complexe (MPPI) a échoué 75% du temps car il ne comprenait pas les limites physiques du petit drone.

3. Le Navigateur (Estimation d'état) :

   • Le défi : "Le drone sait-il vraiment où il est, même s'il tourne vite ?"
   • Le résultat : À vitesse lente, le petit ordinateur du drone est très précis (erreur de 2 cm). Mais à grande vitesse, il commence à halluciner et perd le nord. Cela montre la limite de son cerveau électronique.

---

💡 Pourquoi c'est important pour tout le monde ?

NanoBench n'est pas juste pour les chercheurs en robotique. C'est une révolution pour l'avenir :

• Sécurité : Pour que des drones puissent voler dans des maisons ou des usines sans se cogner.
• Essaims de drones : Pour que des centaines de mini-drones puissent travailler ensemble (comme des abeilles) pour la recherche et le sauvetage.
• Apprentissage : Cela permet aux étudiants et aux développeurs de tester leurs idées sur un terrain de jeu équitable, sans avoir à acheter du matériel coûteux ou à construire des systèmes complexes.

En résumé : NanoBench est le premier manuel de conduite officiel, précis et gratuit pour les mini-drones. Il transforme le "devinette" en "science exacte", permettant de construire des drones plus intelligents, plus sûrs et plus agiles pour le monde de demain.

Résumé technique

Voici un résumé technique détaillé de l'article "NanoBench: A Multi-Task Benchmark Dataset for Nano-Quadrotor System Identification, Control, and State Estimation", présenté en français.

1. Problématique et Contexte

L'automatisation des quadricoptères a considérablement progressé grâce aux méthodes d'apprentissage automatique. Cependant, les benchmarks existants se concentrent sur des véhicules lourds (de quelques centaines de grammes à plusieurs kilogrammes) et ne fournissent souvent que des données d'état de haut niveau.

Pour les nano-quadricoptères (masse < 50 g, comme le Crazyflie 2.1 de 27 g), les modèles et contrôleurs développés pour les grands drones sont inapplicables en raison de contraintes physiques et computationnelles uniques :

• Aérodynamique : Opération à des nombres de Reynolds faibles ($\sim 10^4$), entraînant des phénomènes de séparation laminaire et des pertes visqueuses non linéaires.
• Actionneurs : Utilisation de moteurs DC sans noyau (coreless) introduisant des zones mortes et des retards, contrairement aux moteurs brushless des grands drones.
• Contraintes matérielles : Limites sévères de calcul (microcontrôleur Cortex-M4 à 168 MHz) imposant des filtres de Kalman étendus (EKF) légers.
• Manque de données : Aucune base de données publique n'offrait simultanément les commandes des actionneurs, les internes du contrôleur, les sorties de l'estimateur et une vérité terrain précise pour ces plateformes commerciales.

2. Méthodologie et Collecte de Données

Les auteurs ont créé NanoBench, un jeu de données open-source collecté sur un Crazyflie 2.1 dans une arène de capture de mouvement Vicon.

• Plateforme : Crazyflie 2.1 (27 g), équipé de 4 moteurs DC sans noyau et d'une batterie LiPo 1S.
• Système de vérité terrain : 12 caméras Vicon fournissant une pose 6-DOF à 100 Hz avec une précision sub-millimétrique.
• Pipeline d'acquisition :
  • Communication directe via la bibliothèque cflib (Python) et un dongle Crazyradio PA.
  • Enregistrement synchrone à 100 Hz de : la vérité terrain Vicon, les données brutes de l'IMU (accéléromètre + gyroscope), les estimations de l'EKF embarqué, les variables internes du contrôleur PID, et les commandes PWM des moteurs.
  • Télémétrie de la batterie à 10 Hz.
• Synchronisation temporelle : Une procédure de corrélation croisée entre les vitesses angulaires du gyroscope embarqué et celles dérivées de Vicon permet d'estimer et de corriger le décalage d'horloge entre le firmware et l'hôte, atteignant une précision résiduelle inférieure à 0,5 ms.
• Design des trajectoires : Le dataset comprend plus de 170 trajectoires réparties en trois catégories pour exciter tous les modes dynamiques :
  1. Excitation (Catégorie A) : Trajectoires multi-sinus pour l'identification système.
  2. Suivi (Catégorie B) : Géométries complexes (cercles, 8, lissajous, hélices, etc.) à différentes vitesses (0,5 à 1,0 m/s).
  3. Décharge de batterie (Catégorie C) : Hover prolongé pour capturer la dégradation de la poussée liée à la tension de la batterie (de 4,2 V à 3,1 V).

3. Contributions Clés

1. Premier dataset multi-tâche nano-échelle : Fournit pour la première fois un jeu de données complet incluant les commandes PWM, les internes du contrôleur, les sorties de l'estimateur et la vérité terrain sur une plateforme commerciale standard.
2. Protocole d'évaluation standardisé : Définit des splits train/test, des métriques et des lignes de base open-source pour trois tâches distinctes :
   • Identification de système non linéaire.
   • Benchmarking de contrôleurs en boucle fermée.
   • Évaluation de l'estimation d'état embarquée.
3. Alignement temporel précis : Validation d'une méthode de synchronisation robuste (< 0,5 ms) cruciale pour l'apprentissage de modèles dynamiques précis.

4. Résultats et Évaluations

Les auteurs ont évalué des lignes de base sur les trois tâches définies :

Tâche 1 : Identification de Système

• Objectif : Prédire la trajectoire d'état (6-DOF) à partir des commandes moteur.
• Résultats :
  • Les modèles purement physiques (rigid-body) sont très précis à court terme (< 10 ms, erreur < 0,3 mm) mais divergent rapidement au-delà de 100 ms en raison d'erreurs de modélisation de la poussée qui s'accumulent par intégration numérique.
  • L'architecture hybride (Physique + Réseaux de neurones résiduels) obtient la meilleure précision cumulative, surpassant les modèles purement appris (LSTM, MLP résiduel) sur des horizons intermédiaires.
  • Les modèles purement appris (MLP résiduel) deviennent meilleurs que l'hybride sur de très longs horizons (h=50), suggérant que la composante physique finit par introduire des erreurs systématiques.

Tâche 2 : Benchmarking de Contrôleurs

• Objectif : Évaluer la performance de suivi géométrique.
• Résultats :
  • Contrôleur PID (Firmware) : Bonne performance mais taux de divergence de trajectoire de 4,2 %.
  • Contrôleur Géométrique (Mellinger) : Réduit le taux de divergence à 0,01 % grâce à une formulation SE(3) plus robuste, au prix d'une erreur de vitesse légèrement supérieure (transitoires plus nets).
  • Contrôleurs appris hors ligne (BC-MLP/LSTM) : Excellents en simulation (divergence nulle), mais non comparables directement au vol réel sans transfert sim-to-real.
  • MPPI (Optimisation par intégrale de chemin) : Échec sévère avec un taux de divergence de 75,2 %, démontrant que les méthodes prédictives basées sur des modèles nécessitent un réglage spécifique pour les limites d'actionnement très étroites des nano-drones.

Tâche 3 : Estimation d'État

• Objectif : Évaluer la précision de l'EKF embarqué.
• Résultats :
  • À vitesse lente et moyenne, l'EKF maintient une erreur de trajectoire absolue (ATE) inférieure à 22 mm et une erreur d'attitude < 3°.
  • À haute vitesse (1,0 m/s), l'EKF diverge (ATE > 3 m), révélant la limite de calcul du processeur Cortex-M4 pour maintenir la cohérence de l'état aux limites dynamiques de la plateforme.

5. Signification et Impact

NanoBench comble un vide critique dans la recherche en robotique aérienne en permettant une comparaison systématique des algorithmes sur des plateformes nano-échelle réelles.

• Validation des hypothèses : Il confirme que les modèles physiques standards échouent à long terme sans correction résiduelle et que les contrôleurs géométriques sont supérieurs pour la stabilité, mais que les méthodes prédictives avancées (comme MPPI) échouent sans adaptation spécifique.
• Reproductibilité : En fournissant des données brutes synchronisées et des lignes de base, il élimine la variabilité due aux configurations matérielles privées, permettant à la communauté de se concentrer sur l'amélioration des algorithmes.
• Limites identifiées : Le dataset met en évidence les limites actuelles de l'estimation d'état et du contrôle sur des micro-contrôleurs à ressources limitées, orientant les futures recherches vers des architectures plus légères ou des méthodes de compensation spécifiques.

L'ensemble des données, du code et des scripts d'évaluation est disponible publiquement sur GitHub, établissant un nouveau standard pour l'évaluation des systèmes autonomes à l'échelle nanométrique.