Tiny-DroNeRF: Tiny Neural Radiance Fields aboard Federated Learning-enabled Nano-drones

Ce travail présente Tiny-DroNeRF, un modèle de champs de radiance neuronale optimisé pour les microcontrôleurs à très faible puissance embarqués sur des nano-drones, qui combine une réduction drastique de l'empreinte mémoire avec un apprentissage fédéré collaboratif pour permettre une reconstruction 3D dense dans des environnements complexes malgré les contraintes de ressources sévères.

L'essentiel

🚁 Le Défi : Des Mouches qui veulent voir en 3D

Imaginez que vous avez des mini-drones de la taille d'une main, pesant moins qu'une pomme (environ 30 grammes). Ils sont incroyablement agiles et peuvent se faufiler dans des endroits étroits, comme des usines abandonnées ou des décombres après une catastrophe. C'est génial pour l'exploration !

Mais il y a un gros problème : pour être si petits et légers, ils ont une batterie minuscule et un cerveau très limité (un microcontrôleur qui consomme moins d'énergie qu'une ampoule de veille).

Jusqu'à présent, ces drones ne pouvaient pas faire de "cartographie 3D" complexe. Pourquoi ? Parce que la technologie actuelle pour reconstruire une scène en 3D (appelée NeRF) est comme un géant gourmand.

• Le Géant : Pour créer une image 3D photoréaliste, les méthodes habituelles ont besoin de super-ordinateurs (des cartes graphiques de plusieurs milliers d'euros) qui consomment autant d'électricité qu'un four à micro-ondes.
• Le Mini-Drone : Il n'a pas la place pour le géant, ni l'énergie pour le nourrir. C'est comme essayer de faire cuire un gâteau entier dans un fournil de fourmi.

💡 La Solution : Tiny-DroNeRF (Le "Mini-Géant")

Les chercheurs ont créé une nouvelle version, Tiny-DroNeRF. C'est comme si on prenait le géant gourmand, qu'on le compressait, qu'on lui enlevait ses vêtements superflus, et qu'on le transformait en un sac à dos ultra-léger que le mini-drone peut porter sans s'effondrer.

Comment ont-ils fait ?

1. Le Rajeunissement : Ils ont pris une technologie de pointe (Instant-NGP) et ont joué aux "réglages fins". Ils ont réduit la taille des images, simplifié les calculs et optimisé la mémoire.
2. Le Résultat : Ils ont réussi à faire tenir ce cerveau 3D dans la mémoire du drone (qui est plus petite qu'un vieux téléphone portable) et à le faire tourner avec une consommation d'énergie dérisoire.
   • L'analogie : C'est comme réussir à faire tourner un film d'animation complexe sur une calculatrice de poche.

🤝 L'Idée Géniale : L'Équipe de Football (Federated Learning)

Même avec ce cerveau optimisé, un seul drone ne voit qu'une petite partie de la pièce. S'il vole dans un couloir, il ne voit pas la cuisine.

C'est là que l'idée de l'apprentissage fédéré entre en jeu. Imaginez une équipe de football :

• Chaque joueur (drone) regarde le terrain depuis son angle.
• Au lieu de se passer la vidéo brute (ce qui serait trop lourd pour leur connexion Wi-Fi), ils se partagent seulement leurs conclusions (leurs "leçons apprises").
• Un capitaine (un drone chef) rassemble toutes ces leçons pour créer une stratégie globale parfaite.
• Ensuite, il redonne cette stratégie à tout le monde.

Le résultat ?

• Chaque drone apprend des autres sans jamais avoir à envoyer ses photos brutes (ce qui économise de l'énergie et protège la vie privée).
• Ensemble, ils reconstruisent une scène 3D complète et précise, même si aucun drone individuel n'a jamais vu l'ensemble de la pièce.
• C'est comme si chaque drone avait les yeux de tous les autres drones pour mieux comprendre l'environnement.

🏆 Les Résultats Concrets

• Efficacité : Ils ont réduit la mémoire nécessaire de 96 % par rapport aux méthodes classiques.
• Qualité : La qualité de l'image 3D est très bonne (une légère baisse de qualité est acceptée pour gagner en légèreté).
• Vitesse : Sur un seul drone, cela prend environ 1h30 pour reconstruire une scène, ce qui est énorme pour un si petit appareil.
• Réel : Ils l'ont testé dans un vrai environnement (un couloir avec des cônes de signalisation) et le drone a réussi à reconstruire les objets en 3D à partir de ses petites caméras en noir et blanc.

En résumé

Cette recherche est une première mondiale : elle prouve qu'on peut faire faire des tâches d'intelligence artificielle très complexes (comme voir en 3D) à des robots minuscules et économes en énergie, en les faisant travailler en équipe.

C'est la différence entre un seul explorateur qui se perd dans le noir, et une essaim de fourmis intelligentes qui, en partageant leurs découvertes, dessinent une carte complète du labyrinthe sans jamais s'épuiser.

Résumé technique

1. Problématique et Contexte

Les robots aériens de type "nano-drones" (poids < 30g, diamètre < 10 cm) offrent une agilité exceptionnelle pour l'exploration d'environnements encombrés et étroits (usines, zones de secours). Cependant, leur taille impose des contraintes matérielles extrêmes :

• Ressources limitées : Microcontrôleurs (MCU) ultra-basse consommation (< 100 mW) avec des capacités de calcul d'environ 100 GOps/s et une mémoire bien inférieure à 100 Mo.
• Limitation des tâches complexes : Les algorithmes de reconstruction 3D denses, comme les Champs de Radiance Neuronaux (NeRF), nécessitent généralement des centaines de Go de mémoire et des GPU haute performance consommant des centaines de Watts.
• Le défi : Rendre possible la reconstruction 3D et la synthèse de vues nouvelles (novel view synthesis) directement à bord d'un nano-drone, sans infrastructure externe, tout en gérant la mémoire et la puissance de calcul limitées.

2. Méthodologie

Les auteurs proposent une approche en deux volets pour surmonter ces contraintes : l'optimisation algorithmique pour le matériel embarqué et l'apprentissage fédéré pour la collaboration en essaim.

A. Tiny-DroNeRF : Optimisation pour MCU Ultra-Basse Puissance

Le modèle de base est une version allégée de Instant-NGP (State-of-the-Art pour les NeRF), adaptée pour fonctionner sur le MCU GAP9 (GreenWaves Technologies) intégré au drone Crazyflie 2.1.

• Optimisation des hyperparamètres : Une étude systématique a été menée pour réduire l'empreinte mémoire et le calcul tout en préservant la qualité :
  • Réduction du nombre d'images par étape d'entraînement (de 100 à 1).
  • Réduction de la résolution d'entrée (de 800x800 à 160x160 px).
  • Réduction de la taille du lot (batch size $B$) et du nombre de paramètres par niveau de la grille de hachage ($T$).
• Implémentation Matérielle (Hardware-aware) :
  • Développement de noyaux de calcul (kernels) en C optimisés pour l'architecture GAP9 (multi-cœur, SIMD).
  • Stratégie de "Tiling" : Découpage des données en tuiles pour qu'elles tiennent dans la mémoire L1 (128 Ko) et L2 (1,5 Mo) du SoC, minimisant les accès à la mémoire L3 externe (32 Mo).
  • Accumulation de lots (Batch Accumulation) : Traitement de petits lots en mémoire L2 avec accumulation des gradients pour simuler un grand lot effectif, permettant une convergence stable malgré les contraintes de mémoire.
  • Utilisation de l'arithmétique float16 pour les calculs MLP et float32 uniquement pour la mise à jour des poids (stabilité).

B. Apprentissage Fédéré (Federated Learning - FL)

Pour pallier le manque de données d'un seul drone et améliorer la reconstruction globale :

• Architecture : Un drone agit comme coordinateur (pré-entraînement local, agrégation) tandis que les autres effectuent un entraînement local.
• Protocole : Les drones entraînent localement sur leurs images propres, puis envoient les mises à jour du modèle (grille de hachage et paramètres MLP) au coordinateur.
• Agréation : Utilisation de l'algorithme FedAvg (moyenne pondérée).
• Optimisation de la communication : Les auteurs ont démontré qu'il est possible de ne pas échanger la grille d'occupation (occupancy grid), qui représente 88 % du volume de données, sans perte significative de performance, réduisant ainsi drastiquement la surcharge de communication.

3. Contributions Clés

1. Algorithme Tiny-DroNeRF : Un modèle NeRF léger basé sur Instant-NGP, optimisé par hyperparamètres pour les contraintes strictes des MCU.
2. Implémentation Embarquée : Une version C optimisée pour le GAP9, exploitant la mémoire hiérarchique et le parallélisme multi-cœur, permettant l'entraînement on-device.
3. Schéma d'Apprentissage Fédéré : Première démonstration de l'entraînement collaboratif de NeRF sur un essaim de nano-drones, permettant de reconstruire des scènes plus riches que la somme des vues individuelles.
4. Validation Expérimentale : Analyse complète incluant des benchmarks sur des données synthétiques, des tests en conditions réelles (intérieur, images gris), et une analyse de latence/mémoire.

4. Résultats Expérimentaux

Performance et Efficacité

• Réduction de la mémoire : Réduction de 96 % de l'empreinte mémoire par rapport à Instant-NGP (passant de 527 Mo à 21,4 Mo), permettant le déploiement sur le drone.
• Qualité de reconstruction : Une baisse de précision de seulement 5,7 dB en PSNR (Passant de 32,59 dB à 26,94 dB sur le dataset synthétique).
• Temps d'exécution :
  • Une étape d'entraînement (forward-backward) prend 73 ms.
  • Un entraînement complet (10k étapes) sur un seul drone prend environ 97 minutes.
  • Le rendu d'une image (inférence) prend environ 4,1 secondes.
• Efficacité mémoire : Seuls 3,6 Mo de transferts de données vers la mémoire L3 sont nécessaires par étape, confirmant une excellente localité des données.

Résultats sur Données Réelles et Fédérés

• Scène Réelle : Reconstruction réussie d'un environnement intérieur encombré à partir d'images monoculaires en niveaux de gris, atteignant un PSNR de 21,2 dB.
• Apprentissage Fédéré :
  • Dans un scénario non-IID (données non identiques entre drones), le modèle fédéré surpasse le meilleur modèle individuel de 1,7 dB.
  • Il atteint un résultat à seulement 0,6 dB du modèle centralisé (qui a accès à toutes les données).
  • Surcharge de communication : Réduite à 2,24 secondes par round d'agrégation (tous les 1000 étapes) en omettant l'échange de la grille d'occupation.

5. Signification et Impact

Ce travail représente une avancée majeure pour la robotique autonome miniaturisée :

• Preuve de concept : C'est la première démonstration de l'entraînement d'un NeRF directement sur un MCU ultra-basse consommation (< 100 mW) et la première application de l'apprentissage fédéré sur un essaim de nano-drones aux ressources limitées.
• Autonomie accrue : Cela permet aux nano-drones de développer une "conscience spatiale" dense et de planifier leurs trajectoires de manière autonome dans des environnements complexes, sans dépendre de stations de base puissantes ou de transmissions de données brutes massives.
• Évolutivité : La méthode fédérée permet de construire des modèles 3D globaux à partir de données fragmentées et locales, rendant les missions de recherche et de sauvetage ou d'inspection industrielle plus robustes et efficaces.