Nano-U: Efficient Terrain Segmentation for Tiny Robot Navigation

Résumé technique : Nano-U : une segmentation de terrain efficace pour la navigation des micro-robots

Énoncé du problème
La segmentation de terrain est une capacité de perception critique pour les robots mobiles autonomes opérant dans des environnements extérieurs non structurés, tels que les champs agricoles et les sentiers naturels. Bien que les modèles d'apprentissage profond soient devenus la norme pour une segmentation robuste, les architectures de pointe (par exemple, U-Net, DeepLabV3) nécessitent généralement des centaines de millions de paramètres et une inférence basée sur GPU. Ces exigences en ressources sont incompatibles avec les budgets mémoire de l'ordre du kilooctet et les contraintes de puissance de l'ordre du milliwatt des microcontrôleurs (MCU) utilisés dans les petites plateformes robotiques à bas coût. Les solutions TinyML existantes reposent souvent sur des accélérateurs ML dédiés ou se concentrent sur des tâches de classification plus simples, laissant un vide pour une estimation de la traversabilité binaire robuste sur du matériel générique et standard.

Méthodologie
Les auteurs proposent Nano-U, un cadre complet pour le déploiement d'une segmentation de terrain binaire sur un microcontrôleur ESP32-S3 à bas coût. L'approche intègre trois composantes clés :

1. Architecture de réseau (Nano-U) :

   • Inspiré de l'architecture U-Net, Nano-U est un réseau encodeur-décodeur hautement compact conçu pour tenir dans les 320 Ko de RAM interne de l'ESP32-S3.
   • Il traite des images couleur de 60×80×3.
   • Pour minimiser l'utilisation de la mémoire, le réseau omet les connexions de saut (skip connections) standards, qui nécessiteraient de stocker les cartes de caractéristiques de l'encodeur en RAM jusqu'à l'étape du décodeur. Au lieu de cela, il repose sur un pipeline à sept étapes utilisant des convolutions séparables en profondeur (depthwise separable convolutions) et un suréchantillonnage par plus proche voisin (nearest-neighbor upsampling).
   • Le modèle final contient seulement 3 357 paramètres (après fusion de couches), occupant environ 33 Ko en précision INT8.

2. Stratégie d'entraînement (Distillation sensible à la quantification - QAD) :

   • Pour compenser la capacité minimale du réseau et la dégradation de la précision généralement associée à la quantification INT8, les auteurs emploient un pipeline de Distillation Sensible à la Quantification (QAD) en un seul passage.
   • Distillation de connaissances : Un réseau « enseignant » de grande taille (BU-Net, ~12,85 M de paramètres) guide l'étudiant (Nano-U). La perte de distillation utilise une mise à l'échelle de température dans l'espace sigmoïde pour adoucir la distribution de sortie, exposant ainsi les signaux de gradient sur les pixels de bordure ambigus que les étiquettes strictes supprimeraient.
   • Entraînement sensible à la quantification (QAT) : Des nœuds de fausse quantification sont injectés dès le premier époque pour simuler l'arithmétique entière 8 bits lors de la passe avant, tout en préservant les gradients en pleine précision via l'estimateur de passage direct (straight-through estimator).
   • La fonction de perte totale combine l'entropie croisée binaire (étiquettes strictes) et l'erreur quadratique moyenne (distillation douce), pondérée pour donner la priorité à la précision pour la navigation critique en termes de sécurité.

3. Cadre de déploiement (MicroFlow) :

   • Le modèle quantifié est déployé à l'aide de MicroFlow, un moteur d'inférence basé sur un compilateur écrit en Rust.
   • Contrairement aux solutions basées sur un interprète (par exemple, TensorFlow Lite Micro), MicroFlow résout la topologie du réseau au moment de la compilation en utilisant des macros procédurales. Cela élimine les registres d'opérateurs, l'allocation dynamique de mémoire et la surcharge de l'interprète.
   • Le système fonctionne dans un environnement no-std sur du matériel nu (bare metal), n'activant que les périphériques nécessaires et évitant les tâches de système d'exploitation (par exemple, FreeRTOS), maximisant ainsi la RAM disponible et minimisant la consommation d'énergie.

Principales contributions

• Conception de Nano-U : Un nouveau réseau de segmentation binaire d'environ 3 000 paramètres qui s'insère dans les contraintes de mémoire serrées des MCU standards tout en maintenant des capacités de sortie denses.
• Pipeline QAD : Un régime d'entraînement unifié qui fusionne la distillation de connaissances avec l'entraînement sensible à la quantification, permettant à un minuscule modèle INT8 d'atteindre une précision élevée sur des jeux de données agricoles complexes.
• Exécution basée sur un compilateur : Une extension du moteur MicroFlow pour supporter les opérateurs spécifiques requis par Nano-U (MaxPool2D, suréchantillonnage par plus proche voisin), démontrant une voie d'exécution viable et économe en énergie sans accélérateurs ML dédiés.
• Jeux de données et publication : L'introduction de TinyAgri, un jeu de données personnalisé collecté à partir d'un petit rover dans des champs agricoles, ainsi que la publication du modèle et du jeu de données Nano-U.

Résultats expérimentaux
Le cadre a été évalué sur deux jeux de données : le Botanic Garden (sentiers structurés) et TinyAgri (végétation dense, éclairage difficile).

• Précision :

  • Sur Botanic Garden, l'INT8 de Nano-U a atteint 87,0 % d'IoU, égalant son homologue FP32 et montrant une dégradation négligeable par rapport à l'enseignant (95,1 % d'IoU).
  • Sur le jeu de données plus complexe TinyAgri, le modèle INT8 a atteint 70,0 % d'IoU (contre 88,3 % pour le FP32). Bien que les détails des bordures aient été perdus, le modèle a identifié avec succès les zones de traversée principales, maintenant un score F1 de 0,82.
  • Le modèle a présenté une haute précision (0,96 sur Botanic Garden, 0,81 sur TinyAgri) avec un rappel modéré, indiquant une stratégie de sous-segmentation conservatrice bénéfique pour la sécurité.

• Performance matérielle (ESP32-S3-CAM) :

  • Latence : Le temps d'inférence était de 844 ms (environ 1,2 FPS).
  • Mémoire : L'utilisation de la RAM de données interne de pointe était de 257 Ko, laissant environ 60 Ko libres.
  • Puissance : La consommation de puissance active lors de l'inférence était de 470 mW (un surplus de 333 mW par rapport à la ligne de base au repos), ce qui se traduit par un coût énergétique de 281 mJ par inférence.
  • Ces mesures démontrent que l'approche basée sur un compilateur réduit considérablement la surcharge par rapport aux déploiements standards basés sur un interprète.

Signification et limites
L'article affirme que ce travail démontre la faisabilité d'une segmentation de terrain binaire en temps réel sur des microcontrôleurs standards sans accélérateurs spécialisés. La combinaison de la QAD et de l'inférence basée sur un compilateur permet à de petits robots d'effectuer des tâches de perception auparavant limitées à des plateformes plus grandes.

Les auteurs reconnaissent des limites spécifiques :

• Latence : À environ 1,2 FPS, le système est adapté aux plateformes terrestres à mouvement lent mais insuffisant pour les véhicules plus rapides ou les tâches nécessitant une résolution temporelle fine.
• Résolution : La résolution de sortie de 60×80 est dictée par les contraintes de mémoire plutôt que par les exigences de la tâche ; une résolution plus élevée améliorerait la précision de la planification de trajectoire.
• Généralisation : Le modèle a été entraîné et testé sur des jeux de données spécifiques ; la généralisation à divers types de végétation, conditions d'éclairage et textures de sol nécessite une validation supplémentaire.
• Intégration du pipeline : Les benchmarks actuels isolent la latence d'inférence en chargeant les images depuis la PSRAM ; un système complet en boucle fermée impliquant la capture vidéo en direct et le contrôle du robot reste à démontrer.