SkySim: A ROS2-based Simulation Environment for Natural Language Control of Drone Swarms using Large Language Models

Résumé Technique : SkySim – Un environnement de simulation basé sur ROS2 pour le contrôle par langage naturel d'essaims de drones utilisant des modèles de langage de grande taille (LLM)

Énoncé du problème
Les essaims de véhicules aériens sans pilote (UAV) offrent un potentiel significatif dans la logistique, l'agriculture et la surveillance ; cependant, leur déploiement est entravé par la nécessité de connaissances de niveau expert pour garantir la sécurité et la faisabilité physique. Les méthodes de contrôle traditionnelles reposent sur des flux statiques et préprogrammés qui manquent d'adaptabilité dans des environnements dynamiques. Bien que les modèles de langage de grande taille (LLM) présentent une voie prometteuse pour permettre le contrôle par langage naturel, ils manquent intrinsèquement d'ancrage physique réel. Par conséquent, les LLM génèrent souvent des trajectoires de référence qui sont dangereuses, ne tenant pas compte des risques de collision, des limites cinématiques ou des contraintes environnementales. Il existe un besoin critique pour un cadre capable de tirer parti du raisonnement cognitif des LLM tout en imposant des contraintes de sécurité strictes et en temps réel pour combler le fossé entre l'intention humaine de haut niveau et l'exécution robotique de bas niveau.

Méthodologie
Les auteurs introduisent SkySim, un cadre de simulation construit sur ROS2 (Jazzy) et Gazebo (Harmonic) qui découple la planification cognitive de haut niveau de l'application de la sécurité de bas niveau. L'architecture du système opère sur une boucle « perception-planification-action » avec les composants suivants :

1. Perception de l'état : Le système s'abonne au topic /odom dans Gazebo, émulant des systèmes de capture de mouvement de haute précision (ex. : OptiTrack) pour obtenir une télémétrie de position 3D sans bruit et en temps réel de tous les agents.
2. Planification basée sur le LLM (Haut niveau) : En utilisant Gemini 3.5 Pro, le système traduit les commandes en langage naturel (ex. : « Formez un cercle ») en points de passage spatiaux. Le LLM est contraint par des instructions système strictes concernant la taille de l'essaim, les systèmes de coordonnées et les limites de collision au sol ($Z \ge 0,5$ m). Le modèle reçoit un prompt dynamique contenant des instructions système, les états actuels des drones et la commande de l'utilisateur, produisant une liste Python sérialisée de coordonnées cibles.
3. Filtre de sécurité (Bas niveau) : Pour garantir la faisabilité physique, un contrôleur déterministe à champ de potentiel artificiel (APF) fonctionne à 20 Hz, indépendamment de la latence d'inférence du LLM. Cette couche applique :
   • Forces attractives : Un contrôle proportionnel dirigeant les agents vers les points de passage générés par le LLM.
   • Forces répulsives : L'évitement de collision est déclenché lorsque la distance inter-agents tombe en dessous d'un rayon de sécurité ($r_{min} = 0,8$ m), générant des vecteurs répulsifs pour prévenir les collisions.
   • Contraintes cinématiques : La saturation de la vitesse ($v_{max} = 0,5$ m/s) et le géofencing pour garantir que les commandes restent dans le volume opérationnel et les limites des moteurs.

Principales contributions

• Architecture découplée : Le papier propose un cadre modulaire qui isole la nature probabiliste de la planification par LLM des exigences déterministes de sécurité en temps réel, permettant à des non-experts de définir des comportements complexes sans gérer les contraintes de bas niveau.
• Raisonnement spatial zero-shot : Contra\irement aux travaux antérieurs axés sur la chorégraphie temporellement coordonnée, SkySim démontre la capacité de traduire des commandes abstraites en langage naturel en géométries statiques valides et arbitraires (ex. : « Sapin de Noël », « Grille », « Sphère ») sans entraînement préalable sur des formes spécifiques.
• Mécanisme de sécurité léger : L'implémentation d'un contrôleur APF réactif est mise en avant comme une alternative efficace en termes de calcul aux couches de sécurité basées sur l'apprentissage lourd (ex. : DRL) ou aux solveurs non linéaires (ex. : MPC), assurant un évitement de collision réflexif immédiat avec un overhead négligeable.

Résultats expérimentaux
Le cadre a été évalué à l'aide de drones simulés Crazyflie 2.1 Brushless dans des tailles d'essaim de N = 3, 10 et 30.

• Précision du raisonnement spatial : Le LLM a atteint un taux de réussite de 100 % dans la génération de coordonnées cibles valides pour diverses primitives géométriques à travers toutes les tailles d'essaim testées.
• Évitement de collision : Lors de tests de stress impliquant des obstacles statiques (convergence vers un point unique) et des obstacles dynamiques (échange simultané de positions), le filtre APF a réussi à prévenir les collisions. Bien que les distances inter-agents aient brièvement chuté en dessous du seuil d'activation de l'APF de 0,8 m, elles sont restées strictement supérieures à la limite physique de collision (~55 mm).
• Scalabilité et latence : Le système a démontré une scalabilité sous-linéaire ; l'augmentation de la taille de l'essaim de 3 à 30 agents n'a entraîné qu'une augmentation d'environ 45 % de la latence moyenne de planification (de 34s à 50s). Crucialement, la latence de planification variable (secondes) s'est avérée totalement découplée de la latence de la boucle de contrôle (millisecondes), garantissant la stabilité de l'essaim même lors des délais d'inférence du LLM.
• Faisabilité des trajectoires : Les profils de vitesse ont confirmé que les trajectoires générées étaient fluides et restaient dans les limites cinématiques ($v_{max} = 0,5$ m/s), sans oscillations à haute fréquence.

Signification et limites
Le papier affirme que SkySim comble avec succès le fossé entre la cognition de l'IA et la sécurité robotique, permettant aux non-experts d'affiner de manière itérative les comportements d'essaim pour des environnements dynamiques. L'approche découplée est présentée comme une voie viable pour le déploiement d'essaims d'UAV dans des secteurs tels que l'agriculture et la réponse aux catastrophes où des comportements complexes et sur demande sont requis sans programmation extensive.

Cependant, les auteurs reconnaissent explicitement les limites actuelles :

• Variance de la latence : La dépendance aux API basées sur le cloud (Gemini) introduit une variance de latence significative, rendant le système inapproprié pour des missions critiques nécessitant des réactions de l'ordre de la milliseconde à de nouvelles commandes.
• Contraintes de simulation : La validation actuelle repose sur des données de vérité terrain sans bruit provenant de Gazebo ; le déploiement dans le monde réel fera face à des défis liés au bruit des capteurs, à la perte de paquets et aux perturbations environnementales.
• Minima locaux : Le contrôleur APF déterministe est susceptible de subir des minima locaux dans des environnements très encombrés, pouvant piéger les agents.
• Limites de la fenêtre de contexte : Le système est actuellement limité à N=30 en raison des contraintes de la fenêtre de contexte du LLM et des ressources matérielles pour la simulation physique en temps réel.

Travaux futurs
Les auteurs décrivent des plans pour transférer la pile vers du matériel physique (Crazyflie avec OptiTrack), intégrer le contrôle prédictif de modèle (MPC) pour traiter les minima locaux, incorporer des entrées multimodales et passer à des modèles de langage de petite taille (SLM) déployés localement pour élimer les goulots d'étranglement de latence liés au cloud.