Le rêve des essaims de drones — des centaines de petites machines se déplaçant comme un seul esprit pour construire des structures, livrer des fournitances ou cartographier des zones de catastrophe — a longtemps été freiné par un problème tenace de physique et de temps. Pour apprendre à un drone unique comment voler, les ingénieurs utilisent souvent des simulations informatiques qui imitent le monde réel. Cependant, il existe un compromis constant entre la vitesse et la précision. Une simulation simple et rapide traite un drone comme un simple point de masse, ignorant la façon dont ses rotors tournent, comment son corps s'incline et comment l'air exerce une pression sur lui. Cette rapidité permet aux chercheurs d'effectuer des milliers de vols d'entraînement en quelques secondes, mais les leçons apprises échouent souvent lorsqu'elles sont appliquées à une machine réelle car le modèle simplifié omet les délais et les forces subtils du monde réel. Inversement, une simulation hautement précise qui tient compte de chaque détail physique est incroyablement lente. Lorsque les chercheurs tentent d'enseigner à toute une équipe de drones dans un environnement aussi précis, l'ordinateur sature. Chaque fois que deux drones s'approchent, le logiciel doit calculer la physique complexe de leur collision potentielle, une tâche qui devient exponentiellement plus difficile à mesure que le nombre de drones augmente. Le résultat est souvent un crash numérique, forçant le processus d'apprentissage à recommencer, ce qui rend presque impossible l'entraînement efficace de grands groupes.

Les chercheurs Maxim Mednikov et Oren Gal, de l'Université de Haïfa, ont trouvé un moyen de contourner entièrement ce goulot d'étranglement. Au lieu de forcer l'ordinateur à apprendre à partir de zéro dans un monde parfait mais lent, ou de s'appuyer sur un monde rapide mais imparfait, ils ont créé une méthode qui combine le meilleur des deux sans les coûts habituels. Leur approche, testée dans des simulations informatiques, permet à une équipe de drones d'apprendre des tâches coopératives complexes en utilisant un modèle simple et rapide, tandis qu'une petite correction précalculée garantit que le comportement reste suffisamment précis pour le monde réel. L'idée clé est que les différences entre le modèle simple et la réalité complexe peuvent être apprises une seule fois, en utilisant un seul drone, puis appliquées à n'importe quel nombre de drones, quelle que soit la taille de l'équipe.

Le processus commence par une simulation simple et rapide où un drone est traité comme un point de masse. Les chercheurs laissent d'abord un contrôleur de base faire voler ce drone simple le long d'un chemin spécifique. Ils prennent ensuite ce même chemin et le font voler dans une simulation beaucoup plus détaillée et de haute fidélité qui inclut toute la physique désordonnée du monde réel, comme la résistance de l'air et la rotation du corps. En comparant la façon dont le modèle simple s'est déplacé par rapport à la façon dont le modèle détaillé s'est réellement déplacé, ils calculent la différence. Cette différence, ou « résidu », est comme une petite carte d'erreurs qui indique au système comment ajuster le modèle simple pour qu'il corresponde au modèle complexe. Crucialement, ce calibrage est effectué une seule fois, hors ligne, en utilisant un drone isolé. Les chercheurs adaptent un petit modèle mathématique à ces différences et le figent, verrouillant les corrections en place afin qu'elles ne puissent pas changer.

Une fois cette carte de correction prête, le véritable apprentissage commence. Les chercheurs entraînent une politique partagée pour l'ensemble de l'essaim à l'intérieur du simulateur simple et rapide, mais avec une nuance : à chaque instant du vol, la correction figée est appliquée au mouvement du drone. Cela signifie que les drones apprennent à voler comme s'ils étaient dans le monde complexe et réaliste, mais l'ordinateur exécute en réalité la physique simple et rapide. Comme la correction dépend uniquement de l'état d'un drone individuel et non de ses coéquipiers, les chercheurs n'ont jamais besoin de faire voler deux drones ensemble durant cette phase d'entraînement. Ils peuvent entraîner une équipe de trois ou une équipe de dix-huit drones en utilisant exactement la même quantité de données de calibrage, collectées lors de vols de drones isolés. Cela élimine le risque de crashs numériques pendant l'entraînement, qui augmentent typiquement de manière fulgurante à mesure que la taille de l'équipe croît dans les simulations entièrement réalistes.

Les résultats de cette méthode ont été testés à travers quatre tâches coopératives différentes, allant du maintien d'une formation au vol en forme de huit, avec des tailles d'équipe variant de trois à dix-huit drones. Dans chaque scénario, l'équipe entraînée avec cette méthode hybride a surpassé une équipe entraînée uniquement sur le modèle simple et non corrigé. Plus impressionnant encore, elle a surpassé les équipes entraînées à partir de zéro dans la simulation lente et réaliste dans vingt-deux cas sur vingt-quatre. Bien que la méthode ait été légèrement moins efficace qu'une équipe entraînée dans la simulation réaliste pour de très petits groupes, l'écart s'est rapidement réduit à mesure que l'équipe grandissait. Pour les plus grandes équipes de dix-huit drones, la méthode hybride a atteint une performance presque identique à l'entraînement coûteux et réaliste, mais elle l'a fait en une fraction du temps et avec zéro crash d'entraînement. L'entraînement réaliste coûteux entraînait souvent des taux de crash de plus de soixante pour cent pour les grandes équipes, stoppant ainsi efficacement les progrès, tandis que la nouvelle méthode est restée stable et efficace.

Les chercheurs ont également découvert que la quantité de données nécessaires pour créer la carte de correction initiale était étonnamment faible. Ils ont constaté que faire voler un seul drone pendant seulement quelques minutes pour recueillir environ trente-deux trajectoires de vol courtes suffisait à calibrer le système pour des équipes de n'importe quelle taille. Cette exigence de données n'augmentait pas avec le nombre de drones ; une équipe de dix-huit drones nécessitait le même effort de calibrage qu'une équipe de trois. De plus, la méthode s'est avérée robuste lors de tests contre des changements dans les propriétés physiques du drone, tels qu'un poids ajouté ou une résistance au vent supplémentaire. En effectuant un bref recalibrage à chaud selon les nouvelles conditions, le système s'est adapté rapidement, maintenant une performance élevée sans avoir besoin de réapprendre toute la tâche à partir de zéro.

Ce travail démontre que l'entraînement à haute fidélité pour les grands essaims de drones ne nécessite pas de simuler chaque collision et interaction en temps réel. En ancrant un simulateur simple et rapide dans une petite correction hors ligne apprise à partir d'un seul agent, les chercheurs peuvent entraîner des comportements coopératifs complexes qui sont à la fois précis et informatiquement réalisables. Bien que ces résultats soient actuellement confinés aux simulations informatiques, l'approche offre une voie évolutive pour les applications du monde réel, suggérant que l'avenir des essaims de drones ne dépendra peut-être pas d'ordinateurs plus rapides, mais de façons plus intelligentes d'utiliser ceux que nous possédons déjà.