Agentic AI for Safety-critical Multi-drone Systems: Challenges and Opportunities

Résumé technique : IA agentique pour les systèmes multi-drones critiques pour la sécurité

Énoncé du problème
Les systèmes multi-drones offrent un potentiel significatif pour les missions critiques pour la sécurité, notamment la recherche et le sauvetage (SAR), la lutte contre les incendies et la surveillance des infrastructures critiques. Cependant, l'adoption dans le monde réel est entravée non seulement par la performance de l'autonomie technique, mais aussi par le défi socio-technique de l'intégration du comportement agentique dans les flux de travail professionnels. Les opérateurs doivent comprendre, faire confiance et gouverner l'automatisation dans des conditions d'incertitude, de pression temporelle et de haute responsabilité. À mesure que la taille des flottes augmente, le modèle traditionnel d'un opérateur pour un véhicule échoue en raison de la surcharge de coordination, de la dégradation de la conscience de la situation partagée et du risque que de petites incertitudes ne se propagent en problèmes de sécurité (par exemple, des priorités conflictuelles ou une responsabilité ambiguë). Bien que les avancées récentes des grands modèles de langage (LLM) et de l'IA agentique permettent la commande en langage naturel et la planification à initiative mixte, elles introduisent de nouveaux défis d'interaction : représenter les intentions des agents, superviser les décisions et garantir un comportement correct dans des environnements de terrain complexes.

Méthodologie et approche de recherche
Le document adopte une approche de recherche centrée sur l'humain, participative et itérative, traitant l'IA agentique comme un « matériau de conception socio-technique » plutôt que comme une solution technique figée. Cette méthodologie s'appuie sur deux projets complémentaires en cours :

1. NAMUR : Se concentre sur les interventions d'urgence critiques en temps (SAR et lutte contre les incendies), mettant l'accent sur des cycles de décision rapides, des dangers dynamiques et la nécessité de couches d'abstraction unifiées à travers des plateformes robotiques hétérogènes.
2. PERSIST : Se concentre sur les opérations persistantes de longue durée aux infrastructures critiques (ex. : centrales électriques), mettant l'accent sur l'activité soutenue, la répétabilité, les passages de relais et l'intégration organisationnelle.

Le processus de recherche comprend :

• Découverte des besoins : Fondée sur des scénarios concrets et des démonstrations avec les parties prenantes (commandants d'intervention, intervenants de terrain, personnel de sécurité) pour cartographier les pratiques de travail, les points de décision et les goulots d'étranglement cognitifs.
• Prototypage participatif : Utilisation de prototypes fonctionnels successifs comme « objets frontières » pour négocier les capacités des agents, les exigences d'autorisation et les indices d'incertitude.
• Conception du système : Développement d'une architecture qui décompose l'intention en langage naturel en sous-tâches révisables, contraint l'exécution via des outils déterministes et impose la prévisualisation et l'approbation de l'opérateur.

Contributions clés : L'architecture LLM-MAS
Le document présente une architecture de prototype fonctionnel : un Système Multi-Agents basé sur les LLM (LLM-MAS) conçu pour le contrôle de multi-drones. Ce système est composé de cinq agents spécialisés qui interfacent avec des outils déterministes externes (ex. : calcul spatial, exécution de mouvement, stockage de mémoire, planification de tâches) :

1. Agent Coordinateur : Agit comme l'orchestrateur central, déduisant l'intention de l'opérateur et décomposant les commandes en sous-requêtes déléguées à des agents subordonnés.
2. Agent d'Événements : Gère les directives périodiques, différées et orientées vers le futur (ex. : estimation programmée de la biomasse ou commandes de retour à la base), garantissant que les tâches sont exécutées ou signalées au moment approprié.
3. Agent Spatial : Assure la conscience situationnelle en accédant aux cartes GeoJSON et aux positions en direct des drones et des premiers intervenants. Il identifie les caractéristiques sémantiques de la carte et calcule les relations spatiales.
4. Agent d'Essaim (Swarm Agent) : Gère la planification de mouvement et l'exécution des tâches. Il sélectionne les plateformes de drones appropriées en fonction de la disponibilité et du contexte. Crucialement, toutes les requêtes générées par cet agent sont soumises à une prévisualisation et une confirmation par l'opérateur avant exécution. Il publie les actions sur un sujet ROS pour déclencher les pipelines de contrôle de vol.
5. Agent de Synthèse (Summarizer Agent) : Génère des résumés concis et lisibles par l'humain des actions exécutées et des états du système. Ces informations sont stockées dans la mémoire d'interaction pour fournir du contexte aux tours de dialogue suivants, permettant des interactions multi-tours cohérentes et la résolution de références (ex. : « déplace cela vers la zone de sécurité la plus proche »).

Le système dépend du déploiement ; pour la SAR, les outils supportent la planification de trajectoire de couverture conforme, tandis que pour la surveillance d'infrastructures, les outils supportent la génération de trajectoires de vol pour l'estimation de la biomasse.

Résultats et conclusions
Le document synthétise les leçons tirées des engagements de terrain antérieurs et des évaluations de prototypes pour identifier les opportunités et les tensions clés :

• Opportunités : L'IA agentique peut réduire la surcharge de coordination en fournissant une attention/synthèse sélective, en permettant une planification à initiative mixte qui maintient la couverture à mesure que l'information change, et en supportant l'orchestration de longue durée (planification, triage d'anomalies).
• Tensions : Les auteurs identifient des tensions de sécurité critiques que l'autonomie seule ne peut résoudre :
  • Le besoin de systèmes qui opèrent sans attention constante mais qui résistent au comportement de « boîte noire ».
  • Le risque qu'une alerte forte améliore les performances à court terme mais provoque un « tunnel d'attention », réduisant la surveillance globale.
  • La nécessité d'une confiance calibrée sous une perception imparfaite, nécessitant des défauts conservateurs et des flux de travail de vérification.
  • L'exigence d'adéquation opérationnelle, incluant l'alignement avec les rôles, les protocoles et les pistes de décision auditables.

Le prototype fonctionnel a été démontré lors du contrôle en direct de véhicules terrestres sans équipage (UGV) et de véhicules aériens sans équipage (UAV), validant la décomposition du langage naturel en sous-tâches révisables et l'application de l'approbation explicite de l'opérateur.

Signification et affirmations
Le document soutient que l'IA agentique pour les travaux critiques pour la sécurité doit être abordée comme un problème de conception socio-technique où les interfaces, les mécanismes de surveillance et les pratiques d'évaluation sont aussi critiques que les algorithmes eux-mêmes. Les auteurs affirment que leur approche soutient la recherche future en opérationnalisant « l'autonomie agentique gouvernable » à travers trois implications clés :

1. La gouvernabilité comme propriété fondamentale : Les points d'autorisation, les contraintes et les mécanismes d'intervention doivent être des propriétés explicites et auditables du système, et non de simples ajouts d'interface utilisateur.
2. Utilisation d'outils contraints : Le comportement agentique doit être construit à partir d'une utilisation d'outils inspectables et contraints plutôt que d'une action libre et non contrainte afin de garantir des modes de défaillance prévisibles et un débogage reproductible.
3. Évaluation en conditions réelles : L'évaluation doit refléter l'utilisation opérationnelle réelle, mesurant non seulement le succès des tâches, mais aussi la conscience de la situation, le calibrage de la confiance, la surcharge de coordination et le soutien aux revues post-action responsables.

Le document conclut que si l'IA agentique est prometteuse pour l'extension des opérations multi-drones, son déploiement réussi repose sur un engagement itératif des parties prenantes pour façonner des systèmes qui restent transparents, apprenables et alignés avec les protocoles locaux et les pratiques de responsabilité.