Agentic AI for Safety-critical Multi-drone Systems: Challenges and Opportunities

Technische Samenvatting: Agentic AI voor veiligheidskritische multi-drone systemen

Probleemstelling
Multi-drone systemen bieden aanzienlijk potentieel voor veiligheidskritische missies, waaronder zoek- en reddingsoperaties (SAR), brandbestrijding en het monitoren van kritieke infrastructuur. De echte adoptie wordt echter niet alleen gehinderd door de technische prestaties van autonomie, maar door de socio-technische uitdaging van het integreren van agentic gedrag in professionele workflows. Operators moeten automatisering begrijpen, vertrouwen op en besturen onder omstandigheden van onzekerheid, tijdsdruk en hoge verantwoordelijkheid. Naarmate de vlootomvang toeneemt, faalt het traditionele één-operator/één-voertuig-model vanwege coördinatie-overhead, een verslechterd gedeeld situatiebewustzijn en het risico dat kleine onzekerheden escaleren in veiligheidsproblemen (bijv. conflicterende prioriteiten of ambigue verantwoordelijkheid). Hoewel recente vooruitgang in Large Language Models (LLMs) en agentic AI natuurlijk taalgestuurde taakstelling en mixed-initiative planning mogelijk maakt, introduceren ze nieuwe interactie-uitdagingen: het representeren van de intenties van de agent, het superviseren van beslissingen en het garanderen van correct gedrag in complexe veldomgevingen.

Methodologie en Onderzoeksbenadering
Het artikel hanteert een mensgerichte, participatieve en iteratieve onderzoeksbenadering, waarbij agentic AI wordt behandeld als een "socio-technisch ontwerpmateriaal" in plaats van een vaste technische oplossing. Deze methodologie is geworteld in twee complementaire lopende projecten:

1. NAMUR: Richt zich op tijdskritische noodhulp (SAR en brandbestrijding), met de nadruk op snelle beslissingscycli, dynamische gevaren en de behoefte aan verenigde abstractielagen over heterogene robotplatforms.
2. PERSIST: Richt zich op langdurige, persistente operaties bij kritieke infrastructuur (bijv. elektriciteitscentrales), met de nadruk op aanhoudende activiteiten, herhaalbaarheid, ploegwisselingen en organisatorische integratie.

Het onderzoeksproces omvat:

• Behoefteverkenning: Geworteld in concrete scenario's en demonstraties met belanghebbenden (incident commanders, hulpverleners in het veld, beveiligingspersoneel) om werkpraktijken, beslispunten en cognitieve knelpunten in kaart te brengen.
• Participatief Prototyping: Het gebruik van opeenvolgende functionele prototypes als "boundary objects" om de capaciteiten van de agent, autorisatievereisten en onzekerheidscues te onderhandelen.
• Systeemontwerp: Het ontwikkelen van een architectuur die natuurlijke taalintentie deelt in controleerbare subtaken, de uitvoering beperkt via deterministische tools en operator-preview en goedkeuring afdwingt.

Kernbijdragen: De LLM-MAS Architectuur
Het artikel presenteert een functionele prototype-architectuur: een Large Language Model Multi-Agent System (LLM-MAS) ontworpen voor de controle van meerdere drones. Dit systeem bestaat uit vijf gespecialiseerde agents die interfacen met externe deterministische tools (bijv. ruimtelijke computatie, bewegingsuitvoering, geheugenopslag, taakplanning):

1. Coordinator Agent: Fungeert als de centrale orchestrator, die de intentie van de operator afleidt en commando's deelt in sub-queries die worden gedelegeerd aan ondergeschikte agents.
2. Events Agent: Beheert periodieke, vertraagde en toekomstgerichte instructies (bijv. geplande biomassa-schatting of return-to-base commando's), waardoor taken op het juiste moment worden uitgevoerd of naar voren worden gebracht.
3. Spatial Agent: Zorgt voor situationeel bewustzijn door toegang te krijgen tot GeoJSON-kaarten en de live posities van drones/hulpverleners. Het identificeert semantische kaartkenmerken en berekent ruimtelijke relaties.
4. Swarm Agent: Behandelt bewegingsplanning en taakuitvoering. Het selecteert geschikte droneplatforms op basis van beschikbaarheid en context. Cruciaal is dat alle door deze agent gegenereerde verzoeken onderworpen zijn aan operator preview en bevestiging vóór uitvoering. Het publiceert acties naar een ROS-topic om de vluchtcontrolepipelines te triggeren.
5. Summarizer Agent: Genereert beknopte, voor mensen leesbare samenvattingen van uitgevoerde acties en systeemtoestanden. Deze worden opgeslagen in het interactiegeheugen om context te bieden voor daaropvolgende dialoogbeurten, wat coherente multi-turn interacties en referentie-resolutie mogelijk maakt (bijv. "verplaats het naar de dichtstbijzijnde veilige zone").

Het systeem is afhankelijk van de inzet: voor SAR ondersteunen tools compliant coverage path planning, terwijl voor infrastructuurmonitoring tools de vluchtpadgeneratie voor biomassa-schatting ondersteunen.

Resultaten en Bevindingen
Het artikel synthetiseert lessen uit eerdere veldervaringen en prototype-evaluaties om belangrijke kansen en spanningen te identificeren:

• Kansen: Agentic AI kan de coördinatie-overhead verminderen door middel van selectieve aandacht/samenvatting, het mogelijk maken van mixed-initiative planning die dekking behoudt wanneer informatie verandert, en het ondersteunen van langdurige orchestratie (planning, anomalie-triage).
• Spanningen: De auteurs identificeren kritieke veiligheidsspanningen die autonomie alleen niet kan oplossen:
  • De behoefte aan systemen die zonder constante aandacht kunnen werken, maar die zich verzetten tegen "black-box" gedrag.
  • Het risico dat sterke waarschuwingen de korte termijn prestaties verbeteren, maar leiden tot "attention tunneling", wat holistisch toezicht vermindert.
  • De noodzaak van gekalibreerd vertrouwen onder imperfecte perceptie, wat conservatieve defaults en verificatieworkflows vereist.
  • De vereiste van operationele aansluiting, inclusief afstemming op rollen, protocollen en controleerbare beslissingspaden.

Het functionele prototype is gedemonstreerd in de live controle van Unmanned Ground Vehicles (UGV's) en Unmanned Aerial Vehicles (UAV's), waarmee de decompositie van natuurlijke taal in controleerbare subtaken en de handhaving van expliciete operatorgoedkeuring is gevalideerd.

Betekenis en Claims
Het artikel betoogt dat agentic AI voor veiligheidskritisch werk moet worden benaderd als een socio-technisch ontwerpprobleem waarbij interfaces, toezichtmechanismen en evaluatiepraktijken even cruciaal zijn als de algoritmen zelf. De auteurs beweren dat hun aanpak toekomstig onderzoek ondersteunt door "bestuurbare agentic autonomie" te operationaliseren via drie kernimplicaties:

1. Bestuurbaarheid als kerneigenschap: Autorisatiepunten, beperkingen en interventiemechanismen moeten expliciete en controleerbare systeimeigenschappen zijn, geen UI-toevoegingen.
2. Beperkt Toolgebruik: Agentic gedrag moet gebouwd zijn op basis van beperkt, inspecteerbaar toolgebruik in plaats van onbeperkte vrije actie, om voorspelbare foutmodi en reproduceerbare debugging te garanderen.
3. Evaluatie in de praktijk: Evaluatie moet de werkelijke operationele inzet weerspiegelen, waarbij niet alleen de succesvolle taakuitvoering wordt gemeten, maar ook situatiebewustzijn, vertrouwen-kalibratie, coördinatie-overhead en ondersteuning voor verantwoorde evaluaties achteraf (after-action reviews).

Het artikel concludeert dat hoewel agentic AI veelbelovend is voor het opschalen van multi-drone operaties, de succesvolle implementatie ervan afhangt van iteratieve betrokkenheid van belanghebbenden om systemen vorm te geven die transparant, leerbaar en afgestemd blijven op lokale protocollen en verantwoordingspraktijken.