Agentic AI for Safety-critical Multi-drone Systems: Challenges and Opportunities

Technisches Resümee: Agentische KI für sicherheitskritische Multi-Drohnen-Systeme

Problemstellung
Multi-Drohnen-Systeme bieten erhebliches Potenzial für sicherheitskritische Missionen, einschließlich Such- und Rettungsmaßnahmen (SAR), Brandbekämpfung und die Überwachung kritischer Infrastrukturen. Die reale Anwendung wird jedoch nicht primär durch die technische Autonomieleistung behindert, sondern durch die soziotechnische Herausforderung, agentisches Verhalten in professionelle Arbeitsabläufe zu integrieren. Operatoren müssen Automatisierung unter Bedingungen von Unsicherheit, Zeitdruck und hoher Rechenschaftspflicht verstehen, vertrauen und steuern. Mit zunehmender Flottengröße versagt das traditionelle Modell „ein Operator/ein Fahrzeug“ aufgrund des Koordinationsaufwands, einer degradierten gemeinsamen Lagebewusstsein (Shared Situation Awareness) und des Risikos, dass kleine Unsicherheiten in Sicherheitsrelevanz kaskadieren (z. B. widersprüchliche Prioritäten oder zweideutige Verantwortlichkeiten). Während jüngste Fortschritte bei Large Language Models (LLMs) und agentischer KI natürliches Sprach-Tasking und Mixed-Initiative-Planung ermöglichen, führen sie neue Interaktionsherausforderungen ein: die Darstellung von Agenten-Intentionen, die Überwachung von Entscheidungen und die Gewährleistung korrekten Verhaltens in unvorhersehbaren Einsatzumgebungen.

Methodik und Forschungsansatz
Die Arbeit verfolgt einen menschenzentrierten, partizipativen und iterativen Forschungsansatz und betrachtet agentische KI als „soziotechnisches Designmaterial“ statt als eine feste technische Lösung. Diese Methodik basiert auf zwei komplementären, laufenden Projekten:

1. NAMUR: Konzentriert sich auf zeitkritische Notfallreaktionen (SAR und Brandbekämpfung) mit Schwerpunkt auf schnellen Entscheidungszyklen, dynamischen Gefahren und der Notwendigkeit vereinheitlichter Abstraktionsebenen über heterogene Roboterplattformen hinweg.
2. PERSIST: Konzentriert sich auf langfristige, persistente Operationen an kritischer Infrastruktur (z. B. Kraftwerken) mit Schwerpunkt auf dauerhafter Aktivität, Wiederholbarkeit, Schichtübergaben und organisatorischer Integration.

Der Forschungsprozess umfasst:

• Bedarfsanalyse (Needs Discovery): Fundiert in konkreten Szenarien und Demonstrationen mit Stakeholdern (Einsatzleiter, Einsatzkräfte vor Ort, Sicherheitspersonal), um Arbeitspraktiken, Entscheidungspunkte und kognitive Engpässe zu kartieren.
• Partizipatives Prototyping: Verwendung aufeinanderfolgender funktionaler Prototypen als „Boundary Objects“, um Agentenkapazitäten, Autorisierungsanforderungen und Unsicherheitssignale auszuhandeln.
• Systemdesign: Entwicklung einer Architektur, die natürliche Sprachintentionen in überprüfbare Teilaufgaben zerlegt, die Ausführung durch deterministische Werkzeuge einschränkt und die Vorschau sowie Genehmigung durch den Operator erzwingt.

Kernbeiträge: Die LLM-MAS-Architektur
Die Arbeit präsentiert eine funktionale Prototyp-Architektur: ein Large Language Model Multi-Agent System (LLM-MAS), das für die Steuerung von Multi-Drohnen konzipiert ist. Dieses System besteht aus fünf spezialisierten Agenten, die mit externen deterministischen Werkzeugen (z. B. räumlicher Berechnung, Bewegungssteuerung, Speicherverwaltung, Aufgabenplanung) interagieren:

1. Coordinator Agent: Fungiert als zentraler Orchestrator, leitet die Intention des Operators ab und zerlegt Befehle in Teilabfragen, die an untergeordnete Agenten delegiert werden.
2. Events Agent: Verwaltet periodische, verzögerte und zukunftsorientierte Direktiven (z. B. geplante Biomasse-Schätzung oder Rückkehr-zur-Basis-Befehle) und stellt sicher, dass Aufgaben zum geeigneten Zeitpunkt ausgeführt oder gemeldet werden.
3. Spatial Agent: Schafft Situationsbewusstsein durch Zugriff auf GeoJSON-Karten und Live-Positionen von Drohnen und Ersthelfern. Er identifiziert semantische Kartenmerkmale und berechnet räumliche Beziehungen.
4. Swarm Agent: Übernimmt die Bewegungsplanung und Taskausführung. Er wählt geeignete Drohnenplattformen basierend auf Verfügbarkeit und Kontext aus. Entscheidend ist, dass alle vom Agenten generierten Anfragen einer Vorschau und Bestätigung durch den Operator unterliegen, bevor sie ausgeführt werden. Er veröffentlicht Aktionen an einen ROS-Topic, um die Flugsteuerungspipelines zu triggern.
5. Summarizer Agent: Erstellt prägnante, menschenlesbare Zusammenfassungen ausgeführter Aktionen und Systemzustände. Diese werden im Interaktionsgedächtnis gespeichert, um Kontext für nachfolgende Dialogrunden bereitzustellen, was kohärente Multi-Turn-Interaktionen und Referenzauflösungen ermöglicht (z. B. „bewege es zur nächsten sicheren Zone“).

Das System ist einsatzabhängig; für SAR unterstützen die Werkzeuge eine konforme Pfadplanung zur Flächenabdeckung, während für die Infrastrukturüberwachung die Werkzeuge die Flugpfadgenerierung zur Biomasse-Schätzung unterstützen.

Ergebnisse und Erkenntnisse
Die Arbeit synthetisiert Lehren aus früheren Feldeinsätzen und Prototyp-Evaluierungen, um zentrale Chancen und Spannungsfelder zu identifizieren:

• Chancen: Agentische KI kann den Koordinationsaufwand reduzieren, indem sie selektive Aufmerksamkeit/Zusammenfassung bietet, Mixed-Initiative-Planung ermöglicht, die bei Informationsänderungen die Abdeckung aufrechterhält, und die langfristige Orchestrierung (Planung, Anomalie-Triage) unterstützt.
• Spannungsfelder: Die Autoren identifizieren kritische Sicherheits-Spannungsfelder, die Autonomie allein nicht lösen kann:
  • Die Notwendigkeit von Systemen, die ohne ständige Aufmerksamkeit operieren, aber „Black-Box“-Verhalten widerstehen.
  • Das Risiko, dass starke Alarmierung die kurzfristige Leistung verbessert, aber zu „Attention Tunneling“ führt, was die ganzheitliche Aufsicht reduziert.
  • Die Notwendigkeit kalibrierten Vertrauens unter unvollkommener Wahrnehmung, was konservative Standardwerte und Verifizierungs-Workflows erfordert.
  • Die Anforderung an die operative Passgenauigkeit, einschließlich der Abstimmung mit Rollen, Protokollen und prüfbaren Entscheidungspfaden.

Der funktionale Prototyp wurde in der Live-Steuerung von Unmanned Ground Vehicles (UGVs) und Unmanned Aerial Vehicles (UAVs) demonstriert, wodurch die Zerlegung natürlicher Sprache in überprüfbare Teilaufgaben und die Durchsetzung expliziter Operator-Genehmigungen validiert wurde.

Bedeutung und Ansprüche
Die Arbeit argumentet, dass agentische KI für sicherheitskritische Aufgaben als soziotechnisches Designproblem betrachtet werden muss, bei dem Schnittstellen, Aufsichtsmechanismen und Evaluierungspraktiken ebenso entscheidend sind wie die Algorithmen selbst. Die Autoren behaupten, dass ihr Ansatz die Forschung unterstützt, indem er „regierbare agentische Autonomie“ durch drei Kernaspekte operationalisiert:

1. Regierbarkeit als Kerneigenschaft: Autorisierungspunkte, Einschränkungen und Interventionsmechanismen müssen explizite und prüfbare Systemeigenschaften sein, keine bloßen UI-Erweiterungen.
2. Eingeschränkte Werkzeugnutzung (Constrained Tool Use): Agentisches Verhalten sollte auf eingeschränkter, inspizierbarer Werkzeugnutzung basieren statt auf uneingeschränkter freier Aktion, um vorhersehbare Fehlermodi und reproduzierbare Fehlersuche zu gewährleisten.
3. Reale Evaluierung: Die Evaluierung muss den tatsächlichen operativen Einsatz widerspiegeln und nicht nur den Aufgabenerfolg messen, sondern auch Situationsbewusstsein, Vertrauenskalibrierung, Koordinationsaufwand und die Unterstützung für rechenschaftspflichtige Nachbereitungen (After-Action Reviews).

Die Arbeit schließt mit dem Argument, dass die erfolgreiche Implementierung agentischer KI für die Skalierung von Multi-Drohnen-Operationen von iterativer Stakeholder-Einbindung abhängt, um Systeme zu gestalten, die transparent, lernbar und mit lokalen Protokollen sowie Rechenschaftspflichten vereinbar bleiben.