Technische Samenvatting: "Zeg de Missie, Voer de Zwerm Uit"

Probleemstelling

De toepassing van Large Language Models (LLM's) op real-time beheer van zwermen van onbemande luchtvaartuigen (UAV's) staat voor aanzienlijke hindernissen, ondanks hun potentie als redeneermotoren op hoog niveau. Huidige uitdagingen omvatten:

• Heterogeniteit: Diversiteit in droneplatforms, sensoren en communicatieprotocollen creëert gefragmenteerde besturingsoppervlakken, wat de toegang van LLM's tot statusinformatie bemoeilijkt zonder ad hoc prompt-engineering.
• Gronding en Persistentie: Losse LLM-prompting heeft moeite met langlopende taken die persistente statusvolging en gesloten-lus interacties in real-time vereisen, wat vaak leidt tot herhaalde cycli van codegeneratie of hallucinaties van commando's.
• Veiligheid en Determinisme: Fouten in gegenereerd gedrag kunnen missiefalen of veiligheidsrisico's veroorzaken (bijvoorbeeld botsingen). Het niet-deterministische karakter van LLM-uitvoering bemoeilijkt evaluatie, aangezien identieke invoer verschillende besturingsuitvoer kan opleveren.
• Beperkingen van Bestaande Benaderingen: Vorig werk vertrouwt vaak op statische codegeneratie bij missie-initialisatie of mist gestandaardiseerde interoperabiliteit, waardoor het geen continue aanpassing aan real-time feedback ondersteunt.

Methodologie

De auteurs stellen een missie-agnostisch, agent-versterkt LLM-kader voor dat natuurlijke-taakmissiedoelen uitvoert via grondige, real-time interacties zonder het genereren van laagwaardige code. De architectuur bestaat uit drie primaire lagen:

1. W3C Web of Things (WoT) Ecosysteem:

   • Heterogene drones, sensoren en diensten worden blootgelegd als gestandaardiseerde WoT Things via machineleesbare Thing Descriptions (TD's).
   • Een Thing Directory (geïmplementeerd met Zion) maakt runtime-discovery en late binding van resources mogelijk.
   • Deze laag ontkoppelt missielogica van platformspecifieke API's en biedt een uniforme interface voor acties (bijvoorbeeld opstijgen, navigeren) en eigenschappen (bijvoorbeeld telemetrie, batterij).

2. Model Context Protocol (MCP) Gateway:

   • Fungeert als de exclusieve brug tussen de AI-agent en het WoT-ecosysteem.
   • Blootlegt kernhulpmiddelen voor resource-discovery en interactie (lezen van eigenschappen, oproepen van acties) met strikte invoer/uitvoer-schema's die tijdens runtime worden gevalideerd.
   • Maakt asynchrone uitvoering mogelijk waarbij de agent polst op voltooiing in plaats van te vertrouwen op blokkerende oproepen.

3. Agent Core:

   • LLM: Interpreteert natuurlijke-taalintenties en redeneert over abstracte concepten (mogelijkheden, beperkingen) in plaats van code te genereren. Het geeft gestructureerde verzoeken voor hulpmiddeloproepen uit.
   • Uitvoeringscontroller: Handhaaft een persistente context met een kernprompt die uitvoeringsinvarianten definieert (bijvoorbeeld veiligheidsafstanden, statusverificatie).
   • Guardrails: Dynamisch ingevoegde promptfragmenten die worden geactiveerd door runtime-fouten (bijvoorbeeld vastgelopen uitvoering, onveilige beëindigingstoestanden) om redenering te herleiden zonder hardgecodeerde besturingsbeleid.
   • Hulphulpmiddelen: Optionele wrappers voor terugkerende patronen (bijvoorbeeld gesynchroniseerde commando's voor meerdere drones) om de woordigheid en boekhoudfouten te verminderen, met name voor kleinere modellen.

Het systeem werkt via een iteratieve redenering-uitvoeringslus: De agent plant, roept WoT-acties aan via de MCP-gateway, ontvangt telemetriefeedback en integreert deze status in daaropvolgende redeneringsstappen tot missievoltooiing of beëindiging.

Belangrijkste Bijdragen

1. Agent-versterkte Architectuur: Een nieuw kader voor real-time UAV-zwermanagement dat LLM-redenering en functieoproepen gebruikt voor coördinatie, waardoor de noodzaak van een fase voor codegeneratie wordt geëlimineerd.
2. WoT-gebaseerde Interoperabiliteit: Een gestandaardiseerde interface die bidirectionele communicatie tussen AI-agenten en fysieke systemen mogelijk maakt, waardoor naadloze integratie van heterogene drones en diensten wordt gerealiseerd.
3. Gesloten-lus Uitvoering: Implementatie van een continue redeneren-uitvoeren-moderen cyclus waarbij uitvoeringsfeedback progressief wordt geïntegreerd in de redenering, ondersteund door runtime guardrails om veiligheid te waarborgen.
4. Uitgebreide Empirische Evaluatie: Een rigoureuze beoordeling van zes state-of-the-art LLM's (GPT-5.2, DeepSeek-V3.2, GLM-4.7, Grok-4.1 Fast, Claude Haiku-4.5, Qwen3-8B) over vier zwermmissies in een hybride real-gesimuleerde omgeving (ArduPilot SITL).

Experimentele Resultaten

De evaluatie bestreek vier missietypes: Gebiedsdekking (met en zonder planningshulpmiddelen), Formatiebesturing en Slimme Irrigatie. Belangrijke bevindingen zijn:

• Impact van Gronding en Hulpmiddelen:

  • Planningshulpmiddelen: Expliciete taakspecifieke planningshulpmiddelen (bijvoorbeeld voor gebiedsdekking of formatiegeometrie) verbeterden de succespercentages voor de meeste modellen aanzienlijk. Zo behaalde GLM 100% succes met een planner, maar daalde dit naar 70% zonder.
  • Kleine/Latentie-geoptimaliseerde Modellen: Modellen zoals Grok (latentie-geoptimaliseerd) en Qwen (8B) hadden aanzienlijk moeite zonder externe planningsondersteuning, waarbij ze vaak faalden strategieën af te leiden uit ruwe geometrie of metadata alleen.
  • Guardrails: Runtime guardrails waren essentieel voor het afhandelen van randgevallen (bijvoorbeeld ervoor zorgen dat drones landen en ontwapenen), waardoor "vroege uitgangen" werden voorkomen waarbij het taakdoel was bereikt maar veiligheidsbeperkingen werden geschonden.

• Modelprestaties:

  • GLM-4.7 vertoonde het meest robuuste gedrag onder alle omstandigheden, met hoge succespercentages, lager tokenverbruik en minder botsingen in vergelijking met GPT-5.2.
  • GPT-5.2 toonde sterke redenering, maar faalde af en toe op de uiteindelijke beëindigingsbeperkingen (landen/ontwapenen) en liep hogere tokenkosten op.
  • Qwen-3-8B en Claude Haiku-4.5 hadden moeite met missies met een lange horizon, waarbij ze vaak faalden meerstapstaken te voltooien of coördinatie te handhaven.

• Token-efficiëntie:

  • Er werd geen duidelijke correlatie gevonden tussen tokenverbruik en missiesucces. Sommige modellen verbruikten minder tokens bij gebruik van planningshulpmiddelen, terwijl anderen meer verbruikten.
  • Tokengebruik alleen is geen betrouwbare indicator voor uitvoeringskwaliteit of betrouwbaarheid.

• Veiligheid:

  • Het aantal botsingen varieerde per model; GLM en GPT vertoonden de beste veiligheidsprofielen in formatietaken, terwijl kleinere modellen hogere botsingspercentages vertoonden door verkeerd beheer van trajecten.

Betekenis en Claims

Het artikel stelt dat, hoewel huidige algemene LLM's sterke redeneervermogens bezitten, ze moeite hebben om betrouwbare uitvoering te bereiken in real-time, veiligheidskritieke zwermscenario's zonder expliciete gronding en uitvoeringsondersteuning.

De studie benadrukt dat:

1. Agent-versterkte uitvoering (met gestructureerde hulpmiddelen en guardrails) essentieel is om natuurlijke-taalintenties om te zetten in betrouwbare zwemgedrag.
2. Gestandaardiseerde apparaatabstrakties (WoT) cruciaal zijn voor interoperabiliteit, waardoor de LLM kan interageren met heterogene hardware zonder aangepaste integratiecode.
3. Runtime guardrails de robuustheid verbeteren door redenering te beperken op basis van waargenomen status, in plaats van te vertrouwen op statische codegeneratie.
4. Het voorgestelde kader een verschuiving vertegenwoordigt naar uitvoerbare interfaces voor robotzwermen, waarbij gebruikers intentie aangeven en agenten de grondige, verifieerbare interacties met de fysieke wereld afhandelen.

De auteurs concluderen dat, hoewel de technologie veelbelovend is, de huidige volwassenheid van LLM-gebaseerde agenten voor missiekritische drone-toepassingen een dedicated uitvoeringslaag vereist om veiligheid en betrouwbaarheid te waarborgen.