💻 informatica

SkySim: A ROS2-based Simulation Environment for Natural Language Control of Drone Swarms using Large Language Models

Dit artikel introduceert SkySim, een op ROS2 gebaseerd simulatieframework dat natuurlijke taalbesturing van UAV-zwermen mogelijk maakt door Large Language Models voor hoogwaardige planning te integreren met een Artificial Potential Field safety filter om real-time, botsingsvrije uitvoering voor niet-experts te waarborgen.

Oorspronkelijke auteurs: Aditya Shibu, Marah Saleh, Mohamed Al-Musleh, Nidhal Abdulaziz

Gepubliceerd 2026-02-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aditya Shibu, Marah Saleh, Mohamed Al-Musleh, Nidhal Abdulaziz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zwerm kleine, slimme drones hebt. Normaal gesproken is het vertellen wat ze moeten doen alsof je een orkest probeert te dirigeren waarbij elke muzikant een complexe partituur nodig heeft, geschreven door een professionele componist. Als je wilt dat ze een cirkel of een driehoek vormen, moet je voor elke individuele drone precieze code schrijven.

Dit artikel introduceert SkySim, een nieuwe manier om met deze dronezwermen te communiceren via gewoon Engels, alsof je tegen een vriend praat.

Zo werkt het, onderverdeeld in eenvoudige onderdelen:

1. Het "Brein" en de "Reflex"

Het systeem maakt gebruik van twee hoofdcomponenten die samenwerken, een beetje zoals een menselijk brein en je lichaamsreflexen.

Het Brein (De LLM): Dit is een krachtige kunstmatige intelligentie (specifiek Google's Gemini 3.5 Pro). Je typt een commando zoals: "Vorm een kerstboom," of "Maak een cirkel." Het Brein begrijpt het idee en berekent waar elke drone naartoe moet om die vorm te maken. Het is erg goed in het begrijpen van taal en geometrie.
De Reflex (Het Veiligheidsfilter): Het probleem is dat het Brein slim is, maar ook "onbezonnen". Het begrijpt de natuurkunde niet echt. Het zou twee drones kunnen vertellen om precies op hetzelfde moment naar dezelfde plek te vliegen, wat een botsing zou veroorzaken.
- Hier komt de Reflex in beeld. Dit is een snel, automatisch veiligheidssysteem (dat 20 keer per seconde draait) dat de drones in de gaten houdt. Als het Brein de drones vertelt om te dicht bij elkaar te komen, duwt de Reflex ze voorzichtig uit elkaar, net zoals je hand instinctief wegtrekt van een hete kachel voordat je er zelfs maar over nadenkt.

2. Hoe ze met elkaar communiceren

Het systeem is gebouwd op een framework genaamd ROS2 (denk aan het als het zenuwstelsel dat alles verbindt).

Stap 1: Je geeft een spraakcommando.
Stap 2: Het Brein kijkt naar waar de drones zich nu bevinden en berekent de doelposities voor de nieuwe vorm.
Stap 3: Het Brein stuurt deze doelposities naar de Reflex.
Stap 4: De Reflex controleert: "Is dit veilig? Zijn ze te dicht bij elkaar? Botsen ze tegen de grond?" Als alles goed is, stuurt het de bewegingsopdracht door. Zo niet, dan maakt het kleine, instant aanpassingen om ze veilig te houden.

3. De Proefrit

De onderzoekers hebben dit getest in een computersimulatie (een virtuele wereld) met verschillende aantallen drones: 3, 10, en zelfs 30 tegelijkertijd.

De Vormen: Ze vroegen het systeem om driehoeken, cirkels, rasters, kubussen en zelfs een 3D-kerstboom te maken.
Het Resultaat: Het Brein kreeg de vormen 100% van de tijd correct. Het slaagde erin de wiskunde te begrijpen om de drones in deze vormen te arrangeren.
De Veiligheid: Ze probeerden het systeem te misleiden door alle drones naar het midden van de kamer te laten crashen. De Reflex greep onmiddellijk in door de drones uit elkaar te duwen, zodat ze nooit tegen elkaar botsten. Zelfs toen de drones dicht op elkaar gepakt zaten, hield het systeem ze veilig.

4. Snelheid en Beperkingen

Snelheid: Het veiligheidssysteem is super snel (het reageert in milliseconden). Echter, het "Brein" heeft wat tijd nodig om na te denken (ongeveer 34 tot 50 seconden, afhankelijk van hoeveel drones er zijn). Dit komt omdat het Brein in de "cloud" staat (op een externe server) en internetverkeer soms vertragingen kan veroorzaken.
Het Nadeel: Omdat het Brein in de cloud staat, kunnen de drones even wachten voordat ze naar een nieuwe vorm bewegen als het internet traag is. Ook werkt het systeem momenteel het beste in een schone, virtuele wereld. In de echte wereld, met wind of rommelige sensoren, zou het voor de Reflex moeilijker kunnen zijn om perfect te zijn.

De Kern van het Verhaal

SkySim bewijst dat je geen expert in robotica hoeft te zijn om een zwerm drones te besturen. Je kunt ze gewoon in het Engels vragen om iets te doen, en een "veiligheidsnet" eronder zorgt ervoor dat ze het doen zonder te crashen. Het overbrugt de kloof tussen menselijke ideeën en robotveiligheid, waardoor niet-experts gemakkelijk complexe drone-shows of taken kunnen creëren.

De onderzoekers zijn van plan om dit van een computersimulatie naar echte fysieke drones te brengen, en ze hopen het "Brein" sneller te maken door het direct op de drones te plaatsen in plaats van afhankelijk te zijn van het internet.

Technische Samenvatting: SkySim – Een op ROS2 gebaseerde simulatieomgeving voor natuurlijke taalcontrole van dronezwermen met behulp van Large Language Models

Probleemstelling
Unmanned Aerial Vehicle (UAV) zwermen bieden aanzienlijk potentieel in logistiek, landbouw en surveillance; de inzet ervan wordt echter gehinderd door de vereiste van expertkennis om veiligheid en fysieke haalbaarheid te garanderen. Traditionele controlemethoden vertrouwen op statische, vooraf geprogrammeerde flows die een gebrek aan aanpassingsvermogen hebben in dynamische omgevingen. Hoewel Large Language Models (LLMs) een veelbelovende weg bieden voor het mogelijk maken van natuurlijke taalcontrole, missen ze inherent de fysieke gronding in de echte wereld. Als gevolg hiervan genereren LLMs vaak referentietrajecten die onveilig zijn, omdat ze geen rekening houden met botsingsrisico's, kinematische limieten of omgevingsrestricties. Er is een kritieke behoefte aan een framework dat de cognitieve redenering van LLMs kan benutten terwijl strikte, real-time veiligheidsrestricties worden afgedwongen om de kloof tussen menselijke intentie op hoog niveau en robotische uitvoering op laag niveau te overbruggen.

Methodologie
De auteurs introduceren SkySim, een simulatieframework gebouwd op ROS2 (Jazzy) en Gazebo (Harmonic) dat cognitieve planning op hoog niveau ontkoppelt van veiligheidshandhaving op laag niveau. De systeemarchitectuur werkt volgens een "sense-plan-act" lus met de volgende componenten:

State Sensing: Het systeem abonneert zich op het /odom topic in Gazebo, waarbij een precisie bewegingsregistratiesysteem (bijv. OptiTrack) wordt nagebootst om ruisvrije, real-time 3D positionele telemetrie van alle agenten te verkrijgen.
LLM-gebaseerde Planning (Hoog Niveau): Met behulp van Gemini 3.5 Pro vertaalt het systeem natuurlijke taalcommando's (bijv. "Vorm een cirkel") naar ruimtelijke waypoints. De LLM wordt beperkt door strikte systeeminstructies met betrekking tot zwermgrootte, coördinatensystemen en botsingen met de grond ( $Z \ge 0,5$ m). Het model ontvangt een dynamische prompt met systeeminstructies, de huidige status van de drones en het gebruikerscommando, en geeft een geserialiseerde Python-lijst met doelcoördinaten uit.
Veiligheidsfilter (Laag Niveau): Om fysieke haalbaarheid te garanderen, werkt een deterministische Artificial Potential Field (APF) controller op 20 Hz, onafhankelijk van de inferentie-latentie van de LLM. Deze laag past toe:
- Aantrekkende Krachten: Proportionele controle die agenten naar de door de LLM gegenereerde waypoints stuurt.
- Afstotende Krachten: Botsingsvermijding die wordt geactiveerd wanneer de afstand tussen agenten onder een veiligheidsradius ( $r_{min} = 0,8$ m) valt, wat afstotende vectoren genereert om botsingen te voorkomen.
- Kinematische Beperkingen: Snelheidssaturatie ( $v_{max} = 0,5$ m/s) en geo-fencing om te garanderen dat commando's binnen het operationele volume en de motorgrenzen blijven.

Belangrijkste Bijdragen

Ontkoppelde Architectuur: Het paper stelt een modulair framework voor dat de probabilistische aard van LLM-planning isoleert van de deterministische vereisten van real-time veiligheid, waardoor niet-experts complexe gedragingen kunnen definiëren zonder lage-niveau restricties te beheren.
Zero-Shot Ruimtelijk Redeneren: In tegen tegenstelling tot eerder werk dat gericht is op temporele gecoördineerde choreografie, demonstreert SkySim het vermogen om abstracte natuurlijke taalcommando's (bijv. "Kerstboom", "Grid", "Sfeer") te vertalen naar geldige, willekeurige statische geometrieën zonder voorafgaande training op specifieke vormen.
Lichtgewicht Veiligheidsmechanisme: De implementatie van een reactieve APF-controller wordt benadrukt als een computationeel efficiënt alternatief voor zware leergebaseerde veiligheidslagen (bijv. DRL) of niet-lineaire solvers (bijv. MPC), wat onmiddellijke reflexmatige botsingsvermijding garandeert met minimale overhead.

Experimentele Resultaten
Het framework werd geëvalueerd met gesimuleerde Crazyflie 2.1 Brushless drones in zwermgroottes van N = 3, 10 en 30.

Nauwkeurigheid van Ruimtelijk Redeneren: De LLM behaalde een succespercentage van 100% bij het genereren van geldige doelcoördinaten voor diverse geometrische primitieven over alle geteste zwermgroottes heen.
Botsingsvermijding: In stresstests met statische gevaren (convergerend naar één enkel punt) en dynamische gevaren (gelijktijdige positiewisselingen), voorkwam de APF-filter succesvol botsingen. Hoewel de onderlinge afstand tussen agenten kortstondig onder de 0,8 m APF-activatiedrempel zakte, bleven deze strikt boven de fysieke botsingslimiet (~55 mm).
Schaalbaarheid en Latentie: Het systeem demonstreerde sub-lineaire schaalbaarheid; het vergroten van de zwermgrootte van 3 naar 30 agenten resulteerde in slechts een toename van ongeveer 45% in de gemiddelde planning-latentie (van 34s naar 50s). Cruciaal is dat de variabele planning-latentie (seconden) volledig ontkoppeld bleek te zijn van de controle-loop latentie (milliseconden), wat de stabiliteit van de zwerm garandeert, zelfs tijdens LLM-inferentievertragingen.
Trajecthaalbaarheid: Snelheidsprofielen bevestigden dat de gegenereerde trajecten vloeiend waren en binnen de kinematische limieten ( $v_{max} = 0,5$ m/s) bleven, zonder hoogfrequente oscillaties.

Betekenis en Beperkingen
Het paper beweert dat SkySim erin slaagt de kloof tussen AI-cognitie en robotische veiligheid te overbruggen, waardoor niet-experts in staat worden gesteld om iteratief zwermgedrag te verfijnen voor dynamische omgevingen. De ontkoppelde aanpak wordt gepresenteerd als een levensvatbaar pad voor de inzet van UAV-zwermen in sectoren zoals landbouw en rampenbestrijding, waar complexe, on-demand gedragingen vereist zijn zonder uitgebreide programmering.

De auteurs erkennen echter expliciet de huidige beperkingen:

Latentievariantie: Het vertrouwen op cloud-gebaseerde API's (Gemini) introduceert aanzienlijke latentievariantie, wat het systeem ongeschikt maakt voor tijdskritische missies die reacties op milliseconden-niveau vereisen voor nieuwe commando's.
Simulatiebeperkingen: De huidige validatie vertrouwt op ruisvrije ground-truth data uit Gazebo; de inzet in de echte wereld zal te maken krijgen met uitdagingen door sensorruis, pakketverlies en omgevingsverstoringen.
Lokale Minima: De deterministische APF-controller is gevoelig voor lokale minima in zeer drukke omgevingen, wat agenten kan vastzetten.
Context Window Limieten: Het systeem is momenteel beperkt tot N=30 vanwege de context window-beperkingen van de LLM en hardwarebronnen voor real-time fysica-simulatie.

Toekomstig Werk
De auteurs schetsen plannen om de stack te verplaatsen naar fysieke hardware (Crazyflie met OptiTrack), Model Predictive Control (MPC) te integreren om lokale minima aan te pakken, multi-modale inputs te incorporeren en over te stappen naar lokaal geïmplementeerde Small Language Models (SLM's) om de cloud-gebaseerde latentieproblemen te elimineren.

1. Het "Brein" en de "Reflex"

2. Hoe ze met elkaar communiceren

3. De Proefrit

4. Snelheid en Beperkingen

De Kern van het Verhaal

Meer zoals dit