SkySim: A ROS2-based Simulation Environment for Natural Language Control of Drone Swarms using Large Language Models

Sintesi Tecnica: SkySim – Un ambiente di simulazione basato su ROS2 per il controllo tramite linguaggio naturale di sciami di droni utilizzando Large Language Models

Problematica
Gli sciami di Veicoli Aerei Non Presidiati (UAV) offrono un potenziale significativo in settori come la logistica, l'agricoltura e la sorveglianza; tuttavia, il loro dispiegamento è ostacolato dalla necessità di conoscenze esperte per garantire sicurezza e fattibilità fisica. I metodi di controllo tradizionali si affidano a flussi statici e pre-programmati che mancano di adattabilità in ambienti dinamici. Sebbene i Large Language Models (LLM) rappresentino una via promettente per abilitare il controllo tramite linguaggio naturale, essi mancano intrinsecamente di un radicamento fisico nel mondo reale. Di conseguenza, gli LLM spesso generano traiettorie di riferimento che sono insicure, non tenendo conto dei rischi di collisione, dei limiti cinematici o dei vincoli ambientali. Esiste una critica necessità di un framework che sfrutti il ragionamento cognitivo degli LLM pur imponendo rigorosi vincoli di sicurezza in tempo reale per colmare il divario tra l'intento umano di alto livello e l'esecuzione robotica di basso livello.

Metodologia
Gli autori introducono SkySim, un framework di simulazione basato su ROS2 (Jazby) e Gazebo (Harmonic) che scinde la pianificazione cognitiva di alto livello dall'attuazione della sicurezza di basso livello. L'architettura del sistema opera su un ciclo "sense-plan-act" (percepisci-pianifica-agisci) con i seguenti componenti:

1. Percezione dello Stato (State Sensing): Il sistema si iscrive al topic /odom in Gazebo, emulando sistemi di motion capture ad alta precisione (es. OptiTrack) per ottenere telemetria posizionale 3D senza rumore e in tempo reale di tutti gli agenti.
2. Pianificazione basata su LLM (Alto Livello): Utilizzando Gemini 3.5 Pro, il sistema traduce comandi in linguaggio naturale (es. "Forma un cerchio") in waypoint spaziali. L'LLM è vincolato da istruzioni di sistema rigorose riguardanti la dimensione dello sciame, i sistemi di coordinate e i limiti di collisione con il suolo ($Z \ge 0,5$ m). Il modello riceve un prompt dinamico contenente le istruzioni di sistema, gli stati correnti dei droni e il comando dell'utente, producendo una lista Python serializzata di coordinate target.
3. Filtro di Sicurezza (Basso Livello): Per garantire la fattibilità fisica, un controllore deterministico a Campo di Potenziale Artificiale (APF) opera a 20 Hz, indipendentemente dalla latenza di inferenza dell'LLM. Questo livello applica:
   • Forze Attrattive: Controllo proporzionale che guida gli agenti verso i waypoint generati dall'LLM.
   • Forze Repulsive: Evitamento delle collisioni attivato quando la distanza inter-agente scende al di sotto di un raggio di sicurezza ($r_{min} = 0,8$ m), generando vettori repulsivi per prevenire collisioni.
   • Vincoli Cinematici: Saturazione della velocità ($v_{max} = 0,5$ m/s) e geofencing per garantire che i comandi rimangano all'interno del volume operativo e dei limiti del motore.

Contributi Chiave

• Architettura Decoupled (Disaccoppiata): Il documento propone un framework modulare che isola la natura probabilistica della pianificazione LLM dai requisiti deterministici della sicurezza in tempo reale, consentendo a non esperti di definire comportamenti complessi senza gestire i vincoli di basso livello.
• Ragionamento Spaziale Zero-Shot: A differenza del lavoro precedente focalizzato sulla coreografia coordinata temporalmente, SkySim dimostra la capacità di tradurre comandi astratti in linguaggio naturale in geometrie statiche arbitrarie e valide (es. "Albero di Natale", "Griglia", "Sfera") senza addestramento preventivo su forme specifiche.
• Meccanismo di Sicurezza Leggero: L'implementazione di un controllore APF reattivo è evidenziata come un'alternativa computazionalmente efficiente ai pesanti strati di sicurezza basati sull'apprendimento (es. DRL) o a solver non lineari (es. MPC), garantendo un evitamento delle collisioni riflesso immediato con un overhead trascurabile.

Risultati Sperimentali
Il framework è stato valutato utilizzando droni simulati Crazyflie 2.1 Brushless con dimensioni dello sciame N = 3, 10 e 30.

• Accuratezza del Ragionamento Spaziale: L'LLM ha raggiunto un tasso di successo del 100% nella generazione di coordinate target valide per varie primitive geometriche attraverso tutte le dimensioni dello sciame testate.
• Evitamento delle Collisioni: Nei test di stress con ostacoli statici (convergenza verso un singolo punto) e ostacoli dinamici (scambio simultaneo di posizione), il filtro APF ha prevenuto con successo le collisioni. Sebbene le distanze inter-agente siano scese brevemente al di sotto della soglia di attivazione APF di 0,8 m, sono rimaste rigorosamente al di sopra del limite fisico di collisione (~55 mm).
• Scalabilità e Latenza: Il sistema ha dimostrato una scalabilità sub-lineare; aumentando la dimensione dello sciame da 3 a 30 agenti, la latenza media di pianificazione è aumentata solo di circa il 45% (da 34s a 50s). Fondamentalmente, la latenza di pianificazione variabile (secondi) è stata dimostrata essere completamente disaccoppiata dalla latenza del ciclo di controllo (millisecondi), garantendo la stabilità dello sciame anche durante i ritardi di inferenza dell'LLM.
• Fattibilità della Traiettoria: I profili di velocità hanno confermato che le traiettorie generate erano fluide e rimanevano entro i limiti cinematici ($v_{max} = 0,5$ m/s), senza oscillazioni ad alta frequenza.

Significatività e Limitazioni
Il documento afferma che SkySim riesce a colmare il divario tra la cognizione dell'IA e la sicurezza robotica, permettendo a non esperti di raffinare iterativamente i comportamenti degli sciami per ambienti dinamici. L'approccio disaccoppiato è presentato come una via percorribile per il dispiegamento di UAV in settori come l'agricoltura e la risposta ai disastri dove sono richiesti comportamenti complessi e su richiesta senza una programmazione estesa.

Tuttavia, gli autori riconoscono esplicitamente le attuali limitazioni:

• Varianza della Latenza: La dipendenza da API basate su cloud (Gemini) introduce una significativa varianza della latenza, rendendo il sistema inadatto a missioni critiche per il tempo che richiedono reazioni a livello di millisecondi.
• Vincoli della Simulazione: La validazione attuale si basa su dati di verità fondamentale (ground-truth) privi di rumore provenienti da Gazebo; il dispiegamento nel mondo reale affronterà sfide derivanti dal rumore dei sensori, perdita di pacchetti e disturbi ambientali.
• Minimi Locali: Il controllore APF deterministico è suscettibile di minimi locali in ambienti altamente congestionati, il che potrebbe intrappolare gli agenti.
• Limiti della Finestra di Contesto: Il sistema è attualmente limitato a N=30 a causa dei limiti della finestra di contesto dell'LLM e delle risorse hardware per la simulazione fisica in tempo reale.

Lavoro Futuro
Gli autori delineano piani per trasferire lo stack su hardware fisico (Crazyflie con OptiTrack), integrare il Controllo Predittivo del Modello (MPC) per affrontare i minimi locali, incorporare input multimodali e passare a modelli linguaggi piccoli (SLM) implementati localmente per eliminare i colli di bottiglia della latenza legati al cloud.