SkySim: A ROS2-based Simulation Environment for Natural Language Control of Drone Swarms using Large Language Models

Resumen Técnico: SkySim – Un entorno de simulación basado en ROS2 para el control mediante lenguaje natural de enjambres de drones utilizando modelos de lenguaje de gran tamaño

Declaración del Problema
Los enjambres de Vehículos Aéreos No Tripulados (UAV) ofrecen un potencial significativo en logística, agricultura y vigilancia; sin embargo, su despliegue se ve obstaculizado por la necesidad de conocimientos de nivel experto para garantizar la seguridad y la viabilidad física. Los métodos de control tradicionales dependen de flujos estáticos y preprogramados que carecen de adaptabilidad en entornos dinámicos. Si bien los Modelos de Lenguaje de Gran Tamaño (LLM) presentan una vía prometedora para permitir el control mediante lenguaje natural, carecen intrínsecamente de un anclaje físico en el mundo real. En consecuencia, los LLM suelen generar trayectorias de referencia que son inseguras, al no tener en cuenta los riesgos de colisión, los límites cinemáticos o las restricciones ambientales. Existe una necesidad crítica de un marco que aproveche el razonamiento cognitivo de los LLM mientras impone estrictas restricciones de seguridad en tiempo real para cerrar la brecha entre la intención humana de alto nivel y la ejecución robótica de bajo nivel.

Metodología
Los autores presentan SkySim, un marco de simulación construido sobre ROS2 (Jazazy) y Gazebo (Harmonic) que desacopla la planificación cognitiva de alto nivel de la imposición de seguridad de bajo nivel. La arquitectura del sistema opera en un bucle de "percepción-planificación-acción" con los siguientes componentes:

1. Percepción de Estado: El sistema se suscribe al tema /odom en Gazebo, emulando sistemas de captura de movimiento de alta precisión (p. ej., OptiTrack) para obtener telemetría posicional 3D sin ruido y en tiempo real de todos los agentes.
2. Planificación Basada en LLM (Alto Nivel): Utilizando Gemini 3.5 Pro, el sistema traduce comandos de lenguaje natural (p. ej., "Formar un círculo") en puntos de referencia espaciales (waypoints). El LLM está restringido por instrucciones estrictas del sistema con respecto al tamaño del enjambre, sistemas de coordenadas y límites de colisión con el suelo ($Z \ge 0.5$ m). El modelo recibe un prompt dinámico que contiene instrucciones del sistema, estados actuales de los drones y el comando del usuario, emitiendo una lista de Python serializada de coordenadas objetivo.
3. Filtro de Seguridad (Bajo Nivel): Para asegurar la viabilidad física, un controlador determinista de Campo de Potencial Artificial (APF) opera a 20 Hz, independientemente de la latencia de inferencia del LLM. Esta capa aplica:
   • Fuerzas Atractivas: Control proporcional que dirige a los agentes hacia los puntos de referencia generados por el LLoma.
   • Fuerzas Repulsivas: Evitación de colisiones activada cuando la distancia inter-agente cae por debajo de un radio de seguridad ($r_{min} = 0.8$ m), generando vectores repulsivos para prevenir colisiones.
   • Restricciones Cinemáticas: Saturación de velocidad ($v_{max} = 0.5$ m/s) y geovallado para asegurar que los comandos permanezcan dentro del volumen operativo y los límites del motor.

Contribuciones Clave

• Arquitectura Desacoplada: El artículo propone un marco modular que aisla la naturaleza probabilística de la planificación de los LLM de los requisitos deterministas de seguridad en tiempo real, permitiendo que personas no expertas definan comportamientos complejos sin gestionar restricciones de bajo nivel.
• Razonamiento Espacial Zero-Shot: A diferencia de trabajos previos centrados en la coreografía coordinada temporalmente, SkySim demuestra la capacidad de traducir comandos de lenguaje natural abstractos en geometrías estáticas arbitrarias y válidas (p. ej., "Árbol de Navidad", "Rejilla", "Esfera") sin entrenamiento previo en formas específicas.
• Mecanismo de Seguridad Ligero: Se destaca la implementación de un controlador APF reactivo como una alternativa computacionalmente eficiente a las capas de seguridad basadas en aprendizaje pesado (p. ej., DRL) o resolvedores no lineales (p. ej., MPC), asegurando una evitación de colisiones reflexiva inmediata con una sobrecarga insignificante.

Resultados Experimentales
El marco fue evaluado utilizando drones Crazyflie 2.1 Brushless simulados en tamaños de enjambre de N = 3, 10 y 30.

• Precisión del Razonamiento Espacial: El LLM logró una tasa de éxito del 100% en la generación de coordenadas objetivo válidas para diversas primitivas geométricas en todos los tamaños de enjambre probados.
• Evitación de Colisiones: En pruebas de estrés que involucraron peligros estáticos (convergencia hacia un solo punto) y peligros dinámicos (intercambio simultáneo de posiciones), el filtro APF evitó con éxito las colisiones. Aunque las distancias inter-agente descendieron brevemente por debajo del umbral de activación del APF de 0.8 m, se mantuvieron estrictamente por encima del límite de colisión física (~55 mm).
• Escalabilidad y Latencia: El sistema demostró una escalabilidad sublineal; aumentar el tamaño del enjambre de 3 a 30 agentes resultó en solo un incremento del ~45% en la latencia media de planificación (de 34s a 50s). Crucialmente, se demostró que la latencia de planificación variable (segundos) estaba totalmente desacoplada de la latencia del bucle de control (milisegundos), garantizando la estabilidad del enjambre incluso durante los retrasos de inferencia del LLM.
• Viabilidad de la Trayectoria: Los perfiles de velocidad confirmaron que las trayectorias generadas son suaves y permanecen dentro de los límites cinemáticos ($v_{max} = 0.5$ m/s), sin oscilaciones de alta frecuencia.

Significancia y Limitaciones
El artículo afirma que SkySim logra cerrar la brecha entre la cognición de la IA y la seguridad robótica, permitiendo a no expertos refinar iterativamente los comportamientos de los enjambres para entornos dinámicos. El enfoque desacoplado se presenta como una vía viable para el despliegue de UAVs en sectores como la agricultura y la respuesta ante desastres donde se requieren comportamientos complejos y bajo demanda sin programación extensiva.

Sin embargo, los autores reconocen explícitamente las limitaciones actuales:

• Varianza de Latencia: La dependencia de APIs basadas en la nube (Gemini) introduce una varianza significativa en la latencia, lo que hace que el sistema no sea adecuado para misiones de tiempo crítico que requieren reacciones a nivel de milisegrums ante nuevos comandos.
• Restricciones de Simulación: La validación actual depende de datos de verdad de terreno sin ruido de Gazebo; el despliegue en el mundo real enfrentará desafíos derivados del ruido de los sensores, la pérdida de paquetes y las perturbaciones ambientales.
• Mínimos Locales: El controlador APF determinista es susceptible a mínimos locales en entornos altamente congestionados, lo que podría atrapar a los agentes.
• Límites de la Ventana de Contexto: El sistema está actualmente limitado a N=30 debido a las restricciones de la ventana de contexto del LLM y los recursos de hardware para la simulación de física en tiempo real.

Trabajo Futuro
Los autores esbozan planes para transicionar el stack a hardware físico (Crazyflie con OptiTrack), integrar el Control Predictivo de Modelo (MPC) para abordar los mínimos locales, incorporar entradas multimodales y cambiar a Modelos de Lenguaje Pequeños (SLM) desplegados localmente para eliminar los cuellos de botella de latencia de la nube.