SkySim: A ROS2-based Simulation Environment for Natural Language Control of Drone Swarms using Large Language Models

Resumo Técnico: SkySim – Um Ambiente de Simulação Baseado em ROS2 para Controle de Enxames de Drones via Linguagem Natural utilizando Grandes Modelos de Linguagem

Declaração do Problema
Enxames de Veículos Aéreos Não Tripulados (UAVs) oferecem um potencial significativo em logística, agricultura e vigilância; no entanto, sua implantação é dificultada pela necessidade de conhecimento de nível especialista para garantir segurança e viabilidade física. Os métodos de controle tradicionais dependem de fluxos estáticos e pré-programados que carecem de adaptabilidade em ambientes dinâmicos. Embora os Grandes Modelos de Linguagem (LLMs) apresentem um caminho promissor para permitir o controle por linguagem natural, eles são inerentemente desprovidos de fundamentação física no mundo real. Consequentemente, os LLMs frequentemente geram trajetórias de referência que são inseguras, falhando em considerar riscos de colisão, limites cinemáticos ou restrições ambientais. Há uma necessidade crítica de um framework que aproveite o raciocínio cognitivo dos LLMs enquanto impõe restrições de segurança rigorosas e em tempo real para preencher a lacuna entre a intenção humana de alto nível e a execução robótica de baixo nível.

Metodologia
Os autores introduzem o SkySim, um framework de simulação construído sobre ROS2 (Jazzy) e Gazebo (Harmonic) que desacopla o planejamento cognitivo de alto nível da imposição de segurança de baixo nível. A arquitetura do sistema opera em um loop "sentir-planejar-agir" com os seguintes componentes:

1. Sensoriamento de Estado: O sistema assina o tópico /odom no Gazebo, emulando sistemas de captura de movimento de alta precisão (ex: OptiTrack) para obter telemetria posicional 3D sem ruído e em tempo real de todos os agentes.
2. Planejamento Baseado em LLM (Alto Nível): Utilizando o Gemini 3.5 Pro, o sistema traduz comandos de linguagem natural (ex: "Forme um círculo") em waypoints espaciais. O LLM é limitado por instruções rigorosas do sistema relativas ao tamanho do enxame, sistemas de coordenadas e limites de colisão com o solo ($Z \ge 0,5$ m). O modelo recebe um prompt dinâmico contendo instruções do sistema, estados atuais dos drones e o comando do usuário, emitindo uma lista Python serializada de coordenadas alvo.
3. Filtro de Segurança (Baixo Nível): Para garantir a viabilidade física, um controlador determinístico de Campo de Potencial Artificial (APF) opera a 20 Hz, independente da latência de inferência do LLM. Esta camada aplica:
   • Forças Atrativas: Controle proporcional conduzindo os agentes em direção aos waypoints gerados pelo LLM.
   • Forças Repulsivas: Evitação de colisão acionada quando a distância entre agentes cai abaixo de um raio de segurança ($r_{min} = 0,8$ m), gerando vetores repulsivos para prevenir colisões.
   • Restrições Cinemáticas: Saturação de velocidade ($v_{max} = 0,5$ m/s) e geo-fencing para garantir que os comandos permaneçam dentro do volume operacional e dos limites dos motores.

Principais Contribuições

• Arquitetura Desacoplada: O artigo propõe um framework modular que isola a natureza probabilística do planejamento do LLM dos requisitos determinísticos de segurança em tempo real, permitindo que não-especialistas definam comportamentos complexos sem gerenciar restrições de baixo nível.
• Raciocínio Espacial Zero-Shot: Diferente de trabalhos anteriores focados em coreografia temporal coordenada, o SkySim demonstra a capacidade de traduzir comandos abstratos de linguagem natural em geometrias estáticas arbitrárias e válidas (ex: "Árvore de Natal", "Grade", "Esfera") sem treinamento prévio em formas específicas.
• Mecanismo de Segurança Leve: A implementação de um controlador APF reativo é destacada como uma alternativa computacionalmente eficiente às camadas de segurança baseadas em aprendizado pesado (ex: DRL) ou solvers não lineares (ex: MPC), garantindo aviação reflexiva imediata de colisão com overhead negligenciável.

Resultados Experimentais
O framework foi avaliado utilizando drones simulados Crazyflie 2.1 Brushless em tamanhos de enxame de N = 3, 10 e 30.

• Precisão do Raciocínio Espacial: O LLM alcançou uma taxa de sucesso de 100% na geração de coordenadas alvo válidas para várias primitivas geométricas em todos os tamanhos de enxame testados.
• Evitação de Colisão: Em testes de estresse envolvendo perigos estáticos (convergindo para um único ponto) e perigos dinâmicos (troca simultânea de posição), o filtro APF evitou colisões com sucesso. Embora as distâncias entre agentes tenham caído brevemente abaixo do limiar de ativação do APF de 0,8 m, elas permaneceram estritamente acima do limite físico de colisão (~55 mm).
• Escalabilidade e Latência: O sistema demonstrou escalabilidade sublinear; aumentar o tamanho do enxame de 3 para 30 agentes resultou em apenas um aumento de ~45% na latência média de planejamento (de 34s para 50s). Crucialmente, a latência de planejamento variável (segundos) mostrou-se totalmente desacoplada da latência do loop de controle (milissegundos), garantindo a estabilidade do enxame mesmo durante atrasos de inferência do LLM.
• Viabilidade de Trajetória: Perfis de velocidade confirmaram que as trajetórias geradas foram suaves e permaneceram dentro dos limites cinemáticos ($v_{max} = 0,5$ m/s), sem oscilações de alta frequência.

Significância e Limitações
O artigo afirma que o SkySim consegue preencher a lacuna entre a cognição de IA e a segurança robótica, capacitando não-especialistas a refinar iterativamente os comportamentos de enxames para ambientes dinâmicos. A abordagem desacoplada é apresentada como um caminho viável para implantar enxames de UAVs em setores como agricultura e resposta a desastres, onde são necessários comportamentos complexos e sob demanda sem programação extensa.

No entanto, os autores explicitamente reconhecem as limitações atuais:

• Variância de Latência: A dependência de APIs baseadas em nuvem (Gemini) introduz uma variância significativa de latência, tornando o sistema inadequado para missões críticas de tempo que exigem reações de milissegundos a novos comandos.
• Restrições de Simulação: A validação atual depende de dados de verdade fundamental sem ruído do Gazebo; a implantação no mundo real enfrentará desafios provenientes de ruído de sensores, perda de pacotes e distúrbios ambientais.
• Mínimos Locais: O controlador APF determinístico é suscetível a mínimos locais em ambientes altamente obstruídos, podendo prender os agentes.
• Limites de Janela de Contexto: O sistema é atualmente limitado a N=30 devido às restrições da janela de contexto do LLM e recursos de hardware para simulação de física em tempo real.

Trabalhos Futuros
Os autores delineiam planos para transicionar o stack para hardware físico (Crazyflie com OptiTrack), integrar o Controle Preditivo Baseado em Modelo (MPC) para abordar mínimos locais, incorporar entradas multimodais e migrar para Modelos de Linguagem Pequenos (SLMs) implantados localmente para eliminar os gargalos de latência baseados em nuvem.