Resumo Técnico: MultiUAV-Plat

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa para o planejamento de tarefas robóticas de alto nível, sua aplicação ao planejamento de tarefas colaborativas Multi-UAV carece de frameworks de avaliação sistemática. Simuladores de UAV existentes (ex: AirSim, Flightmare) focam em física, percepção e controle de baixo nível de alta fidelidade, que são frequentemente inacessíveis a agentes de LLM. Por outroras, benchmarks de agentes de LLM existentes (ex: ALFWorld, AgentBench) raramente capturam restrições críticas de robótica aérea, como observabilidade parcial, cobertura espacial, atribuição de UAV e coordenação multi-veículo.

A pesquisa atual frequentemente assume que os agentes têm acesso aos estados completos do simulador ou a objetivos de otimização estruturados. No entanto, um agente UAV controlado por LLM realista deve interpretar objetivos em linguagem natural, selecionar UAVs apropriados, coletar ativamente observações locais ausentes, emitir chamadas de API executáveis e verificar o progresso sob condições de missão ocultas sem acesso privilegiado ao estado global. Há uma necessidade de um benchmark reproduzível que avalie agentes através de APIs restritas e validadores ocultos, em vez de resposta a perguntas offline ou prompting de informação total.

Metodologia

Os autores propõem uma metodologia de três componentes: uma plataforma de simulação, um conjunto de benchmarks e um framework de agente especializado.

1. MultiUAV-Plat (Plataforma de Simulação)

O MultiUAV-Plat é uma plataforma de simulação leve, de código aberto e orientada a agentes de LLM, projetada para preencher a lacuna entre a linguagem natural e o controle executável de UAV.

• Arquitetura: A plataforma consiste em uma Camada de Modelo (encapsulando entidades de Drone, Alvo, Obstáculo, Ambiente, Sessão e Tarefa), uma Camada de Controle (lidando com gerenciamento de ciclo de vida, detecção de colisão e arbitragem lógica) e uma Camada de Serviço (fornecendo APIs RESTful).
• Interface do Agente: Os agentes interagem via APIs RESTful concisas e de tipo ferramenta para ações (decolagem, pouso, navegação por waypoints, sensoriamento, fotografia) e recebem observações voltadas para o agente. Crucialmente, a plataforma impõe observabilidade parcial: os agentes veem apenas informações dentro de um raio de percepção local do UAV. Alvos globais, obstáculos e lógica de validação são ocultos.
• Segurança e Visualização: Um sistema de permissões baseado em funções impede que os agentes acessem dados globais privilegiados. Visualizações 2D (baseadas em pygame) e 3D opcionais permitem a inspeção por humanos no loop sem comprometer o limite de informação restrita do agente.

2. Benchmark MultiUAV-Plat

Construído sobre a plataforma, este conjunto de benchmarks avalia agentes de LLM sob restrições realistas.

• Escala: Contém 75 sessões de missão, 1.500 tarefas em linguagem natural e 9.396 verificações de validação ocultas.
• Famílias de Cenários: O benchmark cobre três domínios primários:
  1. Busca de Área: Exploração espacial e cobertura de regiões circulares/poligonais.
  2. Atribuição de Área e Patrulha: Missões mistas envolvendo alvos de pontos discretos e cobertura/patrulha de área.
  3. Atribuição de Alvo: Alocação de múltiplos alvos entre UAVs para alcance, inspeção ou fotografia.
• Dificuldade: As sessões são estratificadas em cinco níveis de dificuldade (Fácil a Extremo), variando o tamanho da frota (3–30 UAVs), densidade de alvos (3–100) e complexidade de obstáculos.
• Protocolo de Avaliação: As tarefas são pontuadas via validadores ocultos do lado da plataforma. As métricas incluem Taxa de Sucesso da Tarefa, Taxa Média de Sucesso de Verificação (por tarefa), Taxa de Sucesso de Verificação Global (agregada) e Taxa Total de Tarefas Falhas.

3. Agent4Drone (Framework)

Para abordar os desafios específicos da colaboração multi-UAV, os autores propõem o Agent4Drone, um framework de agente de LLM específico para tarefas. Diferente de fluxos de trabalho genéricos (ex: ReAct), o Agent4Drone estrutura explicitamente o comportamento em seis módulos:

1. Observação: Coleta ativa de percepção local e estados do UAV.
2. Compreensão de Tarefa: Estruturação de instruções em linguagem natural em intenções e restrições.
3. Memória: Um quadro negro compartilhado para rastrear estado, atribuições e histórico sem acessar regras de validação ocultas.
4. Planejamento: Decomposição de tarefas em subtarefas de curto horizonte, seleção de UAVs baseada em bateria/posição e prevenção de conflitos de coordenação.
5. Execução: Aterramento de planos em cadeias de ferramentas delimitadas (sequências de ação).
6. Verificação: Comparação de estados esperados vs. observados e gatilho de replanejamento ou lógica de tentativa novamente em caso de falha.

Principais Resultados

Experimentos compararam o Agent4Drone contra um baseline ReAct padrão através de múltiplos backends de LLM (doubao-2-pro, qwen3.5, deepseek-v4-pro/flash) no benchmark completo.

• Ganhos de Desempenho: Usando o backend doubao-2-pro, o Agent4Drone alcançou uma Taxa de Sucesso de Tarefa de 57,93%, superando significativamente o ReAct, que obteve 30,60% (um ganho de 27,33 pontos percentuais).
• Métricas de Nível de Verificação: O Agent4Drone melhorou a Taxa Média de Sucesso de Verificação de 47,91% para 74,58% e a Taxa de Sucesso de Verificação Global de 43,15% para 71,96%.
• Redução de Falhas: A Taxa Total de Tarefas Falhas (tarefas com zero verificações bem-sucedidas) foi reduzida de 32,40% (ReAct) para 12,93% (Agent4Drone).
• Robustez: Com backends mais fortes (deepseek-v4-pro), o Agent4Drone manteve a liderança (70,27% vs. 63,60% para ReAct), demonstrando melhorias consistentes através de níveis de dificuldade e famílias de cenários.
• Análise de Falhas: Embora o Agent4Drone tenha se destacado em verificações de movimento e seguimento de rota, desafios persistentes permaneceram na aterramento de alvos, verificação de condição final e execução coordenada sob observabilidade parcial, particularmente para tarefas complexas de atribuição de alvo.

Significância e Alegações

O artigo afirma que o MultiUAV-Plat e seu respectivo benchmark fornecem a primeira fundação reproduzível para estudar a autonomia multi-UAV impulsionada por LLM sob restrições realistas de informação e execução.

• Preenchendo a Lacuna: Ele aborda o descompasso entre o raciocínio de alto nível de LLMs e as interfaces de baixo nível e restritas das operações reais de UAV.
• Avaliação Executável: Ao impor validadores ocultos e observabilidade parcial, o benchmark vai além da "conformidade conversacional" para avaliar o planejamento de missão de ciclo fechado e executável.
• Utilidade do Framework: O Agent4Drone demonstra que estruturar agentes de LLM em torno de restrições de missão específicas (memória, observação parcial, replanejamento delimitado) produz ganhos substanciais de desempenho sobre estratégias de prompting genéricas.
• Direção Futura: O trabalho estabelece uma linha de base para pesquisas futuras em design de workflow de agentes, planejamento sob observabilidade parcial e execução de missão colaborativa, reconhecendo que desafios no direcionamento de alvos e verificação final permanecem como problemas abertos.