Resumo Técnico: Avaliação de Nível de Missão Zero-Shot para Agentes Aéreos MLLM

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) são cada vez mais utilizados como módulos de raciocínio para agentes incorporados (embodied agents), mapeando instruções em linguagem natural e observações visuais para ações. No entanto, permanece incerto o quão bem MLLMs de propósito geral e congelados podem executar tarefas incorporadas complexas e de longo horizonte a partir de uma única instrução de alto nível sem adaptação específica para a tarefa. Benchmarks existentes, como Navegação Visual-Linguística (VLN) ou navegação de objetos, normalmente avaliam instruções de nível de trajetória ou subobjetivos decompostos. Esses cenários falham em avaliar se os MLLMs podem coordenar percepção, planejamento, controle e relatório em um único episódio de malha fechada (closed-loop). Ambientes aéreos apresentam um banco de testes particularmente exigente devido à sensibilidade ao ponto de vista, à natureza aberta e à necessidade de controle contínuo de pose, embora os benchmarks aéreos atuais foquem majoritariamente em seguimento de rotas ou busca isolada de objetos, em vez da execução completa de uma missão.

Metodologia: MissionBench

Para abordar essas lacunas, os autores introduzem o MissionBench, um benchmark projetado para a avaliação de nível de missão de MLLMs em ambientes 3D aéreos.

Construção do Benchmark

• Escopo: O benchmark compreende 120 missões distribuídas em cinco ambientes de alta fidelidade simulados (Vizinhança, Cidade, Floresta, Savana e AirSimNH) construídos sobre Unreal Engine 5 e Cosys-AirSim.
• Famílias de Tarefas: As missões são categorizadas em quatro famílias fundamentadas em operações reais de UAV:
  1. Relato (Reporting): Extração de informações de observações (ex: ler uma placa de licença).
  2. Inspeção (Inspection): Alcançar uma configuração de observação pronta para visualizar um objeto (ex: inspecionar um incêndio).
  3. Manipulação (Manipulation): Realizar ações físicas como entrega de carga ou pouso.
  4. Patrulha (Patrol): Seguir rotas ao longo de estruturas ambientais.
• Entrada/Saída: Cada missão começa com uma única instrução em linguagem natural. O agente recebe imagens RGB egocêntricas (quadro atual e até dois quadros anteriores) e histórico de ações. Ele deve gerar uma resposta estruturada incluindo uma caixa delimitadora (bounding box), rastro de raciocínio, uma primitiva de ação com magnitude contínua (direção e distância/ângulo) e uma flag de conclusão.
• Controle: Diferente de trabalhos anteriores que utilizam primitivas discretas (ex: passos fixos de 3m), o MissionBench exige que os agentes prevejam magnitudes de ação contínuas, permitindo uma seleção de ponto de vista e controle mais refinados.
• Avaliação: Um framework de malha fechada avalia os agentes usando múltiplas métricas:
  • Taxa de Sucesso (SR): Conclusão específica da tarefa (ex: extração de texto correta, limiares de proximidade ou sobreposição de trajetória para patrulha).
  • Taxa de Sucesso Oracle (OSR): Se o agente alguma vez passou dentro de um limiar de distância do alvo, distinguindo falha de navegação de falha de percepção/relato.
  • Progresso da Missão (MP): Medida contínua de progresso em direção ao objetivo.
  • Eficiência de Passo (Eff) & Taxa de Colisão (CR): Medidas de uso de recursos e consciência espacial.

Configuração Experimental

Os autores avaliaram 22 MLLMs de código aberto e fechado em um cenário zero-shot (sem ajuste fino específico para fins aéreos). Os modelos incluíram várias famílias de tamanhos do Gemini, GPT, Claude, Qwen e InternVL. Baselines humanos foram estabelecidos utilizando tanto a mesma interface de texto-ação quanto o controle contínuo por teclado.

Principais Resultados

• Lacuna de Desempenho: Mesmo o modelo mais forte, Gemini 3.1 Pro, alcançou uma Taxa de Sucesso (SR) de apenas 34,8%, significativamente inferior aos 84,4% alcançados por humanos usando controle contínuo de teclado (e 70,0% para humanos restritos à interface do MLLM). Isso destaca a dificuldade das tarefas incorporadas de múltiplos passos para os modelos de propósito geral atuais.
• Tendências de Escalonamento: O desempenho geralmente melhora com a escala do modelo dentro das famílias (ex: Gemini 3.1 Pro supera variantes Flash; Qwen 27B supera o 2B). Isso sugere que modelos maiores de propósito geral possuem capacidades incorporadas zero-shot mais fortes.
• Percepção vs. Execução: Uma forte correlação entre a percepção espacial de quadro único (localização de bounding box e estimativa de distância) e o sucesso da missão de ponta a ponta não foi encontrada. Modelos de alto desempenho em proxies de percepção não necessariamente tiveram sucesso nas missões, e vice-versa. Isso indica que o sucesso da missão requer capacidades além da percepção estática, incluindo planejamento de múltiplos passos e raciocínio adaptativo.
• Modos de Falha: A análise revelou padrões distintos de falha:
  • Terminação Prematura: Agentes declarando sucesso estando longe do alvo.
  • Deriva e Oscilação: Agentes esgotando orçamentos de passos circulando marcos sem convergir.
  • Objetivos Não Atendidos: Agentes alcançando a vizinhança do alvo, mas falhando em extrair a informação correta (alto OSR, baixo SR).
• Estudos de Ablação: Experimentos sobre escolhas de design (temperatura, resolução, comprimento de histórico, campos de saída) mostraram que o sucesso da missão é altamente sensível ao formato de saída estruturada (especificamente o campo de raciocínio) e à estocasticidade moderada (temperatura), enquanto resoluções mais altas auxiliam primariamente na conclusão final da tarefa, em vez de navegação grosseira.

Significância e Alegações

O artigo alega que o MissionBench fornece a primeira avaliação conjunta de MLLMs congelados e prontos para uso através de múltiplas famílias de missões com controle de pose de magnitude contínua e relato explícito em um ambiente de malha fechada.

Os autores argumentam que:

1. A competência em nível de missão é multifacetada: Requer a coordenação da percepção espacial com planejamento de múltiplos passos e raciocínio adaptativo, capacidades que os MLLMs atuais lutam para integrar sem treinamento específico.
2. O escalonamento oferece promessa e risco: Embora o escalonamento melhore as capacidades incorporadas zero-shot, a lacuna entre o desempenho em simulação e a confiabilidade no mundo real permanece. A emergência dessas capacidades em modelos de propósito geral levanta preocupações sobre segurança e o surgimento de capacidades não controladas em sistemas do mundo real.
3. Necessidade de Avaliação: Tarefas proxy padrão (como percepção estática) são insuficientes para predizer o sucesso de missões incorporadas. A avaliação de nível de missão em malha fechada é necessária para diagnosticar modos de falha específicos, como instabilidade de controle ou terminação prematura.

O trabalho conclui que, embora os MLLMs de propósito geral mostrem potencial para IA incorporada, eles ainda não estão prontos para implantação confiável em missões aéreas de missão crítica sem o desenvolvimento adicional em raciocínio, planejamento e restrições de segurança.