💻 computer science

CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking

O CosFly-VLA é um modelo de Visão-Linguagem-Ação espacialmente consciente que aprimora o rastreamento de alvos por UAV em ambientes urbanos complexos e ocluídos ao integrar pré-treinamento consciente de profundidade, ajuste fino baseado em currículo, raciocínio de cadeia de pensamento e aprendizagem por reforço de malha fechada para reduzir significativamente os erros de deslocamento e melhorar as taxas de sucesso em comparação com as políticas existentes.

Autores originais: Ruilong Ren, Songsheng Cheng, Yunpeng Zhou, Hanxuan Chen, Xiangyue Wang, Tianle Zeng, Shuai Yuan, Binbo Li, Hanzhong Guo, Ji Pei, Da Zhang, Kangli Wang

Publicado 2026-07-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ruilong Ren, Songsheng Cheng, Yunpeng Zhou, Hanxuan Chen, Xiangyue Wang, Tianle Zeng, Shuai Yuan, Binbo Li, Hanzhong Guo, Ji Pei, Da Zhang, Kangli Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o piloto de um pequeno e superinteligente drone, voando por uma cidade movimentada. Seu trabalho é seguir uma pessoa específica caminhando pela rua. Normalmente, isso é fácil: você a vê, voa em direção a ela e a mantém na lente da sua câmera. Mas as cidades são complicadas. De repente, um prédio alto, uma árvore densa ou uma multidão de pessoas bloqueia sua visão. A pessoa desaparece da sua tela. Um drone normal poderia entrar em pânico, errar o cálculo e bater em uma parede porque perdeu seu "mapa mental" de para onde a pessoa foi. Este é o mundo do rastreamento de Veículos Aéreos Não Tripulados (VANT), um campo da robótica onde as máquinas aprendem a perseguir alvos móveis. O grande desafio não é apenas ver o alvo; é saber o que fazer quando você não consegue vê-lo mais. Para resolver isso, cientistas usam modelos de Visão-Linguagem-Ação (VLA). Pense neles como o cérebro de um robô que pode "ver" uma imagem, "ler" um comando como "siga o corredor" e "agir" movendo seus motores, tudo ao mesmo tempo.

Conheça o CosFly-VLA, um novo e superinteligente piloto de drone projetado por pesquisadores para lidar com esses "pontos cegos". Em vez de apenas encarar a tela e esperar que o alvo reapareça na vista, o CosFly-VLA age como um detetive com uma imaginação forte. Quando o alvo desaparece atrás de um prédio, o drone não congela. Ele usa seu conhecimento sobre o layout da cidade e a última velocidade conhecida da pessoa para adivinhar onde ela provavelmente está. Ele pensa: "Ok, eles estavam andando para a direita, e aquele prédio está à esquerda, então eles devem estar saindo do outro lado". Ele então voa por um caminho calculado para encontrá-los lá. Os pesquisadores treinaram este drone usando uma "receita" especial que incluiu muita prática com longos períodos de cegueira, ensinando-o a confiar em seu raciocínio espacial acima de seus olhos quando os olhos falham. Eles o testaram em um mundo de videogame de alta tecnologia chamado CARLA, onde o drone tinha que perseguir pedestres através de mapas de cidades complexas. Os resultados sugerem que esta nova abordagem é muito melhor em manter o alvo à vista e evitar colisões em comparação com cérebros de drones mais antigos e básicos, especialmente quando o alvo fica escondido por um longo tempo.

O Drone Detetive: Como o CosFly-VLA Funciona

A ideia central por trás deste artigo é que perseguir um alvo móvel em uma cidade é como jogar um jogo de "esconde-esconde" onde o buscador tem que continuar se movendo mesmo quando não consegue ver quem se escondeu. Os pesquisadores, liderados por uma equipe da Autel Robotics e diversas universidades, perceberam que a maioria dos sistemas de drones existentes é ótima em "ver e seguir", mas terrível em "adivinhar e recuperar" quando a visão é bloqueada.

O Problema: O Pânico do "Ponto Cego"
Imagine que você está jogando um videogame onde precisa seguir um personagem. De repente, uma parede cobre a tela. Se o seu personagem apenas parar ou voar aleatoriamente, você perde. No mundo real, se um drone perde o rastro de uma pessoa, ele pode voar na direção errada, bater em uma árvore ou simplesmente desistir. O artigo argumenta que a antiga maneira de treinar drones — mostrando a eles milhares de fotos de pessoas caminhando — não os ensina a lidar com os momentos em que a pessoa não está visível.

A Solução: Um Cérebro que Pensa em 3D
O CosFly-VLA é um modelo de "Visão-Linguagem-Ação". Vamos decompor isso com uma analogia simples:

Visão: Ele possui olhos (câmeras) que veem o mundo.
Linguagem: Ele pode ler instruções como "Siga a pessoa de camisa vermelha".
Ação: Ele controla os motores do drone para mover para cima, baixo, esquerda, direita e girar.

Mas o que torna o CosFly-VLA especial é sua Consciência Espacial. Quando o alvo está escondido, o drone não apenas adivinha; ele constrói uma "hipótese mental". Ele se pergunta: "Onde a pessoa estava por último? Onde estão os prédios? Se eles continuaram andando em linha reta, onde estariam agora?". Ele então voa para esse local, pronto para capturar o alvo no momento em que ele reaparecer.

A Receita de Treinamento: De Estudante a Mestre
Os pesquisadores não apenas ensinaram o drone a voar; eles lhe deram um curso de treinamento de quatro etapas muito específico para torná-lo um mestre no rastreamento:

O Treinamento Intensivo de "Mapa da Cidade" (Pré-treinamento Grounded Espacialmente): Antes de aprender a perseguir, o drone estudou milhares de fotos aéreas e quebra-cabeças 3D. Ele aprendeu sobre distâncias, alturas e como prédios bloqueiam a visão. Isso é como ensinar um aluno a ler um mapa antes de enviá-lo em uma caça ao tesouro.
A Escola do "Fácil para o Difícil" (Aprendizado por Currículo): O drone começou com trajetos fáceis onde a pessoa estava sempre visível. Depois, os professores (os pesquisadores) tornaram o processo gradualmente mais difícil, introduzindo longos períodos onde a pessoa estava escondida atrás de prédios. Isso forçou o drone a praticar suas habilidades de "adivinhação".
A Aula de "Pensar em Voz Alta" (Cadeia de Pensamento/Chain-of-Thought): Esta é a parte mais legal. O drone foi ensinado a "pensar em voz alta" antes de se mover. Quando o alvo desaparecia, ele gerava uma explicação em texto como: "O alvo está atrás do prédio. Eles estavam andando para a direita, então eu devo voar para a direita e esperar." Este passo de raciocínio ajudou o drone a entender por que estava fazendo um movimento, não apenas o que fazer.
O Exercício de "Fogo Real" (Aprendizado por Reforço): Finalmente, o drone voou em uma cidade simulada (o motor de jogo CARLA) e aprendeu fazendo. Se ele colidisse, recebia uma "pontuação ruim". Se conseguisse encontrar a pessoa após um longo tempo de esconderijo, recebia uma "pontuação boa". Com o tempo, ele aprendeu a voar de forma mais suave e segura.

O Que os Números Dizem
Os pesquisadores testaram seu novo drone contra modelos padrão mais antigos. Eles usaram dois tipos de testes:

Open-Loop (Malha Aberta): O drone olhou para um clipe de vídeo e previu onde a pessoa estaria, sem realmente voar.
Closed-Loop (Malha Fechada): O drone realmente voou no simulador, tomando decisões em tempo real.

Os resultados foram promissores. Nos testes "Open-Loop", o CosFly-VLA cometeu menos erros ao prever a trajetória do alvo em comparação com os modelos padrão. Especificamente, ele reduziu o erro médio na previsão da posição do alvo em cerca de 34% em mapas familiares e 35% em novos mapas não vistos.

Nos testes de voo reais de "Closed-Loop", a melhoria nas taxas de sucesso foi ainda mais dramática. Em mapas familiares, o novo drone teve sucesso em rastrear o alvo 29,8% mais vezes do que o modelo padrão (saltando de 57% de sucesso para 74%). Em mapas completamente novos, ele também melhorou, embora por uma margem menor (2,5%). Mais importante ainda, o novo drone colidiu menos vezes e manteve uma distância mais segura do alvo.

A Ressalva: Ainda é uma Simulação
Embora os resultados sejam empolgantes, o artigo é muito claro sobre seus limites. Todos esses testes ocorreram dentro de uma simulação de computador (o jogo CARLA). O drone nunca voou no mundo real com vento real, chuva real ou pessoas imprevisíveis reais. Os pesquisadores admitem que a física do mundo real pode ser mais desordenada do que o jogo. Eles também observam que o drone foi treinado em um conjunto específico de mapas de cidades e comportamentos de pedestres, portanto, pode ter dificuldades com ambientes muito diferentes (como uma floresta densa ou um shopping center lotado) que não tenha visto antes.

A Grande Conclusão
O CosFly-VLA sugere que, para os drones serem verdadeiramente úteis em cidades complexas, eles precisam parar de apenas "reagir" ao que veem e começar a "raciocinar" sobre o que não veem. Ao combinar uma compreensão forte do espaço 3D com um processo de raciocínio passo a passo, esses drones podem manter o trajeto mesmo quando o alvo desaparece. É um passo em direção à criação de drones autônomos que são tão inteligentes quanto um piloto humano que conhece o bairro, em vez de apenas uma câmera que segue um ponto.

Resumo Técnico: CosFly-VLA

Formulação do Problema

O rastreamento dinâmico de alvos para Veículos Aéreos Não Tripulados (VANTs/UAVs) em ambientes urbanos complexos enfrenta um modo de falha crítico: a oclusão sustentada. Embora as políticas de Visão-Linguagem-Ação (VLA) existentes se destaquem no rastreamento de alvos visíveis, seu desempenho degrada-se significativamente quando os alvos são bloqueados por edifícios, vegetação ou multidões. Nesses cenários, os pipelines convencionais de detecção-reidentificação-controle perdem a evidência estável de identidade necessária para a recuperação. O artigo reformula este desafio não meramente como "ver e seguir", mas como um problema de recuperação de malha fechada (closed-loop). O agente deve manter uma hipótese espacial sobre um alvo não visível, prever sua provável região de reemergência usando priors espaciais e executar ações corretivas para suprimir o desvio e readquirir o alvo sem observação visual direta.

Metodologia: CosFly-VLA

Os autores propõem o CosFly-VLA, um modelo VLA espacialmente consciente projetado para realizar o grounding de alvos, estimar a visibilidade e gerar ações de voo contínuas de forma conjunta.

1. Arquitetura do Modelo

Backbone: O modelo utiliza um backbone de visão-linguagem Qwen3.5 congelado, aprimorado com adaptadores de Adaptação de Baixo Posto (LoRA).
Interface de Meta-Query: Para evitar a fragilidade da decodificação JSON, a arquitetura introduz spans de meta-query com tags de fronteira (<boi_act>, <boi_box>, <boi_vis>) que roteiam estados ocultos específicos da tarefa para cabeças (heads) desacopladas.
Três Saídas Estruturadas:
1. Cabeça de Ação (Action Head): Um Transformer de Difusão (DiT) de 12 camadas usando Flow Matching para prever um chunk de ação de waypoint-delta de 4 Graus de Liberdade (dx, dy, dz, dyaw) em 8 etapas. Isso modela uma distribuição de trajetória contínua em vez de tokens discretos.
2. Cabeça de Bounding Box: Um MLP que prevê a localização atual do alvo (grade 0–1000) para grounding visual.
3. Cabeça de Visibilidade: Um MLP que estima a probabilidade de visibilidade do alvo, crucial para determinar quando confiar no raciocínio espacial em vez da aparência.
Cadeia de Pensamento (CoT): O modelo é treinado para emitir um traço de raciocínio (<thought>) antes da resposta estruturada, raciocinando explicitamente sobre oclusão e estratégias de recuperação.

2. Receita de Treinamento

O treinamento segue um currículo progressivo de quatro estágios projetado para injetar priors espaciais aéreos e robustez de malha fechada:

Pré-treinamento Contínuo (CPT) Espacialmente Grounded: Uma mistura de 500 mil amostras (70% trajetórias internas de UAV, 30% datasets espaciais-VL aéreos externos como AirSpatial e Open3DVQA-v2) adapta o backbone à profundidade de visão aérea, distância e raciocínio espacial 3D.
Ajuste Fino Supervisionado (SFT) Baseado em Currículo: Um processo de três estágios:
- Warm-up de múltiplas cabeças: Inicializa as cabeças com um backbone congelado.
- Currículo natural: Treina em distribuições de rastreamento padrão.
- Currículo de Oclusão Difícil/Longa: Inclui explicitamente janelas com 4 a 5 frames invisíveis (previamente filtrados) para ensinar o comportamento de recuperação.
Treinamento de Cadeia de Pensamento (CoT): Utiliza traços de raciocínio gerados por professores para casos de oclusão difícil/longa para ensinar a lógica orientada à recuperação antes das respostas estruturadas.
Aprendizado por Reforço (RL) de Malha Fechada: A cabeça de ação é ajustada finamente usando Otimização de Política de Fluxo Guiada por Especialista (EG-FPO) em um simulador CARLA. A função de recompensa combina manutenção de distância de segurança (stand-off), qualidade de grounding (IoU), desvio de colisão e sucesso da tarefa. O backbone permanece congelado; apenas o especialista de ação é atualizado.

Principais Contribuições

Reformulação do Rastreamento: O artigo desloca o foco da imitação de frames visíveis para a recuperação de malha fechada robusta à oclusão, definindo protocolos reprodutíveis de Fácil/Médio/Difícil baseados em visibilidade geométrica.
Arquitetura VLA Espacialmente Consciente: Introduz uma interface de meta-query que desacopla ação, grounding e predição de visibilidade, permitindo que o modelo mantenha estimativas de estado sob observabilidade parcial.
Estratégia de Treinamento Progressiva: Demonstra a eficácia da combinação de CPT espacialmente fundamentado, aprendizado por currículo com dados de longa oclusão, raciocínio CoT e RL on-policy para reduzir a lacuna entre supervisão offline e implantação em malha fechada.
Framework de Avaliação: Estabelece uma avaliação rigorosa usando janelas de malha aberta graduadas por oclusão e rollouts de malha fechada no CARLA em mapas vistos e não vistos.

Resultados Experimentais

A avaliação compara o CosFly-VLA-0.8B contra VLMs gerais (ex: Qwen3.5, Opus) e baselines VLA gerais (OpenVLA, $\pi_0$ , $\pi_{0.5}$ ).

Desempenho em Malha Aberta (Open-Loop):
- Em relação ao OpenVLA, o CosFly-VLA-0.8B (SFT+CoT) reduz o Erro de Deslocamento Médio (ADE) em 34,1% no teste-visto e 35,3% no teste-não visto.
- As melhorias são mais pronunciadas em fatias de oclusão "Difícil", com reduções de ADE de 46,7% (visto) e 39,2% (não visto).
- O modelo alcança superioridade no grounding de bounding box (IoU ~0,65) e na estimativa de visibilidade (F1 ~0,94).
Desempenho em Malha Fechada (Closed-Loop):
- A variante ajustada por RL melhora a Taxa de Sucesso (SR) em 29,8% (+17 pontos percentuais) no teste-visto e 2,5% (+2 pontos) no teste-não visto em comparação ao OpenVLA.
- Reduz o ADE de rollout em 10,0% (visto) e 8,7% (não visto) e diminui significativamente o erro de distância de segurança.
- A análise qualitativa mostra que a política de RL recupera-se com sucesso de desvios e evita colisões em corredores urbanos densos onde os baselines falham.
Estudos de Ablação:
- O CPT Espacialmente Grounded é identificado como o principal motor para a generalização entre mapas (ganhos no teste-não visto).
- A supervisão CoT fornece o maior ganfo marginal em casos de teste-visto "Difíceis", validando a importância do raciocínio explícito para a recuperação de oclusão.

Significância e Alegações

O artigo afirma que o CosFly-VLA demonstra um passo significativo ao mover o rastreamento de UAV da imitação de frames visíveis para o controle de malha fechada espacialmente fundamentado. Os autores enfatizam que o rastreamento robusto sob oclusão requer:

Raciocínio espacial explícito sobre alvos não visíveis em vez de depender apenas da aparência.
Construção de dados que preserve amostras de longa oclusão em vez de filtrá-las como ruído.
Otimização de malha fechada para se adaptar à distribuição de observação induzida pelas próprias ações da política, prevenindo o acúmulo de erros.

O trabalho estabelece que um modelo de 0,8B parâmetros, quando treinado com um currículo espacialmente fundamentado e RL de malha fechada, pode superar baselines VLA de propósito geral maiores em cenários de rastreamento aéreo complexos e ocluídos. Os autores observam que, embora os resultados sejam promissores em simulação, trabalhos futuros são necessários para abordar desafios de implantação no mundo real, como ruído de sensores, latência de comunicação e comportamentos diversos de alvos.