💻 computer science

Memory-Augmented Multimodal Large Language Models for Small Object Understanding in Streaming Aerial Videos

Este artigo apresenta o **DroneEyes**, o primeiro conjunto de dados de vocabulário aberto em nível de pixel para alvos aéreos minúsculos, e o **SkyAnchor**, um modelo de linguagem de grande escala multimodal aumentado por memória que apresenta um roteador de tokens consciente da semântica e um banco de memória hierárquico para permitir a compreensão em tempo real e eficiente de recursos de pequenos objetos em vídeos aéreos de streaming.

Autores originais: Penglei Sun, Yehua Huang, Zhuoli Tao, Xiang Li, Runwei Guan, Yaoxian Song, Kaiyong Zhao, Henghui Ding, Bo Han, Yang Yang, Xiaowen Chu

Publicado 2026-07-23

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Penglei Sun, Yehua Huang, Zhuoli Tao, Xiang Li, Runwei Guan, Yaoxian Song, Kaiyong Zhao, Henghui Ding, Bo Han, Yang Yang, Xiaowen Chu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o piloto de um pequeno e tecnológico drone voando sobre uma cidade movimentada. Seu trabalho não é apenas tirar fotos bonitas; você tem que responder a perguntas de um operador humano em tempo real, como "Encontre aquele carro vermelho" ou "Mostre-me o caminhão branco". Este é o mundo da visão aérea, onde computadores tentam entender o que veem do céu. Mas aqui está o problema: as coisas que o drone vê são frequentemente incrivelmente pequenas — como uma única formiga em um enorme piquenique. Para tornar isso ainda mais difícil, o drone está voando, então ele não pode esperar para ver o filme inteiro antes de responder; ele tem que reagir instantaneamente conforme o vídeo é transmitido, quadro a quadro. Isso é chamado de compreensão de vídeo em streaming.

Agora, imagine tentar descrever essa pequena formiga para um amigo enquanto você corre uma maratona. Você não pode carregar um álbum de fotos gigante de cada passo que deu (isso seria muito pesado), mas se você esquecer onde estava um segundo atrás, pode perder a formiga no meio da multidão. Este é exatamente o problema que os pesquisadores enfrentam com os Modelos de Linguagem de Grande Escala Multimodais (MLLMs). Estes são cérebros de IA super inteligentes que podem ver e ler, mas geralmente ficam sobrecarregados com detalhes minúsculos ou esquecem o passado quando o vídeo continua rodando. Este artigo aborda o desafio de ensinar esses cérebros de IA a detectar objetos pequenos e móveis em filmagens de drones ao vivo sem ficar confuso ou ficar sem bateria.

O Problema do Alvo Minúsculo

Os pesquisadores começaram percebendo que as ferramentas de IA existentes eram terríveis para este trabalho específico. A maioria dos modelos de IA é treinada em vídeos de pessoas e cachorros em parques, onde os sujeitos são grandes e fáceis de ver. Quando você aponta uma IA para um vídeo de drone, ela tenta esmagar a imagem inteira para economizar espaço, tratando um carro minúsculo da mesma forma que um edifício enorme. O resultado? O carro minúsculo se perde no borrão.

Para corrigir isso, a equipe construiu primeiro um novo campo de treinamento chamado DroneEyes. Pense nisso como uma biblioteca massiva de 2.140 vídeos de drone em alta definição, mas com um toque especial: cada objeto minúsculo em cada quadro está delineado com precisão de pixel. Eles não apenas desenharam caixas ao redor das coisas; eles traçaram a forma exata de um pequeno carro prateado ou de um pedestre distante. Este conjunto de dados inclui mais de 176.000 pares de perguntas e respostas, ensinando a IA não apenas a encontrar essas coisas minúsculas, mas a descrevê-las em detalhes, como "Aquele é uma escultura vermelha em um pátio circular".

Conheça o SkyAnchor: O Novo Cérebro do Drone

Com esses novos dados, a equipe construiu um novo modelo de IA chamado SkyAnchor. Se os modelos antigos eram como um estudante tentando ler um livro enquanto faz malabarismo, o SkyAnchor é como um estudante com um caderno super organizado e um marca-texto mágico. Ele resolve as duas principais dores de cabeça da visão de drones com dois truques inteligentes:

O Marca-Texto Mágico (Roteador de Tokens Consciente de Semântica):
Normalmente, quando uma IA olha para um vídeo, ela divide a imagem em milhares de pequenos pedaços de quebra-cabeça (chamados de tokens). Ela trata cada peça igualmente, mesmo o céu entediante do fundo. O SkyAnchor usa um "roteador" que age como um marca-texto inteligente. Ele escaneia a imagem e diz: "Ei, aquele pedaço de céu é entediante, vamos ignorá-lo", mas "Aquele carro minúsculo é importante, vamos manter todos os seus detalhes!". Isso permite que a IA foque sua capacidade cerebral nos alvos minúsculos sem precisar processar toda a imagem massiva, economizando energia e mantendo os detalhes nítidos.
O Sistema de Dois Cadernos (Banco de Memória Hierárquica):
Como o drone está voando, a IA precisa se lembrar do que viu alguns segundos atrás para saber onde o objeto está agora. Mas ela não pode se lembrar de tudo para sempre, ou sua memória encheria instantaneamente. O SkyAnchor usa um sistema de memória de duas camadas:
- O Caderno do "Quem" (Memória Semântica): Armazena a identidade do objeto. Ele lembra: "Aquele é um sedan prateado". Esta parte permanece na memória por um longo tempo para que a IA não esqueça o que está rastreando.
- O Caderno do "Onde" (Memória de Rastreamento): Esta é uma janela deslizante de curto prazo que contém apenas os últimos segundos de movimento. Ela lembra: "O carro acabou de se mover para a esquerda".
  Ao separar "quem é" de "onde está", o SkyAnchor consegue rastrear um alvo suavemente mesmo enquanto o drone aproxima ou afasta o zoom, sem ficar confuso ou perder o objeto.

O Que Eles Descobriram

A equipe testou o SkyAnchor em seu novo conjunto de dados DroneEyes e o comparou com os modelos de IA mais inteligentes disponíveis atualmente. Os resultados foram impressionantes. Na tarefa de descrever objetos, o SkyAnchor pontuou duas vezes mais alto do que os melhores modelos de uso geral. Quando se tratou de encontrar e delinear os objetos minúsculos (segmentação de referência), ele superou o próximo melhor modelo em 15,3%, mesmo sendo o SkyAnchor muito menor e mais leve.

Mas o verdadeiro teste foi se esta IA conseguiria lidar com um ambiente completamente novo que nunca tinha visto antes. Os pesquisadores lançaram o modelo contra um conjunto de dados diferente chamado SkyFind, que apresenta cenas marítimas (oceânicas). Sem qualquer treinamento adicional, o SkyAnchor melhorou os resultados anteriores em 25,9% na localização precisa de objetos. Isso sugere que o modelo aprendeu uma habilidade geral para detectar coisas minúsculas, não apenas memorizar os vídeos de treinamento.

Voo no Mundo Real

Finalmente, a equipe não deixou o SkyAnchor apenas em um laboratório de computador. Eles o colocaram em um drone real voando sobre um campus universitário. Eles otimizaram o software para que pudesse rodar em um computador pequeno e portátil (um NVIDIA Jetson AGX Orin) sem precisar enviar dados para a nuvem. O resultado? O sistema rodou 3,05 vezes mais rápido do que uma configuração padrão, permitindo que o drone responda a perguntas e desenhe contornos em tempo real enquanto voa.

Em vídeos do mundo real, o SkyAnchor rastreou com sucesso um SUV vermelho, um carro prateado escondido em uma estrada de cascalho e até mesmo um peixe koi em um lago, tudo isso enquanto o drone se movia e a visão mudava. Ele não se perdeu nas sombras nem se confundiu com objetos de aparência semelhante.

A Conclusão

Este artigo sugere que, ao combinar um novo conjunto de dados de alta qualidade com um sistema de memória inteligente e um roteador que preserva o foco, podemos tornar a IA muito melhor em detectar coisas minúsculas em vídeos de drones ao vivo. Ele prova que você não precisa de um computador gigante e pesado para fazer isso; um modelo otimizado e consciente da memória pode voar em um drone e ajudar operadores a encontrar exatamente o que estão procurando, agora mesmo. Embora o artigo mostre resultados fortes em conjuntos de dados específicos e testes do mundo real, ele também indica que o trabalho futuro se concentrará em tornar o sistema ainda mais rápido e em ensinar o drone a controlar automaticamente sua trajetória de voo para manter o alvo em vista.

Resumo Técnico: Modelos de Linguagem de Grande Escala Multimodais Aumentados por Memória para Compreensão de Objetos Pequenos em Vídeos Aéreos em Streaming

1. Definição do Problema

O artigo aborda o desafio da segmentação de objetos de vídeo de referência (RVOS) online em vídeos aéreos em streaming capturados por Veículos Aéreos Não Tripulados (VANTs/UAVs). Diferente do processamento offline, os UAVs devem responder em tempo real conforme os quadros chegam sequencialmente, sem acesso a dados futuros. Este cenário apresenta dois desafios intrínsecos:

Percepção de Alvos Minúsculos: Alvos aéreos frequentemente ocupam uma porção minúscula de quadros de alta resolução (ex: <0,24% da área da imagem). Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) existentes tipicamente aplicam compressão visual uniforme (ex: fusão de tokens de razão fixa), que trata alvos pequenos e fundos grandes da mesma forma, causando a perda de detalhes finos essenciais para a identificação de objetos pequenos.
Contexto de Streaming vs. Restrições de Recursos: Compreender um fluxo contínuo de vídeo requer contexto temporal para evitar o desvio ou desaparecimento do alvo. No entanto, o hardware embarcado é limitado em recursos, tornando inviável o cache de todo o histórico visual de um fluxo em constante crescimento. Mecanismos de memória existentes (ex: escalonamento linear no SAM 3) falham em sustentar a identidade de longo prazo ou são pesados demais para implantação em borda (edge).

Além disso, o artigo identifica a falta de dados adequados: os conjuntos de dados aéreos existentes (ex: SkyFind, AerialMind) dependem de caixas delimitadoras (bounding boxes) grosseiras ou imagens estáticas, enquanto conjuntos de dados da vida cotidiana (ex: MeViS) focam em objetos grandes. Nenente fornece máscaras de segmentação por quadro, de vocabulário aberto e ao nível de pixel para cenários aéreos em streaming.

2. Metodologia: SkyAnchor

Os autores propõem o SkyAnchor, um framework de MLLM projetado especificamente para a compreensão de objetos pequenos em vídeos aéreos em streaming. O sistema opera sobre um backbone de visão-linguagem (Qwen2.5-VL) e um decodificador de máscara (SAM 2), potencializado por dois componentes principais:

A. Roteador de Tokens Sensível à Semântica

Para abordar o desafio do "alvo minúsculo" sob um orçamento fixo de tokens visuais:

Mecanismo: O roteador particiona tokens espaciais densos em blocos não sobrepostos. Em vez de uma fusão uniforme, uma rede de pontuação leve avalia a saliência semântica de cada token dentro de um bloco.
Agregação: Os tokens são fundidos via agregação ponderada por softmax, atribuindo pesos maiores às regiões relevantes ao alvo e pesos menores ao fundo.
Treinamento: Uma perda de roteamento auxiliar ( $L_{route}$ ), supervisionada por máscaras de verdade fundamental (ground-truth), guia o roteador para preservar características discriminativas de objetos pequenos enquanto comprime o ruído do fundo.

B. Banco de Memória Hierárquico

Para abordar o desafio do "contexto de streaming" gerenciando a memória:

Camada de Memória Semântica (Longo Prazo): Armazena características de aparência persistentes ao nível do objeto (âncoras) extraídas de "quadros âncora" fundamentais (atualizados a cada $N$ quadros). Esta camada preserva a identidade do alvo (ex: "sedã prateado") para evitar o desvio de longo prazo e auxilia o VLM no raciocínio.
Camada de Memória de Rastreamento (Curto Prazo): Mantém uma janela deslizante de tamanho fixo do tipo Primeiro a Entrar, Primeiro a Sair (FIFO) de estados espaciais recentes (memória de rastreamento). Esta camada suporta a propagação de máscara de curto prazo entre os quadros âncora usando o decodificador SAM 2.
Integração: Estas duas camadas desacoplam a informação temporal, permitindo que o modelo mantenha uma compreensão estável sem armazenar todo o histórico.

C. Estratégia de Implantação em Borda (Edge)

O sistema emprega um cronograma de inferência assíncrona:

O pesado backbone VLM roda apenas em quadros âncora esparsos (ex: a cada 16º quadro) para atualizar as âncoras semânticas.
O decodificador leve SAM 2 roda densamente em cada quadro, utilizando tokens em cache e o banco de memória hierárquico para propagar as máscaras.
A otimização inclui compilação TensorRT, captura de Grafo CUDA para atenção de memória e agendamento assíncrono para maximizar o rendimento (throughput) em dispositivos de borda (NVIDIA Jetson AGX Orin).

3. Principais Contribuições

Dados: Dataset DroneEyes

Os autores construíram o DroneEyes, o primeiro dataset de grande escala para segmentação de referência de vocabulário aberto em nível de pixel em vídeos aéreos em streaming.

Escala: 2.140 vídeos de drones em alta definição (1080p–4K) e 176.623 pares de QA (pergunta e resposta).
Granularidade: Máscaras de segmentação densas por quadro (nível de pixel) em vez de caixas delimitadoras.
Níveis de Tarefa:
- Nível 1 (L1): Descrição de Objeto (dada uma região, descreva o objeto).
- Nível 2 (L2): Expressão de Referência (dada uma consulta de texto, segmente o objeto).
Características: Apresenta uma razão média de objeto-para-imagem extremamente baixa (0,24%), tornando-o um benchmark rigoroso para detecção de objetos minúsculos.

Método: Framework SkyAnchor

Introdução do Roteador de Tokens Sensível à Semântica para preservar detalhes finos de alvos minúsculos sob compressão.
Design do Banco de Memória Hierárquico para equilibrar a preservação de identidade de longo prazo com a eficiência de rastreamento de curto prazo em cenários de streaming.

Resultados Empíricos

Desempenho no DroneEyes: O SkyAnchor (3 bilhões de parâmetros) supera todos os MLLMs de propósito geral e modelos de segmentação especialistas existentes.
- L1 (Descrição): Alcança uma melhoria de 2× nos scores GPT em relação aos baselines mais fortes.
- L2 (Segmentação): Alcança um score J&F de 38,10%, superando o melhor anterior (Sa2VA-26B, 33,05%) em 15,3%, apesar de usar significativamente menos parâmetros.
- Robustez a Objetos Pequenos: Mostra uma vantagem marcada em objetos ultra-pequenos (área relativa < $10^{-4}\%$ ), superando os baselines em até 10,8 pontos percentuais.
Generalização de Domínio Cruzado: Avaliado no benchmark SkyFind sem ajuste fino (fine-tuning). Na divisão de teste marítima não vista, o SkyAnchor melhorou o IoU@0.5 em 25,9% e o IoU@mean em 95,5% sobre o SOTA anterior específico de domínio (AerialREC), demonstrando forte robustez a mudanças de domínio.
Implantação no Mundo Real: Implantado em um UAV com um NVIDIA Jetson AGX Orin. O pipeline de otimização alcançou um aceleração de 3,05× sobre o PyTorch vanilla, atingindo 5,8 FPS (172ms de latência), permitindo o monitoramento online sem nuvem.

4. Significância e Alegações

O artigo afirma que o SkyAnchor fornece uma solução prática para a percepção aérea online, preenchendo a lacuna entre as altas demandas computacionais dos MLLMs e as restrições de recursos dos UAVs.

Contribuição de Dados: Preenche um vazio crítico na literatura ao fornecer o primeiro dataset com anotações de nível de pixel e vocabulário aberto para vídeo aéreo em streaming, indo além das limitações dos datasets baseados em caixas delimitadoras.
Insight Metodológico: Demonstra que simplesmente aumentar os parâmetros do MLLM é insuficiente para tarefas de objetos pequenos aéreos; em vez disso, designs arquiteturais especializados (compressão sensível à semântica e memória hierárquica) são necessários para lidar com o extremo desequilíbrio entre frente e fundo e com as restrições de streaming.
Viabilidade Prática: A implantação bem-sucedida em hardware real valida que o raciocínio multimodal complexo e a segmentação podem ser realizados embarcados sem offloading para a nuvem, apoiando aplicações em vigilância, busca e salvamento, e inspeção de infraestrutura.

Os autores concluem que trabalhos futuros focarão em mais otimizações conscientes de hardware para igualar as taxas de captura nativas e explorar a integração das saídas de segmentação para controle de câmera ativa e navegação autônoma.