Scale-Aware Vision-Language Adaptation for Extreme Far-Distance Video Person Re-identification

Resumo Técnico: Adaptação Visão-Linguagem Consciente de Escala para Re-Identificação de Pessoas em Vídeo a Longa Distância Extrema

Título do Artigo: Scale-Aware Vision-Language Adaptation for Extreme Far-Distance Video Person Re-identification
Autores: Ashwat Rajbhandari e Bharatesh Chakravarthi (Arizona State University)
Publicação: CVPR 2026 Workshop on Human Perception and Recognition in Aerial Surveillance (AERO-HPR)

1. O Problema

A Re-identificação de Pessoas (ReID) em vídeo a longa distância extrema (extreme far-distance), especialmente em cenários de vigilância aérea (UAVs), apresenta desafios fundamentais que diferem dos cenários terrestres convencionais:

• Compressão de Escala e Degradação de Resolução: À medida que a altitude e a distância aumentam, os pedestres ocupam apenas alguns pixels, tornando os detalhes de aparência fina (textura, padrões locais) inexistentes ou extremamente degradados.
• Mismatch de Perspectiva: Há uma discrepância significativa entre a visão aérea (top-down) e a visão terrestre (horizontal), dificultando a correspondência de características.
• Ruído e Artefatos: Os tracklets (sequências de rastreamento) frequentemente contêm quadros com desfoque de movimento, oclusão severa e baixa qualidade devido à instabilidade da câmera aérea.
• Falha de Modelos Existentes: Modelos treinados em imagens de curta distância ou em benchmarks terrestres padrão degradam-se drasticamente quando aplicados diretamente a esses cenários extremos, pois suas suposições sobre detalhes espaciais suficientes e consistência de viewpoint não se aplicam.

2. Metodologia Proposta

Os autores propõem um framework de adaptação "consciente de escala" baseado em modelos de linguagem-visão de grande escala (CLIP), focado em três pilares principais:

A. Escalonamento do Backbone (Backbone Scaling)

• Substituição do encoder visual padrão do CLIP (ViT-B/16) por uma versão maior e mais capacitada (ViT-L/14).
• Justificativa: Em condições de baixa resolução e alta compressão de escala, um backbone maior possui capacidade de modelagem superior para extrair características globais e de nível médio robustas, compensando a falta de detalhes finos.
• Ajustes arquiteturais foram feitos nas camadas de projeção e cabeças de classificação para garantir consistência dimensional (embeddings de 1024 dimensões vs. 768).

B. Fine-Tuning Seletivo Consciente do Backbone (Backbone-Aware Selective Fine-Tuning)

• Para evitar o catastrophic forgetting (esquecimento catastrófico) das representações pré-treinadas e instabilidade na otimização de um modelo grande, os autores não treinam todo o modelo.
• Estratégia: Apenas os dois últimos blocos do transformer (camadas 22 e 23) são desbloqueados para adaptação ao domínio alvo. As camadas iniciais permanecem congeladas para preservar características visuais gerais.
• Taxas de Aprendizado Diferenciais: As camadas desbloqueadas do backbone utilizam uma taxa de aprendizado reduzida (0.1x da taxa base), enquanto módulos leves (prompts, adaptadores e cabeças) usam taxas maiores.

C. Mecanismos de Robustez Temporal e Adaptação

• Agrupamento por Atenção Temporal (Temporal Attention Pooling): Substitui a média simples (mean pooling). Um mecanismo leve aprende pesos de atenção para cada quadro do tracklet, suprimindo quadros degradados (desfocados/ocultos) e enfatizando observações informativas.
• Adaptação Cross-View: Mantém o condicionamento baseado em prompts (PBP) e módulos adapters para mitigar o domain shift entre visão aérea e terrestre, utilizando metadados (altitude, distância, ângulo) como entrada condicional.
• Refinamento de Otimização: Uso de Cosine Annealing para agendamento da taxa de aprendizado, aumento do batch size e data augmentation agressiva (jitter de cor, random erasing) para simular variações de iluminação e ruído.
• Re-rankeamento k-Reciprocal: Aplicado na fase de inferência para refinar a consistência dos vizinhos no espaço de embeddings, melhorando a precisão da recuperação.

3. Principais Contribuições

1. Estudo Sistemático de Escalonamento: Demonstra que aumentar a capacidade do modelo (ViT-B/16 $\to$ ViT-L/14) é crucial para a robustez em cenários de compressão de escala severa, desde que acompanhado de adaptação estável.
2. Estratégia de Adaptação Estável: Propõe uma combinação de fine-tuning seletivo (apenas camadas finais), agrupamento por atenção temporal e prompting para lidar com tracklets ruidosos e de baixa resolução.
3. Refinamentos Práticos: Introdução de agendamento de taxa de aprendizado otimizado, aumento de dados e re-rankeamento específico para este domínio.
4. Novo Estado da Arte (SOTA): Estabelece um novo recorde no benchmark DetReIDX, superando tanto a linha de base oficial quanto o melhor resultado público relatado anteriormente.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark DetReIDX, que avalia a robustez em três protocolos:

• A2G (Aerial-to-Ground): De câmera aérea para terrestre.
• G2A (Ground-to-Aerial): De câmera terrestre para aérea.
• A2A (Aerial-to-Aerial): De câmera aérea para outra aérea.

Desempenho (mAP - Mean Average Precision):

• mAP Geral (Weighted Overall): 35.73% (Melhoria de +7.62 sobre a linha de base ViT-B/16 de 28.11% e +2.84 sobre o melhor resultado público anterior de 32.89%).
• A2G: 46.69%
• G2A: 41.23% (Maior ganho relativo, indicando eficácia na correção de mismatch de viewpoint).
• A2A: 22.98%

Estudo de Ablação:

• A maior contribuição isolada veio do escalonamento do backbone + adaptação seletiva (+7.62 pontos).
• O agrupamento por atenção temporal e o re-rankeamento forneceram ganhos complementares consistentes, especialmente no backbone menor, mas foram essenciais para estabilizar o modelo maior.

5. Significância e Conclusão

Este trabalho demonstra que modelos de linguagem-visão de grande escala (VLMs), quando adaptados com cuidado, são fundamentais para superar os limites da ReID em condições extremas de vigilância aérea.

• Impacto: A pesquisa valida que a simples transferência de modelos terrestres não funciona; é necessária uma adaptação específica que considere a degradação de escala e a instabilidade temporal.
• Aplicabilidade: O método melhora significativamente a segurança pública e a análise de multidões em cenários onde drones operam a grandes altitudes, permitindo a identificação de indivíduos mesmo quando estes aparecem como pequenos pontos na imagem.
• Limitações: O método apresenta maior custo computacional e latência de inferência devido ao backbone maior e ao re-rankeamento. Além disso, embora melhore o Rank-1, ainda há espaço para melhoria em posições mais profundas da lista de classificação (Rank-5/10) em cenários de mesma vista (A2A).

Em suma, o artigo estabelece que a capacidade representacional aumentada (ViT-L/14), combinada com estabilidade na adaptação (fine-tuning seletivo e atenção temporal), é a chave para a robustez na ReID de pessoas a longa distância extrema.