VC-FeS: Viewpoint-Conditioned Feature Selection for Vehicle Re-identification in Thermal Vision

Resumo Técnico: VC-FeS para Reidentificação de Veículos em Visão Térmica

Declaração do Problema
A Reidentificação de Veículos (ReID) em visão térmica enfrenta desafios significativos em comparação com o domínio RGB. Imagens térmicas carecem de informações de cor e detalhes de textura finos, que são características discriminativas críticas em tarefas padrão de ReID. Além disso, veículos e embarcações exibem alta similaridade intraclasse (por exemplo, modelos idênticos) e variabilidade significativa entre pontos de vista (frente, lado, traseira). Métodos existentes, frequentemente pré-treinados em dados RGB, lutam no domínio térmico porque dependem de padrões de cor e textura ausentes na imagem térmica em tons de cinza. Adicionalmente, a variabilidade no ponto de vista adiciona complexidade, pois os vetores de características diferem drasticamente dependendo do ângulo da câmera, e determinar quais lados de um veículo são visíveis em uma única imagem permanece uma etapa de pré-processamento desafiadora.

Metodologia
O sistema proposto, VC-FeS (Seleção de Características Condicionada ao Ponto de Vista), aborda essas questões através de um framework de dois subsistemas: rastreamento de objetos e reidentificação condicionada ao ponto de vista.

1. Rastreamento e Detecção de Objetos:
   O sistema adapta o algoritmo TraDeS para o domínio térmico. Utiliza uma única espinha dorsal (DLA-34) para realizar detecção e rastreamento conjuntos. Dois módulos-chave otimizam o desempenho:

   • Associação Baseada em Volume de Custo (CVA): Gera embeddings e deriva movimentos de objetos para melhorar a precisão do rastreamento.
   • Distorcedor de Características Guiado por Movimento (MFW): Aprimora o vetor de características do quadro atual com base no histórico de rastreamento de quadros passados, propagando pistas de rastreamento para melhorar a detecção em cenários ocluídos.
     O sistema emite caixas delimitadoras rastreadas que são então recortadas para ReID.

2. Extração de Primeiro Plano:
   Como as imagens térmicas carecem de contraste de cor, a segmentação convencional (por exemplo, GrabCut) falha. Os autores empregam uma arquitetura codificador-decodificador com conexões residuais personalizada para gerar máscaras de primeiro plano. Este modelo é treinado em máscaras térmicas anotadas para isolar com precisão veículos do fundo, apesar de distribuições de intensidade semelhantes.

3. Seleção de Características Condicionada ao Ponto de Vista:
   O algoritmo central de ReID extrai características do primeiro plano mascarado usando um Dino-ViT (Vision Transformer) pré-treinado no ImageNet. As características extraídas são mapeadas em quatro espaços latentes através de camadas lineares paralelas: Global, Frente, Lado e Traseira.

   • Mapeamento ArcFace: Cada espaço latente utiliza ArcFace para mapear vetores de características em uma hipersfera, maximizando a variância interclasse e minimizando a variância intraclasse.
   • Cálculo da Razão de Área: Um decodificador divide a máscara de primeiro plano em máscaras específicas de lado (frente, lado, traseira) para calcular a Razão de Área (AR) para cada ponto de vista.
   • Cálculo de Distância Ponderada: O sistema calcula distâncias L2 entre as características da consulta e da galeria em cada um dos quatro espaços. Essas distâncias são ponderadas pelas Razões de Área correspondentes (Eq. 2). Este mecanismo garante que características de pontos de vista visíveis contribuam para a pontuação final, suprimindo contribuições de pontos de vista não visíveis (onde a AR é zero), lidando efetivamente com a oclusão própria.
   • Funções de Perda: O modelo é treinado usando uma combinação de Perda de Classificação de Identidade (Entropia Cruzada) e Perda de Tripla para aprender características discriminativas de forma.

Principais Contribuições

• Algoritmo de ReID Inovador: Os autores propõem um algoritmo condicionado ao ponto de vista que constrói pontuações de confiança fundindo características de espaços latentes separados (frente, lado, traseira, global) ponderadas pela visibilidade do ponto de vista. Esta abordagem adapta extratores ViT pré-treinados em RGB ao domínio térmico, focando na forma em vez da cor.
• Conjunto de Dados Marítimo Térmico: O artigo introduz um novo conjunto de dados público contendo filmagens e imagens de objetos marítimos (embarcações pequenas e grandes) de vários ângulos, anotados com padrões COCO para detecção, rastreamento e ReID. Alega-se ser o primeiro conjunto de dados público deste tipo para vigilância marítima térmica.
• Adaptação ao Domínio Térmico: O trabalho demonstra a adaptação bem-sucedida do algoritmo de rastreamento TraDeS ao domínio térmico, estabelecendo uma linha de base para rastrear embarcações, navios, veículos e humanos sem características de cor.

Resultados
O sistema foi avaliado no conjunto de dados RGBNT100 (veículo IR) e no conjunto de dados marítimo térmico proprietário dos autores.

• Desempenho de ReID: O método proposto superou o método de última geração SPAN.
  • No RGBNT100, alcançou uma melhoria de 19,7% no mAP.
  • No conjunto de dados marítimo térmico, alcançou uma melhoria de 12,8% no mAP.
  • No conjunto de dados dos autores, o método alcançou uma precisão Top-1 de 81,82% e mAP de 63,08%, superando os 78,37% Top-1 e 55,88% mAP do SPAN.
• Desempenho de Rastreamento: O algoritmo TraDeS adaptado alcançou uma pontuação MOTA de 61,2% no domínio IR, comparável ao seu desempenho no domínio RGB (63,5% no MOT17), com uma velocidade de processamento de 15 fps adequada para rastreamento em tempo real.
• Estudos de Ablação: Os resultados indicaram que o uso de múltiplos espaços de pontos de vista (em vez de apenas a maior visão) melhorou as pontuações Top-1 em uma média de 15% em todos os conjuntos de dados. O uso de mapeamento ArcFace e extração de características baseada em ViT mostrou-se crítico para organizar características por orientação e melhorar a discriminação.

Significado e Alegações
O artigo alega que, ao construir vetores de características condicionados ao ponto de vista e realizar comparações de características específicas de área, o sistema aproveita efetivamente extratores ViT existentes pré-treinados em RGB, adaptando-os aos desafios específicos do domínio térmico (falta de cor/textura). Os autores enfatizam que esta é a primeira vez que a reidentificação de embarcações marítimas foi conduzida no domínio térmico. O método proposto é apresentado como uma solução robusta para aplicações de vigilância onde informações de cor estão indisponíveis, estabelecendo uma nova linha de base para ReID térmico e rastreamento marítimo. Os autores planejam liberar seu conjunto de dados marítimo térmico ao público para facilitar pesquisas adicionais nesta área pouco explorada.