Beyond Pedestrians: Caption-Guided CLIP Framework for High-Difficulty Video-based Person Re-Identification

---

1. Problema e Motivação

A Re-Identificação de Pessoas (ReID) baseada em vídeo visa identificar indivíduos através de sequências de vídeo capturadas por câmeras não sobrepostas, utilizando pistas espaciais e temporais. Embora os métodos atuais tenham alcançado sucesso em cenários de vigilância de pedestres, eles enfrentam desafios significativos em cenários de alta dificuldade, como esportes e performances de dança.

Desafios Principais:

• Semelhança Visual Extrema: Em esportes e dança, múltiplos indivíduos frequentemente vestem uniformes ou trajes idênticos.
• Movimento Dinâmico: A rápida movimentação exige taxas de quadros mais altas ou resoluções maiores para capturar informações, o que aumenta o custo computacional.
• Limitações dos Métodos Atuais:
  • A maioria dos métodos baseados em CLIP (Vision-Language Models) foca em tokens de texto aprendíveis ou características de imagem médias, falhando em capturar diferenças sutis e de grão fino (ex: número da camisa, tipo de tênis, penteado) que são cruciais quando as roupas são iguais.
  • Mecanismos de atenção self-attention tradicionais têm custo computacional quadrático em relação ao comprimento do token, tornando-se inviáveis para vídeos de alta resolução ou muitas frames.

2. Metodologia Proposta: CG-CLIP

Os autores propõem o CG-CLIP, um novo framework que integra descrições textuais explícitas (legendas) e tokens aprendíveis para superar as limitações dos métodos existentes. O framework possui dois componentes principais:

A. Refinamento de Memória Guiado por Legenda (CMR - Caption-guided Memory Refinement)

O objetivo do CMR é refinar as características de identidade usando descrições textuais geradas por Modelos de Linguagem Multimodal (MLLMs).

1. Geração de Legendas: Utiliza-se um MLLM (Phi-4-Multimodal) para gerar legendas detalhadas que descrevem atributos específicos (ex: "mulher com uniforme azul, número 7, cabelo preso").
2. Memória de Texto ($M^T$): As legendas são codificadas pelo encoder de texto do CLIP congelado. Para cada identidade, cria-se um protótipo de texto (média dos embeddings das legendas).
3. Refinamento: Em vez de alinhar imagem-texto instância a instância, o CMR usa a Memória de Texto como uma query em um mecanismo de atenção cruzada sobre os tokens de imagem do lote de treinamento.
4. Memória Refinada ($M^R$): O modelo seleciona tokens visuais discriminativos relevantes para a legenda e injeta essas pistas de grão fino na "Memória de Imagem" (CLIP-Memory). Isso cria um alvo de contraste mais preciso para o aprendizado.
   • Nota: As legendas são usadas apenas durante o treinamento; a inferência mantém a eficiência, sem necessidade de texto.

B. Extração de Características Baseada em Token (TFE - Token-based Feature Extraction)

O TFE foi desenvolvido para agregar informações espaciais e temporais de forma eficiente, evitando o custo quadrático da atenção tradicional.

1. Tokens Aprendíveis: Introduz um conjunto fixo de tokens aprendíveis ($Q$).
2. Atenção Cruzada Linear:
   • Dimensão Temporal: Os tokens aprendíveis atuam como query e as características das frames como key/value em uma camada de atenção cruzada. Isso reduz a complexidade de $O(L^2)$ para $O(L)$, onde $L$ é o número de frames.
   • Dimensão Espacial: Após a agregação temporal, os tokens são expandidos e passam por um encoder espacial similar, focando em regiões críticas da imagem.
3. Resultado: O módulo extrai características robustas focando nas frames e regiões mais informativas, ignorando quadros com oclusão ou movimento excessivo.

3. Contribuições Principais

1. Framework CG-CLIP: Uma nova arquitetura que utiliza legendas explícitas geradas por IA para refinar memórias de identidade, permitindo a captura de características discriminativas de grão fino em cenários de alta similaridade.
2. Módulo TFE: Um mecanismo de extração de características espaciais e temporais que utiliza atenção cruzada com tokens aprendíveis, garantindo escalabilidade linear e baixo custo computacional em cenas dinâmicas.
3. Novos Benchmarks (Datasets): Criação de dois novos conjuntos de dados de alta dificuldade:
   • SportsVReID: Derivado do SportsMOT, focado em esportes (basquete, futebol, vôlei).
   • DanceVReID: Derivado do DanceTrack, focado em performances de dança em grupo.
   • Ambos contêm múltiplos indivíduos com uniformes idênticos, desafiando os métodos atuais.
4. Geração de Dados Sintéticos: Uso de MLLMs para gerar legendas ricas e diversas a partir de anotações manuais ou imagens, preenchendo a lacuna de dados textuais em datasets de ReID.

4. Resultados Experimentais

Os experimentos foram realizados em benchmarks padrão (MARS, iLIDS-VID) e nos novos datasets (SportsVReID, DanceVReID).

• Desempenho Geral: O CG-CLIP superou consistentemente os métodos state-of-the-art (SOTA) em todos os benchmarks.
  • MARS: Alcançou 89.8% de mAP e 92.5% de Rank-1 (superando o TF-CLIP em 2.0% de mAP).
  • iLIDS-VID: Alcançou 96.7% de Rank-1.
  • SportsVReID: 77.7% de mAP e 90.4% de Rank-1.
  • DanceVReID: 53.8% de mAP e 76.0% de Rank-1 (superando o TF-CLIP em 5.2% de Rank-1, demonstrando grande eficácia em cenários de alta dificuldade).
• Eficiência Computacional: O módulo TFE reduziu o custo computacional do módulo temporal em aproximadamente 70% (de 7.6 para 2.3 GMACs) comparado a métodos baseados em self-attention (TMD), mantendo ou melhorando a precisão.
• Análise de Ablação:
  • A adição do CMR melhorou significativamente a capacidade de distinguir indivíduos com roupas iguais.
  • O TFE provou ser essencial para cenários esportivos dinâmicos.
  • A combinação de anotações manuais com legendas geradas por MLLM produziu os melhores resultados, embora legendas puramente geradas por MLLM também tenham sido competitivas.

5. Significado e Conclusão

Este trabalho representa um avanço significativo ao expandir o escopo da Re-Identificação de pessoas para além dos pedestres em vigilância, abordando cenários complexos do mundo real como esportes e dança.

• Inovação Conceitual: Demonstra que a integração de descrições textuais semânticas (mesmo que geradas sinteticamente) com representações visuais pode resolver o problema da "ambiguidade visual" quando as roupas são idênticas.
• Eficiência: Oferece uma solução escalável para a agregação de características temporais, permitindo o processamento de vídeos de alta taxa de quadros sem o ônus computacional proibitivo de transformadores tradicionais.
• Impacto Futuro: A criação dos datasets SportsVReID e DanceVReID estabelece novos padrões para avaliação de algoritmos em cenários de alta similaridade, incentivando a pesquisa em métodos multimodais e eficientes para rastreamento e re-identificação em tempo real.

Em resumo, o CG-CLIP estabelece um novo patamar de desempenho ao combinar a riqueza semântica da linguagem com a eficiência computacional necessária para aplicações de vídeo dinâmico e complexo.