CMCC-ReID: Cross-Modality Clothing-Change Person Re-Identification

Título: CMCC-ReID: Re-Identificação de Pessoas com Mudança de Roupa e Cross-Modality

1. Problema e Motivação

A Re-Identificação de Pessoas (ReID) enfrenta desafios significativos em cenários de vigilância de longo prazo, onde ocorrem simultaneamente duas heterogeneidades críticas:

1. Discrepância de Modalidade: A transição entre imagens visíveis (RGB) e infravermelhas (IV), comum em sistemas de vigilância dia/noite.
2. Variação de Roupa: Mudanças intencionais de vestuário ao longo do tempo.

A maioria das pesquisas atuais trata esses problemas isoladamente:

• VI-ReID (Visível-Infravermelho) assume roupas constantes.
• CC-ReID (Mudança de Roupa) assume iluminação e modalidade consistentes.

No entanto, em cenários reais, essas duas questões coexistem. A combinação de baixa qualidade de imagem no infravermelho (baixo contraste) com a mudança de roupa torna a extração de características de identidade extremamente difícil. Métodos existentes falham porque:

• No infravermelho, a falta de textura e cor faz com que as roupas pareçam uniformemente brilhantes, dificultando a separação entre características de identidade e de roupa.
• Alinhar modalidades diretamente sem suprimir a interferência da roupa pode levar o modelo a alinhar padrões de vestuário em vez de identidade.

2. Contribuições Principais

Os autores introduzem três contribuições fundamentais:

1. Nova Tarefa (CMCC-ReID): Definem formalmente o problema de Re-Identificação de Pessoas com Mudança de Roupa e Cross-Modality, exigindo correspondência entre imagens que variam tanto em modalidade quanto em vestuário.
2. Novo Dataset (SYSU-CMCC): Constroem um novo benchmark derivado dos datasets PRCC e SYSU-MM01. Neste dataset, cada identidade é capturada em ambas as modalidades (visível e IV) com roupas distintas, garantindo a presença simultânea de discrepância de modalidade e variação de roupa. O dataset contém 214 identidades e 18.375 imagens.
3. Método Proposto (PIA): Desenvolvem a Rede de Alinhamento Progressivo de Identidade (PIA - Progressive Identity Alignment Network), que utiliza uma estratégia de aprendizado progressivo para primeiro purificar as características de identidade e depois alinhar as modalidades.

3. Metodologia: PIA (Progressive Identity Alignment Network)

A arquitetura PIA opera em duas etapas principais, focando na extração de representações invariantes à roupa antes do alinhamento de modalidade.

A. Módulo de Aprendizado de Desentrelaçamento de Dupla Ramificação (DBDL - Dual-Branch Disentanglement Learning)

• Objetivo: Separar explicitamente as características de identidade das características de roupa em ambas as modalidades.
• Mecanismo:
  • Utiliza uma ramificação para extrair características de roupa e outra para identidade.
  • Emprega um mecanismo de atenção espacial para gerar máscaras de peso. Uma máscara foca na roupa ($m_c$) e a outra é gerada suavemente para suprimir a roupa, mas manter detalhes de identidade ($m_{id} = 1 - \lambda \cdot m_c$).
  • Restrição de Ortogonalidade: Aplica uma perda ($L_{orth}$) para garantir que os subespaços de características de identidade e roupa sejam ortogonais (descorrelacionados), impedindo que informações de roupa "vazem" para a representação de identidade.

B. Módulo de Aprendizado de Protótipo Bidirecional (BPL - Bi-Directional Prototype Learning)

• Objetivo: Alinhar as representações de identidade purificadas entre as modalidades visível e infravermelha.
• Mecanismo:
  • Mantém protótipos (vetores representativos) específicos para cada identidade em cada modalidade.
  • Aprendizado Intra-modalidade: Puxa as características de uma amostra para o seu protótipo dentro da mesma modalidade, compactando a classe (reduzindo variação interna).
  • Aprendizado Inter-modalidade: Puxa uma amostra visível para o protótipo da mesma identidade na modalidade infravermelha (e vice-versa), reduzindo a lacuna entre modalidades.
  • Atualização por momento: Os protótipos são atualizados dinamicamente usando uma estratégia de momento para estabilidade.

C. Estratégia de Aprendizado Progressivo

• Fase I: Otimiza apenas o módulo DBDL para extrair características invariantes à roupa.
• Fase II: Introduz o módulo BPL para alinhar as modalidades, utilizando as características já purificadas da Fase I. Isso evita que o alinhamento de modalidade amplifique o viés da roupa.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset SYSU-CMCC, comparando o PIA com os métodos mais avançados (SOTA) de VI-ReID e CC-ReID.

• Desempenho Superior: O PIA estabeleceu um novo estado da arte, superando significativamente todos os métodos existentes.
  • No cenário Visível para Infravermelho (V2I): Alcançou 57.0% de Rank-1 e 46.5% de mAP.
  • No cenário Infravermelho para Visível (I2V): Alcançou 50.4% de Rank-1 e 50.3% de mAP.
• Comparação: O PIA superou os melhores métodos de VI-ReID (como HOS-Net) e CC-ReID (como CAL) por uma margem considerável, demonstrando que a combinação de desentrelaçamento e alinhamento progressivo é essencial.
• Análise de Ablação:
  • A remoção do DBDL causou queda drástica, confirmando a necessidade de separar roupa e identidade.
  • A remoção da estratégia progressiva (treinar DBDL e BPL simultaneamente) resultou em desempenho inferior, provando que alinhar modalidades antes de purificar as características é prejudicial.
• Visualização: Mapas de atenção mostram que o PIA foca corretamente em características de identidade (como o rosto e a estrutura corporal), enquanto ignora regiões de roupa e ruído de fundo, mesmo na modalidade infravermelha de baixo contraste.

5. Significado e Impacto

Este trabalho é pioneiro ao reconhecer e abordar a complexidade real de sistemas de vigilância onde mudança de roupa e mudança de modalidade ocorrem simultaneamente.

• Benchmark: O dataset SYSU-CMCC fornece a primeira base sólida para o desenvolvimento de algoritmos robustos para este cenário híbrido.
• Paradigma de Aprendizado: A proposta de "desentrelaçamento primeiro, alinhamento depois" (Progressive Learning) oferece uma nova direção para lidar com múltiplas fontes de variação em tarefas de visão computacional, evitando que ruídos (como roupas) sejam aprendidos como características de identidade durante o alinhamento de domínios.
• Aplicabilidade: Os resultados sugerem que o PIA é uma solução viável para sistemas de segurança pública que operam 24 horas por dia e precisam rastrear indivíduos que podem mudar de aparência ao longo do tempo.