Person Re-Identification via Generalized Class Prototypes

Título: Re-identificação de Pessoas via Protótipos de Classe Generalizados (GCP)

1. O Problema

A Re-identificação de Pessoas (Re-ID) é uma tarefa de recuperação de imagens que visa identificar uma pessoa em uma galeria de imagens capturadas por câmeras não sobrepostas, dado uma imagem de consulta (query). O desafio principal reside em lidar com variações dinâmicas de iluminação, baixa resolução, oclusões, poses não restritas e caixas delimitadoras imprecisas.

As abordagens atuais enfrentam limitações fundamentais:

• Baseada em Instâncias: Compara a consulta diretamente com cada imagem da galeria. Isso cria um espaço de hipóteses complexo (alta dimensão VC), levando ao overfitting e reduzindo a precisão média (mAP), especialmente em galerias grandes.
• Baseada em Centroides: Utiliza um único vetor médio (centroide) para representar toda uma classe. Embora simplifique o problema, o espaço de hipóteses é muito restrito (limitado a fronteiras lineares), causando underfitting e falha em capturar a diversidade intra-classe.

O artigo identifica que a seleção de representantes de classe (como usar apenas o centroide ou todas as instâncias) é uma área subexplorada que impacta diretamente o desempenho.

2. Metodologia

Os autores propõem uma abordagem unificada chamada Protótipos de Classe Generalizados (GCP), que equilibra a flexibilidade das instâncias com a generalização dos centroides.

Conceito Central:
Em vez de usar apenas um centroide ($N=1$) ou todas as instâncias ($N=|G|$), o método permite selecionar um número variável de protótipos ($N$) por classe no espaço de características. O objetivo é encontrar um conjunto de vetores que minimizem a distância para as imagens da mesma identidade e maximizem a distância para outras identidades.

Arquitetura do Modelo (GCP):

• Base: O modelo utiliza um backbone pré-treinado (ex: ResNet50, TransReID, PHA) para extrair vetores de características das imagens.
• Mecanismo de Atenção: Um decodificador baseado em Transformer (sem encoder) é utilizado para gerar os protótipos.
  • Memória ($M_c$): Os vetores de características de todas as imagens de uma classe específica (com suas posições de câmera codificadas) são alimentados como memória no decodificador.
  • Geração Autoregressiva: O modelo gera os protótipos sequencialmente. Em cada iteração $t$, o decodificador recebe o token de início de sequência e os protótipos gerados anteriormente ($p_1, ..., p_{t-1}$).
  • Atenção: O módulo de self-attention permite que o modelo considere os protótipos já gerados, enquanto a cross-attention foca na distribuição global das características da classe. Isso garante que os protótipos cubram diferentes regiões do espaço de características, capturando a diversidade intra-classe.

Função de Perda:
O modelo é treinado para minimizar a distância entre os protótipos e as características da mesma classe, enquanto maximiza a distância para classes diferentes.

• Perda Triplet ($L_{triplet}$): Garante que a distância (âncora, positivo) seja menor que (âncora, negativo) por uma margem.
• Perda de Regularização ($L_{reg}$): Introduzida para evitar que todos os protótipos de uma mesma classe colapsem para um único ponto. Ela penaliza protótipos muito próximos entre si e incentiva a diversidade.

Algoritmo de Baseline ($\alpha$-FPS):
Para comparação, os autores desenvolveram uma versão modificada do Farthest Point Sampling (FPS) chamada $\alpha$-FPS. Este algoritmo seleciona iterativamente pontos que estão mais distantes dos já selecionados, mas com um ajuste ($\alpha$) para evitar a seleção de protótipos nas bordas da classe que poderiam prejudicar a mAP.

3. Principais Contribuições

1. Análise de Representantes de Classe: Estudo teórico e empírico mostrando que tanto as abordagens puramente baseadas em instâncias quanto as baseadas em centroides são subótimas para Re-ID.
2. Modelo de Geração de Protótipos: Criação de um modelo baseado em atenção (Transformer decoder) capaz de gerar múltiplos protótipos robustos por classe durante a inferência, adaptando-se à distribuição de características.
3. Algoritmos de Amostragem: Desenvolvimento de algoritmos de seleção de protótipos (como o $\alpha$-FPS) que estabelecem novos benchmarks sem a necessidade de treinamento de modelos complexos.
4. Flexibilidade: A metodologia permite ajustar o número de protótipos ($N$) conforme os requisitos da aplicação, equilibrando precisão (R-1) e precisão média (mAP).

4. Resultados Experimentais

O método foi avaliado em três conjuntos de dados padrão: CUHK03-NP, Market-1501 e MSMT17.

• Desempenho Geral: O modelo GCP superou consistentemente os métodos state-of-the-art (SOTA) e as abordagens de linha de base (centroide, instância, k-centroide, $\alpha$-FPS) em todas as métricas.
• Métricas Chave (Market-1501 com backbone PHA):
  • R-1 (Precisão Top-1): 97.3%
  • mAP (Precisão Média): 97.1%
  • Estes resultados superaram significativamente modelos anteriores como TransReID, IRM e NFormer.
• Impacto do Número de Protótipos ($N$):
  • Aumentar $N$ tende a melhorar a precisão Top-1 (R-1), pois o modelo se aproxima mais da abordagem baseada em instâncias.
  • No entanto, mAP pode diminuir ligeiramente com $N$ muito alto devido à complexidade. O valor ótimo encontrado foi $N=3$ para a maioria dos casos, oferecendo o melhor equilíbrio.
• Análise de Subconjuntos: O desempenho do GCP melhora conforme o número de imagens disponíveis por pessoa na galeria aumenta, demonstrando sua capacidade de agregar informações de múltiplas visões.

5. Significância e Conclusão

Este trabalho é pioneiro ao estabelecer a eficácia de variar o número de protótipos por classe para recuperação de imagens. A proposta de GCP oferece uma solução elegante que:

• Mitiga o overfitting das abordagens baseadas em instâncias.
• Resolve o underfitting das abordagens baseadas em centroides.
• Permite uma adaptação prática: em cenários onde a precisão absoluta é crítica, pode-se usar mais protótipos; onde a eficiência computacional é prioritária, menos protótipos podem ser usados.

A abordagem demonstra que a seleção inteligente de representantes de classe, guiada por mecanismos de atenção e distribuição de características, é tão crucial quanto a extração de características em si para o avanço da Re-identificação de Pessoas. O código fonte foi tornado público, facilitando a reprodução e o desenvolvimento futuro na área.