Pose-dIVE: Pose-Diversified Augmentation with Diffusion Model for Person Re-Identification

1. O Problema

A Re-identificação de Pessoas (Re-ID) enfrenta desafios significativos devido à variação na aparência humana causada por mudanças de postura (pose) e ponto de vista da câmera (viewpoint).

• Limitação dos Dados Atuais: Os conjuntos de dados existentes (como Market-1501, MSMT17) frequentemente carecem de diversidade nessas dimensões. Eles tendem a conter apenas poses de caminhada ou em pé e ângulos de câmera limitados (geralmente 2 ou 3 vistas por identidade).
• Viés de Distribuição: Essa falta de diversidade cria uma distribuição de dados unimodal e enviesada, impedindo que os modelos aprendam representações de identidade robustas que sejam invariantes a essas variações espaciais.
• Dificuldade de Coleta: Coletar novos dados reais com maior diversidade é caro, complexo e levanta questões de privacidade.
• Falhas em Métodos Existentes: Técnicas de aumento de dados atuais geralmente se limitam a rotações horizontais ou utilizam apenas poses já presentes no conjunto de dados, falhando em cobrir o espaço de poses "fora de domínio" (out-of-domain) e variações de elevação da câmera.

2. Metodologia (Pose-dIVE)

O Pose-dIVE propõe uma estratégia de aumento de dados diversificada por pose, utilizando modelos de difusão em larga escala para gerar amostras de treinamento sintéticas que preenchem as lacunas na distribuição de dados originais.

Componentes Principais:

1. Guia 3D com SMPL:

   • Em vez de usar apenas esqueletos 2D (que carecem de informação de profundidade), o método utiliza o modelo SMPL (Skinned Multi-Person Linear) para representar o corpo humano em 3D.
   • A partir do SMPL, são renderizados mapas de profundidade, normais de superfície e esqueletos 2D. Essas representações codificam informações ricas sobre a postura e o ponto de vista da câmera.

2. Diversificação de Pose e Vista:

   • Poses Externas: O método não se limita às poses do conjunto de dados de Re-ID. Ele amostra poses dinâmicas de fontes externas (ex: vídeos de dança do Everybody Dance Now) para criar uma distribuição de poses mais ampla e diversificada.
   • Variação de Câmera: Amostras de ângulos de elevação (azimute e elevação) são geradas uniformemente para cobrir um espectro mais amplo de pontos de vista, incluindo mudanças de elevação que métodos anteriores ignoravam.

3. Arquitetura de Modelo de Difusão Condicional:

   • Baseado no Stable Diffusion pré-treinado, o modelo é adaptado em uma arquitetura de dupla ramificação (dual-branch):
     • Ramificação de Referência (Reference U-Net): Recebe a imagem original para extrair e preservar a identidade da pessoa.
     • Ramificação de Desruído (Denoising U-Net): Gera a nova imagem, condicionada pelas informações de pose e vista extraídas do SMPL.
   • Mecanismo de Atenção: A identidade é transferida da ramificação de referência para a de desruído através de mecanismos de atenção (self-attention), garantindo que a pessoa gerada mantenha suas características visuais (roupas, acessórios) enquanto a pose e o ângulo mudam.
   • Condicionamento Espacial: Os mapas de profundidade, normais e esqueleto são processados por uma rede "guia de pose" e concatenados ao ruído projetado no modelo de difusão.

4. Fluxo de Trabalho:

   • Treinamento do modelo generativo (fine-tuning do Stable Diffusion).
   • Geração de imagens sintéticas combinando identidades reais com poses e vistas diversificadas.
   • Treinamento de modelos de Re-ID (arbitrários) utilizando o conjunto de dados original + o conjunto aumentado.

3. Principais Contribuições

• Abordagem Integrada: É a primeira abordagem a tratar conjuntamente a diversificação de pose e ponto de vista de câmera, utilizando modelos de difusão modernos.
• Uso de Dados Externos: Introduz a incorporação sistemática de poses "fora de domínio" (external poses) para superar o viés de sobreajuste a poses comuns em datasets de Re-ID.
• Guia 3D Preciso: Utiliza renderização SMPL (profundidade e normais) para fornecer condições espaciais precisas ao modelo generativo, superando a ambiguidade de esqueletos 2D.
• Generalização Robusta: O método não depende de uma arquitetura específica de Re-ID; funciona como um pré-processamento de dados que melhora qualquer modelo base (ex: CLIP-ReID, SOLIDER).

4. Resultados Experimentais

Os experimentos foram realizados em benchmarks padrão (Market-1501, MSMT17, CUHK03) e em cenários desafiadores:

• Desempenho em Benchmarks: O método demonstrou ganhos consistentes em mAP (Mean Average Precision) e Rank-1.
  • No Market-1501, com o modelo CLIP-ReID, houve um aumento de +0.7 mAP e +0.1 R1 sobre a linha de base.
  • Em cenários mais desafiadores (como o MSMT17), os ganhos foram mais expressivos, com +3.0 mAP e +1.7 R1.
• Validação de Diversidade:
  • Ablação: A combinação de aumento de pose e vista superou o uso individual de cada um, confirmando um efeito sinérgico.
  • Comparação com Dados Reais: Adicionar mais imagens reais do mesmo domínio (sem diversidade de pose) não melhorou o desempenho tanto quanto o aumento sintético diversificado.
  • Cenários de "Zero-Shot": Em conjuntos de dados divididos artificialmente para testar generalização extrema (onde as poses ou vistas de teste não aparecem no treino), o Pose-dIVE melhorou significativamente a robustez do modelo.
• Dados Não-Pedestres: Em um conjunto de dados personalizado com comportamentos anômalos (violência, automutilação), o método obteve um ganho massivo de +13.6 mAP, demonstrando sua capacidade de generalizar para poses nunca vistas durante o treino.
• Qualidade Visual: As imagens geradas preservam a identidade (acessórios, roupas) e seguem fielmente as poses alvo, superando métodos baseados em GANs que tendem a produzir resultados borrados ou com perda de identidade.

5. Significância e Impacto

O Pose-dIVE representa um avanço significativo na área de Re-ID ao abordar a raiz do problema de generalização: a escassez de diversidade nos dados de treinamento.

• Viabilidade: Oferece uma solução escalável e de baixo custo para criar dados de treinamento diversificados, contornando as barreiras de privacidade e custo de coleta de dados reais.
• Robustez: Permite que modelos de Re-ID operem com maior eficácia em cenários do mundo real, onde câmeras e pessoas se movem em ângulos e posturas imprevisíveis.
• Paradigma de Aumento: Estabelece um novo padrão para aumento de dados, migrando de transformações geométricas simples para a geração sintética condicional baseada em modelos fundacionais (Foundation Models), aproveitando o conhecimento pré-treinado do mundo real para melhorar tarefas de visão computacional específicas.

Em resumo, o Pose-dIVE demonstra que a diversificação intencional da distribuição de dados de treinamento, guiada por modelos 3D e difusão, é crucial para superar os limites atuais de generalização em sistemas de vigilância e re-identificação.