Multi-Grained Vision-Language Alignment for Domain Generalized Person Re-Identification

1. Problema e Motivação

A Re-identificação de Pessoas Generalizada de Domínio (DG Re-ID) visa treinar modelos em domínios de origem (fontes) e testá-los em domínios alvo não vistos, superando as lacunas de domínio (diferenças em iluminação, ângulo de visão, resolução, etc.).

• Limitações dos Modelos Atuais:
  • Abordagens Puramente Visuais: Tendem a entrelaçar informações específicas do domínio com informações de identidade, degradando o desempenho em novos cenários.
  • Modelos Visão-Linguagem (VLMs) Existentes: Embora modelos como o CLIP tenham forte capacidade de generalização, a adaptação direta para Re-ID falha porque eles geram apenas características globais. Essas características são insensíveis às nuances sutis entre identidades (ex: padrões de roupas, penteados), que são cruciais para a distinção precisa de pessoas.
  • Abordagens de Partes Rígidas: Métodos anteriores que dividem a imagem em faixas (stripes) fixas não conseguem capturar partes do corpo deformáveis ou em poses variadas, prejudicando o alinhamento semântico.

2. Metodologia Proposta: MUVA

Os autores propõem o MUVA (Multi-grained Vision-language Alignment), um framework baseado no modelo CLIP que integra aprendizado de prompts e atenção adaptativa para alinhar visão e linguagem em múltiplas granularidades.

2.1. Aprendizado de Prompts Multi-Granulares

Em vez de usar descrições textuais manuais ou apenas globais, o MUVA introduz prompts aprendíveis para diferentes partes do corpo:

• Visão Global: Prompt para a pessoa inteira ("Uma foto de uma [X] pessoa").
• Visão Local: Prompts específicos para cabeça, tronco superior e pernas ("Uma foto de uma [H] cabeça...", "Um [U] tronco...", "As [L] pernas...").
• Esses prompts são otimizados para capturar nuances de identidade que descrições globais ignoram.

2.2. Módulo de Atenção Múltipla Auto-Atenção Mascada Adaptativamente (AM-MSA)

Para extrair características visuais finas correspondentes aos prompts de texto, o modelo substitui a divisão rígida por faixas por um módulo AM-MSA:

• Residual Mask Prediction (RMP): Um ramo de bypass dentro do Transformer que usa mecanismos de cross-attention para prever máscaras de partes do corpo (cabeça, tronco, pernas) camada por camada.
• Mask Gating (MG): Utiliza as máscaras previstas para criar máscaras de atenção, forçando o modelo a focar em regiões específicas e ignorar ruídos de fundo ou outras partes.
• Isso permite a extração adaptativa de características locais, independentemente da pose ou deformação do corpo.

2.3. Especialista de Grounding Visual (VGE) e Pseudo-rótulos

Para treinar o módulo AM-MSA sem anotação manual onerosa de partes do corpo:

• Utiliza-se um Modelo de Linguagem Grande Multimodal (MLLM), especificamente o CogVLM, como um "Especialista de Grounding Visual" (VGE).
• O VGE gera pseudo-rótulos (coordenadas de caixas delimitadoras) para as partes do corpo antes do treinamento.
• Um processo de calibração é aplicado para corrigir erros de alucinação do LLM (ex: caixas muito grandes ou pequenas).
• Essas máscaras servem como supervisão (perda de máscara) para ensinar o módulo AM-MSA a localizar partes durante o treinamento.

2.4. Estratégia de Treinamento em Duas Etapas

1. Etapa 1 (Alinhamento de Prompts): Otimização dos prompts aprendíveis para alinhar as descrições textuais multi-granulares com as características visuais globais, usando Perdas Contrastivas Prototípicas (PCL).
2. Etapa 2 (Aprendizado de Re-ID): Otimização do codificador de imagem (com o módulo AM-MSA) e do pescoço BN. O modelo é supervisionado por:
   • Perda de Identidade (ID Loss).
   • Perda Contrastiva Prototípica intra-modal.
   • Perda de Entropia Cruzada Imagem-para-Texto (para injetar conhecimento generalizável da linguagem).
   • Perda de Máscara (para treinar a localização de partes).

3. Contribuições Principais

1. Alinhamento Visão-Linguagem Multi-Granular: Propõe uma estratégia que vai além da visão global, utilizando prompts aprendíveis para descrever e alinhar partes específicas do corpo, capturando nuances de identidade essenciais para a generalização.
2. Módulo AM-MSA: Desenvolve um mecanismo de atenção adaptativa que localiza partes do corpo dinamicamente, superando as limitações das divisões rígidas por faixas.
3. Supervisão via MLLM: Introduz o uso de um especialista de grounding visual (CogVLM) para gerar pseudo-rótulos automáticos de partes do corpo, eliminando a necessidade de anotação manual detalhada e permitindo o treinamento eficiente do módulo de extração de características.
4. Desempenho SOTA: Demonstra superioridade significativa sobre métodos state-of-the-art em protocolos de generalização de domínio único e múltiplo.

4. Resultados Experimentais

Os experimentos foram conduzidos em conjuntos de dados padrão (Market1501, DukeMTMC-reID, MSMT17, CUHK03-NP) sob protocolos de generalização de domínio único e múltiplo.

• Desempenho Superior: O MUVA superou consistentemente os métodos mais recentes (SOTA), incluindo abordagens baseadas em VLM (como CLIP-FGDI, DMRL) e métodos puramente visuais (como QAConv, PAT).
  • Exemplo: No protocolo multi-fonte (MA+D+MS→C3), o MUVA alcançou 48.6% mAP e 49.6% Rank-1, superando o próximo melhor método (SVIL) em uma margem significativa.
  • Exemplo: No protocolo de domínio único (MS→MA), alcançou 59.5% mAP e 82.7% Rank-1, superando métodos que usam dados de destino para atualização ou pré-treinamento massivo.
• Eficiência: Embora o treinamento utilize um MLLM pesado, a inferência é eficiente, utilizando apenas o codificador de imagem (sem o VGE online), com latência aceitável (~69ms por lote) e baixo consumo de memória GPU.
• Ablações: Estudos demonstraram que:
  • A combinação de múltiplas granularidades (Global + Cabeça + Tronco + Pernas) é crucial para o melhor desempenho.
  • A linguagem é essencial para refinar o alinhamento em cenários multi-granulares.
  • O módulo AM-MSA supera significativamente a divisão por faixas tradicionais.
  • A calibração das máscaras do VGE é necessária para corrigir erros de localização.

5. Significância e Conclusão

O trabalho MUVA representa um avanço significativo na Re-identificação de Pessoas Generalizada de Domínio ao demonstrar que a integração de conhecimento linguístico com detalhes visuais finos é a chave para superar as lacunas de domínio.

• Inovação Conceitual: Move o foco de "apenas visão" ou "visão global com texto" para uma "alinhamento multi-granular", reconhecendo que a generalização requer a compreensão de detalhes específicos (partes do corpo) que são invariantes ao domínio.
• Viabilidade Técnica: Resolve o problema da falta de dados anotados de partes do corpo utilizando MLLMs como especialistas de supervisão, criando um pipeline escalável.
• Impacto Futuro: A abordagem sugere que modelos de fundação (Foundation Models) podem ser adaptados para tarefas de visão computacional complexas não apenas via prompts globais, mas através de arquiteturas híbridas que exploram a estrutura semântica do objeto de interesse.

Em resumo, o MUVA estabelece um novo estado da arte ao provar que a sinergia entre prompts de linguagem multi-granulares e extração visual adaptativa de partes é fundamental para criar modelos de Re-ID robustos e generalizáveis.