Resumo Técnico: Aprendizado de Representações Invariantes de Modalidade em Nível de Sequência Orientadas por Linguagem para Reidentificação de Pessoas Baseada em Vídeo Visível-Infravermelho

1. Definição do Problema

A Reidentificação de Pessoas Baseada em Vídeo Visível-Infravermelho (VVI-ReID) visa combinar identidades de pedestres através de sequências de vídeo visíveis (RGB) e infravermelhas (IR) sob variadas condições de iluminação. Embora eficaz para vigilância 24/7, esta tarefa enfrenta dois desafios primários:

1. O Gap de Modalidade: Discrepâncias semânticas significativas existem entre os dados RGB e IR devido aos seus diferentes mecanismos de imagem (reflectância vs. radiação térmica), dificultando o alinhamento de características cross-modais.
2. Modelagem Espaço-Temporal: Métodos existentes lutam para modelar eficientmente as dependências temporais dinâmicas em sequências de vídeo enquanto mantêm uma interação cross-modal suficiente.

As abordagens de estado da arte atuais, particularmente aquelas que utilizam o modelo CLIP (Pre-training de Contraste de Linguagem-Imagem), enfrentam limitações específicas:

• Modelagem Ineficiente: Métodos como o VLD introduzem tokens adicionais (hubs espaço-temporais) no codificador de visão, causando um aumento quadrático na complexidade computacional.
• Interação Insuficiente: Arquiteturas de rede compartilhadas frequentemente negligenciam o papel crítico da interação explícita de características cross-modais, resultando em características invariantes de modalidade que carecem de robustez.
• Falta de Orientação Explícita: Depender apenas de perdas de nível de identidade falha em impor explicitamente a consistência cross-modal, levando a um alinhamento de modalidade inadequado.

2. Metodologia: LSMRL

Os autores propõem o LSMRL (Aprendizado de Representação Invariante de Modalidade em Nível de Sequência Orientado por Linguagem), um framework construído sobre o modelo CLIP com modificações mínimas. A arquitetura consiste em três módulos complementares e um sistema de múltiplas perdas.

A. Módulo de Aprendizado de Características Espaço-Temporais (STFL)

Projetado para modelar sequências de vídeo de forma eficiente sem excesso de sobrecarga computacional, o módulo STFL decompõe o codificador de visão do CLIP em três sub-módulos:

1. Codificador de Visão Básico: Reutiliza os primeiros 8 blocos Transformer do CLIP pré-treinado para extrair semântica espacial fina (ex: contornos, texturas) de quadros individuais.
2. Codificador de Grupo Espaço-Temporal (STG): Utiliza os últimos 4 blocos Transformer, mas modifica o mecanismo de Multi-Head Self-Attention (MHSA). Ele divide as cabeças de atenção em dois grupos:
   • Cabeças Temporais: Permitem a interação entre quadros ao calcular a atenção entre um quadro $t$ e um quadro vizinho $t + \Delta t$, capturando padrões de movimento dinâmicos.
   • Cabeças Espaciais: Mantêm a atenção intra-quadro para refinar relações espaciais (ex: posições de partes do corpo).
   • Eficiência: Este design reutiliza parâmetros pré-treinados e evita a introdução de novos tokens, mantendo a complexidade computacional inalterada.
3. Codificador de Deslocamento de Patch Temporal (TPS): Adiciona um bloco transformer com um mecanismo de deslocamento de patch temporal. Ele desloca ciclicamente os tokens dos quadros ao longo da dimensão temporal antes de aplicar a auto-atenção. Isso permite que o mecanismo padrão de apenas espacial capture naturalmente dependências temporais de longo alcance e interações esparsas sem aumentar o número de parâmetros.

B. Módulo de Difusão Semântica (SD)

Para reduzir o gap semântico entre as modalidades RGB e IR, o módulo SD injeta semântica de texto compartilhada entre as modalidades nas características visuais:

• Extração de Texto: Um prompt aprendível ("Uma pessoa [X]1...[X]m observada tanto de dia quanto de noite") é codificado pelo codificador de texto congelado do CLIP para gerar um embedding semântico de texto compartilhado ($T_e$).
• Mecanismo de Difusão: $T_e$ atua como um vetor de consulta em um mecanismo de atenção cross-modal contra as matrizes de chave e valor derivadas das características das sequências RGB e IR. Isso difunde a informação semântica compartilhada em ambas as modalidades, gerando representações preliminares invariantes de modalidade e estabelecendo consistência de grão grosso.

C. Módulo de Interação Cross-Modal (CMI)

Para refinar as representações e eliminar o gap de modalidade residual, o módulo CMI emprega auto-atenção bidirecional cross-modal:

• Interação Bidirecional: As características RGB atuam como consultas para as características IR (e vice-versa), permitindo que cada modalidade absorva padrões discriminativos de identidade do outro enquanto suprime o ruído específico da modalidade.
• Agregação de Nível de Sequência: O Pooling de Média Temporal (TAP) é aplicado aos tokens [cls] das características interagidas para produzir as representações finais invariantes de modalidade em nível de sequência ($f^R$ e $f^I$).

D. Sistema de Múltiplas Perdas

O objetivo de treinamento combina múltiplas funções de perda para guiar o aprendizado em diferentes estágios:

• Perdas STFL: Perda de Identidade (ID) e perda de Triplet Regularizada Ponderada (WRT) são aplicadas às saídas STG e TPS para garantir a discriminabilidade intra-modal. Uma perda de contraste Vídeo-para-Texto (V2T) alinha as características de vídeo com a semântica de texto compartilhada.
• Perdas de Nível de Modalidade:
  • Perda de Modalidade Discriminativa (MD): Impõe compacidade dentro da mesma identidade através das modalidades enquanto separa identidades diferentes.
  • Perda de Reforço de Modalidade Compartilhada (MSEL): Minimiza explicitamente a distância entre as representações cross-modais da mesma amostra, garantindo que as características aprendidas sejam verdadeiramente invariantes de modalidade.

3. Principais Contribuições

1. Framework Inovador: A proposta do LSMRL, que utiliza o alinhamento semântico do CLIP para guiar o aprendizado invariante de modalidade em nível de sequência, abordando limitações em eficiência, interação e orientação de perda.
2. Módulo STFL Eficiente: Um design de parâmetros eficientes que reutiliza blocos do CLIP e introduz os mecanismos STG e TPS para capturar a dinâmica espaço-temporal sem aumentar o overhead computacional ou a contagem de tokens.
3. Mecanismo de Interação em Dois Estágios: A integração de SD (difusão semântica de grão grosso) e CMI (atenção bidirecional de grão fino) para reduzir progressivamente o gap de modalidade RGB/IR.
4. Orientação de Perda Explícita: A construção de um sistema de múltiplas perdas incorporando as perdas MD e MSEL para reforçar explicitamente a consistência cross-modal e a generalização de características.

4. Resultados Experimentais

Experimentos extensos foram conduzidos em dois conjuntos de dados de larga escala: HITSZ-VCM e BUPTCampus.

• Desempenho no HITSZ-VCM: O LSMRL alcançou uma acurácia Rank-1 de 75,1% (I2V) e 75,2% (V2I), superando o método anterior SOTA (VLD) em 0,8% e 0,6% respectivamente em Rank-1, e atingindo as maiores pontuações de mAP (60,9% e 58,2%).
• Desempenho no BUPTCampus: O método demonstrou superioridade significativa, alcançando 71,1% de Rank-1 (I2V) e 67,0% de Rank-1 (V2I). Isso representa uma melhoria de 5,8% em I2V Rank-1 sobre o VLD e uma melhoria de 14,6% sobre o melhor método não-CLIP (UCT).
• Eficiência: Apesar dos ganhos de desempenho, a fase de inferência do LSMRL requer menos parâmetros (88,53M) e menos FLOPs comparado a outros métodos baseados em CLIP como TF-CLIP e VLD, devido à remoção do módulo SD e do codificador de texto durante a inferência.
• Estudos de Ablação:
  • O módulo STFL sozinho melhorou o Rank-1 em ~7-8% sobre o baseline.
  • Adicionar o módulo SD proporcionou o maior impulso individual (+13,8% Rank-1), confirmando a importância da difusão semântica.
  • O módulo CMI e as perdas de nível de modalidade refinaram ainda mais o desempenho, validando a necessidade de interação bidirecional e restrições de consistência explícitas.
• Visualização: Visualizações T-SNE e CAM confirmaram que o LSMRL produz clusters intra-classe mais densos, melhor alinhamento cross-modal (pontos RGB/IR sobrepostos) e atenção mais focada em partes do corpo discriminativas em comparação com os baselines.

5. Significância e Limitações

Significância:
O artigo afirma que o LSMRL demonstra o grande potencial dos modelos de visão-linguagem pré-treinados para melhorar o desempenho de VVI-ReID. Ao integrar o guia semântico orientado por linguagem com modelagem espaço-temporal eficiente, o método alcança precisão e robustez superiores enquanto mantém a eficiência computacional. Destaca que a orientação de perda de nível de modalidade explícita e a interação cross-modal suficiente são críticas para aprender representações invariantes de modalidade robustas.

Limitações:
Os autores reconhecem duas limitações principais:

1. Alinhamento de Grão Grosso: O método depende do backbone de grão grosso do CLIP, que pode ter dificuldade em alinhar efetivamente semânticas locais e finas.
2. Informação de Modalidade Residual: As características invariantes de modalidade aprendidas podem ainda conter alguma informação específica da modalidade, o que poderia interferir na capacidade discriminativa.

Trabalhos Futuros:
Os autores propõem introduzir técnicas de alinhamento de grão fino e projetar redes de desacoplamento de características em pesquisas futuras para aumentar ainda mais a capacidade discriminativa e o desempenho de ReID.