AttriBE: Quantifying Attribute Expressivity in Body Embeddings for Recognition and Identification

1. Declaração do Problema

Os sistemas de Reidentificação de Pessoas (ReID) são críticos para vigilância e segurança, mas frequentemente codificam inadvertidamente atributos latentes não intencionais (por exemplo, gênero, pose, Índice de Massa Corporal) juntamente com informações de identidade. Embora os métodos existentes focem em melhorar a precisão, há uma falta de frameworks principiais para quantificar quão fortemente esses atributos auxiliares são codificados nas representações de características profundas.

• A Lacuna: Técnicas tradicionais de "probing" (por exemplo, regressão logística) medem apenas a previsibilidade e podem ignorar dependências não lineares. Além disso, a maioria das análises limita-se a imagens do espectro visível, deixando uma lacuna na compreensão de como a codificação de atributos se comporta sob deslocamentos de domínio espectral cruzado (por exemplo, Visível para Infravermelho).
• O Objetivo: Quantificar sistematicamente a "expressividade" (informação mútua) entre incorporações corporais aprendidas e atributos específicos através de diferentes profundidades de rede, estágios de treinamento e modalidades de sensoriamento (Visível, SWIR, MWIR, LWIR).

2. Metodologia

Os autores propõem o AttriBE, um framework baseado em Estimação Neural de Informação Mútua (MINE) para medir a dependência estatística entre características aprendidas e atributos.

• Métrica Central: O framework utiliza Informação Mútua (MI), definida como $I(X; Z) = D_{KL}(P_{XZ} \| P_X \otimes P_Z)$, para quantificar quanto o conhecimento de um atributo $Z$ reduz a incerteza sobre a representação de características $X$.
• Técnica de Estimação: Como a MI é intratável para dados de alta dimensão, os autores empregam o MINE (Estimação Neural de Informação Mútua). Uma rede neural secundária (um MLP de duas camadas) é treinada para maximizar um limite inferior da MI entre as características extraídas e os vetores de atributo.
• Conjuntos de Dados:
  • BRIAR: Um conjunto de dados de grande escala no espectro visível com mais de 1 milhão de imagens, usado para analisar a evolução hierárquica e temporal dos atributos.
  • IJB-MDF: Um benchmark multi-domínio contendo imagens infravermelhas Visível, de Onda Curta (SWIR), de Onda Média (MWIR) e de Onda Longa (LWIR), usado para análise espectral cruzada.
• Modelos Analisados:
  • BRIAR: Três arquiteturas baseadas em transformadores: SemReID, DCFormer e PFD.
  • IJB-MDF: Focado no SemReID (devido ao seu desempenho superior), comparando um modelo base (pré-treinado em dados visíveis) contra um modelo ajustado finamente para espectro cruzado.
• Atributos Analisados: Gênero, IMC, Pitch (inclinação da cabeça) e Yaw (rotação da cabeça). A idade também foi incluída na análise do MDF.

3. Contribuições Principais

1. Primeiro Framework Baseado em MI para ReID: Introduziu a primeira quantificação sistemática, camada por camada, da codificação de atributos corporais em modelos ReID baseados em transformadores usando Informação Mútua.
2. Análise Espectral Cruzada: Estendeu a análise de expressividade da luz visível para múltiplos domínios infravermelhos (SWIR, MWIR, LWIR), revelando como as hierarquias de atributos mudam (ou persistem) sob deslocamentos de domínio espectral.
3. Caracterização Hierárquica e Temporal: Mapeou como a expressividade de atributos evolui através das camadas da rede (iniciais a tardias) e épocas de treinamento, distinguindo entre pistas transitórias (pose) e pistas persistentes (morfometria).
4. Benchmarking: Estabeleceu novas linhas de base para expressividade de atributos no conjunto de dados IJB-MDF, demonstrando que incorporações baseadas no corpo superam as baseadas no rosto em cenários de espectro cruzado.

4. Resultados Principais

A. Espectro Visível (Conjunto de Dados BRIAR)

• Tendências Hierárquicas:
  • IMC: Mostra a maior expressividade e aumenta monotonicamente com a profundidade da rede. É o atributo mais persistente, sugerindo que informações morfométricas estão profundamente entrelaçadas com a identidade.
  • Pose (Yaw/Pitch): Exibe uma tendência não monotônica. A expressividade atinge o pico em camadas intermediárias (onde pistas estruturais são construídas), mas declina nas camadas finais à medida que o modelo foca em características específicas de identidade. O Yaw é suprimido de forma mais agressiva.
  • Gênero: Permanece moderadamente codificado e relativamente estável através da profundidade, mas é menos dominante que o IMC ou a pose.
  • Classificação Final: Na representação final, a ordem de expressividade é consistentemente IMC > Pitch > Gênero > Yaw.
• Diferenças entre Modelos: O PFD mostrou o maior vazamento de atributos (expressividade mais forte), enquanto o SemReID mostrou o menor, indicando que ele aprende representações mais focadas na identidade e desconectadas.
• Evolução Temporal: À medida que o treinamento progride, o Yaw é progressivamente suprimido, enquanto o IMC permanece estável ou aumenta, confirmando que os modelos filtram naturalmente a pose, mas retêm a forma corporal.

B. Análise Espectral Cruzada (Conjunto de Dados IJB-MDF)

• Persistência da Morfometria: A dominância do IMC persiste em todas as modalidades infravermelhas (SWIR, MWIR, LWIR), mesmo quando o modelo é treinado apenas em dados visíveis. Isso indica que a forma corporal é uma pista agnóstica à modalidade.
• Comportamento da Pose: Diferentemente do espectro visível, onde a pose atinge o pico e depois cai, no conjunto de dados MDF, os atributos de pose (Pitch/Yaw mostram crescimento monotônico através da profundidade. Isso é atribuído à variabilidade de pose restrita no conjunto de dados MDF (principalmente vistas frontais), levando a menos competição entre fatores de identidade e pose.
• Alinhamento Espectral Cruzado: O ajuste fino em dados multiespectrais alinha as trajetórias de expressividade dos domínios infravermelhos mais próximas do domínio visível.
• Específicos do Infravermelho:
  • MWIR: Mostra crescimento rápido nas camadas iniciais, retendo forte estrutura geométrica/térmica.
  • LWIR: Começa com baixa expressividade (devido à falta de textura), mas recupera correlações fortes em camadas mais profundas, provando que silhuetas térmicas contêm pistas estruturais suficientes para IMC e pose.
• Identidade vs. Atributos: A expressividade da identidade é consistentemente maior (faixa de 4–6) do que a dos atributos auxiliares (faixa de 2–2,5), confirmando que, embora os atributos sejam codificados, a identidade permanece o sinal primário.

5. Significado e Implicações

• Diagnóstico de Viés: O framework fornece uma ferramenta quantitativa para detectar "vazamento de atributos", ajudando desenvolvedores a identificar se um modelo depende excessivamente de correlações espúrias (por exemplo, IMC ou pose) em vez de características reais de identidade.
• Robustez: A descoberta de que o IMC é o atributo mais persistente sugere que a morfologia corporal é uma pista fundamental e robusta para ReID, mesmo através de deslocamentos espectrais. No entanto, isso também destaca um risco potencial de equidade se o IMC correlacionar-se com classes protegidas.
• Diretrizes de Design:
  • Pose: Como a pose é fortemente codificada em camadas intermediárias, mas suprimida nas camadas finais, características intermediárias podem ser úteis para tarefas invariantes à pose, enquanto as camadas finais são melhores para correspondência pura de identidade.
  • Desconexão: Os resultados sugerem que o treinamento padrão não desconecta totalmente o IMC da identidade. Trabalhos futuros devem focar em regularização consciente de atributos para mitigar vieses não intencionais sem sacrificar a robustez das pistas morfométricas.
• Generalizabilidade: A abordagem baseada em MINE é aplicável tanto a atributos discretos (gênero) quanto contínuos (IMC, pose), oferecendo uma ferramenta de análise unificada superior a métodos baseados em conceitos como TCAV para variáveis contínuas.

Em conclusão, o AttriBE revela que modelos ReID baseados em transformadores codificam uma hierarquia estruturada de atributos implícitos. Embora eles suprimam com sucesso a pose (yaw) nas representações finais, eles codificam persistentemente a massa corporal (IMC), uma tendência que se mantém verdadeira mesmo ao fechar a lacuna entre as modalidades de sensoriamento visível e infravermelho.