AttriBE: Quantifying Attribute Expressivity in Body Embeddings for Recognition and Identification

A continuación se presenta un resumen técnico detallado del artículo "AttriBE: Cuantificación de la expresividad de atributos en incrustaciones corporales para reconocimiento e identificación."

1. Planteamiento del Problema

Los sistemas de reidentificación de personas (ReID) son críticos para la vigilancia y la seguridad, pero a menudo codifican inadvertidamente atributos latentes no deseados (por ejemplo, género, postura, Índice de Masa Corporal) junto con la información de identidad. Aunque los métodos existentes se centran en mejorar la precisión, existe una falta de marcos principistas para cuantificar qué tan fuertemente se codifican estos atributos auxiliares en las representaciones de características profundas.

• La Brecha: Las técnicas tradicionales de "sondeo" (por ejemplo, regresión logística) solo miden la predictibilidad y pueden pasar por alto dependencias no lineales. Además, la mayoría de los análisis se limitan a imágenes del espectro visible, dejando un vacío en la comprensión de cómo se comporta la codificación de atributos bajo desplazamientos de dominio espectral cruzado (por ejemplo, Visible a Infrarrojo).
• El Objetivo: Cuantificar sistemáticamente la "expresividad" (información mutua) entre las incrustaciones corporales aprendidas y atributos específicos a través de diferentes profundidades de red, etapas de entrenamiento y modalidades de detección (Visible, SWIR, MWIR, LWIR).

2. Metodología

Los autores proponen AttriBE, un marco basado en la Estimación Neural de Información Mutua (MINE) para medir la dependencia estadística entre las características aprendidas y los atributos.

• Métrica Central: El marco utiliza la Información Mutua (MI), definida como $I(X; Z) = D_{KL}(P_{XZ} \| P_X \otimes P_Z)$, para cuantificar cuánto conocimiento de un atributo $Z$ reduce la incertidumbre sobre la representación de características $X$.
• Técnica de Estimación: Dado que la MI es intratable para datos de alta dimensión, los autores emplean MINE (Estimación Neural de Información Mutua). Una red neuronal secundaria (un MLP de dos capas) se entrena para maximizar una cota inferior de la MI entre las características extraídas y los vectores de atributos.
• Conjuntos de Datos:
  • BRIAR: Un conjunto de datos de gran escala en espectro visible con más de 1 millón de imágenes, utilizado para analizar la evolución jerárquica y temporal de los atributos.
  • IJB-MDF: Una referencia de múltiples dominios que contiene imágenes infrarrojas Visibles, de Onda Corta (SWIR), de Onda Media (MWIR) y de Onda Larga (LWIR), utilizada para el análisis espectral cruzado.
• Modelos Analizados:
  • BRIAR: Tres arquitecturas basadas en transformadores: SemReID, DCFormer y PFD.
  • IJB-MDF: Centrado en SemReID (debido a su superior rendimiento), comparando un modelo base (preentrenado en datos visibles) contra un modelo ajustado fino espectralmente cruzado.
• Atributos Analizados: Género, IMC, Pitch (inclinación de la cabeza) y Yaw (rotación de la cabeza). La edad también se incluyó en el análisis de MDF.

3. Contribuciones Clave

1. Primer Marco Basado en MI para ReID: Se introdujo la primera cuantificación sistemática, capa por capa, de la codificación de atributos corporales en modelos ReID basados en transformadores utilizando Información Mutua.
2. Análisis Espectral Cruzado: Se extendió el análisis de expresividad desde la luz visible hasta múltiples dominios infrarrojos (SWIR, MWIR, LWIR), revelando cómo las jerarquías de atributos cambian (o persisten) bajo desplazamientos de dominio espectral.
3. Caracterización Jerárquica y Temporal: Se mapeó cómo evoluciona la expresividad de los atributos a través de las capas de la red (tempranas a tardías) y las épocas de entrenamiento, distinguiendo entre señales transitorias (postura) y señales persistentes (morfometría).
4. Evaluación Comparativa: Se establecieron nuevas líneas base para la expresividad de atributos en el conjunto de datos IJB-MDF, demostrando que las incrustaciones basadas en el cuerpo superan a las basadas en el rostro en escenarios de espectro cruzado.

4. Resultados Clave

A. Espectro Visible (Conjunto de Datos BRIAR)

• Tendencias Jerárquicas:
  • IMC: Muestra la mayor expresividad y aumenta monótonamente con la profundidad de la red. Es el atributo más persistente, lo que sugiere que la información morfométrica está profundamente entrelazada con la identidad.
  • Postura (Yaw/Pitch): Exhibe una tendencia no monótona. La expresividad alcanza su punto máximo en capas intermedias (donde se construyen señales estructurales) pero disminuye en las capas finales a medida que el modelo se centra en características específicas de la identidad. Yaw es suprimido de manera más agresiva.
  • Género: Permanece codificado de manera moderada y relativamente estable a través de la profundidad, pero es menos dominante que el IMC o la postura.
  • Clasificación Final: En la representación final, el orden de expresividad es consistentemente IMC > Pitch > Género > Yaw.
• Diferencias entre Modelos: PFD mostró la mayor fuga de atributos (expresividad más fuerte), mientras que SemReID mostró la menor, lo que indica que aprende representaciones más enfocadas en la identidad y desacopladas.
• Evolución Temporal: A medida que avanza el entrenamiento, Yaw es suprimido progresivamente, mientras que el IMC permanece estable o aumenta, confirmando que los modelos filtran naturalmente la postura pero retienen la forma del cuerpo.

B. Análisis Espectral Cruzado (Conjunto de Datos IJB-MDF)

• Persistencia de la Morfometría: La dominancia del IMC persiste en todas las modalidades infrarrojas (SWIR, MWIR, LWIR), incluso cuando el modelo se entrena solo con datos visibles. Esto indica que la forma del cuerpo es una señal agnóstica a la modalidad.
• Comportamiento de la Postura: A diferencia del espectro visible, donde la postura alcanza un pico y luego cae, en el conjunto de datos MDF, los atributos de postura (Pitch/Yaw muestran un crecimiento monótono a través de la profundidad. Esto se atribuye a la variabilidad de postura restringida en el conjunto de datos MDF (principalmente vistas frontales), lo que lleva a menos competencia entre los factores de identidad y postura.
• Alineación Espectral Cruzada: El ajuste fino con datos multiespectrales alinea las trayectorias de expresividad de los dominios infrarrojos más cerca del dominio visible.
• Específicos del Infrarrojo:
  • MWIR: Muestra un crecimiento rápido en las capas tempranas, reteniendo una fuerte estructura geométrica/térmica.
  • LWIR: Comienza con baja expresividad (debido a la falta de textura) pero recupera correlaciones fuertes en capas más profundas, demostrando que los siluetas térmicas contienen señales estructurales suficientes para el IMC y la postura.
• Identidad vs. Atributos: La expresividad de la identidad es consistentemente mayor (rango 4–6) que la de los atributos auxiliares (rango 2–2.5), confirmando que, aunque los atributos están codificados, la identidad sigue siendo la señal principal.

5. Significado e Implicaciones

• Diagnóstico de Sesgo: El marco proporciona una herramienta cuantitativa para detectar la "fuga de atributos", ayudando a los desarrolladores a identificar si un modelo depende demasiado de correlaciones espurias (por ejemplo, IMC o postura) en lugar de características de identidad verdaderas.
• Robustez: El hallazgo de que el IMC es el atributo más persistente sugiere que la morfología corporal es una señal fundamental y robusta para ReID, incluso a través de desplazamientos espectrales. Sin embargo, esto también destaca un riesgo potencial de equidad si el IMC se correlaciona con clases protegidas.
• Directrices de Diseño:
  • Postura: Dado que la postura está fuertemente codificada en capas intermedias pero suprimida en capas finales, las características intermedias podrían ser útiles para tareas invariantes a la postura, mientras que las capas finales son mejores para la coincidencia de identidad pura.
  • Desacoplamiento: Los resultados sugieren que el entrenamiento estándar no desacopla completamente el IMC de la identidad. El trabajo futuro debería centrarse en la regularización consciente de atributos para mitigar sesgos no deseados sin sacrificar la robustez de las señales morfométricas.
• Generalización: El enfoque basado en MINE es aplicable tanto a atributos discretos (género) como continuos (IMC, postura), ofreciendo una herramienta de análisis unificada superior a los métodos basados en conceptos como TCAV para variables continuas.

En conclusión, AttriBE revela que los modelos ReID basados en transformadores codifican una jerarquía estructurada de atributos implícitos. Si bien logran suprimir con éxito la postura (yaw) en las representaciones finales, codican persistentemente la masa corporal (IMC), una tendencia que se mantiene incluso al cerrar la brecha entre las modalidades de detección visible e infrarroja.