Resumen Técnico: Aprendizaje de Representaciones Invariantes de Modalidad a Nivel de Secuencia Impulsadas por el Lenguaje para la Re-Identificación de Personas Basada en Video Visible-Infrarrojo

1. Planteamiento del Problema

La Re-Identificación de Personas Basada en Video Visible-Infrarrojo (VVI-ReID) tiene como objetivo emparejar identidades de peatones a través de secuencias de video visibles (RGB) e infrarrojas (IR) bajo condiciones de iluminación variables. Aunque es efectivo para la vigilancia 24/7, esta tarea enfrenta dos desafíos principales:

1. La Brecha de Modalidad: Existen discrepancias semánticas significativas entre los datos RGB e IR debido a sus diferentes mecanismos de imagen (reflectancia vs. radiación térmica), lo que dificulta la alineación de características cross-modal.
2. Modelado Espacio-Temporal: Los métodos existentes luchan por modelar eficientemente las dependencias temporales dinámicas en secuencias de video mientras mantienen una interacción cross-modal suficiente.

Los enfoques de vanguardia actuales, particularmente aquellos que aprovechan el modelo CLIP (Pre-entrenamiento de Lenguaje-Imagen Contrastivo), enfrentan limitaciones específicas:

• Modelado Ineficiente: Métodos como VLD introducen tokens adicionales (hubs espacio-temporales) en el codificador de visión, lo que causa un aumento cuadrático en la complejidad computacional.
• Interacción Insuficiente: Las arquitecturas de red compartidas suelen pasar por alto el papel crítico de la interacción explícita de características cross-modal, lo que resulta en características invariantes de modalidad que carecen de robustez.
• Falta de Guía Explícita: Depender únicamente de pérdidas a nivel de identidad no logra imponer explícitamente la consistencia cross-modal, lo que conduce a una alineación de modalidad inadecuada.

2. Metodología: LSMRL

Los autores proponen LSMRL (Aprendizaje de Representaciones Invariantes de Modalidad a Nivel de Secuencia Impulsadas por el Lenguaje), un marco construido sobre el modelo CLIP con modificaciones mínimas. La arquitectura consta de tres módulos complementarios y un sistema de pérdida múltiple.

A. Módulo de Aprendizaje de Características Espacio-Temporales (STFL)

Diseñado para modelar secuencias de video de manera eficiente sin un exceso de carga computacional, el módulo STFL descompone el codificador de visión de CLIP en tres submódulos:

1. Codificador de Visión Básico: Reutiliza los primeros 8 bloques Transformer de CLIP pre-entrenado para extraer semántica espacial fina (ej. contornos, texturas) de fotogramas individuales.
2. Codificador de Grupo Espacio-Temporal (STG): Utiliza los últimos 4 bloques Transformer pero modifica el mecanismo de Auto-Atención de Cabezales Múltiples (MHSA). Divide los cabezales de atención en dos grupos:
   • Cabezales Temporales: Permiten la interacción entre fotogramas calculando la atención entre un fotograma $t$ y un fotograma vecino $t + \Delta t$, capturando patrones de movimiento dinámico.
   • Cabezales Espaciales: Mantienen la atención intra-fotograma para refinar las relaciones espaciales (ej. posiciones de las partes del cuerpo).
   • Eficiencia: Este diseño reutiliza parámetros pre-entrenados y evita introducir nuevos tokens, manteniendo la complejidad computacional sin cambios.
3. Codificador de Desplazamiento de Parches Temporales (TPS): Añade un bloque transformer con un mecanismo de desplazamiento de parches temporales. Desplaza cíclicamente los tokens de los fotogramas a lo largo de la dimensión temporal antes de aplicar la auto-atención. Esto permite que el mecanismo estándar de atención solo espacial capture naturalmente dependencias temporales de largo alcance e interacciones dispersas sin aumentar el número de parámetros.

B. Módulo de Difusión Semántica (SD)

Para cerrar la brecha semántica entre las modalidades RGB e IR, el módulo SD inyecta semántica de texto compartida en las características visuales:

• Extracción de Texto: Un prompt aprendible ("Una persona [X]1...[X]m observada tanto en el día como en la noche") es codificado por el codificador de texto de CLIP congelado para generar una incrustación semántica de texto compartida ($T_e$).
• Mecanismo de Difusión: $T_e$ actúa como un vector de consulta en un mecanismo de atención cross-modal contra las matrices de clave y valor derivadas de las secuencias de características RGB e IR. Esto difunde la información semántica compartida en ambas modalidades, generando representaciones preliminares invariantes de la modalidad y estableciendo una consistencia de grano grueso.

C. Módulo de Interacción Cross-Modal (CMI)

Para refinar las representaciones y eliminar la brecha de modalidad residual, el módulo CMI emplea auto-atención bidireccional cross-modal:

• Interacción Bidireccional: Las características RGB actúan como consultas para las características IR (y viceversa), permitiendo que cada modalidad absorba patrones discriminativos de identidad de la otra mientras suprime el ruido específico de la modalidad.
• Agregación a Nivel de Secuencia: Se aplica el Agrupamiento de Promedio Temporal (TAP) a los tokens [cls] de las características interactuadas para producir las representaciones finales invariantes de modalidad a nivel de secuencia ($f^R$ y $f^I$).

D. Sistema de Pérdida Múltiple

El objetivo de entrenamiento combina múltiples funciones de pérdida para guiar el aprendizaje en diferentes etapas:

• Pérdidas STFL: Las pérdidas de Identidad (ID) y de Triplete Regularizado Ponderado (WRT) se aplican a las salidas de STG y TPS para asegurar la discriminabilidad intra-modal. Una pérdida de contraste de Video-a-Texto (V2T) alinea las características de video con la semántica de texto compartida.
• Pérdidas a Nivel de Modalidad:
  • Pérdida de Discriminación de Modalidad (MD): Impone compacidad dentro de la misma identidad a través de las modalidades mientras separa identidades diferentes.
  • Pérdida de Mejora de Modalidad Compartida (MSEL): Minimiza explícitamente la distancia entre las representaciones cross-modales de la misma muestra, asegurando que las características aprendidas sean verdaderamente invariantes de la modalidad.

3. Contribuciones Clave

1. Marco Novedoso: La propuesta de LSMRL, que aprovecha la alineación semántica de CLIP para guiar el aprendizaje invariante de modalidad a nivel de secuencia, abordando las limitaciones en eficiencia, interacción y guía de pérdida.
2. Módulo STFL Eficiente: Un diseño eficiente en parámetros que reutiliza los bloques de CLIP e introduce mecanismos STG y TPS para capturar la dinámica espacio-temporal sin aumentar la carga computacional o el número de tokens.
3. Mecanismo de Interacción de Dos Etapas: La integración de SD (difusión semántica de grano grueso) y CMI (atención bidireccional de grano fino) para reducir progresivamente la brecha de modalidad RGB/IR.
4. Guía de Pérdida Explícita: La construcción de un sistema de pérdida múltiple que incorpora las pérdidas MD y MSEL para reforzar explícitamente la consistencia cross-modal y la generalización de características.

4. Resultados Experimentales

Se realizaron experimentos extensos en dos conjuntos de datos a gran escala: HITSZ-VCM y BUPTCampus.

• Desempeño en HITSZ-VCM: LSMRL logró una precisión de Rank-1 del 75.1% (I2V) y 75.2% (V2I), superando al método SOTA anterior (VLD) por un 0.8% y 0.6% respectivamente en Rank-1, y alcanzando los puntajes mAP más altos (60.9% y 58.2%).
• Desempeño en BUPTCampus: El método demostró una superioridad significativa, logrando un Rank-1 de 71.1% (I2V) y 67.0% (V2I). Esto representa una mejora del 5.8% en el Rank-1 de I2V sobre VLD y una mejora del 14.6% sobre el mejor método no basado en CLIP (UCT).
• Eficiencia: A pesar de las ganancias en desempeño, la fase de inferencia de LSMRL requiere menos parámetros (88.53M) y menores FLOPs en comparación con otros métodos basados en CLIP como TF-CLIP y VLD, debido a la eliminación del módulo SD y el codificador de texto durante la inferencia.
• Estudios de Ablación:
  • El módulo STFL por sí solo mejoró el Rank-1 en aproximadamente un 7-8% respecto al baseline.
  • La adición del módulo SD proporcionó el mayor impulso individual (+13.8% Rank-1), confirmando la importancia de la difusión semántica.
  • El módulo CMI y las pérdidas a nivel de modalidad refinaron aún más el desempeño, validando la necesidad de la interacción bidireccional y las restricciones de consistencia explícitas.
• Visualización: Las visualizaciones de T-SNE y CAM confirmaron que LSMRL produce cúmulos intra-clase más compactos, una mejor alineación cross-modal (puntos RGB/IR superpuestos) y una atención más enfocada en partes del cuerpo discriminativas en comparación con los baselines.

5. Significado y Limitaciones

Significado:
El artículo afirma que LSMRL demuestra el gran potencial de los modelos de lenguaje-visión pre-entrenados para mejorar el desempeño de VVI-ReID. Al integrar la guía semántica impulsada por el lenguaje con un modelado espacio-temporal eficiente, el método logra una precisión y robustez superiores manteniendo la eficiencia computacional. Destaca que la guía de pérdida explícita a nivel de modalidad y la interacción cross-modal suficiente son críticas para aprender representaciones invariantes de modalidad robustas.

Limitaciones:
Los autores reconocen dos limitaciones principales:

1. Alineación de Grano Grueso: El método depende del backbone de grano grueso de CLIP, lo que puede dificultar la alineación efectiva de la semántica local y de grano fino.
2. Información de Modalidad Residual: Las características invariantes de modalidad aprendidas pueden aún contener cierta información específica de la modalidad, lo que podría interferir con la capacidad discriminativa.

Trabajo Futuro:
Los autores proponen introducir técnicas de alineación de grano fino y diseñar redes de desacoplamiento de características en investigaciones futuras para mejorar aún más la capacidad discriminativa y el desempeño de ReID.