Resumen Técnico: Re-Identificación de Personas Preservando la Privacidad a partir de Secuencias Temporales con Transformer y Optimización Húngara

Planteamiento del Problema

La Re-Identificación de Personas (Re-ID) es una tarea crítica en la vigilancia y el análisis del comportamiento humano, que tradicionalmente depende de imágenes RGB. Sin embargo, los métodos basados en RGB enfrentan desafíos significos: plantean preocupaciones de privacidad al capturar rasgos identificables como los rostros, y son altamente sensibles a las variaciones de iluminación, oclusiones y cambios de perspectiva. Si bien las imágenes de profundidad ofrecen una alternativa que preserva la privacidad al ocultar los rasgos faciales y proporcionar datos estructurales 3D invariantes a la iluminación, la Re-ID utilizando únicamente datos de profundidad permanece subexplorada, particularmente en configuraciones de vista superior donde los rasgos distintivos son limitados. Además, los enfoques existentes a menudo tienen dificultades para asociar individuos a través de diferentes secuencias temporales (por ejemplo, entrada vs. salida) sin depender del emparejamiento de vecinos más cercanos locales, lo cual puede ser subóptimo en escenarios ruidosos o concurridos.

Metodología

Los autores proponen un novedoso marco de Re-ID que prioriza la privacidad mediante el uso de imágenes de profundidad, específicamente en una configuración de vista superior. La metodología integra tres componentes principales:

1. Procesamiento de Secuencias Temporales con Transformers:
   En lugar de procesar fotogramas individuales, el modelo acepta secuencias temporales de Regiones de Interés (RoIs) extraídas de imágenes de profundidad (y de imágenes RGB para comparación).

   • Arquitectura: El sistema emplea un enfoque de doble codificador (para RGB-D) o un codificador único (para solo Profundidad). El flujo RGB utiliza una ResNet-50 preentrenada en ImageNet, mientras que el flujo de profundidad utiliza una variación de ResNet más pequeña y no preentrenada con un único filtro de entrada.
   • Fusión de Características: Los embeddings de ambas modalidades se concatenan para formar una representación conjunta ($N \times 2D$).
   • Modelado Temporal: Un codificador Transformer procesa estas secuencias concatenadas para capturar patrones de movimiento dinámicos y dependencias temporales. El modelo utiliza la autoatención para ponderar la importancia de cada fotograma sin la complejidad de los mecanismos de atención cruzada.
   • Agrupación (Pooling): Se aplica una operación de agrupación media (mean pooling) a los embeddings de la secuencia para generar una representación final robusta, mejorando la resiliencia al ruido y las oclusiones.

2. Aprendizaje de Características Discriminativas:
   Para mejorar la separación de características, los autores emplean Batch Hard Triplet Loss. A diferencia de la pérdida de triplete estándar, esta estrategia selecciona el positivo más difícil (el ejemplo de la misma identidad más similar) y el negativo más difícil (el ejemplo de diferente identidad más disímil) dentro de cada mini-lote.

   • En la configuración RGB-D, la pérdida total es la suma de tres componentes: Pérdida del Transformer (a nivel de secuencia), Pérdida de Profundidad y Pérdida de RGB. Esto asegura un aprendizaje equilibrado entre las modalidades.

3. Optimización Global mediante el Algoritmo Húngaro:
   La tarea de Re-ID se formula como un problema de asignación donde las secuencias entrantes (consulta/query) deben emparejarse con las secuencias salientes (galería).

   • Se construye una matriz de distancia utilizando distancias euclidianas entre embeddings.
   • Se aplica el algoritmo húngaro para minimizar el costo global de emparejamiento, asegurando una correspondencia uno a uno que evita conflictos (por ejemplo, múltiples consultas asignadas al mismo elemento de la galería). Esta optimización global reemplaza el emparejamiento de vecino más cercano local para mejorar la robustez frente al ruido o formas corporales similares.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Re-Identificación Solo de Profundidad: Los autores demuestran que la Re-ID de personas puede lograrse con éxito utilizando solo imágenes de profundidad. Esta modalidad preserva intrínsecamente la privacidad al omitir detalles faciales y de textura, lo que la hace adecuada para espacios públicos. El estudio muestra que los modelos basados en profundidad pueden alcanzar un rendimiento competitivo cuando se combinan con técnicas apropiadas de extracción de características y emparejamiento.
2. Utilización de Secuencias Temporales: Al procesar secuencias de fotogramas en lugar de instantáneas individuales, el enfoque captura la dinámica temporal y los patrones de movimiento (marcha, cambios de postura). Este procesamiento secuencial proporciona representaciones de características más robustas, mejorando significativamente la precisión, especialmente cuando los individuos tienen apariencias estáticas similares o cuando ocurren oclusiones.
3. Integración del Algoritmo Húngaro: La integración del algoritmo húngaro optimiza el proceso de asociación a través de múltiples vistas. Al resolver el problema de asignación global, el método asegura un emparejamiento preciso incluso en escenarios complejos con ruido o formas corporales similares, superando los enfoques de emparejamiento local estándar.

Resultados Experimentales

El método propuesto fue evaluado en tres conjuntos de datos de vista superior y frontal: TVPR2, GODPR y BIWI RGBD-ID.

• Métricas de Rendimiento: La evaluación se realizó mediante Características de Emparejamiento Acumulativo (CMC), Precisión Media Promedio (mAP) y Precisión.
• Profundidad vs. RGB-D:
  • En TVPR2, el modelo de solo Profundidad logró una precisión de Rank-1 del 88.4% (Precisión 94.6%), mientras que el modelo RGB-D alcanzó un 99.5% (Precisión 100.0%).
  • En GODPR, la de solo Profundidad logró un 78.6% de Rank-1, comparado con el 100.0% de IR-D.
  • En BIWI RGBD-ID (vista frontal), la de solo Profundidad logró un 60.7% de Rank-1, mientras que la RGB-D alcanzó un 96.4%.
• Impacto de la Optimización Húngara: La aplicación del algoritmo húngaro mejoró significativamente la Precisión en todos los conjuntos de datos. Notablemente, para los conjuntos de datos GODPR y BIWI, el algoritmo permitió una Precisión del 100.0% tanto para los modelos de solo Profundidad como para los RGB-D, a pesar de los puntajes de Rank-1 más bajos en las configuraciones de solo profundidad. Esto destaca la capacidad del algoritmo para resolver conflictos de emparejamiento global de manera efectiva.
• Comparación con el Estado del Arte: El modelo RGB-D propuesto superó a los métodos existentes (ej. CMOT, SeSAME, HRN) en los tres conjuntos de datos. Por ejemplo, en TVPR2, el método propuesto logró un 99.5% de Rank-1 (100.0% con Húngaro), superando el mejor anterior de 98.8%. En BIWI, mejoró el Rank-1 de 77.8% (CMOT) a 96.4%.
• Evaluación de Conjunto de Datos Cruzado: Al entrenar en TVPR2 y probar en conjuntos de datos no vistos (GODPR, BIWI), el modelo de solo Profundidad mostró robustez, particularmente en GODPR donde superó al modelo RGB-D (probablemente debido al desajuste de modalidad con los datos IR). El algoritmo húngaro aumentó consistentemente el rendimiento en estos escenarios de conjunto de datos cruzado.

Significancia y Reivindicaciones

El artículo afirma que su enfoque ofrece una solución práctica para la Re-ID de personas que preserva la privacidad en aplicaciones donde el anonimato individual es primordial, como centros de transporte y plazas públicas. Al aprovechar los datos de profundidad, el sistema evita capturar información facial sensible, mientras que sigue extrayendo suficientes características geométricas y antropométricas para la identificación.

Los autores enfatizan que, si bien los modelos de solo profundidad enfrentan limitaciones inherentes para distinguir individuos con formas corporales similares en comparación con los modelos RGB, estas limitaciones pueden mitigarse eficazmente mediante el procesamiento de secuencias temporales y la optimización global vía el algoritmo húngaro. Los resultados demuestran que la Re-ID basada solo en profundidad puede lograr un rendimiento competitivo, particularmente cuando el objetivo es correlacionar eventos de entrada y salida de manera sensible a la privacidad. El trabajo sugiere que esta combinación de modalidades y técnicas de optimización proporciona un camino viable para desplegar sistemas de Re-ID en entornos del mundo real sin comprometer la privacidad individual.

Se identifica como trabajo futuro el enfoque en el despliegue en tiempo real, el escalado a conjuntos de datos más grandes y la integración de modalidades adicionales como la imagen térmica o datos de múltiples cámaras.