Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

En el zumbido silencioso de la red de vigilancia de una ciudad, las cámaras vigilan constantemente, capturando el flujo de personas día y noche. Durante décadas, los sistemas de seguridad han dependido de cámaras de luz visible, el mismo tipo que captura fotografías a color, para identificar individuos por su ropa y rasgos. Pero cuando el sol se pone y la luz se desvanece, estas cámaras tienen dificultades; los colores se deslavan y las texturas se vuelven sombras indistinguibles. Para resolver esto, los equipos de seguridad combinan cada vez más cámaras visibles con sensores infrarrojos, que ven el calor que irradia el cuerpo de una persona en lugar de la luz que se refleja en su ropa. Esto crea un nuevo desafío: ¿cómo reconoce una computadora que una persona vista en un video infrarrojo granulado, basado en el calor, es la misma persona vista en un video de color nítido de una cámara diferente? Esta tarea, conocida como reidentificación de personas visible-infrarroja, requiere que un sistema ignore las diferencias masivas en cómo las dos cámaras ven el mundo y se concentre, en cambio, en la identidad única de la persona que camina a través del encuadre.

La dificultad se profundiza cuando el sujeto está en movimiento. Una persona rara vez es una imagen estática; es una secuencia de movimientos, un paso o marcha que cambia con cada paso. Los sistemas informáticos existentes a menudo intentan resolver esto mirando a la persona completa a la vez o cortando la imagen en tiras rígidas y fijas, como si se rebanara una hogaza de pan. Sin embargo, las personas no caminan en líneas rectas; se retuercen, giran y se inclinan. Una rebanada rígida podría capturar la cabeza de una persona en un fotograma y su hombro en el siguiente, rompiendo la continuidad de la identidad. Además, la forma en que una persona se ve en la oscuridad es fundamentalmente diferente a cómo se ve en la luz, lo que dificulta que una computadora haga coincidir la misma parte del cuerpo a través de estas dos vistas diferentes. Investigadores de la Universidad de Changzhou han propuesto un nuevo enfoque para este problema, uno que abandona el corte rígido en favor de un método más fluido y adaptativo que aprende a rastrear regiones corporales específicas a medida que se mueven y cambian.

Los investigadores desarrollaron un sistema que llaman VM-SPMamba, el cual opera comprendiendo primero toda la escena y luego enfocándose en partes específicas y flexibles de la persona. En lugar de obligar a la computadora a mirar tiras horizontales fijas de la imagen, el sistema aprende a identificar "partes suaves". Imagine una computadora que puede decidir, por sí misma, dónde se encuentran la cabeza, el torso y las piernas de una persona en cada fotograma, incluso si la persona se está inclinando o si el ángulo de la cámara cambia. El sistema hace esto utilizando una visión global de la persona para guiar su atención, permitiéndole agrupar píxeles en regiones significativas que se adaptan a la postura de la persona. Esto significa que, si una persona levanta el brazo, el sistema ajusta los límites de la región del "brazo" para seguir el movimiento, en lugar de quedarse pegado a un cuadro preestablecido que podría cortar el brazo por la mitad.

Una vez que estas regiones flexibles son identificadas, el sistema trata a cada una como su propia historia independiente. Rastrea la región de la "cabeza" a través de todos los fotogramas del video, luego rastrea la región del "torso" a través de los mismos fotogramas, y así sucesivamente. Al separar el video en estos distintos flujos de movimiento, el sistema puede aprender cómo evoluciona cada parte específica del cuerpo a lo largo del tiempo. Esto es crucial porque la forma en que se mueve una cabeza es diferente a la forma en que se mueve una pierna, y estas diferencias son clave para identificar a una persona. Los investigadores descubrieron que, al modelar estas partes por separado y luego combinar sus historias, el sistema se vuelve mucho mejor para ignorar las diferencias confusas entre las cámaras infrarrojas y las visibles. Aprende que un patrón específico de movimiento en la vista infrarroja corresponde al mismo patrón en la vista visible, incluso si los colores y las texturas son completamente diferentes.

Para enseñar al sistema esta habilidad, los investigadores utilizaron un poderoso método de entrenamiento que involucra un componente de "lenguaje". No solo alimentaron al sistema con imágenes, sino también con descripciones textuales de identidades, permitiendo que la computadora vincule los patrones visuales del movimiento de una persona con un concepto semántico de quién es esa persona. Esto actúa como un puente, ayudando al sistema a comprender que la firma de calor de una persona caminando es la misma identidad que su imagen a color, aunque no se parezcan en nada. El sistema fue probado en dos grandes conjuntos de datos que contienen cientos de miles de imágenes de escenarios de vigilancia del mundo real. En la prueba de infrarrojo a visible, donde el sistema intenta encontrar a una persona en un video a color después de haberla visto en un video basado en el calor, el nuevo método logró una tasa de éxito del 72.3 por ciento. En la dirección opuesta, alcanzó el 72.4 por ciento. Estas cifras representan un salto significativo, superando los mejores resultados previos por más de diez puntos porcentuales en algunas medidas.

Los investigadores también probaron su sistema en un conjunto de datos mucho más grande y complejo con más de tres mil personas diferentes y secuencias de video más largas. Aunque el sistema no logró la puntuación más alta en cada una de las métricas en esta prueba más difícil, se mantuvo altamente competitivo, identificando correctamente a la persona correcta como la mejor coincidencia en casi el 70 por ciento de los casos de infrarrojo a visible y el 70 por ciento de los casos de visible a infrarrojo. Esto sugiere que el método es lo suficientemente robusto como para manejar la naturaleza desordenada e impredecible de la vigilancia del mundo real, donde las personas caminan entre multitudes, cambian de dirección y aparecen en diversas condiciones de iluminación. El estudio mostró explícitamente que los métodos antiguos, que dependen de cortes fijos e inalterables de la imagen, funcionan peor cuando las personas se mueven o cuando los ángulos de la cámara cambian. Al demostrar que las partes flexibles y adaptativas son superiores a las rígidas, la investigación ofrece un camino más claro para construir sistemas de vigilancia que funcionen de manera confiable día y noche.

El éxito de este enfoque radica en su capacidad para imitar la forma en que los humanos podrían rastrear intuitivamente a una persona: enfocándose en el flujo de sus partes corporales en lugar de en una instantánea estática. El sistema no necesita que se le diga dónde están la cabeza o las piernas; aprende a encontrarlas observando cómo se mueven los píxeles en conjunto. Esta adaptabilidad le permite manejar las distorsiones causadas por caminar, girar y las diferentes formas en que las cámaras capturan el mundo. Si bien el sistema actual todavía depende de datos etiquetados para aprender estos patrones y utiliza un número fijo de partes del cuerpo, los resultados demuestran que alejarse de las estructuras rígidas hacia representaciones fluidas y conscientes del contenido es una estrategia poderosa. A medida que las redes de vigilancia continúan expandiéndose y dependiendo de la tecnología infrarroja para la seguridad nocturna, métodos como este proporcionan las herramientas necesarias para asegurar que la persona correcta sea identificada, independientemente de la hora del día o de la cámara que capture la escena.