VC-FeS: Viewpoint-Conditioned Feature Selection for Vehicle Re-identification in Thermal Vision

Resumen Técnico: VC-FeS para Reidentificación de Vehículos en Visión Térmica

Planteamiento del Problema
La Reidentificación de Vehículos (ReID) en visión térmica enfrenta desafíos significativos en comparación con el dominio RGB. Las imágenes térmicas carecen de información de color y detalles finos de textura, que son características discriminativas críticas en las tareas estándar de ReID. Además, los vehículos y las embarcaciones exhiben una alta similitud intraclase (por ejemplo, modelos idénticos) y una variabilidad interpuntual significativa (frente, lado, trasero). Los métodos existentes, a menudo preentrenados en datos RGB, luchan en el dominio térmico porque dependen de patrones de color y textura que están ausentes en la imaginería térmica en escala de grises. Además, la variabilidad en el punto de vista añade complejidad, ya que los vectores de características difieren drásticamente dependiendo del ángulo de la cámara, y determinar qué lados de un vehículo son visibles en una sola imagen sigue siendo un paso de preprocesamiento desafiante.

Metodología
El sistema propuesto, VC-FeS (Selección de Características Condicionada al Punto de Vista), aborda estos problemas mediante un marco de dos subsistemas: seguimiento de objetos y reidentificación condicionada al punto de vista.

1. Seguimiento y Detección de Objetos:
   El sistema adapta el algoritmo TraDeS para el dominio térmico. Utiliza una única columna vertebral (DLA-34) para realizar la detección y el seguimiento conjuntos. Dos módulos clave optimizan el rendimiento:

   • Asociación basada en Volumen de Costos (CVA): Genera incrustaciones y deriva movimientos de objetos para mejorar la precisión del seguimiento.
   • Deformador de Características Guiado por Movimiento (MFW): Mejora el vector de características del cuadro actual basado en el historial de seguimiento de cuadros pasados, propagando pistas de seguimiento para mejorar la detección en escenarios ocluidos.
     El sistema emite cuadros delimitadores rastreados que luego se recortan para la ReID.

2. Extracción de Primer Plano:
   Dado que las imágenes térmicas carecen de contraste de color, la segmentación convencional (por ejemplo, GrabCut) falla. Los autores emplean una arquitectura personalizada de codificador-decodificador con conexiones residuales para generar máscaras de primer plano. Este modelo se entrena con máscaras térmicas anotadas para aislar con precisión los vehículos del fondo a pesar de distribuciones de intensidad similares.

3. Selección de Características Condicionada al Punto de Vista:
   El algoritmo central de ReID extrae características del primer plano enmascarado utilizando un Dino-ViT (Transformador de Visión) preentrenado en ImageNet. Las características extraídas se mapean en cuatro espacios latentes mediante capas lineales paralelas: Global, Frente, Lado y Trasero.

   • Mapeo ArcFace: Cada espacio latente utiliza ArcFace para mapear los vectores de características sobre una hiperesfera, maximizando la varianza interclase y minimizando la varianza intraclase.
   • Cálculo de la Relación de Área: Un decodificador divide la máscara de primer plano en máscaras específicas de lado (frente, lado, trasero) para calcular la Relación de Área (AR) para cada punto de vista.
   • Cálculo de Distancia Ponderada: El sistema calcula distancias L2 entre las características de la consulta y la galería en cada uno de los cuatro espacios. Estas distancias se ponderan por las Relaciones de Área correspondientes (Ecuación 2). Este mecanismo asegura que las características de los puntos de vista visibles contribuyan a la puntuación final, mientras suprime las contribuciones de los puntos de vista no visibles (donde la AR es cero), manejando efectivamente la autooclusión.
   • Funciones de Pérdida: El modelo se entrena utilizando una combinación de Pérdida de Clasificación de Identidad (Entropía Cruzada) y Pérdida de Tercetos para aprender características de forma discriminativas.

Contribuciones Clave

• Algoritmo de ReID Novel: Los autores proponen un algoritmo condicionado al punto de vista que construye puntuaciones de confianza fusionando características de espacios latentes separados (frente, lado, trasero, global) ponderadas por la visibilidad del punto de vista. Este enfoque adapta los extractores ViT preentrenados en RGB al dominio térmico centrándose en la forma en lugar del color.
• Conjunto de Datos Marítimo Térmico: El artículo introduce un nuevo conjunto de datos público que contiene grabaciones de video e imágenes de objetos marítimos (embarcaciones pequeñas y grandes) desde varios ángulos, anotados con estándares COCO para detección, seguimiento y ReID. Se afirma que este es el primer conjunto de datos público de este tipo para la vigilancia marítima térmica.
• Adaptación al Dominio Térmico: El trabajo demuestra la adaptación exitosa del algoritmo de seguimiento TraDeS al dominio térmico, estableciendo una línea base para el seguimiento de embarcaciones, barcos, vehículos y humanos sin características de color.

Resultados
El sistema se evaluó en el conjunto de datos RGBNT100 (vehículo IR) y en el conjunto de datos marítimo térmico propietario de los autores.

• Rendimiento de ReID: El método propuesto superó al método SPAN del estado del arte.
  • En RGBNT100, logró una mejora del 19.7% en mAP.
  • En el conjunto de datos marítimo térmico, logró una mejora del 12.8% en mAP.
  • En el conjunto de datos de los autores, el método logró una precisión Top-1 del 81.82% y un mAP del 63.08%, superando el Top-1 del 78.37% y el mAP del 55.88% de SPAN.
• Rendimiento de Seguimiento: El algoritmo TraDeS adaptado logró una puntuación MOTA del 61.2% en el dominio IR, comparable a su rendimiento en el dominio RGB (63.5% en MOT17), con una velocidad de procesamiento de 15 fps adecuada para el seguimiento en tiempo real.
• Estudios de Ablación: Los resultados indicaron que el uso de múltiples espacios de puntos de vista (en lugar de solo la vista más grande) mejoró las puntuaciones Top-1 en un promedio del 15% en todos los conjuntos de datos. Se demostró que el uso del mapeo ArcFace y la extracción de características basada en ViT era crítico para organizar las características por orientación y mejorar la discriminación.

Significado y Afirmaciones
El artículo afirma que, al construir vectores de características condicionados al punto de vista y realizar comparaciones de características específicas de área, el sistema aprovecha eficazmente los extractores ViT existentes preentrenados en RGB mientras los adapta a los desafíos específicos del dominio térmico (falta de color/textura). Los autores enfatizan que esta es la primera vez que se realiza la reidentificación de embarcaciones marítimas en el dominio térmico. El método propuesto se presenta como una solución robusta para aplicaciones de vigilancia donde la información de color no está disponible, estableciendo una nueva línea base para la ReID térmica y el seguimiento marítimo. Los autores planean publicar su conjunto de datos marítimo térmico al público para facilitar más investigaciones en esta área poco explorada.