Beyond Visual Cues: Semantic-Driven Token Filtering and Expert Routing for Anytime Person ReID

1. Planteamiento del Problema

El Re-Identificación de Personas en Cualquier Momento (AT-ReID) tiene como objetivo recuperar a individuos bajo condiciones arbitrarias que incluyen dos desafíos principales simultáneos:

• Cambios de modality: Transiciones entre cámaras diurnas (RGB) y nocturnas (IR).
• Cambios de vestimenta: Variaciones en la ropa desde intervalos cortos hasta largos (cambio total de atuendo).

Los métodos existentes suelen depender exclusivamente de características visuales puras (color, textura). Sin embargo, estas características son altamente inestables debido a factores ambientales (iluminación) y cambios de estilo (ropa). Cuando un sujeto cambia de ropa y la imagen pasa de RGB a IR, las pistas visuales convencionales se vuelven poco fiables, provocando una caída drástica en el rendimiento. Los enfoques anteriores (Tr-ReID, CM-ReID, CC-ReID) están especializados en escenarios específicos y no logran generalizar ante la combinación compleja de ambos factores.

2. Metodología Propuesta: STFER

Los autores proponen STFER (Semantic-driven Token Filtering and Expert Routing), un marco novedoso que integra Modelos de Lenguaje-Visión Grandes (LVLM) para generar texto semántico que actúe como una guía robusta e invariante.

El flujo de trabajo se divide en tres componentes clave:

A. Generación de Priors Semánticos (Text Generation)

• Se utiliza un LVLM avanzado (Qwen3-VL-4B) para generar descripciones de texto intrínsecas para cada identidad basándose en imágenes muestreadas.
• El texto se centra en atributos biométricos constantes (ej. tipo de cuerpo, género) en lugar de características visuales transitorias (ropa, iluminación).
• Este texto actúa como un "ancla" de identidad que es robusta tanto a los cambios de ropa como a las transiciones de modality (RGB-IR).

B. Filtrado de Tokens Visuales Semánticamente Dirigido (SVTF)

• Mecanismo: Utiliza un mecanismo de atención cruzada donde los tokens de texto actúan como consultas ($Q$) y los tokens visuales como claves ($K$).
• Función: Genera un mapa de atención que cuantifica la correlación semántica entre el texto descriptivo y las regiones visuales.
• Objetivo: Realzar las regiones visuales informativas (partes del cuerpo invariantes) y suprimir el ruido de fondo y las regiones redundantes relacionadas con la ropa o el entorno.

C. Enrutamiento de Expertos Semánticamente Dirigido (SER)

• Contexto: El sistema debe manejar 6 escenarios distintos (Diurno/Nocturno x Corto/Largo plazo).
• Mecanismo: A diferencia de los métodos de "Mezcla de Expertos" (MoE) tradicionales que usan solo el token CLS visual, STFER incorpora tanto el token CLS como las incrustaciones de texto globales para calcular los pesos de enrutamiento.
• Estrategia: Se aplica una estrategia de enmascaramiento estocástico (zero-masking) al texto global para preservar la capacidad de generalización.
• Resultado: Esto permite que el modelo active dinámicamente a los "expertos" (sub-redes) más relevantes para el escenario específico, asegurando un manejo robusto de múltiples condiciones.

3. Contribuciones Clave

1. Primer marco guiado semánticamente para AT-ReID: Introduce el uso de texto generado por LVLM como prior semántico para cerrar la brecha entre cambios de ropa y modality dentro de una arquitectura ViT.
2. Mecanismos SVTF y SER: Propone dos módulos específicos que utilizan el texto para filtrar ruido visual y guiar el enrutamiento de expertos, mejorando la localización de características invariantes.
3. Rendimiento y Generalización: Demuestra que el enfoque no solo supera a los métodos actuales en el conjunto de datos AT-USTC, sino que también exhibe una capacidad de generalización superior en 5 conjuntos de datos de ReID estándar (Market1501, CUHK03, SYSU-MM01, PRCC, LTCC).

4. Resultados Experimentales

El modelo fue evaluado principalmente en el conjunto de datos AT-USTC (270 identidades, 40k imágenes, 16 cámaras, múltiples escenarios).

• Rendimiento en AT-USTC:

  • Rank-1: 94.54% (mejora de +69.43% sobre el método anterior más cercano).
  • mAP: 93.46% (mejora de +125.86% sobre el estado del arte).
  • Supera consistentemente a todas las categorías de métodos (Tr-ReID, CC-ReID, CM-ReID, AT-ReID) en los 6 escenarios individuales.

• Generalización Cross-Domain:

  • Entrenado en AT-USTC y probado en otros 5 datasets, STFER alcanzó un promedio de 74.33% Rank-1 y 75.26% mAP, superando significativamente a los métodos basados en CLIP y otros enfoques especializados.

• Estudios de Ablación:

  • La inclusión de los priors de texto ($t_p$) por sí sola mejoró el Rank-1 en un 67.47% sobre la línea base visual pura.
  • La combinación de SVTF y SER añadió mejoras adicionales, demostrando que el filtrado visual y el enrutamiento guiado por semánta son complementarios y esenciales.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la Re-Identificación de Personas. En lugar de intentar aprender características visuales más robustas mediante ingeniería de pérdidas o arquitecturas complejas puramente visuales, STFER utiliza la comprensión semántica del lenguaje como un ancla de verdad.

• Robustez: Al basarse en atributos biológicos constantes descritos en texto, el modelo es inmune a los cambios de ropa y a las variaciones de iluminación que destruyen las pistas visuales.
• Versatilidad: Ofrece una solución unificada para el problema más difícil de ReID (AT-ReID), eliminando la necesidad de modelos separados para diferentes escenarios.
• Futuro: Abre la puerta a la integración de modelos generativos multimodales en tareas de visión por computadora donde la consistencia de identidad es crítica a pesar de cambios drásticos en la apariencia visual.

En resumen, STFER demuestra que la integración de semántica textual en el proceso de aprendizaje visual es la clave para lograr una re-identificación fiable en escenarios del mundo real complejos y dinámicos.