Resumen Técnico: OneTrackerV2 – Rastreo Visual Multimodal Unificado con Mezcla Dual de Expertos

1. Declaración del Problema

El rastreo de objetos visuales (VOT) se categoriza típicamente por la modalidad de entrada en rastreo RGB y rastreo RGB+X (incorporando datos de Profundidad, Térmica, Evento o Lenguaje). Los enfoques existentes sufren limitaciones significativas en escalabilidad, eficiencia y robustez:

• Rastreadores Separados: Diseñar y entrenar arquitecturas específicas para cada tarea para cada combinación de modalidades, lo que conduce a altos costos computacionales y falta de generalización.
• Rastreadores Basados en Adaptación: Ajustar finamente rastreadores RGB preentrenados para tareas multimodales posteriores. Este entrenamiento en múltiples etapas a menudo resulta en una convergencia subóptima y depende de pesos específicos de la tarea.
• Rastreadores Unificados Preliminares: Intentan manejar múltiples modalidades en un solo modelo, pero a menudo dependen de una concatenación ingenua de tokens. Esto conduce a entrelazamiento de características, donde la información heterogénea (movimiento espaciotemporal frente a patrones específicos de la modalidad) entra en conflicto dentro de un espacio compartido, causando interferencia en la optimización.
• Vulnerabilidad ante Modalidades Faltantes: La mayoría de los modelos unificados fallan o se degradan significativamente cuando faltan modalidades de entrada específicas (por ejemplo, Profundidad o Térmica) durante la inferencia, ya que dependen de configuraciones de entrada fijas.

2. Metodología: OneTrackerV2

Los autores proponen OneTrackerV2, un marco unificado diseñado para manejar diversas tareas de rastreo multimodal a través de una única arquitectura, parámetros compartidos y un entrenamiento de un solo paso de extremo a extremo. La arquitectura central consta de tres componentes principales:

2.1 Meta Merger (Fusor Meta)

Para abordar el desafío de integrar entradas heterogéneas sin entrelazamiento de características, los autores introducen el Meta Merger.

• Función: Mapea las características RGB y de modalidades auxiliares (por ejemplo, Profundidad, Térmica) a un espacio de incrustación unificado utilizando una incrustación meta aprendible ($F_{meta}$).
• Mecanismo: En lugar de una concatenación directa, la incrustación meta actúa como un mediador global. Interactúa con las características RGB y auxiliares mejoradas ($F'_{rgb}$ y $F'_{x}$) mediante transformaciones convolucionales ligeras.
• Beneficio: Esto crea una representación semántica compacta y agnóstica a la modalidad. Crucialmente, como la fusión se centra en la incrustación meta en lugar de una concatenación de entrada fija, el módulo permanece robusto incluso cuando faltan modalidades específicas.

2.2 Mezcla Dual de Expertos (DMoE)

Tras el Meta Merger, las características unificadas son procesadas por una columna vertebral de Transformador de Visión equipada con un módulo de Mezcla Dual de Expertos (DMoE). A diferencia de los diseños estándar de MoE que se centran en un único objetivo, DMoE desacopla explícitamente dos tareas de aprendizaje distintas:

1. T-MoE (MoE Temporal): Dedicado a capturar patrones complejos de coincidencia espaciotemporal y señales de movimiento.
2. M-MoE (MoE Multimodal): Dedicado a fusionar conocimiento multimodal y manejar características específicas de la modalidad.
3. Experto Compartido: Un experto común ($E_{shared}$) que procesa representaciones generales.

Mecanismos de Desacoplamiento:
Para evitar que T-MoE y M-MoE colapsen en patrones superpuestos, los autores emplean dos funciones de pérdida específicas:

• Pérdida de Desacoplamiento de Expertos ($L_{dis}$): Penaliza la similitud del coseno entre las salidas de T-MoE ($y_T$) y M-MoE ($y_M$), forzándolas a subespacios funcionales ortogonales.
• Pérdida de Agrupación del Enrutador ($L_{cluster}$): Obliga al enrutador de M-MoE a producir selecciones de expertos consistentes para muestras de la misma modalidad, manteniendo al mismo tiempo un enrutamiento discriminativo entre diferentes modalidades. Esto asegura que M-MoE aprenda abstracciones específicas de la modalidad en lugar de características genéricas.

2.3 Estrategias de Optimización

• Perturbación Estocástica de Modalidad: Durante el entrenamiento, el modelo emplea reemplazo aleatorio de modalidades (intercambiando entradas RGB y auxiliares) y enmascaramiento aleatorio de modalidades. Esto expone al Meta Merger a diversas configuraciones, mejorando la robustez ante datos faltantes y evitando la dependencia excesiva de sensores específicos.
• Función de Pérdida: El objetivo total combina pérdidas estándar de rastreo (clasificación, IoU, L1) con las pérdidas de desacoplamiento y agrupación propuestas.

3. Contribuciones Clave

1. Marco Unificado: Introducción de OneTrackerV2, un único marco que soporta diversas tareas de rastreo multimodal (RGB, RGB+D, RGB+T, RGB+E, RGB+N) mediante un entrenamiento de un solo paso con parámetros compartidos, eliminando la necesidad de arquitecturas específicas para la tarea o ajuste fino en múltiples etapas.
2. Módulo Meta Merger: Un módulo novedoso que agrega características heterogéneas en un espacio unificado, permitiendo una interacción cruzada de modalidades eficiente mientras mantiene la robustez bajo condiciones de modalidad faltante.
3. Mezcla Dual de Expertos (DMoE): Una solución estructural a los conflictos de objetivos heterogéneos que desacopla el modelado de relaciones espaciotemporales de la incrustación de características multimodales. Esto expande el espacio de representación y mejora el rendimiento con una sobrecarga computacional negligible.
4. Evaluación Exhaustiva: Demostración de un rendimiento de vanguardia (SOTA) en 5 tareas de rastreo y 12 benchmarks, incluyendo una robustez significativa en escenarios de modalidad faltante y alta eficiencia bajo compresión de modelos.

4. Resultados Experimentales

El artículo evalúa OneTrackerV2 frente a rastreadores SOTA en 12 benchmarks:

• Rastreo RGB: OneTrackerV2 supera a los rastreadores existentes solo RGB (por ejemplo, ODTrack, ARTrackV2) en benchmarks como LaSOT, TrackingNet y GOT-10k, a pesar de ser entrenado en un conjunto de datos multimodal unificado. Esto demuestra que el diseño unificado no compromete el rendimiento de modalidad única.
• Rastreo RGB+X: En benchmarks de rastreo de Profundidad, Térmica, Evento y Lenguaje (por ejemplo, DepthTrack, RGBT234, VisEvent, TNL2K), OneTrackerV2 supera a los métodos que dependen de arquitecturas específicas para la tarea o ajuste fino (por ejemplo, SUTrack, ViPT, STTrack).
• Robustez ante Modalidades Faltantes: En escenarios donde faltan modalidades auxiliares (por ejemplo, DepthTrack$_{miss}$), OneTrackerV2 supera significativamente a los métodos unificados anteriores (por ejemplo, SUTrack, SeqTrackv2), validando la efectividad del Meta Merger y el entrenamiento estocástico.
• Eficiencia y Compresión: El modelo mantiene velocidades de inferencia altas (hasta 72.4 FPS para la variante B224). Cuando se comprime a una variante de 6 capas, mantiene un rendimiento sólido (solo ~2% de caída) mientras alcanza 159 FPS, superando a las líneas base comprimidas como SuTrack-T224 tanto en velocidad como en precisión.

5. Significado y Afirmaciones

Los autores afirman que OneTrackerV2 representa un cambio de paradigma en el rastreo multimodal al demostrar que escalabilidad, robustez y generalización pueden lograrse sin sacrificar eficiencia ni precisión.

• Entrenamiento Unificado: El artículo argumenta que un proceso de entrenamiento de un solo paso con una arquitectura compartida es superior al ajuste fino en múltiples etapas, lo que a menudo conduce a una convergencia subóptima.
• Aprendizaje Desacoplado: Al separar explícitamente el modelado de movimiento (T-MoE) de la fusión de modalidades (M-MoE), el marco resuelve el "conflicto de características" inherente a los modelos unificados ingenuos, permitiendo que el modelo aprenda características distintas y complementarias.
• Robustez Práctica: El marco se destaca como particularmente significativo para aplicaciones del mundo real donde la disponibilidad de sensores puede variar (por ejemplo, una cámara térmica fallando), ya que mantiene el rendimiento sin requerir cambios arquitectónicos o reentrenamiento.

Los autores concluyen que OneTrackerV2 establece un nuevo estándar para el rastreo multimodal unificado, ofreciendo una solución escalable que equilibra alta precisión, eficiencia de inferencia y resiliencia ante variaciones de entrada.