Resumen Técnico: Desmezcla de Extremo a Extremo con Prompts de Material para el Seguimiento de Objetos Hiperspectrales

1. Declaración del Problema

El seguimiento de objetos hiperspectrales busca aprovechar las mediciones espectrales densas para mejorar la robustez frente a la ambigüedad de la apariencia, los cambios de iluminación y el desorden del fondo. Sin embargo, los enfoques existentes enfrentan dos limitaciones fundamentales:

1. Negligencia de las Propiedades Intrínsecas de los Materiales: Muchos métodos adaptan rastreadores basados en RGB utilizando estrategias de fusión espacial o de canales, tratando los datos hiperspectrales meramente como una pista auxiliar (por ejemplo, imágenes de color falso) en lugar de explotar las propiedades intrínsecas de los materiales codificadas en las firmas espectrales. Esto a menudo conduce a prompts dominados por ruido de fondo o respuestas espectralmente redundantes.
2. Cadenas de Desmezcla Desacopladas: Los métodos conscientes del material que utilizan la desmezcla hiperspectral suelen depender de cadenas externas y desacopladas optimizadas para la reconstrucción espectral en lugar de para la localización del objetivo. Estas cadenas introducen una latencia computacional significativa y producen mapas de abundancia que a menudo están contaminados por materiales de fondo o ruido, fallando en proporcionar representaciones discriminativas para el seguimiento. Además, la falta de optimización conjunta impide que el proceso de desmezcla se alinee con el objetivo específico de la localización del objetivo.

2. Metodología: E2E-MPT

Los autores proponen E2E-MPT (Seguimiento con Prompt de Material de Extremo a Extremo), el primer marco que integra estrechamente la desmezcla hiperspectral con el seguimiento de objetos bajo un objetivo de optimización conjunta unificado. El marco consta de tres componentes principales:

A. Módulo de Descomposición de Representación de Material (MRDM)

El MRDM reemplaza las cadenas de desmezcla externas con una columna vertebral de desmezcla basada en aprendizaje profundo (compatible con autoencoders como DAEU o CNNAEU) que se optimiza conjuntamente dentro del bucle de seguimiento.

• Red de Desmezcla: Una estructura de codificador-decodificador mapea las entradas hiperspectrales a mapas de abundancia ($A$) y reconstruye la señal espectral.
• Descomposición de Mapas de Abundancia (AMD): Para abordar la desalineación entre el espacio de desmezcla y el espacio de características de seguimiento, y para desentrañar las pistas de materiales complementarias, el MRDM aplica:
  1. Un adaptador de canal 1×1 para transformar los coeficientes de abundancia crudos en una base de material condicionada al seguimiento.
  2. Una transformada de wavelet Haar 1D para descomponer los mapas de abundancia adaptados en dos ramas complementarias:
     • Rama de baja frecuencia ($M_L$): Agrega respuestas de material dominantes y suaves para proporcionar un soporte estable del objetivo.
     • Rama de alta frecuencia ($M_H$): Aísla las variaciones contrastantes inter-canales para suprimir la interferencia de fondo y mejorar la discriminación local.

B. Módulo de Prompt de Material Mejorado con Wavelet de Doble Rama (DWMPM)

Este módulo genera prompts conscientes del material a partir de las ramas descompuestas mediante la interacción con la columna vertebral de seguimiento congelada (basada en OSTrack) a través de las capas del transformador.

• Diseño de Fusión Asimétrica: Reconociendo las propiedades estructurales distintas de las ramas, el módulo emplea:
  • Atención Cruzada para la rama de baja frecuencia para modelar respuestas de material distribuidas globalmente y permitir la condicionamiento de características de largo alcance.
  • Convolución por Grupos para la rama de alta frecuencia para capturar eficientemente variaciones de material locales y de grano fino en el espacio.
• Los prompts se actualan iterativamente a través de las capas del transformador, combinando atención cruzada para el contexto global y convolución para la preservación de detalles locales.

C. Módulo de Fusión de Prompt de Frecuencia (FPFM)

El FPFM fusiona adaptativamente los prompts de las ramas de baja y alta frecuencia en un espacio latente compacto antes de inyectarlos en la columna vertebral.

• En lugar de una simple suma elemento a elemento, el módulo proyecta los prompts de ramas concatenados en un espacio latente compartido, los refina mediante un cuello de botella ligero con conexiones residuales y recupera la dimensión original.
• El prompt fusionado se añade residualmente a las características de la columna vertebral, permitiendo que el rastreador explote pistas de materiales complementarias sin interrumpir las representaciones preentrenadas.

D. Objetivo de Entrenamiento

El marco se optimiza mediante una función de pérdida unificada:
$$\mathcal{L}_{total} = (1 - \lambda_u)\mathcal{L}_{tracking} + \lambda_u\mathcal{L}_{unmixing}$$

• $\mathcal{L}_{tracking}$: Pérdidas estándar de seguimiento (clasificación, regresión de desplazamiento, regresión de escala).
• $\mathcal{L}_{unmixing}$: Una pérdida de desmezla orientada al objetivo ponderada. A diferencia de las pérdidas de reconstrucción estándar, esta introduce una máscara espacial binaria derivada de las puntuaciones de candidatos del rastreador. Asigna mayor importancia a los componentes espectrales asociados al objetivo y suprime las respuestas dominadas por el fondo, alineando explícitamente el objetivo de descomposición con la precisión de localización.

3. Contribuciones Clave

1. Primer Marco de Extremo a Extremo: E2E-MPT es el primero en optimizar conjuntamente la desmezcla hiperspectral y el seguimiento de objetos, unificando la descomposición de materiales y la localización del objetivo bajo un único objetivo.
2. Prompts de Material Descompuestos por Frecuencia: El diseño del MRDM y el FPFM permite la explotación de pistas de materiales relevantes para el objetivo a través de múltiples escalas espectrales (estabilidad de baja frecuencia y contraste de alta frecuencia) mientras se suprime la redundancia.
3. Interacción de Doble Rama: El DWMPM modela eficazmente los tokens hiperspectrales y las representaciones de materiales utilizando una combinación de atención cruzada y convolución, equilibrando la interacción espectral-espacial global con el detalle estructural local.
4. Pérdida Orientada al Objetivo: La introducción de una pérdida de desmezcla ponderada alinea explícitamente la descomposición de materiales con el objetivo de seguimiento, fomentando representaciones discriminativas.
5. Generalizabilidad: El marco es agnóstico al modelo y demuestra efectividad a través de diferentes columnas vertebrales de desmezcla (DAEU, CNNAEU).

4. Resultados Experimentales

Se realizaron experimentos extensos en tres benchmarks estándar: HOTC2020, HOTC2023 y HOTC2024.

• Rendimiento: E2E-MPT logra un rendimiento de última generación (SOTA) en todos los benchmarks, superando tanto a rastreadores basados en RGB (usando entradas de color falso) como a rastreadores hiperspectrales existentes.
  • En HOTC2020, logra una Precisión de Distancia (DP) de 0.966 y un Área Bajo la Curva (AUC) de 0.734, superando al mejor anterior (SSTtrack) en un 1.1%/2.1%.
  • En HOTC2023, lidera en todos los dominios espectrales (VIS, NIR, RedNIR), mostrando mejoras significativas sobre el competidor consciente del material más cercano (MMF) que depende de una cadena desacoplada (por ejemplo, +6.3%/9.3% en NIR).
  • En HOTC2024, mantiene el estatus SOTA con una DP de 0.939 y un AUC de 0.758 en el dominio NIR.
• Análisis de Atributos: El método muestra una robustez particular en condiciones desafiantes como Variación de Iluminación, Baja Resolución y Desorden de Fondo, donde las pistas espectrales a nivel de material permanecen estables a pesar de los cambios de apariencia.
• Eficiencia: A pesar de la complejidad añadida de la desmezcla, E2E-MPT mantiene velocidades de inferencia competitivas (26 FPS en HOTC2020) con solo un aumento moderado en parámetros (1.78M adicionales) en comparación con el modelo base.
• Estudios de Ablación:
  • Eliminar la optimización de extremo a extremo (usando desmezcla externa) degrada significativamente el rendimiento.
  • La descomposición de wavelet Haar 1D supera a la división aleatoria y a la FFT.
  • El diseño de operadores asimétricos (Atención Cruzada para baja frecuencia, Convolución para alta frecuencia) se valida como superior a los diseños simétricos.

5. Significado y Afirmaciones

El artículo afirma que el significado principal de E2E-MPT radica en cambiar el paradigma de la preprocesamiento desacoplado a la optimización conjunta. Al tratar la desmezcla no como una tarea de reconstrucción independiente, sino como un componente optimizado directamente para la localización del objetivo, el marco genera representaciones de materiales que son intrínsecamente más discriminativas y robustas.

Los autores enfatizan que:

• Las pistas de materiales son más efectivas cuando el proceso de descomposición está guiado por el objetivo de seguimiento (mediante la pérdida orientada al objetivo).
• La descomposición en el dominio de la frecuencia permite que el modelo separe el soporte estable del objetivo de la interferencia de fondo, abordando el problema del "píxel mixto" común en el seguimiento hiperspectral de baja resolución.
• El marco demuestra que el seguimiento hiperspectral puede superar a los métodos basados en RGB incluso cuando las entradas RGB se convierten en imágenes de color falso, siempre que se utilicen adecuadamente las propiedades intrínsecas de los materiales.

Limitaciones Reconocidas:
Los autores notan modestamente que el marco depende de la calidad del modelo de desmezcla (potencialmente fallando en materiales no vistos) y actualmente carece de modelado temporal explícito, lo que lo hace vulnerable a oclusiones a largo plazo y cambios extremos de iluminación donde las pistas de materiales de un solo cuadro son insuficientes. Se sugiere trabajo futuro para incorporar pistas temporales.