Resumen Técnico: LESSViT: Aprendizaje de Representación Robusto de Imágenes Hiperespectrales bajo Desplazamiento de Configuración Espectral

1. Declaración del Problema

La imagen hiperespectral (HSI) captura firmas espectrales de alta resolución en cientos de bandas de longitud de onda contiguas, permitiendo una caracterización detallada de materiales, estados biofísicos y procesos ambientales. Sin embargo, surge un desafío fundamental debido a la variabilidad en las configuraciones espectrales entre diferentes sensores. A diferencia de las imágenes naturales con canales RGB fijos, los sensores HSI difieren significativamente en la cobertura de longitudes de onda, el muestreo de bandas y la dimensionalidad de los canales. En consecuencia, los modelos entrenados en una configuración espectral fija a menudo no logran generalizar a otros sensores, sufriendo un "desplazamiento espectral".

Los enfoques existentes enfrentan una compensación entre eficiencia y expresividad:

• Modelado Implícito: Los Transformadores de Visión (ViT) estándar suelen colapsar la dimensión espectral en la dimensión de canal o utilizan incrustaciones de parches fijas. Aunque son computacionalmente eficientes, estos métodos asumen una estructura de canal fija y no modelan explícitamente las relaciones dependientes de la longitud de onda, lo que limita la generalización entre sensores.
• Modelado Explícito: Tratar los canales espectrales como tokens independientes y aplicar una atención espacial-espectral completa permite un modelado explícito, pero incurre en una complejidad computacional prohibitiva de $O(N^2C^2)$, donde $N$ es el número de tokens espaciales y $C$ es el número de canales espectrales. Esto lo hace intratable para entradas HSI de alta dimensionalidad.

2. Metodología: LESSViT

Los autores proponen LESSViT (Transformador de Visión Espacial-Espectral Eficiente de Rango Bajo), una arquitectura flexible para sensores diseñada para lograr una generalización espectral cruzada a través de tres componentes centrales:

2.1 Tokenización Agnóstica al Canal (Incrustación de Parches Acoplada)

Para soportar diversas dimensionalidades espectrales, LESSViT emplea una capa de incrustación de parches acoplada. En lugar de aprender pesos distintos para cada canal, el modelo utiliza pesos de proyección compartidos en todos los canales. Dada una entrada HSI de tamaño $C \times H \times W$, se divide en parches y se proyecta en tokens utilizando un mapeo lineal compartido. Esto asegura que el modelo pueda procesar entradas con diferentes números de canales espectrales sin reentrenamiento ni cambios arquitectónicos.

2.2 Atención Espacial-Espectral Eficiente de Rango Bajo (Atención LESS)

Para resolver la compensación entre eficiencia y expresividad, los autores introducen la Atención LESS, una factorización estructurada de rango bajo de la atención espacial-espectral.

• Descomposición: El método explota la separabilidad estructural de los datos hiperespectrales, descomponiendo las interacciones conjuntas en componentes solo espaciales y solo espectrales.
• Mecanismo: Los tokens de entrada se descomponen en tokens espaciales ($X_S$) y tokens espectrales ($X_C$) utilizando una Capa de Agrupación por Atención. La atención espacial y espectral ($A_S$ y $A_C$) se calculan de forma independiente.
• Aproximación de Rango Bajo: La atención espacial-espectral conjunta se aproxima mediante el producto de Kronecker de estos componentes: $A = \sum_{i=1}^r A_C^i \otimes A_S^i$, donde $r$ es el rango de la aproximación de rango bajo.
• Reducción de Complejidad: Este enfoque reduce la complejidad computacional de $O(N^2C^2D)$ a $O(r(N^2d_1 + C^2d_2 + NCD))$, donde $d_1$ y $d_2$ son subdimensiones. Esto permite el modelado explícito de dependencias conjuntas sin calcular la matriz de atención completa sobre toda la cuadrícula espacial-espectral.

2.3 Codificación Posicional Consciente de la Longitud de Onda (SSRoPE)

Para modelar las relaciones espectrales de manera consistente bajo configuraciones variables, los autores introducen la Incrustación Posicional Rotatoria Espacial-Espectral (SSRoPE).

• Dimensión Espacial: Aplica RoPE 2D estándar sobre las coordenadas espaciales $(u, v)$.
• Dimensión Espectral: Aplica RoPE 1D sobre la dimensión espectral utilizando longitudes de onda físicas $\lambda$ en lugar de índices de canal fijos.
• Beneficio: Este diseño asegura que la codificación posicional refleje la estructura física del espectro, haciendo que el modelo sea robusto a cambios en la cobertura de longitudes de onda y en el muestreo de bandas.

2.4 Preentrenamiento: HyperMAE

Para habilitar un preentrenamiento escalable, los autores proponen HyperMAE (Autoencoder Enmascarado Hiperespectral):

• Enmascaramiento Desacoplado: En lugar de un enmascaramiento aleatorio sobre tokens aplanados, HyperMAE aplica enmascaramiento independiente a parches espaciales y canales espectrales (75% de enmascaramiento por dimensión). Esto preserva la estructura separable requerida por la Atención LESS.
• Muestreo Jerárquico de Canales (HCS): Durante el preentrenamiento, solo se muestrea aleatoriamente un subconjunto de canales dentro de un rango de proporción predefinido. Esto reduce el costo de memoria y computación del decodificador para la reconstrucción densa, manteniendo al mismo tiempo la exposición a entradas de canales parciales diversos. Durante el ajuste fino y la inferencia, el decodificador se elimina y el modelo procesa entradas de canales completos de manera eficiente.

3. Contribuciones Clave

1. Atención LESS: Una factorización estructurada de rango bajo de la atención espacial-espectral que reduce la complejidad del modelado de interacciones conjuntas de cuadrática a casi lineal en términos de la cantidad de canales, permitiendo un modelado explícito a escala.
2. Arquitectura LESSViT: Un ViT agnóstico al canal con incrustaciones de parches acopladas y codificación posicional consciente de la longitud de onda (SSRoPE), diseñado para un modelado consistente y robusto bajo configuraciones espectrales variables.
3. Preentrenamiento HyperMAE: Un marco de preentrenamiento auto-supervisado adaptado con enmascaramiento espacial-espectral desacoplado y muestreo jerárquico de canales, haciendo que el entrenamiento sea tratable para HSI de alta dimensionalidad.
4. Benchmarks de Generalización Espectral Cruzada: El establecimiento de un protocolo de evaluación riguroso en el benchmark SpectralEarth que simula la variabilidad entre sensores (desplazamiento espectral, longitudes de onda no vistas y expansión de canales) para evaluar sistemáticamente la generalización.

4. Resultados Experimentales

Los autores evaluaron LESSViT en el benchmark SpectralEarth, entrenando en una configuración fija ($C_{120VNIR+}$) y probando en cuatro escenarios: distribución interna, desplazamiento espectral, longitudes de onda no vistas y expansión de canales.

• Robustez al Desplazamiento Espectral: LESSViT superó consistentemente a las líneas base (SpectralViT, DOFA, HyperSigma) en configuraciones fuera de distribución. Por ejemplo, bajo la configuración de "longitudes de onda no vistas" ($C_{82}$), LESSViT mostró una degradación del rendimiento significativamente menor en comparación con SpectralViT, que sufrió caídas de hasta el 90% en ciertas tareas.
• Rendimiento en Distribución Interna: Aunque SpectralViT logró el rendimiento más alto en configuraciones de distribución interna (probablemente debido a su especialización en canales fijos y tamaño de parche más pequeño), LESSViT permaneció competitivo, ocupando el segundo lugar en la mayoría de los casos.
• Eficiencia y Escalabilidad: LESSViT demostró una latencia de inferencia casi constante a medida que aumentaba el número de canales. En contraste, las líneas base que utilizan atención completa explícita (como ChannelViT) mostraron una latencia que aumentaba rápidamente y fallaron (Fuera de Memoria) en conteos altos de canales (por ejemplo, $C=200$).
• Estudios de Ablación: Eliminar SSRoPE o utilizar codificación posicional SIREN estándar degradó el rendimiento, particularmente en tareas de segmentación, confirmando la importancia de la codificación consciente de la longitud de onda. Se demostró que el Muestreo Jerárquico de Canales mejora la eficiencia del entrenamiento (reducción del 17% en el tiempo) con un impacto mínimo en el rendimiento posterior.

5. Significado y Afirmaciones

El artículo afirma que el modelado espacial-espectral explícito y eficiente es esencial para un aprendizaje de representación hiperespectral escalable y generalizable.

• Abordando la Compensación: LESSViT reconcilia con éxito la compensación entre eficiencia y expresividad. Evita las prohibiciones computacionales de la atención espacial-espectral completa mientras supera las limitaciones del modelado espectral implícito en ViT estándar.
• Flexibilidad del Sensor: Al desacoplar el costo computacional de la dimensionalidad del canal y utilizar codificación de longitud de onda física, LESSViT proporciona una vía para que los modelos generalicen entre diferentes sensores sin reentrenar en cada configuración específica.
• Limitaciones: Los autores reconocen modestamente que la generalización a configuraciones espectrales completamente no vistas o altamente dispersas sigue siendo un desafío. Además, aunque la Atención LESS es lineal en complejidad, reducir los tamaños de parche para mejorar la calidad de la segmentación aún introduce una cantidad sustancial de tokens, lo cual puede ser computacionalmente exigente incluso con el método propuesto.

En conclusión, LESSViT ofrece una solución escalable para la generalización espectral cruzada, demostrando que la factorización estructurada de rango bajo y el diseño agnóstico al canal son críticos para una IA hiperespectral robusta.