Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

Resumen Técnico: Transferencia de Aprendizaje de Modelos RGB a Imágenes Hiperespectrales con Descomposiciones Tensoriales Entrenables

Enunciado del Problema
La imagen hiperespectral (HSI) captura datos a través de cientos de longitudes de onda espectrales, ofreciendo información rica para tareas en teledetección, imagen médica y horticultura. Sin embargo, el entrenamiento de modelos de aprendizaje profundo en HSI se ve obstaculizado por la escasez de conjuntos de datos grandes y diversos en comparación con la imaginería RGB. En consecuencia, la transferencia de aprendizaje desde modelos base preentrenados en RGB (por ejemplo, entrenados en ImageNet) es una estrategia deseable. No obstante, existe una incompatibilidad fundamental: los modelos base estándar esperan entradas RGB de 3 canales, mientras que las imágenes hiperespectrales tienen dimensiones de canal significativamente mayores ($\hat{C}_{in} > 3$).

Las soluciones existentes para esta discrepancia dimensional sufren de compromisos significativos:

1. Adaptación del lado de la imagen: Reducir las imágenes hiperespectrales a 3 canales mediante reducción de dimensionalidad (por ejemplo, PCA) o selección de canales preserva la arquitectura del modelo pero descarta información espectral crucial.
2. Adaptación del lado del modelo: Reemplazar la primera capa convolucional con una que tenga $\hat{C}_{in}$ canales de entrada preserva los datos de la imagen pero requiere entrenar nuevos pesos desde cero. Esto sacrifica los patrones espaciales preaprendidos de los filtros originales, aumenta el número de parámetros entrenables y eleva el riesgo de sobreajuste en conjuntos de datos HSI pequeños.

Metodología
Los autores proponen un enfoque novedoso que cierra esta brecha mediante el uso de descomposiciones tensoriales parcialmente entrenables. La idea central es que los filtros convolucionales en los modelos base pueden descomponerse en componentes espaciales y espectrales. Al separar estos, el método puede retener los patrones espaciales aprendidos de grandes conjuntos de datos RGB mientras adapta los componentes espectrales al dominio hiperespectral específico.

El proceso implica los siguientes pasos:

1. Descomposición: Los pesos de la primera capa convolucional ($W^1$) de un modelo base preentrenado se descomponen utilizando descomposiciones tensoriales CP (Canonic Polyadic) o Tucker.
   • Descomposición CP: Aproxima el filtro como una suma de tensores de rango uno, separando el filtro en un vector espectral y dos vectores espaciales (horizontal y vertical).
   • Descomposición Tucker: Proyecta el tensor en un tensor núcleo de menor dimensión mediante multiplicaciones de matrices. Los autores aplican una descomposición Tucker parcial, comprimiendo solo la dimensión espectral mientras preservan la estructura espacial.
2. Reemplazo de Componentes: Los componentes espectrales originales de 3 canales se descartan. Se reemplazan con nuevos componentes espectrales entrenables de dimensión $\hat{C}_{in}$ (que coinciden con la entrada hiperespectral).
3. Congelamiento y Entrenamiento: Los componentes espaciales (derivados de los filtros preentrenados originales) se congelan. Solo se entrenan los nuevos componentes espectrales y la capa final de clasificación.
4. Implementación: Las capas descompuestas se implementan utilizando convoluciones separables agrupadas. Para CP, esto implica una convolución punto a punto seguida de dos convoluciones profundas; para Tucker, una convolución punto a punto seguida de una convolución 2D estándar.

Contribuciones Clave

• Mecanismo de Transferencia Novel: El artículo introduce un método para adaptar modelos base RGB de 3 canales a entradas hiperespectrales sin sacrificar la información espacial preentrenada ni descartar datos espectrales.
• Eficiencia de Parámetros: Al congelar los componentes espaciales, el método reduce drásticamente el número de parámetros entrenables en comparación con reentrenar la primera capa desde cero, mitigando así los riesgos de sobreajuste en escenarios con escasez de datos.
• Preservación de Priors Espaciales: El enfoque mantiene las "formas elípticas coloreadas" y los comportamientos de detección de bordes característicos de los filtros de modelos base preentrenados, los cuales son cruciales para tareas de visión robustas.

Resultados Experimentales
Los autores evaluaron su método en cinco conjuntos de datos: tres de teledetección (Botswana, Indian Pines, Kennedy Space Center) y dos de horticultura (Hojas de aguacate, Hojas de uva). Compararon sus enfoques CP y Tucker contra dos líneas base:

• Reduce: Reducción de dimensionalidad a 3 canales.
• Scratch: Reemplazo de la primera capa con una nueva capa entrenada desde cero.

Hallazgos:

• Precisión: Los métodos CP y Tucker propuestos superaron consistentemente a la línea base "Reduce". Fueron generalmente más precisos que la línea base "Scratch", particularmente en conjuntos de datos complejos como 'Hojas de uva', donde "Scratch" tuvo un rendimiento deficiente.
• Robustez: En experimentos de sobreajuste (variando las tasas de aprendizaje y entrenando durante épocas extendidas), el método "Scratch" sobreajustó significativamente más rápido que los enfoques descompuestos. Los métodos descompuestos demostraron mayor estabilidad.
• Independencia del Modelo Base: Los resultados se mantuvieron a través de diferentes arquitecturas de modelos base (AlexNet, DenseNet, ResNet18).
• Sensibilidad al Rango: Si bien un rango de descomposición de $R=2$ generalmente proporcionó el mejor equilibrio, aumentar el rango a $R=3$ no produjo consistentemente mejoras adicionales, lo que sugiere la necesidad de ajuste de hiperparámetros.

Significado y Afirmaciones
El artículo afirma que este enfoque resuelve con éxito la discrepancia dimensional entre las imágenes hiperespectrales y los modelos base RGB, preservando tanto la información espectral de la imagen como los priores espaciales del modelo. Los autores afirman que su método es más preciso y más robusto contra el sobreajuste que los enfoques existentes de transferencia de aprendizaje hiperespectral que comprimen la imagen o reentrenan el modelo desde cero.

El trabajo se posiciona como un paso hacia la creación de modelos base universales para la imagen hiperespectral. Sin embargo, los autores permanecen modestos respecto a las limitaciones, señalando que las capas descompuestas tensorialmente pueden ser sensibles a la inicialización y a las estrategias de optimización. Sugieren que el trabajo futuro podría centrarse en estrategias de optimización diseñadas específicamente para estas capas y en explorar métodos que eventualmente permitan la transferencia de aprendizaje sin retropropagar a través de toda la red.