SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment for Cross-Scene Hyperspectral Image Classification

Resumen Técnico: SoDa2: Adaptación de Dominio de Conjunto Abierto en Una Etapa mediante Alineación Desacoplada para la Clasificación de Imágenes Hiperespectrales entre Escenas

Planteamiento del Problema
La clasificación de imágenes hiperespectrales (HSI) entre escenas es una tarea fundamental en la teledetección, pero enfrenta desafíos significativos al aplicarse en escenarios del mundo real. Los métodos tradicionales de aprendizaje profundo asumen que los datos de entrenamiento (fuente) y de prueba (objetivo) están distribuidos de manera independiente e idéntica. Sin embargo, las variaciones en los sensores, las condiciones de adquisición y los efectos atmosféricos provocan un "desplazamiento de dominio", lo que degrada el rendimiento del modelo al aplicarlo a nuevas escenas. Además, los dominios objetivo del mundo real a menudo contienen "clases desconocidas" (categorías no presentes en el dominio fuente), lo que hace ineficaces los métodos estándar de adaptación de dominio de conjunto cerrado (DA). Los enfoques existentes de Adaptación de Dominio de Conjunto Abierto (OSDA) para HSI enfrentan dos limitaciones principales:

1. Problemas de Alineación Híbrida: La mayoría de los métodos alinean características espectrales y espaciales mixtas en un espacio unificado. Sin embargo, las características espectrales y espaciales contribuyen de manera diferente a la clasificación y se distribuyen de forma independiente; la alineación directa de características mixtas puede socavar la transferibilidad entre dominios.
2. Ineficiencia Computacional: Los métodos OSDA actuales dependen típicamente de arquitecturas de doble clasificador con estrategias de entrenamiento en dos etapas (pre-entrenamiento seguido de entrenamiento conjunto), lo que conduce a procedimientos complejos y altos costos computacionales.

Metodología: SoDa2
Los autores proponen SoDa2, un método de adaptación de dominio de conjunto abierto en una sola etapa basado en alineación desacoplada. El marco está diseñado para extraer características invariantes al dominio mientras distingue adaptativamente entre clases conocidas y desconocidas, sin conocimiento previo de las categorías desconocidas. La arquitectura consta de tres componentes principales:

1. Extracción de Características de Doble Modalidad Consciente de la Contribución:
   En lugar de fusionar características tempranamente, el método emplea ramas paralelas para extraer características espectrales y espaciales de forma independiente.

   • Rama Espectral: Utiliza capas convolucionales con conexiones residuales entre capas para preservar la información detallada de las bandas y las características espectrales de alto nivel.
   • Rama Espacial: Utiliza capas convolucionales 3D para capturar estructuras globales y texturas locales, con conexiones residuales para preservar detalles superficiales.
   • Mecanismo de Atención: Se aplican módulos de atención de canal y atención espacial a las ramas respectivas para reponderar adaptativamente las características, enfatizando las bandas espectrales y las ubicaciones espaciales más informativas para la tarea de clasificación.

2. Módulo de Alineación Desacoplada:
   Para abordar el desplazamiento de dominio, el método minimiza la Discrepancia de la Media Máxima (MMD) entre los dominios fuente y objetivo. Crucialmente, esta alineación está desacoplada:

   • La MMD se calcula por separado para las características espectrales ($L_{spe}$) y las características espaciales ($L_{spa}$).
   • Este enfoque evita la confusión causada por alinear características mixtas heterogéneas, permitiendo que el modelo aprenda representaciones invariantes al dominio independientes para cada modalidad.
   • La pérdida total de alineación es la suma de las pérdidas de MMD espectral y espacial.

3. Módulo de Reconocimiento de Conjunto Abierto (Marco de Una Etapa):
   El método utiliza un codificador de doble rama para el dominio objetivo para distinguir clases conocidas de desconocidas en una sola etapa de entrenamiento:

   • Codificador de Características Alineadas: Aprende características invariantes al dominio restringidas por la pérdida MMD (semánticas compartidas entre fuente y objetivo).
   • Codificador de Características Intrínsecas: Aprende características específicas del objetivo sin restricciones entre dominios, capturando características discriminatorias de las clases desconocidas.
   • Medición de Consistencia: El método calcula la similitud del coseno al cuadrado entre las características alineadas e intrínsecas para cada muestra objetivo.
   • Modelo de Mezcla Gaussiana (GMM): La distribución de estas puntuaciones de similitud se modela utilizando un GMM con dos componentes (que representan clases conocidas y desconocidas). Las muestras se clasifican en función de con qué componente gaussiano se alinea su puntuación, permitiendo el reconocimiento de conjunto abierto sin etiquetas explícitas para las clases desconocidas.

Contribuciones Clave

1. Estrategia de Alineación Desacoplada: El artículo introduce un enfoque novedoso que alinea independientemente las características espectrales y espaciales utilizando MMD, abordando las limitaciones de la alineación híbrida en datos HSI donde las modalidades tienen características de distribución distintas.
2. Marco de Entrenamiento en Una Etapa: A diferencia de los métodos OSDA existentes en dos etapas, SoDa2 integra la extracción de características, la alineación de dominio y el reconocimiento de conjunto abierto en un proceso de entrenamiento unificado y rentable en una sola etapa.
3. Extracción de Características Consciente de la Contribución: El diseño de ramas espectrales y espaciales paralelas con mecanismos de atención permite la mejora selectiva de características discriminatorias de ambas modalidades.
4. Reconocimiento de Conjunto Abierto Basado en GMM: El método emplea un GMM para modelar las puntuaciones de consistencia entre las características alineadas e intrínsecas, permitiendo la separación automática de clases conocidas y desconocidas sin requerir conocimiento previo de las categorías desconocidas.

Resultados Experimentales
Los autores evaluaron SoDa2 en tres conjuntos de datos HSI entre escenas:

• PU-PC: Universidad de Pavía (Fuente) a Centro de Pavía (Objetivo).
• HU13-HU18: Houston 2013 (Fuente) a Houston 2018 (Objetivo).
• ZY-GF: Ziyuan1-02D Yancheng (Fuente) a GaoFen-5 Yancheng (Objetivo).

El método se comparó con enfoques OSDA de última generación, incluidos OSBP, STA, DAMC, UADAL, ANNA, MTS y WGDT. El rendimiento se midió utilizando la Precisión Media de las Clases Conocidas ($OS^*$), la Precisión de las Clases Desconocidas ($UNK$) y su Media Armónica ($HOS$).

• Rendimiento: SoDa2 logró un rendimiento superior en los tres conjuntos de datos. Por ejemplo, en la tarea PU-PC, logró una $HOS$ del 80,7 % y una $UNK$ del 94,3 %, superando al segundo mejor método (WGDT). En la tarea ZY-GF, alcanzó una $HOS$ del 94,7 %.
• Estudios de Ablación: Los experimentos confirmaron que la combinación de pérdidas de alineación desacoplada espectral y espacial produce los mejores resultados, validando la necesidad de la estrategia desacoplada. Además, se demostró que el orden específico de aplicar los mecanismos de atención antes de la fusión de características es más efectivo que fusionar primero y luego aplicar la atención.
• Sensibilidad a Parámetros: El estudio determinó que establecer el número de componentes gaussianos ($K$) en 2 y el peso de la pérdida de alineación ($\alpha$) en 10 proporcionó el equilibrio óptimo entre el reconocimiento de clases conocidas y desconocidas.

Significado y Afirmaciones
El artículo afirma que SoDa2 aborda eficazmente los desafíos duales del desplazamiento de dominio y la identificación de clases desconocidas en la clasificación HSI entre escenas. Al desacoplar la alineación de las características espectrales y espaciales, el método preserva las características únicas de cada modalidad mientras reduce las discrepancias de distribución. El marco de una sola etapa ofrece una alternativa computacionalmente eficiente a las complejas estrategias de entrenamiento en dos etapas. Los autores afirman que el método logra una precisión de clasificación superior y transferibilidad del modelo, proporcionando una solución robusta para tareas de conjunto abierto entre escenas en aplicaciones de teledetección. El código del método está disponible para la comunidad.