Open-Vocabulary Semantic Segmentation Network Integrating Object-Level Label and Scene-Level Semantic Features for Multimodal Remote Sensing Images

Aquí se presenta un resumen técnico detallado del artículo "Red de Segmentación Semántica de Vocabulario Abierto que Integra Etiquetas a Nivel de Objeto y Características Semánticas a Nivel de Escena para Imágenes de Teledetección Multimodal" (TSMNet).

1. Enunciado del Problema

La segmentación semántica actual en teledetección enfrenta tres desafíos principales:

• Limitaciones de los Datos de Modalidad Única: Las imágenes de una sola fuente (por ejemplo, ópticas) luchan contra la ambigüedad espectral (por ejemplo, distinguir el asfalto de la sombra) y son susceptibles a las condiciones meteorológicas. Aunque existen enfoques multimodales (combinando Óptico y SAR), a menudo dependen de una concatenación simple de características o de un promedio ponderado, fallando en capturar completamente las complejas relaciones semánticas cruzadas entre modalidades.
• Descuido del Conocimiento No Visual: Los marcos multimodales existentes integran datos visuales (Óptico/SAR) pero ignoran los datos textuales no visuales. Los datos textuales contienen conocimiento rico del mundo real (contexto geográfico, propiedades de los materiales) que puede cerrar la brecha semántica entre los patrones visuales y los conceptos.
• Taxonomías de Clases Rígidas: Los modelos tradicionales están limitados a un conjunto fijo de clases predefinidas. No pueden reconocer categorías no vistas, lo que limita su adaptabilidad a nuevos escenarios o necesidades de mapeo definidas por el usuario. Se necesita una Segmentación Semántica de Vocabulario Abierto (OVSS) para permitir la clasificación mediante descripciones en lenguaje natural.

2. Metodología: TSMNet

Los autores proponen TSMNet, una red de segmentación semántica de vocabulario abierto multimodal supervisada por texto. La arquitectura está diseñada para alinear las características de imagen y texto en un espacio semántico unificado mediante aprendizaje jerárquico.

Componentes Principales:

1. Codificador Visual Multimodal:

   • Utiliza una columna vertebral de Transformador de Visión (ViT) para extraer características de múltiples niveles tanto de imágenes ópticas como SAR.
   • Módulo de Rectificación de Características Multimodales (MFRM): Ajusta dinámicamente los pesos de canal y espacial entre las características ópticas y SAR para corregir la heterogeneidad y mejorar la información complementaria.
   • Módulo de Fusión de Características Multimodales (MFFM): Emplea un mecanismo de atención cruzada para realizar una interacción y agregación semántica profunda a través de múltiples escalas, preservando tanto los detalles locales como la semántica global.

2. Codificador de Texto de Doble Rama y Fusión:

   • Codificador de Texto: Basado en CLIP (utilizando BERT para el procesamiento de texto), extrae dos tipos distintos de información textual:
     • Etiquetas a Nivel de Objeto: Nombres de categorías específicas (por ejemplo, "carretera", "árbol").
     • Semántica a Nivel de Escena: Descripciones globales y contexto (por ejemplo, "un área urbana densa con edificios de gran altura").
   • Solicitación Consciente del Contexto: En lugar de plantillas estáticas, el modelo utiliza contextos de texto aprendibles y mecanismos de atención cruzada para refinar las características de texto basándose en señales visuales.
   • Estrategia de Fusión:
     • Fusión a Nivel de Objeto: Alinea las características visuales a nivel de píxel con las incrustaciones de texto de categoría para generar máscaras de segmentación.
     • Fusión a Nivel de Escena: Utiliza un módulo de alineación global con aprendizaje contrastivo (pérdida InfoNCE) para alinear las representaciones globales de la imagen con las descripciones de la escena, actuando como un prior para la tarea de segmentación.

3. Funciones de Pérdida:
   El objetivo de entrenamiento combina cuatro pérdidas:

   • Pérdida de Etiqueta a Nivel de Objeto: Pérdida de entropía cruzada para la alineación píxel-clase.
   • Pérdida Semántica a Nivel de Escena: Pérdida contrastiva InfoNCE para alinear pares globales de imagen-texto.
   • Pérdida de Tarea de Segmentación: Combinación de Pérdida de Entropía Cruzada y Pérdida Dice para garantizar la consistencia de la máscara.

4. Inferencia:
   El modelo admite inferencia de Vocabulario Abierto. Los usuarios pueden ingresar descripciones arbitrarias en lenguaje natural (no solo clases predefinidas). La red calcula la similitud del coseno entre las características de los píxeles y las incrustaciones de texto codificadas para generar máscaras de segmentación dinámicamente.

3. Contribuciones Clave

1. Arquitectura Novel (TSMNet): Un marco que integra sinérgicamente las modalidades visuales (Óptico/SAR) y textuales, introduciendo un codificador de texto de doble rama para manejar simultáneamente etiquetas a nivel de objeto y semántica a nivel de escena.
2. Mecanismos de Fusión Avanzados:
   • Desarrollo de MFRM y MFFM para fusionar eficazmente datos heterogéneos Ópticos y SAR, abordando el ruido y las brechas semánticas.
   • Implementación de un módulo de Fusión Semántica Visual Guiada por Texto que utiliza priores textuales para refinar las características visuales para la toma de decisiones interpretable por humanos.
3. Nuevos Conjuntos de Datos: Los autores construyeron dos nuevos conjuntos de datos de visión-lenguaje multimodal de alta calidad para llenar el vacío en los recursos existentes:
   • SWJTU-Vision-Language: 2.712 pares de imágenes Ópticas/SAR de cuatro ciudades chinas con etiquetas manuales a nivel de píxel y descripciones textuales detalladas.
   • YESeg-OPT-SAR: 2.231 pares de imágenes RGB/SAR de 0,5 m de resolución con anotaciones textuales detalladas.
4. Capacidad de Vocabulario Abierto: El sistema permite el reconocimiento de categorías no vistas a través del lenguaje natural, superando las restricciones de las taxonomías fijas.

4. Resultados Experimentales

Los autores evaluaron TSMNet frente a modelos de última generación (SOTA), incluidos modelos de modalidad única (Deeplab V3+), visuales multimodales (CMGFNet, MCANet) y modelos existentes de vocabulario abierto (DenseCLIP, TACOSS).

• Rendimiento en SWJTU-Vision-Language:

  • TSMNet logró una Precisión General (OA) del 69,73% y un mIoU del 48,83%.
  • Superó al segundo mejor modelo (DenseCLIP) en un 1,64% en OA y un 1,39% en mIoU.
  • Se observaron mejoras notables en clases desafiantes como "carreteras" y "árboles".

• Rendimiento en YESeg-OPT-SAR:

  • TSMNet logró una OA del 85,33% y un mIoU del 66,69%.
  • Superó a DenseCLIP (85,13% OA, 65,47% mIoU) y a otras líneas base multimodales.
  • El análisis cualitativo mostró que TSMNet redujo significativamente los errores de clasificación incorrecta (por ejemplo, confundir tierra desnuda con vegetación baja) en comparación con modelos que dependen únicamente de características visuales.

• Estudios de Ablación:

  • Eliminar la red de fusión multimodal redujo el mIoU en aproximadamente un 1,8%.
  • Eliminar la guía del lenguaje natural (usando solo datos visuales) disminuyó el rendimiento significativamente, demostrando que las descripciones textuales son críticas para cerrar la brecha semántica y mejorar la generalización.

5. Significado

• Cambio de Paradigma: Este trabajo establece un nuevo paradigma para el análisis de teledetección explicable al integrar conocimiento textual, haciendo que las decisiones del modelo sean más interpretables y alineadas con la cognición humana (comprensión de lo global a lo local).
• Generalización: Al aprovechar las capacidades de vocabulario abierto, el modelo puede adaptarse a nuevos escenarios geográficos y tipos de sensores sin reentrenar en conjuntos de clases fijas, simplemente actualizando las solicitudes de texto.
• Recurso de Datos: La liberación de dos nuevos conjuntos de datos de visión-lenguaje aborda un cuello de botella crítico en el campo, proporcionando un punto de referencia para futuras investigaciones en teledetección multimodal.
• Aplicación Práctica: La capacidad de definir categorías mediante lenguaje natural permite a los no expertos generar mapas de uso de suelo personalizados, mejorando la utilidad de la teledetección en la planificación urbana, la respuesta a desastres y la monitorización ambiental.