Decouple and Rectify: Semantics-Preserving Structural Enhancement for Open-Vocabulary Remote Sensing Segmentation

Resumen Técnico: DR-Seg para Segmentación Semántica de Teledetección de Vocabulario Abierto

1. El Problema

La segmentación semántica de vocabulario abierto (OVS) en imágenes de teledetección (RS) busca asignar etiquetas a píxeles utilizando descripciones de texto, incluso para clases no vistas durante el entrenamiento. Aunque los modelos de lenguaje-visual como CLIP ofrecen una gran generalización semántica, presentan dos limitaciones críticas en el contexto de teledetección:

• Falta de fidelidad espacial: CLIP está preentrenado a nivel de imagen, por lo que sus características visuales carecen de la precisión estructural necesaria para delimitar bordes finos y objetos densamente distribuidos típicos de las imágenes satelitales o aéreas.
• Integración no selectiva de priores estructurales: Los métodos recientes intentan compensar esto incorporando características de modelos preentrenados en RS (como DINO) para mejorar la estructura. Sin embargo, estos enfoques tratan las características de CLIP como un espacio semántico monolítico y uniforme. Al fusionar DINO de manera indiscriminada, a menudo corrompen la integridad semántica alineada con el lenguaje de CLIP, resultando en bordes difusos o respuestas semánticas degradadas.

2. Metodología Propuesta: DR-Seg

Los autores proponen DR-Seg (Decouple and Rectify), un marco innovador basado en la observación clave de que los canales de las características de CLIP exhiben heterogeneidad funcional (no todos los canales sirven para lo mismo). En lugar de una fusión global, DR-Seg descompone y repara selectivamente las características.

El marco consta de tres componentes principales:

• A. Desacoplamiento de Subespacios Semánticamente Preservados (SPSD):

  • Observación: Mediante un estudio de canales, se identificó que algunos canales de CLIP son "positivos" (críticos para la alineación semántica) y otros "negativos" (menos importantes para la semántica, pero útiles para la estructura).
  • Mecanismo: El módulo SPSD clasifica los canales de CLIP basándose en la entropía de activación cruzada entre clases y la similitud inter-clase.
  • Resultado: Separa las características en dos subespacios:
    1. Subespacio Dominado por Semántica ($F_{sem}$): Se preserva intacto para mantener la alineación con el texto.
    2. Subespacio Dominado por Estructura ($F_{str}$): Se aísla para recibir mejoras estructurales.

• B. Rectificación de Gráficos Impulsada por Priors (PDGR):

  • Objetivo: Mejorar el subespacio estructural ($F_{str}$) sin tocar la semántica.
  • Mecanismo: Utiliza características de un encoder DINO preentrenado en RS como "priors" estructurales. Construye un grafo de afinidad disperso donde la conectividad entre nodos se determina por la similitud de características de DINO y la proximidad espacial.
  • Proceso: Aplica una rectificación aprendible (propagación de mensajes en el grafo) sobre $F_{str}$ para afinar los bordes y la coherencia estructural. Luego, este subespacio rectificado se recombinan con el subespacio semántico preservado para formar una rama refinada.

• C. Fusión Adaptativa Guiada por Incertidumbre (UGAF):

  • Objetivo: Combinar la rama original de CLIP (semántica robusta) con la rama refinada (estructura mejorada).
  • Mecanismo: No se fusionan uniformemente. El módulo calcula un mapa de incertidumbre basado en la entropía de las predicciones de la rama original.
  • Estrategia: En regiones donde la predicción semántica es confiable, se prioriza la rama original. En regiones inciertas (donde la estructura es ambigua), se pondera más la rama refinada. Esto permite una integración dinámica y espacialmente adaptativa.

3. Contribuciones Clave

1. Identificación de Heterogeneidad Funcional: Demostraron empíricamente que las características de CLIP no son un espacio uniforme, sino una composición de canales con roles distintos (semánticos vs. estructurales), lo que motiva un enfoque de mejora selectiva.
2. Marco DR-Seg: Propusieron un nuevo paradigma de "desacoplar y rectificar" que permite la mejora estructural mediante DINO sin degradar la alineación semántica de CLIP.
3. Rendimiento SOTA: Establecieron un nuevo estado del arte en ocho conjuntos de datos de teledetección, superando a métodos anteriores como RSKT-Seg y GSNet.

4. Resultados Experimentales

Los experimentos se realizaron en ocho benchmarks (DLRSD, iSAID, Potsdam, Vaihingen, LoveDA, UAVid, UDD5, VDD).

• Rendimiento General: DR-Seg logró el mejor rendimiento promedio en casi todas las configuraciones.
  • En el entrenamiento con DLRSD (usando ViT-L), logró un mIoU de 49.01% y un mACC de 64.90%, superando al método anterior (RSKT-Seg) en +2.83 puntos de mIoU.
  • En el entrenamiento con iSAID, alcanzó un mIoU de 37.84% (ViT-L), superando a RSKT-Seg en +3.86 puntos.
• Generalización: El método mostró una fuerte capacidad de generalización cruzada entre dominios (ej. entrenar en DLRSD y probar en UAVid o LoveDA), manteniendo la precisión semántica mientras mejoraba la delimitación de bordes.
• Análisis Cualitativo: Las visualizaciones mostraron que DR-Seg produce bordes más nítidos, menos confusión de clases y una recuperación superior de estructuras pequeñas o delgadas (como vehículos o bordes de edificios) en comparación con métodos que realizan una fusión holística.

5. Significado e Impacto

Este trabajo es significativo porque cambia la forma en que se integran los priores estructurales en la segmentación de vocabulario abierto para teledetección.

• Paradigma de Diseño: Pasa de una fusión "ciega" o global a una fusión selectiva y basada en la función de los canales.
• Preservación Semántica: Resuelve el dilema de mejorar la estructura sin sacrificar la capacidad de generalización de CLIP, que es crucial para reconocer clases no vistas.
• Aplicabilidad: Ofrece una solución robusta para aplicaciones críticas de observación de la Tierra, como la planificación urbana y la evaluación de desastres, donde la precisión de los bordes y la generalización son vitales.

En conclusión, DR-Seg demuestra que la mejora estructural en la segmentación de teledetección debe ser dirigida y selectiva, respetando la naturaleza heterogénea de las representaciones de los modelos fundacionales.