Seeking Consensus: Geometric-Semantic On-the-Fly Recalibration for Open-Vocabulary Remote Sensing Semantic Segmentation

Aquí se presenta un resumen técnico detallado del artículo "Seeking Consensus: Geometric-Semantic On-the-Fly Recalibration for Open-Vocabulary Remote Sensing Semantic Segmentation" (SeeCo).

1. Planteamiento del Problema

La Segmentación Semántica de Vocabulario Abierto (OVSS) en teledetección tiene como objetivo identificar categorías de cobertura terrestre utilizando descripciones textuales, sin requerir anotaciones a nivel de píxel para cada nueva categoría. Aunque los Modelos Visión-Lenguaje (VLM) como CLIP han hecho esto posible, los métodos existentes enfrentan limitaciones críticas en el dominio de la teledetección:

• Paradigma de Inferencia Estático: Los métodos actuales aplican un proceso de inferencia fijo a todas las imágenes, ignorando la distribución y las características únicas de cada escena específica.
• Ambigüedad Geométrica: A diferencia de las imágenes naturales (centradas en objetos, orientación fija), las imágenes de teledetección (RSI) se capturan desde una vista cenital con orientaciones arbitrarias y diseños complejos. Los modelos estáticos no logran mantener la invariancia a la rotación, lo que conduce a una activación incompleta del primer plano (subactivación) cuando los objetos están rotados.
• Sesgo Semántico: Las categorías de cobertura terrestre (por ejemplo, "edificio") exhiben una alta heterogeneidad intraclase (por ejemplo, viviendas densas frente a rascacielos). Las descripciones textuales estáticas (por ejemplo, solo el nombre de la categoría) son insuficientes para capturar esta diversidad, causando una discrepancia entre el codificador de texto (preentrenado en escenas naturales) y las características visuales de las RSI.

2. Metodología: El Marco de Trabajo SeeCo

Los autores proponen SeeCo, un marco de trabajo plug-and-play y libre de entrenamiento que mejora los modelos OVSS existentes durante la inferencia (en tiempo real) buscando un doble consenso: Geométrico y Semántico. No requiere reentrenar el modelo base, sino recalibrarlo para cada escena específica.

Componentes Principales:

1. Aprendizaje de Consenso Geométrico (GCL):

   • Objetivo: Imponer una representación invariante a la rotación y aliviar la subactivación.
   • Mecanismo: La imagen de entrada se rota $K$ veces para simular observaciones multivista. El modelo genera mapas de segmentación para cada vista.
   • Objetivo de Consenso: Estos mapas se transforman inversamente y se agregan para crear un Objetivo de Consenso Geométrico robusto ($Y_{GCL}$). Esto sirve como una máscara pseudo para supervisar el modelo, asegurando una representación consistente del objeto independientemente de la orientación.

2. Aprendizaje de Consenso Semántico (SCL):

   • Objetivo: Aliviar el sesgo semántico y enriquecer las descripciones textuales sin ajustar el codificador de texto congelado.
   • Mecanismo: Se utiliza una estrategia de Prompting Colaborativo Multimodal. Un Modelo de Lenguaje Grande (LLM) es guiado por priores visuales (imágenes de muestra) y conocimiento textual para generar sinónimos y descripciones ricos y diversos para cada categoría de cobertura terrestre (por ejemplo, expandir "edificio" a "unidad residencial", "rascacielos", etc.).
   • Recalibración Adaptativa: Un mecanismo de contexto adaptativo fusiona los incrustaciones de texto originales con estas incrustaciones enriquecidas para crear un Objetivo de Consenso Semántico ($Y_{SCL}$), que coincide mejor con la diversidad visual específica de la escena.

3. Inyector de Consenso en Línea (OCI):

   • Función: Un módulo ligero que inyecta el conocimiento de consenso en el modelo OVSS base durante la inferencia.
   • Estructura:
     • Lado del Texto: Utiliza incrustaciones entrenables (contextos adaptativos a la escena) para fusionar el texto enriquecido.
     • Lado de la Visión: Utiliza una rama de Adaptación de Bajo Rango (LoRA) para ajustar finamente los últimos bloques de transformadores del codificador de visión.
   • Optimización: El OCI se optimiza en línea mediante una función de pérdida auto-supervisada que minimiza la diferencia entre las predicciones actuales del modelo y los objetivos de consenso Geométrico ($Y_{GCL}$) y Semántico ($Y_{SCL}$) construidos.
   • Salida Final: El mapa de segmentación final es una combinación ponderada de las predicciones de consenso geométrico y semántico.

3. Contribuciones Clave

• Marco de Trabajo Novel (SeeCo): El primer marco plug-and-play para OVSS de teledetección que realiza recalibración en tiempo real durante la inferencia, rompiendo el paradigma estático.
• Mecanismo de Doble Consenso: Introduce GCL (mediante consistencia de rotación multivista) y SCL (mediante enriquecimiento textual impulsado por LLM) para abordar conjuntamente las discrepancias geométricas y semánticas.
• Libre de Entrenamiento y Universal: No requiere entrenamiento fuera de línea ni anotaciones manuales. Puede aplicarse a cualquier modelo OVSS libre de entrenamiento existente para mejorar el rendimiento.
• Diseño Ligero: Utiliza un Inyector de Consenso en Línea con capas de bajo rango, añadiendo parámetros mínimos y sobrecarga computacional.

4. Resultados Experimentales

El método fue evaluado en ocho benchmarks diversos de teledetección (incluyendo OpenEarthMap, LoveDA, iSAID, Potsdam, Vaihingen, UAVid, UDD y VDD).

• Mejoras de Rendimiento:
  • Cuando se integra con ProxyCLIP, SeeCo alcanzó un nuevo promedio de mIoU de estado del arte (SOTA) de 42.4%, superando al mejor anterior en 1.7%.
  • Mostró mejoras significativas en conjuntos de datos desafiantes como Vaihingen (hasta un 11.9% de ganancia), reduciendo efectivamente la brecha de dominio entre el preentrenamiento en escenas naturales y los datos de teledetección.
  • Se observaron ganancias consistentes en los ocho conjuntos de datos cuando se aplicó a diferentes modelos base (ClearCLIP, ProxyCLIP, SegEarth-OV).
• Estudios de Ablación:
  • Tanto GCL como SCL contribuyeron positivamente. GCL mejoró la robustez a la rotación, mientras que SCL impulsó significativamente el rendimiento en conjuntos de datos con alta heterogeneidad intraclase.
  • La combinación de ambos mecanismos produjo los mejores resultados, demostrando su naturaleza complementaria.
• Eficiencia:
  • Aunque el tiempo de inferencia aumenta ligeramente debido a la optimización en tiempo real (por ejemplo, de 0.023s a 0.518s por imagen en ClearCLIP), el aumento de parámetros es despreciable (por ejemplo, +0.25M parámetros).
  • El método reduce efectivamente la confusión de características y mejora la integridad de las regiones segmentadas (visualizado mediante t-SNE y mapas cualitativos).

5. Significado

• Cambio de Paradigma: Mueve la OVSS de un enfoque de inferencia estático y de talla única a un enfoque dinámico y adaptativo a la escena, lo cual es crucial para la naturaleza variable de la imagen de teledetección.
• Adaptación de Dominio: Cierra con éxito la brecha entre los VLM preentrenados en imágenes naturales y los desafíos específicos de la teledetección (orientación arbitraria, diversidad intraclase) sin un reentrenamiento costoso.
• Despliegue Práctico: Como solución plug-and-play, permite actualizar inmediatamente los modelos existentes para un mejor rendimiento en aplicaciones del mundo real como la planificación urbana, la evaluación de desastres y la agricultura de precisión.