DiffuSAM: Diffusion Guided Zero-Shot Object Grounding for Remote Sensing Imagery

Resumen Técnico: DiffuSAM

1. Planteamiento del Problema

La localización precisa de objetos en imágenes de teledetección (satélites y aéreas) es fundamental para aplicaciones como la planificación urbana, la respuesta a desastres y el monitoreo ambiental. Sin embargo, existen dos desafíos principales:

• Dependencia de datos: Los modelos de detección especializados requieren grandes conjuntos de datos anotados, que son costosos y difíciles de obtener.
• Generalización: Los modelos entrenados en regiones específicas o condiciones de imagen particulares a menudo fallan al generalizar a nuevas áreas geográficas o condiciones atmosféricas (niebla, bajo contraste).
• Limitaciones actuales: Aunque existen modelos fundamentales como SAM3 (Segment Anything Model 3) y RemoteSAM (entrenado específicamente en satélites), carecen de la capacidad de interpretar instrucciones de lenguaje natural complejas para la localización "zero-shot" (sin entrenamiento específico) con la precisión necesaria en escenas complejas.

2. Metodología: Pipeline Híbrido DiffuSAM

El autor propone DiffuSAM, un pipeline híbrido que combina la capacidad de generación y edición de modelos de difusión con la precisión de los modelos de segmentación fundamentales. El flujo de trabajo se divide en las siguientes etapas:

A. Pre-procesamiento de Imagen
Dado que las imágenes satelitales sufren de niebla y bajo contraste, se aplica un proceso de mejora antes de la localización:

1. Conversión del espacio de color RGB a CIELAB para separar la luminancia de los componentes cromáticos.
2. Aplicación de CLAHE (Equalización de Histograma Adaptativa Limitada por Contraste) en el canal de luminancia para mejorar el contraste local y reducir la niebla sin amplificar el ruido excesivamente.
3. Reversión a RGB y aplicación de enmascaramiento de agudeza (unsharp masking) para mejorar los bordes.
4. Reescritura de consultas: Se utiliza un LLM pequeño (Qwen3-8b) para limpiar las consultas de texto, eliminando instrucciones innecesarias que podrían confundir al modelo.

B. Localización Basada en Difusión (Cues Iniciales)

• Se emplea un modelo de edición de imágenes basado en difusión (Qwen-Image-Edit).
• Dada la imagen pre-procesada y la consulta de texto, el modelo genera una versión editada donde el objeto descrito se resalta con cajas delimitadoras rojas.
• Esto convierte la descripción textual en una señal espacial aproximada (coarse cue) sin necesidad de entrenamiento específico para la tarea.

C. Segmentación Inicial con SAM3

• La imagen editada (con las cajas rojas) se pasa a SAM3.
• SAM3 genera máscaras de segmentación restringidas a las regiones resaltadas, transformando las señales visuales difusas en representaciones espaciales estructuradas (cajas aproximadas).

D. Estrategia de Refinamiento Adaptativo
Esta es la contribución central de la arquitectura. El sistema recorta la región de interés (ROI) basada en la caja inicial y selecciona dinámicamente el modelo de segmentación más adecuado según el tamaño de la región:

• Regiones Grandes (> p% de la imagen original): Se utiliza RemoteSAM. Al ser entrenado en imágenes satelitales, es superior para manejar contextos de fondo complejos y múltiples objetos en áreas extensas.
• Regiones Pequeñas: Se utiliza SAM3. Cuando la localización inicial es precisa y el objeto es pequeño, SAM3 ofrece una segmentación de grano fino más exacta.
• Nota: El umbral $p$ se establece empíricamente en 10%.
• Mecanismo de respaldo (Fallback): Si el modelo seleccionado falla en generar una máscara válida, se invoca automáticamente el modelo alternativo. Si ambos fallan, se utiliza la caja del modelo de difusión como salida final.

E. Extracción Final
La máscara final (de RemoteSAM o SAM3) se utiliza para calcular la caja delimitadora definitiva del objeto.

3. Contribuciones Clave

1. Pipeline Híbrido Zero-Shot: Propone una arquitectura que integra modelos generativos (difusión) con modelos de segmentación fundamentales, logrando localización precisa sin entrenamiento específico para la tarea.
2. Estrategia Adaptativa de Modelos: Introduce un mecanismo dinámico que selecciona entre RemoteSAM y SAM3 basándose en el tamaño de la región de interés, optimizando el rendimiento tanto para escenas complejas como para objetos pequeños.
3. Pre-procesamiento Específico para Teledetección: Incorpora técnicas de mejora de imagen (CLAHE, conversión CIELAB) para mitigar los efectos de la atmósfera y sensores, mejorando la entrada para los modelos fundamentales.
4. Rendimiento Superior: Demuestra que la combinación de estas tecnologías supera a los métodos actuales en benchmarks estándar.

4. Resultados Experimentales

El método se evaluó en dos conjuntos de datos principales: VRSBench (29k imágenes, anotaciones de lenguaje) y NWPU-VHR-10 (800 imágenes, alta resolución).

• Comparativa: DiffuSAM se compara contra RemoteSAM, SAM3, EarthMind y Falcon.
• Métricas Clave (Acc@0.5 - Precisión con IoU > 0.5):
  • En VRSBench: DiffuSAM alcanza un 0.7913, superando a RemoteSAM (0.7812) y EarthMind (0.7414).
  • En NWPU-VHR-10: DiffuSAM logra un 0.8049, superando significativamente a RemoteSAM (0.6624) con un aumento del ~14% en Acc@0.5.
• Análisis: La mejora es más notable en NWPU-VHR-10, donde la alta resolución y la complejidad de las escenas benefician la estrategia híbrida. Las diferencias menores en VRSBench se atribuyen a discrepancias en los formatos de anotación (cajas orientadas vs. alineadas).

5. Significado y Limitaciones

• Significado: El trabajo valida que los modelos generativos de difusión pueden servir como guías efectivas para la localización en dominios especializados como la teledetección, reduciendo la dependencia de grandes conjuntos de datos anotados y permitiendo una adaptación flexible a nuevas condiciones.
• Limitaciones:
  • Alucinaciones: Si el objeto es difícil de localizar o no existe, el modelo de difusión puede "alucinar" y generar un objeto sintético (ilustrado en la Figura 3 del paper).
  • Cajas Alineadas: Las cajas iniciales del modelo de difusión son axis-aligned (alineadas al eje), lo que puede incluir objetos no deseados en la región de interés, afectando las etapas posteriores.
• Trabajo Futuro: Se planea controlar mejor las alucinaciones del modelo de difusión y utilizar modelos generativos fine-tuned en datos de teledetección para eliminar la niebla y obstrucciones directamente en la imagen de entrada.

En conclusión, DiffuSAM representa un avance significativo hacia sistemas de localización de objetos en imágenes satelitales que son robustos, adaptables y eficientes en datos, aprovechando la sinergia entre la generación creativa y la segmentación fundamental.