SATGround: A Spatially-Aware Approach for Visual Grounding in Remote Sensing

1. Problema y Motivación

El artículo aborda el desafío de realizar grounding visual (localización precisa de objetos basándose en descripciones textuales) en imágenes de teledetección (satélites) utilizando Modelos de Lenguaje y Visión (VLMs).

• Limitación de los enfoques actuales: Los métodos existentes (como GeoChat, EarthDial) suelen tratar las coordenadas de los cuadros delimitadores (bounding boxes) como texto. Convierten los valores numéricos (x, y, ancho, alto) en tokens de texto para que el modelo de lenguaje los prediga.
• Deficiencia geométrica: Esta aproximación carece de una estructura geométrica explícita. Los modelos de lenguaje tienen dificultades inherentes con la inferencia numérica y la comprensión espacial debido a la tokenización por defecto y a la falta de una métrica espacial explícita. Esto resulta en una baja robustez ante pequeñas perturbaciones y una generalización deficiente fuera de la distribución de entrenamiento.
• Complejidad de la teledetección: A diferencia de las imágenes naturales, los objetos en imágenes satelitales aparecen con orientaciones arbitrarias debido al ángulo de visión cenital, lo que hace que los cuadros delimitadores estándar (axis-aligned) sean insuficientes.

2. Metodología: SATGround

Los autores proponen SATGround, un marco que integra el aprendizaje multimodal con un mecanismo de localización especializado y estructurado.

A. Formulación del Problema

En lugar de predecir coordenadas como texto, el modelo $\mathcal{M}_{loc}$ mapea una imagen $x$ y una consulta $q$ a una respuesta textual $a$ y a coordenadas de cuadros delimitadores $\ell$ directamente.
$$\mathcal{M}_{loc}: (x, q) \mapsto (a, \ell)$$

B. Mecanismo de Grounding Estructurado

La innovación central es el uso de tokens de control especializados que separan la generación de lenguaje de la predicción espacial:

1. Tokens Especiales: Se introducen dos tokens nuevos en el vocabulario:
   • <bb>: Indica que el modelo está generando un cuadro delimitador.
   • <loc>: Proporciona las características latentes (embeddings) necesarias para predecir las coordenadas.
2. Arquitectura Dual:
   • El modelo de lenguaje (LLM) genera la secuencia de texto. Cuando encuentra un token <bb>, inserta determinísticamente un token <loc>.
   • Las representaciones latentes de los tokens <loc> se extraen y se pasan a un módulo de grounding dedicado ($\phi_{grounding}$), que es una red neuronal simple (MLP de 2 capas).
   • Este módulo regresa las coordenadas finales del cuadro delimitador, evitando que el LLM tenga que "aprender" a generar números crudos.

C. Representación de Cuadros delimitadores Orientados (OBB)

Dado que los objetos satelitales tienen rotación, SATGround predice cuadros delimitadores orientados definidos por una tupla de 5 valores: $(x_1, y_1, x_2, y_2, \theta)$, donde $\theta$ es el ángulo de rotación.

• Las coordenadas y el ángulo se normalizan al rango $[0, 100]$ y luego se escalan a $[0, 1]$ para el entrenamiento.
• Se utiliza una función de activación sigmoide en la capa final del módulo de grounding para garantizar que las predicciones se mantengan dentro de rangos válidos.

D. Entrenamiento y Emparejamiento (Matching)

• Pérdida Combinada: El modelo se optimiza simultáneamente para la tarea de lenguaje (Cross-Entropy) y la tarea de localización (Grounding Loss):
  $$\mathcal{L} = \lambda_{text}\mathcal{L}_{CE} + \lambda_{bb}\mathcal{L}_{ground}$$
• Emparejamiento Bipartito Agrupado: Para evitar ambigüedades semánticas (ej. asignar un cuadro de "baloncesto" a una anotación de "tenis" solo por proximidad), el algoritmo de emparejamiento de Hungaro se aplica dentro de grupos específicos de expresiones de referencia en el texto generado, en lugar de un emparejamiento global ciego a las clases.

E. Configuración

• Base: Utiliza un codificador visual ViT congelado y un decodificador de lenguaje (Vicuna o Phi-3) ajustado con LoRA (Low-Rank Adaptation).
• Eficiencia: Solo se entrenan 16.8M de parámetros adicionales (proyector, módulo de grounding y LoRA), manteniendo el encoder visual congelado.

3. Contribuciones Clave

1. SATGround: Una técnica novedosa de localización consciente del espacio para datos de observación terrestre que integra tokens de control y un módulo de grounding separado.
2. Mecanismo de Localización Estructurado: Un enfoque que evita la conversión de coordenadas a texto, permitiendo un razonamiento espacial explícito y una mayor precisión geométrica.
3. Rendimiento Superior: Logra mejoras significativas en múltiples benchmarks de teledetección, demostrando que la integración de razonamiento espacial estructurado mejora la robustez y la consistencia.

4. Resultados Experimentales

El modelo se evaluó en varios benchmarks de referencia (GeoChat, EarthDial, NWPU VHR-10, etc.) en tareas de detección de expresiones de referencia, descripción de grounding y VQA.

• Grounding Visual:
  • En el conjunto de datos GeoChat, SATGround alcanzó un 24.4% de precisión, superando a la línea base más fuerte (EarthDial) en un 5.8%.
  • Al ajustar sobre EarthDial, logró una mejora relativa del 33.2% en el rendimiento de grounding visual (33.3% vs 25.0% de EarthDial).
• Generalización Zero-Shot:
  • Superó consistentemente a los modelos base en tareas de detección de objetos en conjuntos de datos no vistos (NWPU VHR-10, Piscinas, Árboles Urbanos).
  • En la descripción de grounding (generación de texto + coordenadas), superó a EarthDial en métricas de texto (ROUGE) y precisión de localización (Acc@0.5).
• Preguntas de Respuesta Visual (VQA):
  • Mantuvo un rendimiento competitivo en tareas de VQA (HRBEN y LRBEN), demostrando que el módulo de grounding no degrada la capacidad de razonamiento lingüístico del modelo base.
• Estudios de Ablación:
  • Confirmaron que el diseño de dos tokens (<bb> y <loc>) es superior a un solo token.
  • El emparejamiento agrupado (por expresión de referencia) es crucial para evitar errores semánticos.
  • El uso de cuadros delimitadores orientados (OBB) mejoró el rendimiento en un 5.0% global, especialmente en objetos grandes, validando la necesidad de modelar la rotación en imágenes satelitales.

5. Significado e Impacto

El trabajo de SATGround es significativo porque cierra la brecha entre el razonamiento lingüístico y el espacial en la inteligencia artificial aplicada a la teledetección. Al demostrar que tratar las coordenadas como datos geométricos estructurados (en lugar de texto) mejora drásticamente la precisión, ofrece una vía más fiable para el análisis de datos satelitales en el mundo real. Esto es crucial para aplicaciones críticas como la respuesta a desastres, la seguridad alimentaria y el análisis del crecimiento urbano, donde la precisión en la localización de objetos es fundamental.

El código será publicado tras la aceptación del artículo, fomentando la reproducibilidad y el avance en el campo de los VLMs para la observación de la Tierra.