GroundSet: A Cadastral-Grounded Dataset for Spatial Understanding with Vector Data

1. El Problema

A pesar del avance de los Modelos de Lenguaje Multimodales (MLLMs) en tareas generales, estos modelos sufren de deficiencias críticas en la comprensión espacial de alta fidelidad dentro del ámbito de la Observación de la Tierra (Remote Sensing - RS).

• Limitaciones actuales: Los modelos existentes luchan con tareas fundamentales como la detección precisa de objetos y la segmentación, esenciales para aplicaciones de alto riesgo (planificación urbana, gestión de desastres) que requieren precisión submétrica.
• Cuello de botella de datos: La adaptación de MLLMs al dominio de RS se ve frenada por la escasez de anotaciones espaciales de alta calidad. Los conjuntos de datos actuales dependen de:
  • Datos heredados (legacy datasets) como DOTA o DIOR, que tienen un alcance semántico limitado (pocas clases genéricas).
  • Generación sintética de pares pregunta-respuesta a partir de estos datos antiguos, lo que no resuelve el problema de la escalabilidad ni la adquisición de conocimiento de dominio nuevo.
  • Datos de crowdsourcing (como OpenStreetMap) que a menudo carecen de consistencia taxonómica y precisión geométrica.

2. Metodología y Propuesta: GroundSet

Los autores presentan GroundSet, un conjunto de datos a gran escala diseñado específicamente para la comprensión espacial, cuya innovación principal radica en su fuente de verdad fundamental (ground truth).

• Fuente de Datos: En lugar de usar crowdsourcing o datos sintéticos, el equipo utiliza datos catastrales vectoriales verificados legalmente por agencias nacionales (en este caso, Francia, proporcionados por el IGN).
  • Ventaja: Garantiza una precisión geométrica y semántica superior, ya que los datos son curados manualmente y tienen validez legal.
  • Escala: 510,000 imágenes de alta resolución (ortofotos de 20 cm) que cubren 85,864 km² en 20 departamentos administrativos.
  • Volumen: 3.8 millones de objetos anotados.
• Granularidad Semántica: A diferencia de los conjuntos de datos existentes (que suelen tener ~20-45 clases genéricas), GroundSet ofrece 135 categorías semánticas específicas. Esto incluye subtipos finos como tipos de cultivos, sitios de patrimonio, centrales eléctricas y distinciones entre tipos de iglesias (católicas vs. ortodoxas).
• Pipeline de Procesamiento:
  • Alineación Visual-Vectorial: Se filtran entidades no visibles (túneles, aparcamientos subterráneos) y se fusionan polígonos contiguos de la misma clase para reflejar la huella visual en lugar de divisiones legales invisibles.
  • Generación de Instrucciones: Se utiliza un enfoque automatizado con VLMs para generar instrucciones, pero con una restricción crítica: el modelo solo puede parafrasear hechos definidos por reglas geométricas rígidas, evitando alucinaciones de objetos inexistentes.
  • Tipos de Anotación: Se soportan Cajas delimitadoras Horizontales (HBB), Orientadas (OBB) y Máscaras de Segmentación (polígonos).
• Discrepancias Visuales-Semánticas: El equipo identifica y clasifica las discrepancias (ej. ~3% de errores, ~7% de oclusiones). En lugar de descartar los casos ocultos, se etiquetan como "difíciles" para permitir el entrenamiento en escenarios realistas donde la inferencia contextual es necesaria.

3. Contribuciones Clave

1. El Dataset (GroundSet): Un recurso masivo y único derivado de datos catastrales verificados, ofreciendo una densidad de anotación sin precedentes (mediana de 8 objetos/imagen) y riqueza semántica (135 clases).
2. El Benchmark: Una suite de 7 tareas de razonamiento espacial para instrucción y ajuste fino (instruction tuning):
   • Descripción de escenas (Captioning).
   • Clasificación localizada.
   • Detección de objetos (HBB y multi-clase).
   • Comprensión de expresiones de referencia (REC).
   • Segmentación semántica.
   • Respuesta a preguntas visuales (VQA) de presencia/ausencia.
3. La Línea Base (Baseline): Un modelo basado en la arquitectura estándar LLaVA-1.6 (7B parámetros) ajustado finamente con estos datos, que sirve como referencia robusta para la investigación futura.

4. Resultados y Evaluación

Los autores evaluaron el rendimiento en un escenario estricto de zero-shot (sin ajuste fino en GroundSet) contra modelos de última generación:

• Modelos Evaluados: MLLMs generales (LLaVA, PaliGemma), especialistas en RS (GeoChat, SkySenseGPT), especialistas espaciales (Ferret) y soluciones comerciales (Gemini-2.5 Flash).
• Hallazgos Principales:
  • Déficit de los Especialistas: Los modelos especializados en RS (GeoChat, SkySenseGPT) sufrieron una degradación severa en la generalización zero-shot, a veces rindiendo peor que sus arquitecturas base, debido al "olvido catastrófico" o a datos de entrenamiento limitados.
  • Brecha de Conocimiento: Incluso los modelos comerciales masivos (Gemini) mostraron competencia general, pero carecían del conocimiento semántico específico del dominio para igualar al modelo ajustado con GroundSet.
  • Éxito del Ajuste Fino: El modelo GroundSet (ajustado con LLaVA-1.6) superó significativamente a todos los competidores en tareas de anclaje espacial (Grounding).
    • En Detección (F1@0.5): Logró un 49.47% frente a un máximo de ~18% en modelos zero-shot.
    • En Segmentación: Logró un 44.65% frente a <20% en otros.
    • En Clasificación: Superó a Gemini por un margen de 44 puntos.
• Generalización Cruzada: Cuando el modelo entrenado con GroundSet se probó en otro benchmark (VRSBench) en un escenario out-of-distribution (sin vehículos ni aviones, clases ausentes en sus datos de entrenamiento), mantuvo capacidades de anclaje espacial superiores a los especialistas en RS, demostrando que la habilidad de "anclaje espacial" aprendida de datos vectoriales es transferible.

5. Significado e Impacto

• Paradigma de "Datos > Arquitectura": El estudio demuestra que, para tareas de anclaje espacial fino, la calidad y densidad de los datos de entrenamiento son más críticas que las modificaciones arquitectónicas complejas. Un modelo estándar (LLaVA) puede dominar tareas espaciales complejas si se entrena con datos de alta fidelidad.
• Cierre de la Brecha de Conocimiento: GroundSet expone una "brecha de conocimiento" en los modelos pre-entrenados a escala web, que carecen de la granularidad administrativa y geométrica necesaria para aplicaciones de RS operativas.
• Futuro de la Investigación: Al liberar tanto las instrucciones como los datos vectoriales nativos, los autores habilitan la comunidad para explorar nuevos paradigmas de modelado (como GNNs o arquitecturas no autoregresivas) que aprovechen la estructura geométrica intrínseca de los datos, más allá de los formatos de texto actuales.

En resumen, GroundSet establece un nuevo estándar para la comprensión espacial en Observación de la Tierra, probando que la verificación legal y la precisión geométrica de los datos catastrales son la clave para habilitar la IA en aplicaciones críticas de planificación y gestión territorial.