Resumen Técnico: TerraQ – Preguntas y Respuestas Espaciotemporales en Archivos de Imágenes Satelitales

Enunciado del Problema

El rápido avance de los Modelos de Lenguaje Grande (LLM) ha provocado una proliferación de asistentes digitales e interfaces de lenguaje natural, sin embargo, el acceso a archivos especializados de datos de Observación de la Tierra (EO) sigue siendo un desafío para los usuarios no técnicos. Los sistemas existentes para la recuperación de imágenes satelitales a menudo dependen de una generación de consultas rígida y basada en plantillas, lo que limita la variedad de preguntas que los usuarios pueden formular y reduce la precisión. Además, muchos sistemas carecen de integración con grafos de conocimiento geoespacial (KG) de alta calidad y construidos con un propósito específico, que contengan tanto características administrativas/naturales como metadatos satelitales específicos (por ejemplo, Sentinel-1 y Sentinel-2). El desafío central abordado por este trabajo es desarrollar un sistema que permita a los usuarios consultar criterios espaciotemporales complejos (por ejemplo, "imágenes de ríos cerca de puertos con una cobertura de nubes específica") utilizando lenguaje natural, sin depender de modelos neuronales computacionalmente costosos ni de plantillas restrictivas.

Metodología

Los autores proponen TerraQ, un motor de Preguntas y Respuestas (QA) espaciotemporal diseñado para traducir solicitudes en lenguaje natural a consultas SPARQL/GeoSPARQL ejecutables sobre un Grafo de Conocimiento especializado. El sistema opera mediante una tubería de componentes distintos:

1. Construcción del Grafo de Conocimiento:

   • Fuentes de Datos: El KG integra datos de GADM (divisiones administrativas), e-GEOS (ríos, puertos, POI), Sentinel-1 (2020–2021), Sentinel-2 (2020–2022) y Marine Regions (sectores marinos).
   • Ontología: Construida sobre los estándares YAGO2geo y GeoSPARQL, la ontología se centra en una clase Feature extendida por subclases para entidades específicas (ríos, imágenes, etc.).
   • Normalización: Una tubería de traducción que utiliza el LLM Mistral-7b convierte las etiquetas geoespaciales no inglesas (por ejemplo, "Roma") al inglés para garantizar un reconocimiento de entidades consistente.

2. La Tubería del Motor TerraQ:
   El motor procesa las consultas de entrada a través de cuatro pasos conceptuales:

   • Análisis y Identificación:
     • Generador de Árbol de Dependencias: Utiliza Stanford-CoreNLP para estructurar la entrada.
     • Identificador de Instancias: Realiza el Reconocimiento de Entidades Nombradas (NER) y la desambiguación (utilizando WAT y enlaces de Wikipedia) para mapear entidades (por ejemplo, "Emilia Romagna") a recursos del KG.
     • Identificador de Conceptos: Mapea conceptos semánticos (por ejemplo, "Río", "Bosque") a clases de ontología del KG utilizando similitud de cadenas y n-gramas.
     • Identificador de Propiedades: Mapea atributos especificados por el usuario (por ejemplo, "cobertura de nubes") a propiedades del KG, resolviendo conflictos mediante heurísticas de proximidad.
     • Identificadores Espaciales y Temporales: Mapea relaciones espaciales (por ejemplo, "lejos de") a funciones stSPARQL/GeoSPARQL (por ejemplo, geof:distance) y palabras clave temporales a fechas específicas utilizando HeidelTime.
   • Manejo de Lógica y Restricciones:
     • Solucionador Numérico: Identifica números y los asocia con propiedades o funciones espaciales (por ejemplo, "menos de 2 km").
     • Solucionador de Conjunción: Maneja conjunciones lógicas (por ejemplo, "pueblos y bosques") generando relaciones espaciales apropiadas.
   • Construcción de la Consulta:
     • Identificador de Tipo de Retorno: Determina el formato de salida esperado (por ejemplo, Imagen, Coordenadas, Recuento) utilizando un modelo Llama 2 afinado, con una solución heurística de respaldo para entornos sin GPU.
     • Identificador de Forma de Consulta: Construye la cláusula SELECT/ASK basada en el tipo de retorno.
     • Generador de Consultas: Fusiona las cláusulas WHERE y SELECT en una consulta SPARQL completa.
     • Mejorador de Consultas: Un módulo opcional que utiliza un LLM Mistral-7b afinado para refinar consultas complejas (paradigma de Refinamiento de Ejecución).
     • Transpilador GoST: Reescribe las consultas para utilizar relaciones geoespaciales materializadas (precalculadas mediante JedAI-Spatial) con el fin de optimizar el rendimiento, evitando cálculos costosos en tiempo de ejecución para relaciones como geof:sfWithin.

Contribuciones Clave

El artículo describe dos contribuciones principales:

1. Un Grafo de Conocimiento Especializado: Un KG jerárquico que interconecta información geoespacial (características naturales, divisiones administrativas) con metadatos de imágenes satelitales. Esta estructura facilita la expansión con conocimiento temático adicional.
2. El Motor TerraQ: Un motor de QA espaciotemporal capaz de manejar consultas simples y complejas dinámicamente. Crucialmente, logra esto sin depender de plantillas de consultas ni de modelos neuronales computacionalmente exigentes para el proceso central de traducción, utilizando en su lugar un enfoque híbrido de LLMs a pequeña escala, heurísticas y conocimiento experto.

Resultados de la Evaluación

Debido a la falta de conjuntos de datos públicos específicamente para Text-to-SPARQL en archivos de EO, los autores evaluaron TerraQ en el conjunto de datos GeoQuestions1089 (diseñado originalmente para la ontología YAGO2geo).

• Rendimiento: TerraQ logró una precisión general del 44.36% en el conjunto de datos GeoQuestions1089.
• Comparaciones:
  • Superó al sistema anterior basado en plantillas de última generación, GeoQA2 (40.33%), en aproximadamente 4 puntos porcentuales en general (una mejora relativa del 10%).
  • Superó significativamente al motor de Hamzei et al. (25.92%).
• Análisis por Categoría: TerraQ mostró un rendimiento superior en la mayoría de las categorías (A, B, D, E, F, G, I). Sin embargo, se observaron regresiones de rendimiento en las categorías C y H, que los autores atribuyen a la naturaleza dinámica del sistema y a las limitaciones de las heurísticas en estructuras de consultas complejas específicas en comparación con las plantillas rígidas.

Significado y Afirmaciones

El artículo posiciona a TerraQ como un paso hacia la democratización del acceso a los datos de Observación de la Tierra. Su importancia radica en:

• Accesibilidad: Permitir que tanto usuarios novatos como expertos interactúen con archivos satelitales complejos mediante lenguaje natural, alineándose con el panorama actual de asistentes digitales.
• Eficiencia y Adaptabilidad: Al evitar LLMs masivos y plantillas rígidas, el sistema es desplegable en hardware comercial y puede adaptarse más fácilmente a diferentes dominios.
• Precisión: El uso de un KG de alta calidad construido con un propósito específico permite resultados más detallados en comparación con sistemas anteriores como EarthQA.

Los autores concluyen que, aunque el sistema no es perfecto (señalando las regresiones de rendimiento en categorías específicas), demuestra exitosamente que un enfoque híbrido impulsado por heurísticas puede cerrar efectivamente la brecha entre el lenguaje natural y la recuperación compleja de datos geoespaciales. El trabajo futuro implica la integración de sistemas de Preguntas y Respuestas Visuales para refinar aún más los criterios de selección de imágenes.