Résumé Technique : TerraQ – Réponse à des Questions Spatio-Temporelles sur des Archives d'Images Satellitaires

Énoncé du Problème

Les progrès rapides des Grands Modèles de Langage (LLM) ont conduit à une prolifération d'assistants numériques et d'interfaces en langage naturel, mais l'accès aux archives spécialisées de données d'observation de la Terre (EO) reste difficile pour les utilisateurs non techniques. Les systèmes existants de recherche d'images satellitaires reposent souvent sur une génération de requêtes rigide et basée sur des modèles, ce qui limite la variété des questions que les utilisateurs peuvent poser et réduit la précision. De plus, de nombreux systèmes manquent d'intégration avec des graphes de connaissances géospatiaux (KG) de haute qualité, conçus à des fins spécifiques, contenant à la fois des caractéristiques administratives/naturelles et des métadonnées satellitaires spécifiques (par exemple, Sentinel-1 et Sentinel-2). Le défi central abordé par ce travail est de développer un système permettant aux utilisateurs d'interroger des critères spatio-temporels complexes (par exemple, « images de rivières près de ports avec une couverture nuageuse spécifique ») en langage naturel, sans recourir à des modèles neuronaux coûteux en calcul ou à des modèles restrictifs.

Méthodologie

Les auteurs proposent TerraQ, un moteur de réponse à des questions (QA) spatio-temporelles conçu pour traduire les requêtes en langage naturel en requêtes SPARQL/GeoSPARQL exécutables sur un Graphe de Connaissances spécialisé. Le système fonctionne via un pipeline de composants distincts :

1. Construction du Graphe de Connaissances :

   • Sources de données : Le KG intègre des données provenant de GADM (divisions administratives), d'e-GEOS (rivières, ports, points d'intérêt), de Sentinel-1 (2020–2021), de Sentinel-2 (2020–2022) et de Marine Regions (secteurs maritimes).
   • Ontologie : Construite sur la base des standards YAGO2geo et GeoSPARQL, l'ontologie est centrée sur une classe Feature étendue par des sous-classes pour des entités spécifiques (rivières, images, etc.).
   • Normalisation : Un pipeline de traduction utilisant le LLM Mistral-7b convertit les libellés géospatiaux non anglais (par exemple, « Roma ») en anglais pour assurer une reconnaissance d'entités cohérente.

2. Le Pipeline du Moteur TerraQ :
   Le moteur traite les requêtes d'entrée en quatre étapes conceptuelles :

   • Analyse et Identification :
     • Générateur d'arbre de dépendance : Utilise Stanford-CoreNLP pour structurer l'entrée.
     • Identificateur d'instances : Effectue la reconnaissance d'entités nommées (NER) et la désambiguïsation (en utilisant WAT et les liens Wikipédia) pour mapper les entités (par exemple, « Emilia Romagna ») vers les ressources du KG.
     • Identificateur de concepts : Mappe les concepts sémantiques (par exemple, « Rivière », « Forêt ») vers les classes d'ontologie du KG en utilisant la similarité de chaînes et les n-grammes.
     • Identificateur de propriétés : Mappe les attributs spécifiés par l'utilisateur (par exemple, « couverture nuageuse ») vers les propriétés du KG, en résolvant les conflits via des heuristiques de proximité.
     • Identificateurs Spatiaux et Temporels : Mappe les relations spatiales (par exemple, « loin de ») vers des fonctions stSPARQL/GeoSPARQL (par exemple, geof:distance) et les mots-clés temporels vers des dates spécifiques en utilisant HeidelTime.
   • Gestion de la Logique et des Contraintes :
     • Résolveur Numérique : Identifie les nombres et les associe à des propriétés ou des fonctions spatiales (par exemple, « moins de 2 km »).
     • Résolveur de Conjonction : Gère les conjonctions logiques (par exemple, « villes et forêts ») en générant des relations spatiales appropriées.
   • Construction de la Requête :
     • Identificateur de Type de Retour : Détermine le format de sortie attendu (par exemple, Image, Coordonnées, Compte) en utilisant un modèle Llama 2 finement ajusté, avec une solution de repli heuristique pour les environnements sans GPU.
     • Identificateur de Forme de Requête : Construit la clause SELECT/ASK en fonction du type de retour.
     • Générateur de Requête : Fusionne les clauses WHERE et SELECT en une requête SPARQL complète.
     • Améliorateur de Requête : Un module optionnel utilisant un LLM Mistral-7b finement ajusté pour affiner les requêtes complexes (paradigme d'Affinement d'Exécution).
     • Transpileur GoST : Réécrit les requêtes pour utiliser des relations géospatiales matérialisées (pré-calculées via JedAI-Spatial) afin d'optimiser les performances, évitant ainsi des calculs coûteux à l'exécution pour des relations telles que geof:sfWithin.

Contributions Clés

L'article expose deux contributions principales :

1. Un Graphe de Connaissances Spécialisé : Un KG hiérarchique qui interconnecte les informations géospatiales (caractéristiques naturelles, divisions administratives) avec les métadonnées d'images satellitaires. Cette structure facilite l'expansion avec des connaissances thématiques supplémentaires.
2. Le Moteur TerraQ : Un moteur de réponse à des questions spatio-temporelles capable de gérer dynamiquement des requêtes simples et complexes. Crucialement, il y parvient sans recourir à des modèles de requêtes ou à des modèles neuronaux coûteux en calcul pour le processus de traduction principal, utilisant à la place une approche hybride de petits LLM, d'heuristiques et de connaissances expertes.

Résultats de l'Évaluation

En raison du manque de jeux de données publics spécifiquement conçus pour le Text-to-SPARQL sur les archives EO, les auteurs ont évalué TerraQ sur le jeu de données GeoQuestions1089 (initialement conçu pour l'ontologie YAGO2geo).

• Performance : TerraQ a atteint une précision globale de 44,36 % sur le jeu de données GeoQuestions1089.
• Comparaisons :
  • Il a surpassé le système précédent basé sur des modèles, GeoQA2 (40,33 %), d'environ 4 points de pourcentage au total (une amélioration relative de 10 %).
  • Il a nettement surpassé le moteur de Hamzei et al. (25,92 %).
• Analyse par Catégorie : TerraQ a montré des performances supérieures dans la plupart des catégories (A, B, D, E, F, G, I). Cependant, des régressions de performance ont été observées dans les catégories C et H, que les auteurs attribuent à la nature dynamique du système et aux limites des heuristiques dans des structures de requêtes complexes spécifiques par rapport aux modèles rigides.

Importance et Revendications

L'article présente TerraQ comme une étape vers la démocratisation de l'accès aux données d'observation de la Terre. Son importance réside dans :

• Accessibilité : Permettre à la fois aux utilisateurs novices et experts d'interagir avec des archives satellitaires complexes via le langage naturel, s'alignant ainsi sur le paysage actuel des assistants numériques.
• Efficacité et Adaptabilité : En évitant les LLM massifs et les modèles rigides, le système est déployable sur du matériel standard et peut être plus facilement adapté à différents domaines.
• Précision : L'utilisation d'un KG de haute qualité, conçu à des fins spécifiques, permet des résultats plus fins par rapport aux systèmes précédents comme EarthQA.

Les auteurs concluent que, bien que le système ne soit pas parfait (notant les régressions de performance dans des catégories spécifiques), il démontre avec succès qu'une approche hybride pilotée par des heuristiques peut efficacement combler le fossé entre le langage naturel et la récupération complexe de données géospatiales. Les travaux futurs visent à intégrer des systèmes de Réponse à des Questions Visuelles pour affiner davantage les critères de sélection d'images.