Résumé Technique : Récupération de l'Outil par Complémentarité Sémantique Bidirectionnelle pour les Agents de Télédétection

1. Énoncé du Problème

Les agents basés sur les Grands Modèles de Langage (LLM) offrent un paradigme prometteur pour l'automatisation du traitement des données de Télédétection (RS). Cependant, l'efficacité des flux de travail des agents repose sur l'accès à de vastes bibliothèques d'outils spécialisés (ex: QGIS, GDAL, Orfeo ToolBox). Les méthodes actuelles de récupération d'outils sont confrontées à un goulot d'étranglement critique d'« asymétrie sémantique » :

• Côté Requête : Les requêtes des utilisateurs expriment généralement des intentions macro-niveau, abstraites (ex: « analyser la santé des cultures ») qui manquent de la sémantique fonctionnelle spécifique requise pour déclencher des outils techniques.
• Côté Outil : La documentation des outils fournit des spécifications techniques fines (entrées/sorties) mais manque de la sémantique contextuelle concernant la manière dont les outils s'intègrent dans des flux de travail opérationnels spécifiques.

Les approches existantes ne traitent souvent qu'un seul côté de ce fossé — soit en réécrivant les requêtes pour ajouter des détails fonctionnels, soit en construisant des graphes pour ajouter du contexte aux outils — mais échouent à combler le désalignement fondamental entre l'intention abstraite de l'utilisateur et les spécifications techniques rigides. De plus, les tâches de RS présentent un « couplage fort », où la sortie d'un outil impose des contraintes strictes sur la sélection des outils suivants, une dépendance souvent ignorée dans la récupération standard.

2. Méthodologie

Le papier propose la Récupération de l'Outil par Complémentarité Sémantique Bidirectionnelle (BSCTR), un cadre conçu pour aligner les intentions macro-niveau des utilisateurs avec les spécifications techniques fines via une architecture à trois modules :

A. Module de Planification (Amélioration Fonctionnelle du côté Requête)

Pour remédier au manque de sémantique fonctionnelle dans les requêtes utilisateur, ce module exploite les capacités de raisonnement des LLM.

• Mécanisme : Il emploie une stratégie basée sur la planification (ex: prompting Plan-and-Solve) pour décomposer une requête utilisateur grossière ($Q_{coarse}$) en une séquence de sous-tâches logiques ($S = \{s_1, s_2, ..., s_n\}$).
• Amélioration : Chaque sous-tâche est fusionnée avec l'intention macro originale pour créer une requête améliorée ($q_{enhance}^{(i)}$). Ce processus complète activement la requête avec la sémantique fonctionnelle manquante, transformant des objectifs abstraits en sous-tâches techniques explicites qui correspondent mieux à la documentation des outils.

B. Module de Graphe (Injection Contextuelle du côté Outil)

Pour remédier au manque de sémantique contextuelle dans les descriptions d'outils, ce module construit un graphe de dépendance d'outils dynamique.

• Construction du Graphe : La bibliothèque d'outils est modélisée comme un graphe dirigé $G=(N, E)$, où les arêtes représentent les dépendances d'invocation séquentielle basées sur les trajectoires historiques.
• Agrégation de Contexte : Inspiré par la Convolution de Graphe Simplifiée (SGC), le module effectue une agrégation linéaire multi-ordre des caractéristiques du voisinage. Il injecte explicitement des informations contextuelles des outils prédécesseurs dans la représentation du nœud de l'outil actuel.
• Directionnalité : Le système prend en charge les modes Prédécesseur (amont), Successeur (aval) et Symétrique. L'analyse expérimentale indique que le mode Prédécesseur est le plus efficace pour la RS, car l'identité d'un outil est principalement définie par ses prérequis en amont (ex: la correction radiométrique doit précéder l'extraction de caractéristiques).
• Évolution Dynamique : Le graphe possède des capacités d'apprentissage continu ; lors d'une exécution de tâche réussie, de nouvelles dépendances d'outils observées dans la trajectoire sont dynamiquement ajoutées au graphe, mettant à jour les représentations contextuelles ($V_t$).

C. Module d'Alignement Sémantique Bidirectionnel

Ce module sert de centre opérationnel, intégrant les représentations de requêtes améliorées ($V_q$) et les représentations d'outils enrichies par le contexte ($V_t$).

• Récupération : Il calcule la similitude cosinus entre les sous-requêtes améliorées et les nœuds d'outils pour récupérer les $k$ outils les plus pertinents.
• Exécution & Évolution : L'agent exécute les tâches via une boucle de raisonnement ReAct. Si une tâche réussit, la trajectoire est vérifiée et le graphe d'outils est mis à jour pour refléter les nouvelles relations causales, garantissant que le système s'adapte aux environnements à ensemble ouvert.

3. Contributions Clés

1. Cadre de Complémentarité Bidirectionnelle : Le papier introduit un nouveau paradigme qui comble simultanément l'« asymétrie sémantique » en enrichissant les requêtes avec la sémantique fonctionnelle et les outils avec la sémantique contextuelle. Cette approche synergique aligne les intentions macro avec les spécifications micro plus efficacement que les méthodes à perspective unique.
2. Modélisation Contextuelle par Graphe : Un graphe de dépendance d'outils dynamique est conçu pour encoder des contextes pragmatiques dans les représentations de nœuds. En agrégeant les caractéristiques du voisinage, le cadre capture le « couplage fort » et la logique séquentielle inhérents aux flux de travail professionnels de RS, garantissant que les outils récupérés sont logiquement cohérents avec les étapes précédentes.
3. Validation Empirique : La méthode est rigoureusement validée sur le jeu de données spécialisé GeoPlan-bench et le jeu de données généraliste API-Bank. Les résultats démontrent des améliorations significatives de la précision de la récupération et de la logique d'exécution par rapport aux meilleures méthodes de l'état de l'art.

4. Résultats Expérimentaux

Les expériences ont été menées sur GeoPlan-bench (248 trajectoires d'entraînement/996 de test, longueur moyenne de chaîne 10,67) et API-Bank Level-3 (50 tâches de test, 70 API).

• Performance sur GeoPlan-bench :

  • BSCTR a atteint un Recall@k global de 0,7485 et une Similitude (LCS) de 0,3237, surpassant nettement les bases de référence comme BM25, la récupération dense, la fusion Graph RAG-Tool et la réécriture de requête.
  • Dans le niveau de difficulté « Complexe », BSCTR a maintenu un Recall@k de 0,6970, alors que la base de référence de réécriture de requête est tombée à 0,6713.
  • Les études d'ablation ont révélé que la suppression du module de planification a provoqué une chute catastrophique des performances en RS (le Recall@k est passé de 0,7485 à 0,1883), soulignant le rôle critique de la décomposition fonctionnelle dans les domaines spécialisés où les requêtes utilisateur partagent peu de mots-clés avec les outils techniques.

• Performance sur API-Bank :

  • BSCTR a atteint les performances SOTA avec un Recall@k de 0,9067 et un F1-Score de 0,8804.
  • La méthode a démontré une robustesse de généralisation aux tâches de domaine général, même dans un contexte de démarrage à froid (sans trajectoires d'entraînement préalables), prouvant la polyvalence du mécanisme bidirectionnel.

• Sensibilité des Paramètres :

  • Une performance optimale a été trouvée avec un ordre d'agrégation $k=1$ et un facteur de lissage $\alpha=0,5$. Des valeurs de $k$ plus élevées introduisaient du bruit provenant d'outils distants, tandis que des valeurs extrêmes de $\alpha$ menaient soit à un contexte insuffisant, soit à une homogénéisation des caractéristiques.

5. Signification et Revendications

Le papier affirme que le cadre BSCTR proposé résout efficacement le « désalignement sémantique » qui entrave les agents LLM dans les domaines complexes et riches en outils comme la Télédétection.

• Spécificité du Domaine : Les auteurs soutiennent que les tâches de RS nécessitent une approche unique en raison de leur « couplage fort » et de leurs flux de travail causaux rigides. L'approche bidirectionnelle est présentée comme essentielle pour combler le fossé entre le langage naturel non expert et les outils techniques de niveau expert.
• Généralisabilité : Bien qu'optimisé pour la RS, le succès de la méthode sur API-Bank suggère qu'il s'agit d'un paradigme de récupération polyvalent capable de gérer les écarts sémantiques dans divers environnements d'utilisation d'outils en domaine ouvert.
• Adaptabilité Continue : Le mécanisme d'évolution dynamique permet au système d'apprendre de manière autonome de nouvelles dépendances d'outils à partir des exécutions réussies, répondant au défi du maintien de la pertinence dans des bibliothèques d'outils en constante évolution.

Les auteurs reconnaissent des limites, notamment la dépendance à la précision de la planification initiale du LLM (risque d'hallucinations logiques), les défis de démarrage à froid dans les sous-domaines à faibles données, et l'absence actuelle d'intégration multimodale (ex: métadonnées de capteurs). Des travaux futurs sont proposés pour intégrer des indices visuels et optimiser l'agrégation d'informations via l'apprentissage paramétrique.