NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

Each language version is independently generated for its own context, not a direct translation.

🌍 Le Grand Défi : Trouver le chemin parfait dans l'espace

Imaginez que vous êtes un secouriste ou un explorateur dans une zone sinistrée (un tremblement de terre, une inondation). Vous avez une carte satellite très précise (une image de la Terre vue du ciel), mais vous ne savez pas exactement par où passer.

Vous ne pouvez pas traverser les rivières avec un camion.
Vous ne pouvez pas marcher dans les zones boueuses avec des chaussures de ville.
Vous devez éviter les forêts denses pour ne pas vous perdre.

Votre objectif ? Trouver le meilleur chemin possible en tenant compte de toutes ces règles complexes.

C'est là que les Intelligences Artificielles (IA) entrent en jeu. On espère qu'elles peuvent regarder la photo satellite, comprendre les règles et tracer la route idéale pour nous. Mais jusqu'à présent, on ne savait pas vraiment si elles étaient capables de le faire correctement.

🧪 La Solution : NeSy-Route, le "Permis de Conduire" pour les IA

Les chercheurs de l'Université de Nanjing (en Chine) ont créé un nouveau test appelé NeSy-Route. C'est comme un examen de conduite théorique et pratique ultra-sophistiqué pour les IA, spécifiquement conçu pour la navigation sur Terre.

Pourquoi est-ce spécial ?

C'est énorme : Ils ont créé plus de 10 000 scénarios différents (des routes, des obstacles, des agents comme des piétons, des voitures ou des drones). C'est 10 fois plus que les anciens tests !
C'est "Neuro-Symbolique" : C'est un mot compliqué qui signifie simplement qu'ils mélangent deux choses :
- La vision (l'IA regarde l'image comme un humain).
- La logique pure (l'IA utilise des règles mathématiques strictes, comme un ordinateur, pour vérifier si le chemin est possible).

🎯 Comment fonctionne l'examen ? (Les 3 Épreuves)

L'examen NeSy-Route ne demande pas juste à l'IA de "deviner". Il la teste en trois étapes progressives, comme un jeu vidéo qui devient de plus en plus dur :

Étape 1 : La Compréhension des Règles (Le "Cahier des Charges")

Le scénario : L'IA lit une phrase comme : "Un randonneur avec de bonnes bottes doit éviter les arbres denses et les zones boueuses, mais peut traverser les champs."
Le test : L'IA doit transformer cette phrase en une liste de règles mathématiques précises (ex: "Boue = interdit", "Champs = autorisé").
Le résultat : Les IA modernes sont plutôt bonnes ici. Elles comprennent bien le texte.

Étape 2 : L'Alignement Image-Règle (Le "Repérage")

Le scénario : Maintenant, on montre à l'IA la photo satellite avec les zones colorées (les arbres, les routes, l'eau).
Le test : L'IA doit dire : "Ah ! Cette zone verte sur la photo correspond aux 'arbres' dont on parlait, donc c'est interdit. Cette zone grise est une route, donc c'est autorisé."
Le résultat : C'est ici que ça coince souvent. L'IA comprend la règle, mais elle a du mal à l'appliquer correctement sur l'image réelle. Elle confond parfois les textures ou les zones.

Étape 3 : La Planification du Chemin (Le "Trajet")

Le scénario : On donne un point de départ (A) et un point d'arrivée (B).
Le test : L'IA doit tracer une ligne point par point du départ à l'arrivée, en respectant scrupuleusement les règles (ne pas traverser l'eau, éviter les obstacles) et en trouvant le chemin le plus court/sûr.
Le résultat : C'est le grand échec actuel. Même les IA les plus intelligentes ont du mal. Elles tracent souvent des chemins qui passent à travers des murs, des rivières, ou des chemins beaucoup trop longs et inefficaces.

📉 Ce que les chercheurs ont découvert

En testant les meilleures IA du monde (comme GPT, Gemini, Qwen), ils ont trouvé une vérité surprenante :

"Une IA peut être brillante pour comprendre les règles et voir les images, mais elle reste très bête pour planifier un trajet."

C'est comme si vous aviez un pilote de course qui connaît par cœur le code de la route et qui voit parfaitement la piste, mais qui, une fois au volant, ne sait pas tourner le volant pour éviter un virage sans sortir de la route.

💡 Pourquoi est-ce important ?

Ce test (NeSy-Route) est crucial car il nous dit :

On ne peut pas encore faire confiance aux IA pour des missions critiques (comme les secours en cas de catastrophe) où la planification de route est vitale.
Il faut changer la façon de les entraîner. Les IA actuelles sont entraînées à "parler" et "voir", mais pas assez à "penser" et "planifier" de manière logique.

En résumé

NeSy-Route est un nouveau terrain de jeu géant où l'on teste si les robots intelligents savent vraiment trouver leur chemin dans un monde complexe. Pour l'instant, ils sont de bons élèves en théorie, mais de mauvais conducteurs en pratique. Ce test aidera les scientifiques à construire les prochaines générations d'IA capables de nous sauver la mise quand nous en aurons le plus besoin.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Les modèles de langage multimodaux (MLLM) ont fait des progrès remarquables dans la perception visuelle et le raisonnement complexe. Cependant, dans le domaine de la télédétection (imagerie satellite/aérienne), les benchmarks existants se concentrent principalement sur la perception (segmentation, détection) et le raisonnement descriptif. Ils échouent à évaluer les capacités de planification de trajectoire contrainte, essentielles pour des applications critiques comme les secours en cas de catastrophe ou les enquêtes écologiques.

Les défis majeurs identifiés sont :

La difficulté de créer et de valider des tâches de planification à grande échelle.
L'absence de protocoles d'évaluation précis, souvent basés sur des choix multiples plutôt que sur la génération de trajectoires optimales.
L'incapacité des modèles actuels à intégrer des contraintes sémantiques complexes (types de terrain, agents spécifiques) pour générer des chemins sûrs et optimaux.

2. Méthodologie : NeSy-Route

Pour répondre à ces lacunes, les auteurs introduisent NeSy-Route, un benchmark neuro-symbolique à grande échelle conçu pour évaluer la planification de routes contrainte dans des scènes de télédétection.

A. Architecture de Génération de Données Automatisée

Le benchmark repose sur un cadre de génération de données hybride (neuro-symbolique) qui combine la puissance générative des LLM avec la rigueur des algorithmes symboliques :

Base de Connaissance (KB) : Définition de 8 types de couverture terrestre (sol nu, pâturage, zone développée, route, arbre, eau, agriculture, bâtiment) et de 4 types d'agents (piéton, voiture, drone, bateau). Chaque agent possède des règles de traversabilité (toujours, conditionnel, interdit) et des priorités de coût (le plus rapide, le plus sûr, le plus confortable).
Synthèse de Requêtes Symboliques : Un LLM (DeepSeek-V3.2) génère des scénarios textuels à partir de configurations symboliques. Un second modèle (Gemini-3-Pro) vérifie la cohérence logique entre le texte généré et les règles symboliques de la KB.
Ancrage Visuel et Masques : Les contraintes textuelles sont ancrées sur des masques de segmentation sémantique haute fidélité (OpenEarthMap). Une érosion morphologique est appliquée pour garantir des régions visuelles pures.
Génération de Trajectoires Optimales : Un algorithme de recherche A-Star est utilisé sur une carte de coûts dérivée des contraintes symboliques pour générer la trajectoire optimale de référence ( $\tau^*$ ), garantissant une solution mathématiquement prouvée.

B. Évaluation Hiérarchique en Trois Niveaux

Le benchmark évalue les MLLMs à travers trois tâches intégrées :

Compréhension des Contraintes Textuelles (Task 1) : Extraction de vecteurs symboliques (traversabilité et préférences) à partir d'instructions textuelles.
Alignement Contrainte Texte-Image (Task 2) : Ancrage des contraintes textuelles sur les régions visuelles identifiées dans l'image pour déterminer la traversabilité locale.
Planification de Route Contrainte (Task 3) : Génération d'une séquence de points de passage (waypoints) entre un point de départ et d'arrivée, minimisant le coût cumulé tout en évitant les obstacles.

C. Métriques d'Évaluation

Un protocole d'évaluation symbolique rigoureux est proposé :

Task 1 & 2 : Taux de correspondance de traversabilité (TM), corrélation de classement de préférence (PR), et taux de correspondance des régions (RM).
Task 3 : Taux d'adhérence (AR, respect des zones traversables), Ratio de violation (VR), Ratio de coût (CR, optimalité par rapport au chemin idéal) et Distance de Chamfer (CD, proximité géométrique).

3. Contributions Clés

Premier Benchmark Neuro-Symbolique : NeSy-Route est le premier benchmark dédié à la planification de routes contrainte en télédétection, évaluant simultanément la perception, le raisonnement et la planification.
Échelle et Qualité des Données : Le benchmark contient 10 821 échantillons de planification (près de 10 fois plus que le benchmark précédent XLRS-Bench), générés automatiquement avec des solutions optimales prouvées.
Protocole d'Évaluation Hiérarchique : Une approche en trois niveaux permet d'isoler les goulots d'étranglement cognitifs (compréhension, alignement, planification) plutôt que de fournir une métrique globale floue.
Cadre de Validation Neuro-Symbolique : Intégration de la vérification logique par LLM et de la recherche de chemin algorithmique pour garantir l'exactitude des données de référence (Ground Truth).

4. Résultats Expérimentaux

L'évaluation de plusieurs MLLMs d'état de l'art (GPT-5.1, Gemini-3-Pro, Qwen3-VL, etc.) révèle des résultats significatifs :

Compréhension Textuelle (Task 1) : Les modèles propriétaires (Gemini-3-Pro, GPT-5.1) et certains modèles open-source (Qwen3.5-27B) montrent une bonne capacité à décoder les contraintes logiques textuelles (ex: 98,34% de précision pour Gemini-3-Pro sur la traversabilité).
Alignement Texte-Image (Task 2) : Une chute drastique des performances est observée dès l'introduction de l'analyse visuelle. Bien que les modèles comprennent le texte, leur capacité à mapper ces contraintes sur l'image est faible. Les modèles open-source comme Qwen3-VL-235B-A22B montrent des résultats prometteurs en alignement logique, surpassant parfois les modèles fermés.
Planification de Route (Task 3) : C'est le point de rupture majeur.
- Les modèles actuels peinent à générer des trajectoires globalement optimales.
- Gemini-3-Pro obtient les meilleurs résultats d'optimalité (Ratio de coût le plus bas), mais avec un taux d'adhérence global faible (18,70%), indiquant qu'il échoue souvent à respecter les contraintes de base.
- Les modèles open-source (ex: Qwen3-VL-32B) ont un meilleur taux d'adhérence (32,70%) mais produisent des trajectoires très inefficaces et redondantes (Ratio de coût élevé).
- La performance se dégrade fortement avec la complexité de l'environnement (du niveau "Facile" à "Difficile").

Conclusion des résultats : Une forte capacité de perception et de raisonnement textuel ne se traduit pas automatiquement par une capacité de planification efficace. Il existe un fossé cognitif fondamental entre la reconnaissance d'attributs et la planification contrainte.

5. Signification et Perspectives

NeSy-Route met en lumière les limites actuelles des MLLMs appliqués à la télédétection :

Limites des Données d'Entraînement : Les modèles actuels sont entraînés sur des données favorisant la reconnaissance d'objets, négligeant les textures de terrain et les caractéristiques géologiques nécessaires à la planification.
Limites Architecturales : Les architectures actuelles ne sont pas optimisées pour le raisonnement spatial complexe et la planification séquentielle.

Impact : Ce travail fournit une référence standard (Gold Standard) objective pour évaluer et guider le développement de futurs MLLMs capables de prendre des décisions autonomes et fiables dans des environnements géographiques complexes, essentiels pour les applications de secours et de gestion des ressources.