MapTab: Are MLLMs Ready for Multi-Criteria Route Planning in Heterogeneous Graphs?

Cet article présente MapTab, un nouveau benchmark multimodal conçu pour évaluer les capacités de raisonnement des modèles de langage multimodaux (MLLM) dans la planification d'itinéraires selon plusieurs critères, révélant ainsi leurs limites actuelles face à des tâches complexes combinant données visuelles et structurées.

L'essentiel

🗺️ MapTab : Le Grand Test de Navigation pour les "Super-Cerveaux" Numériques

Imaginez que vous avez invité un groupe de génies artificiels (des modèles d'intelligence artificielle très avancés, appelés MLLM) à un concours de navigation. Le but ? Trouver le meilleur itinéraire pour se déplacer dans une ville ou visiter des lieux touristiques.

Mais attention, ce n'est pas un simple jeu de "trouver le chemin le plus court". C'est un défi complexe où ils doivent jongler avec plusieurs contraintes en même temps : le temps, le prix, le confort et la fiabilité.

Voici comment les chercheurs ont organisé ce concours, expliqué avec des analogies du quotidien.

1. Le Défi : Un Puzzle en Deux Pièces

Pour réussir ce test, l'IA ne peut pas juste regarder une image. Elle doit combiner deux sources d'informations qui ne se parlent pas naturellement :

• La Carte (L'Image) : C'est comme regarder le plan du métro accroché au mur. On voit les lignes, les couleurs et les stations. C'est visuel, mais il est difficile de lire les petits chiffres précis (combien ça coûte ? combien de temps ça prend ?).
• Le Tableau de Bord (Les Données) : C'est comme une feuille de calcul Excel tenue par un agent de station. Elle contient les chiffres exacts : "Ligne 1 : 5 minutes, 2 euros", "Ligne 2 : 10 minutes, 1 euro".

Le problème : Les IA actuelles sont très bonnes pour lire des images ou pour faire des calculs sur du texte, mais elles ont du mal à coller les deux ensemble pour prendre une décision logique. C'est comme si vous aviez un pilote d'avion qui voit bien la vue extérieure, mais qui ne sait pas lire son tableau de bord, ou vice-versa.

2. La Solution : MapTab, le "Stade de l'Entraînement"

Les chercheurs ont créé MapTab, un immense terrain d'entraînement (un "benchmark") pour tester ces IA.

• La taille du terrain : Ils ont créé 328 cartes différentes. Certaines représentent le métro de 160 villes dans 52 pays (le monde entier !), et d'autres sont des cartes de 168 sites touristiques dans 19 pays.
• Les questions : Ils ont posé 196 800 questions de type "Comment aller de A à B en minimisant le coût et le temps ?" et 3 936 questions de vérification (comme "Combien y a-t-il de stations sur cette ligne ?").

C'est comme si on avait construit un simulateur de vol pour tous les types de temps, de trafic et de budgets, juste pour voir si les IA peuvent vraiment "penser" comme des humains.

3. Les Résultats : Les IA sont encore des "Nouveaux"

Après avoir fait passer le test à 15 des IA les plus intelligentes du monde (y compris les modèles de Google, OpenAI et d'autres), les résultats sont sans appel : elles ont du mal.

Voici les trois grandes leçons tirées de ce test, expliquées simplement :

• 👀 Le problème de la vue (La perception) :
  Quand les cartes sont très chargées (beaucoup de lignes, beaucoup de texte), les IA se perdent. Elles confondent les lignes, sautent d'une station à l'autre de manière impossible, ou ne lisent pas les petits détails.

  • L'analogie : C'est comme essayer de lire une recette de cuisine écrite en tout petit sur un mur taché de peinture. Même si vous êtes un grand chef, vous allez rater les ingrédients.
  • La surprise : Parfois, donner seulement le tableau de bord (les chiffres) à l'IA fonctionne mieux que de lui donner la carte ! Cela prouve que leur "vue" est encore fragile.

• 🧠 Le problème du calcul (Le raisonnement) :
  Les IA sont excellentes pour dire "Je vois une ligne rouge". Mais dès qu'il faut faire des maths simples (additionner 5 minutes + 10 minutes + 2 euros) ou comparer plusieurs options, elles trébuchent.

  • L'analogie : Imaginez un étudiant brillant en philosophie qui, dès qu'on lui demande de calculer le montant de sa note de restaurant, commence à halluciner des chiffres. C'est ce qui arrive aux IA : elles "devinent" le chemin le plus court au lieu de vraiment calculer le meilleur compromis.

• 🤯 Le problème de la "Sur-réflexion" :
  Certaines IA, celles qui sont conçues pour "réfléchir avant de parler" (comme les modèles avec "Chain of Thought"), font parfois l'inverse. Elles réfléchissent trop à des problèmes simples, se posent des questions inutiles, et finissent par se tromper là où une réponse simple aurait suffi.

  • L'analogie : C'est comme quelqu'un qui hésite tellement à choisir son chemin dans un supermarché qu'il finit par oublier ce qu'il voulait acheter.

4. Pourquoi est-ce important ?

Ce papier ne dit pas que les IA sont inutiles. Il dit qu'elles ne sont pas encore prêtes pour des tâches de la vie réelle où il faut prendre des décisions complexes en combinant vision et logique.

Si demain vous demandez à une voiture autonome de choisir un itinéraire en tenant compte de la météo, du prix de l'essence, de la fatigue du conducteur et des travaux routiers, elle risque de faire une erreur si elle n'a pas été entraînée comme sur MapTab.

En résumé :
MapTab est un rude examen de maturité pour les intelligences artificielles. Il nous montre qu'elles sont devenues de très bons "lecteurs de cartes", mais qu'elles doivent encore apprendre à devenir de véritables "planificateurs de voyage" capables de jongler avec le temps, l'argent et le confort sans se perdre.

C'est un pas de géant pour comprendre où nous en sommes, et surtout, où nous devons encore travailler pour rendre ces technologies vraiment fiables dans notre quotidien.

Résumé technique

1. Problématique et Contexte

L'évaluation systématique des Modèles de Langage Multimodaux (MLLM) est cruciale pour l'avancement de l'Intelligence Artificielle Générale (AGI). Cependant, les benchmarks existants sont insuffisants pour évaluer rigoureusement les capacités de raisonnement des modèles sous des contraintes multi-critères.

La planification d'itinéraires (Route Planning - RP) basée sur des cartes complexes constitue un défi idéal pour tester ces capacités. Contrairement aux tâches simples de question-réponse visuelle, la RP exige :

• La compréhension de données visuelles (topologie de la carte).
• L'intégration de données textuelles et structurées (tableaux de temps, prix, etc.).
• L'exécution de tâches complexes : OCR, extraction topologique, comparaison numérique, alignement inter-modale et raisonnement logique.
• L'optimisation sous multiples contraintes réelles (Temps, Coût, Confort, Fiabilité) plutôt que l'optimisation d'un seul objectif.

Le manque de benchmarks capables de simuler ces scénarios de décision réalistes et multi-critères constitue le vide que cet article cherche à combler.

2. Méthodologie : Le Benchmark MapTab

Les auteurs proposent MapTab, un benchmark multimodal conçu pour évaluer le raisonnement holistique sur des graphes hétérogènes à travers deux scénarios réalistes :

A. Composition des Données

MapTab comprend 328 cartes haute résolution réparties en deux catégories :

1. Metromap : Réseaux de métro de 160 villes dans 52 pays (52 langues natives, 28 langues de rendu).
2. Travelmap : 168 attractions touristiques représentatives dans 19 pays.

B. Structure des Données (Approche "Image + Table")

Pour éviter l'ambiguïté sémantique inhérente aux descriptions textuelles non structurées, MapTab utilise une approche hybride :

• Images : Représentations topologiques des cartes (métro ou touristique).
• Tableaux Structurés (Edge_tab et Vertex_tab) : Stockent les attributs multidimensionnels (Temps, Prix, Confort, Fiabilité) pour chaque lien (arête) et chaque nœud (station/attraction).
  • Metromap inclut un attribut supplémentaire de "Temps de correspondance".
  • Travelmap se concentre sur la modélisation psychologique et les ratings de voyage.

C. Génération des Requêtes

Le benchmark génère automatiquement :

• 196 800 requêtes de planification d'itinéraire (RP) basées sur 16 400 paires origine-destination.
• 3 936 requêtes de questions-réponses (QA) pour tester des capacités spécifiques (localisation, comptage, traçage de trajectoire).
• Critères : Les requêtes peuvent être sans critère (plus court chemin) ou basées sur un ou plusieurs critères (ex: "le plus rapide et le moins cher").

D. Évaluation

L'étude évalue 15 MLLMs de pointe (modèles open-source comme Qwen3-VL, InternVL, et modèles fermés comme GPT-4o, Gemini-3-Flash). Les métriques incluent :

• Exact Match Accuracy (EMA) : Correspondance exacte de la séquence de nœuds.
• Partial Match Accuracy (PMA) : Longueur du préfixe correct.
• Difficulty-aware Score (DS) : Score pondéré par la difficulté de la carte et de la requête.

3. Résultats Clés

L'évaluation révèle des défis majeurs pour les modèles actuels :

• Observation 1 : Ancrage symbolique et perception visuelle.
  Dans les scénarios visuellement denses (Metromap), l'ajout de tableaux structurés (Vertex_tab) améliore considérablement les performances par rapport à l'utilisation de la carte seule. Les tableaux agissent comme des "ancres symboliques" fiables, réduisant les erreurs d'OCR et de reconnaissance d'entités. La perception visuelle reste un goulot d'étranglement majeur.

• Observation 2 : Robustesse des tableaux vs Cartes.
  Les tableaux structurés sont plus robustes que les images lorsque la perception visuelle est difficile. Cependant, les images restent indispensables pour définir la limite supérieure de performance, surtout dans des scénarios moins complexes (Travelmap).

• Observation 3 : Le piège du chemin le plus court.
  Les modèles tendent à ignorer les critères complexes et à retourner systématiquement le chemin le plus court (en nombre de stations), même lorsque cela contredit les contraintes de temps ou de prix. Ils "devinent" le chemin optimal sans véritablement comprendre les poids des graphes hétérogènes.

• Observation 4 : Limites du raisonnement multi-étapes.
  Les modèles échouent souvent dès l'introduction de calculs numériques complexes (ex: temps de correspondance) ou de raisonnements multi-critères. L'ajout de mécanismes de "Chain-of-Thought" (CoT) aide à la coordination multimodale mais ne compense pas les déficits de perception ni les limites intrinsèques de raisonnement arithmétique.

• Observation 5 : Impact de la complexité.
  La performance chute drastiquement lorsque la complexité topologique de la carte (Metromap) augmente, indiquant un effondrement du raisonnement au-delà d'un certain seuil de complexité graphique.

4. Contributions Principales

1. Benchmark Multi-critère Multimodal : MapTab est le premier benchmark à combiner visuel et données tabulaires pour évaluer le raisonnement sur des graphes hétérogènes dans des scénarios de planification d'itinéraires.
2. Benchmark à Grande Échelle et Dual : Avec 328 cartes, 196 800 requêtes RP et 3 936 requêtes QA couvrant deux scénarios réalistes (métro et tourisme), il offre une base d'évaluation exhaustive.
3. Évaluation Systématique des MLLMs : L'étude met en lumière les limitations actuelles des modèles (perception dense, intégration multimodale, raisonnement numérique) et fournit des analyses détaillées (ablation, erreurs, impact de la résolution).

5. Signification et Perspectives

MapTab démontre que les MLLMs actuels ne sont pas encore prêts pour une prise de décision autonome complexe et multi-critère dans des environnements réels. Les modèles souffrent d'un décalage entre leur capacité à traiter des instructions simples et leur incapacité à gérer des contraintes contradictoires et des calculs numériques précis sur des graphes complexes.

Implications futures :

• Nécessité de développer des architectures modulaires découplant la perception du raisonnement.
• Importance d'intégrer des outils externes (calculatrices, solveurs de graphes) pour les tâches de calcul et de vérification.
• Besoin de stratégies d'entraînement postérieur (SFT + RL) ciblées sur le suivi de contraintes et le raisonnement à long terme.

En conclusion, MapTab fournit un testbed réaliste et difficile pour guider le développement vers une AGI capable de raisonnement spatial et décisionnel robuste.