MapSatisfyBench: Benchmarking Satisfaction-Aware Map Agents through Behavior-Grounded Implicit Decision Factors

Résumé Technique de MapSatisfyBench

Énoncé du Problème
Les agents basés sur les grands modèles de langage (LLM) sont de plus en plus déployés dans les services de cartographie pour traduire des requêtes en langage naturel en actions telles que la navigation ou la planification de trajets. Cependant, les requêtes cartographiques réelles sont souvent sous-spécifiées ; les utilisateurs fournissent des requêtes courtes et incomplètes tout en attendant que l'agent déduise les besoins non formulés. Contrairement aux questions de recherche de faits qui possèdent une vérité de terrain unique, les tâches cartographiques sont intrinsèquement multi-solutions. Le défi central est que la satisfaction de l'utilisateur dépend de facteurs de décision implicites — des conditions critiques non explicitement énoncées dans la requête (par exemple, un utilisateur arrivant en train ayant besoin de transports en commun plutôt que de conduire) mais récupérables à partir de sources d'informations disponibles comme les profils utilisateurs et l'historique des interactions.

Les benchmarks actuels évaluent principalement la complétion de la tâche (l'agent peut-il planifier un itinéraire ?) ou la fidélité factuelle. Ils échouent à mesurer si un agent peut proactivement récupérer ces facteurs implicites pour sélectionner la réponse la plus susceptible d'être acceptée par l'utilisateur. De plus, évaluer cette capacité est difficile car : (1) tous les facteurs implicites ne sont pas récupérables à partir des informations pré-réponse, et (2) la satisfaction ne peut être réduite à une seule réponse de référence ou à une étiquette binaire satisfait/non satisfait.

Méthodologie
Pour relever ces défis, les auteurs proposent un cadre de restauration-identification-filtrage et construisent MapSatisfyBench, un benchmark fondé sur des preuves de chaînes de comportement.

1. Construction du Cadre :

   • Restaurer (Restore) : Reconstruit le besoin complet de l'utilisateur en combinant les informations pré-requête (contexte $c$, profil $p$), l'environnement spatio-temporel ($g$), et le comportement post-requête de l'utilisateur ($h^+$). Cela crée une base objective de ce que l'utilisateur a intentionné.
   • Identifier (Identify) : Compare le besoin complet reconstruit avec la requête de surface pour exposer les facteurs de décision non formulés qui restreignent l'espace des solutions réalisables.
   • Filtrer (Filter) : Ne conserve que les facteurs implicites supportés par des preuves disponibles avant la réponse de l'agent (c'est-à-dire $g$ et $h^-$). Les facteurs nécessitant une clarification post-réponse ou des données indisponibles sont exclus pour garantir l'évaluabilité.

2. Annotation de la Vérité de Terrain (Ground Truth) :
   Au lieu d'une réponse unique, le benchmark définit une référence de décision structurée $G(x)$ contenant :

   • Facteurs Explicites ($E(x)$) : Dérivés de la requête de surface.
   • Facteurs Implicites Évaluables ($Z_{eval}(x)$) : Récupérés via le cadre, annotés avec un type de contrainte (Hard [stricte] vs Soft [souple]) et un poids supporté par l'évidence ($s_i$). Les contraintes strictes (ex: transport indisponible) sont binaires ; les préférences souples sont graduées.
   • Annotations d'Exécution : Politiques de clarification, trajectoires d'outils attendues et exigences de réponse factuelle.

3. Environnement d'Évaluation :
   Le benchmark opère dans un Bac à Sable de Rejeu Déterministe. Il simule un agent utilisateur piloté par le besoin complet et un agent métier (le modèle testé) interagissant avec un ensemble fixe de 22 outils de service cartographique. Les réponses des outils sont des simulations (mocks) déterministes pour assurer la reproductibilité.

4. Métriques :
   L'évaluation couvre l'ensemble du pipeline de décision avec sept métriques :

   • ECR (Taux de Complétion des facteurs de décision Explicites) : Mesure la satisfaction des exigences énoncées.
   • IISR (Taux de Satisfaction des facteurs de décision Implicites) : Une moyenne pondérée des scores de satisfaction pour les facteurs implicites, distinguant les contraintes strictes des préférences souples.
   • AR (Probabilité de Réponse Acceptée) : La métrique agrégée principale, calculée comme $ECR \times IISR$. Elle représente la probabilité qu'une réponse soit acceptée.
   • TS (Précision de Sélection d'Outils) : Mesure la sélection correcte des outils nécessaires pour récupérer l'évidence.
   • IFS (Score de Fidélité de l'Information) : Vérifie les affirmations factuelles par rapport aux sorties des outils.
   • Eff (Efficacité de l'Interaction) : Normalise le nombre de tours d'interaction par rapport à un budget de référence.
   • SES (Score d'Efficacité de la Satisfaction) : Une métrique composite ($AR \times Eff$) récompensant les décisions de haute qualité réalisées efficacement.

Contributions Clés

1. Méthodologie : Une approche novatrice pour opérationnaliser la satisfaction subjective de l'utilisateur en facteurs de décision implicites objectifs et supportés par le comportement, permettant l'évaluation sans étiquettes de satisfaction directe.
2. Benchmark : La construction de MapSatisfyBench, dérivé de données utilisateurs anonymisées à grande échelle issues du monde réel, couvrant divers scénarios de services cartographiques avec des protocoles d'évaluation complets.
3. Aperçus Diagnostiques : Des preuves empiriques révélant un écart persistant entre la complétion de tâche de surface et la prise de décision consciente de la satisfaction chez les agents LLM actuels.

Résultats Expérimentaux
Les auteurs ont évalué 12 agents basés sur des LLM (incluant les familles GPT-4.1/5.3, Claude Opus/Sonnet 4.6, Gemini 3.1, DeepSeek et Qwen).

• Complétion de Tâche vs Satisfaction : Les modèles de pointe ont obtenu des scores ECR élevés (ex: GPT-5.3 à 0,9272), indiquant une forte capacité à compléter les tâches explicites. Cependant, les scores IISR et AR étaient nettement inférieurs (le meilleur IISR était de 0,7170 pour Claude-4.6-opus), montrant un échec à satisfaire les besoins implicites.
• Goulot d'étranglement de la Sélection d'Outils : Les scores TS étaient systématiquement bas (allant de 0,28 à 0,49), même pour les meilleurs modèles. L'analyse révèle que les agents invoquent rarement de manière proactive les outils liés au profil pour récupérer l'évidence implicite, préférant demander des clarifications aux utilisateurs, ce qui augmente la charge d'interaction.
• Mode de Réflexion (Thinking Mode) : L'activation du "mode de réflexion" améliore les performances pour certains modèles (ex: le SES de Gemini-3.1-pro-preview passe de 0,2120 à 0,2724) mais ne comble pas totalement l'écart entre satisfaction explicite et implicite.
• Variance de Domaine : La performance varie selon le domaine ; la planification d'itinéraire est la plus facile, tandis que les requêtes d'informations en temps réel et le VTC (ride-hailing) sont les plus difficiles. Les agents éprouvent le plus de difficultés avec les facteurs spatio-temporels par rapport aux facteurs de contexte ou de préférence.

Signification
L'article affirme que MapSatisfyBench déplace le paradigme d'évaluation des agents cartographiques de "la tâche est-elle terminée" vers "la décision satisfait-elle l'utilisateur". Les conclusions suggèrent que les agents actuels, bien que capables de planifier et de récupérer des faits, manquent de la capacité d'acquérir proactivement des preuves à partir des sources disponibles pour résoudre l'ambiguïté. Le benchmark sert d'outil de diagnostic pour guider le développement d'agents capables d'aligner les décisions spatiales ouvertes avec les besoins de l'utilisateur supportés par le comportement, réduisant ainsi les interactions inutiles avec l'utilisateur tout en améliorant la qualité de la décision.