MapSatisfyBench: Benchmarking Satisfaction-Aware Map Agents through Behavior-Grounded Implicit Decision Factors

Resumen Técnico de MapSatisfyBench

Declaración del Problema
Los agentes de Modelos de Lenguaje Extensos (LLM) se despliegan cada vez más en servicios de mapas para traducir peticiones en lenguaje natural en acciones como la navegación de rutas y la planificación de viajes. Sin embargo, las consultas de mapas del mundo real suelen ser subespecificadas; los usuarios proporcionan peticiones cortas e incompletas mientras esperan que el agente infiera las necesidades no expresadas. A diferencia de las preguntas de búsqueda de hechos que tienen verdades fundamentales únicas, las tareas de mapas son inherentemente multi-solución. El desafío central es que la satisfacción del usuario depende de factores de decisión implícitos —condiciones críticas no expresadas explícitamente en la consulta (por ejemplo, un usuario que llega en tren necesitando transporte público en lugar de conducción)— pero recuperables de fuentes de información disponibles como perfiles de usuario e historial de interacción.

Los benchmarks actuales evalúan principalmente la completitud de la tarea (¿puede el agente planificar una ruta?) o la fidelidad fáctica. No logran medir si un agente puede recuperar proactivamente estos factores implícitos para seleccionar la respuesta más probable de ser aceptada por el usuario. Además, evaluar esta capacidad es difícil porque: (1) no todos los factores implícitos son recuperables de la información previa a la respuesta, y (2) la satisfacción no puede reducirse a una única respuesta de referencia o a una etiqueta binaria de satisfecho/no satisfecho.

Metodología
Para abordar estos desafíos, los autores proponen un marco de restauración-identificación-filtrado y construyen MapSatisfyBench, un benchmark fundamentado en la evidencia de la cadena de comportamiento.

1. Construcción del Marco:

   • Restaurar (Restore): Reconstruye la necesidad completa del usuario combinando la información previa a la consulta (contexto $c$, perfil $p$), el entorno espacio-temporal ($g$) y el comportamiento posterior a la consulta ($h^+$). Esto crea una base objetiva de lo que el usuario pretendía.
   • Identificar (Identify): Compara la necesidad completa reconstruida con la consulta superficial para exponer los factores de decisión no expresados que estrechan el espacio de soluciones factibles.
   • Filtrar (Filter): Retiene solo aquellos factores implícitos respaldados por la evidencia disponible antes de que el agente responda (es decir, $g$ y $h^-$). Los factores que requieren aclaraciones posteriores a la respuesta o datos no disponibles se excluyen para asegurar la evaluabilidad.

2. Anotación de la Verdad Fundamental (Ground Truth):
   En lugar de una única respuesta de oro, el benchmark define una referencia de decisión estructurada $G(x)$ que contiene:

   • Factores Explícitos ($E(x)$): Derivados de la consulta superficial.
   • Factores Implícitos Evaluables ($Z_{eval}(x)$): Recuperados mediante el marco, anotados con un tipo de restricción (Dura vs. Blanda) y un peso de soporte de evidencia ($s_i$). Las restricciones duras (ej. transporte no disponible) son binarias; las preferencias blandas son graduadas.
   • Anotaciones de Ejecución: Políticas de aclaración, trayectorias de herramientas esperadas y requisitos de respuesta fáctica.

3. Entorno de Evaluación:
   El benchmark opera en un Sandbox de Replay Determinista. Simula un agente de usuario impulsado por la necesidad completa y un agente de negocio (el modelo bajo prueba) interactuando con un conjunto fijo de 22 herramientas de servicio de mapas. Las respuestas de las herramientas son mocks deterministas para asegurar la reproducibilidad.

4. Métricas:
   La evaluación cubre todo el pipeline de decisión con siete métricas:

   • ECR (Tasa de Completitud de Factores de Decisión Explícitos): Mide la satisfacción de los requisitos declarados.
   • IISR (Tasa de Satisfacción de Factores de Decisión Implícitos): Un promedio ponderado de las puntuaciones de satisfacción para los factores implícitos, distinguiendo entre restricciones duras y preferencias blandas.
   • AR (Probabilidad de Respuesta Aceptada): La métrica agregada principal, calculada como $ECR \times IISR$. Representa la probabilidad de que una respuesta sea aceptada.
   • TS (Precisión de Selección de Herramientas): Mide la selección correcta de las herramientas necesarias para recuperar evidencia.
   • IFS (Puntuación de Fidelidad de la Información): Verifica las afirmaciones fácticas contra las salidas de las herramientas.
   • Eff (Eficiencia de Interacción): Normaliza el número de turnos de interacción frente a un presupuesto de referencia.
   • SES (Puntuación de Eficiencia de Satisfacción): Una métrica compuesta ($AR \times Eff$) que recompensa decisiones de alta calidad realizadas de manera eficiente.

Contribuciones Clave

1. Metodología: Un enfoque novedoso para operacionalizar la satisfacción subjetiva del usuario en factores de decisión implícitos objetivos y respaldados por el comportamiento, permitiendo la evaluación sin etiquetas de satisfacción directa.
2. Benchmark: La construcción de MapSatisfyBench, derivado de datos de usuario anonimizados a gran escala del mundo real, que cubre diversos escenarios de servicios de mapas con protocolos de evaluación de cadena completa.
3. Perspectivas Diagnósticas: Evidencia empírica que revela una brecha persistente entre la completitud de la tarea superficial y la toma de decisiones consciente de la satisfacción en los agentes actuales de LLM.

Resultados Experimentales
Los autores evaluaron 12 agentes basados en LLM (incluyendo familias GPT-4.1/5.3, Claude Opus/Sonnet 4.6, Gemini 3.1, DeepSeek y Qwen).

• Completitud de Tarea vs. Satisfacción: Los modelos de frontera lograron puntuaciones de ECR altas (ej. GPT-5.3 en 0.9272), indicando una fuerte capacidad para completar tareas explícitas. Sin embargo, las puntuaciones de IISR y AR fueron significativamente más bajas (el mejor IISR fue 0.7170 para Claude-4.6-opus), mostrando un fallo al satisfacer las necesidades implícitas.
• Cuello de Botella en la Selección de Herramientas: Las puntuaciones de TS fueron consistentemente bajas (oscilando entre 0.28 y 0.49), incluso para los mejores modelos. El análisis reveló que los agentes rara vez invocan proactivamente herramientas relacionadas con el perfil para recuperar evidencia implícita, prefiriendo en su lugar pedir aclaraciones al usuario, lo que aumenta la carga de interacción.
• Modo de Pensamiento (Thinking Mode): Habilitar el "modo de pensamiento" mejoró el rendimiento para algunos modelos (ej. el SES de Gemini-3.1-pro-preview aumentó de 0.2120 a 0.2724) pero no cerró completamente la brecha entre la satisfacción explícita e implícita.
• Varianza de Dominio: El rendimiento varió según el dominio; la planificación de itinerarios fue la más fácil, mientras que las consultas de información en tiempo real y el transporte privado (ride-hailing) fueron las más difíciles. Los agentes tuvieron más dificultades con los factores espacio-temporales en comparación con los factores de contexto o de preferencia.

Significado
El artículo afirma que MapSatisfyBench cambia el paradigma de evaluación para los agentes de mapas de "si la tarea está terminada" a "si la decisión satisface al usuario". Los hallazgos sugieren que los agentes actuales, aunque capaces de planificar y recuperar hechos, carecen de la capacidad de adquirir proactivamente evidencia de las fuentes disponibles para resolver la ambigüedad. El benchmark sirve como una herramienta diagnóstica para guiar el desarrollo de agentes que puedan alinear decisiones espaciales abiertas con las necesidades del usuario respaldadas por su comportamiento, reduciendo la interacción innecesaria con el usuario mientras se mejora la calidad de la decisión.