Resumen Técnico: MapReason-OSM

Planteamiento del Problema

Los modelos de lenguaje-visión (VLM) se están desplegando cada vez más en logística, entrega de última milla y navegación accesible, donde la salida debe ser una decisión accionable y restringida por un grafo (por ejemplo, una ruta específica, un pin de instalación o una elección de estacionamiento) en lugar de texto libre. Sin embargo, los benchmarks de mapas existentes evalúan predominantemente los modelos mediante respuestas de texto libre o de opción múltiple. Este enfoque no logra verificar si la decisión de un modelo es legal (cumpliendo con calles de un solo sentido, cierres y conectividad), óptima (minimizando la distancia de red) o consistente en escala. En consecuencia, un modelo puede parecer que "lee" bien un mapa al identificar etiquetas e iconos, mientras propone rutas que atraviesan calles no adyacentes o seleccionan instalaciones que están cerca en el espacio euclidiano pero distantes en la distancia de red. Existe una brecha crítica en la evaluación de los VLM sobre decisiones de movilidad fundamentadas en grafos derivadas directamente de imágenes de mapas de calles.

Metodología: Benchmark MapReason-OSM

Los autores introducen MapReason-OSM, un benchmark y un entorno de evaluación diseñado para medir el razonamiento basado en grafos. El sistema se construye sobre los siguientes componentes:

1. Sustrato de Datos y Generación

• Paneles Auto-renderizados: En lugar de extraer teselas rasterizadas existentes, los autores generan 12,000 paneles de mapas (6,000 instancias en dos niveles de zoom) a partir de datos vectoriales de OpenStreetMap (OSM) usando OSMnx. Esto garantiza el control sobre el estilo cartográfico, la gramática de marcadores y la alineación de múltiples extensiones de zoom.
• Alineación de Doble Zoom: Cada instancia incluye un panel "medio" (extensión de aprox. 1 km) y un panel "local" (extensión de aprox. 350 m) que comparten el mismo centro. Esto permite evaluar la consistencia de cruce de zoom, asegurando que la decisión de un modelo no cambie arbitrariamente según la escala cuando la evidencia visual es idéntica.
• Verdad de Campo Oculta: Detrás de cada panel renderizado subyace un grafo de calles oculto ($G$) y un oráculo exacto ($y^\star$). El modelo solo ve la imagen y un prompt; nunca ve el grafo ni la función de ajuste (snapping).
• Filtros Anti-manipulación: El proceso de generación impone invariantes estrictos para evitar que los modelos resuelvan tareas mediante atajos visuales (por ejemplo, proximidad euclidiana). Por ejemplo, en las tareas de colocación de pines, se filtra explícitamente el candidato visualmente más cercano si este no es la solución óptima de red.

2. Familias de Tareas

El benchmark comprende 12 tareas distribuidas en tres familias:

• Tareas de Rutas: Planificación de rutas legales, cumplimiento de sentido único, replanificación de cierres, rutas con restricciones de símbolos (evitando zonas de peligro dibujadas), rutas con objetivo de POI y rutas de accesibilidad sin barreras.
• Tareas de Selección de Instalaciones y Conjuntos: Colocación de pines (1-mediana), ubicación de áreas de servicio (cobertura máxima), alcanzabilidad (listar nodos dentro de un presupuesto), estacionamiento consciente de atributos (fusionando precio y accesibilidad) y selección de muelles de carga.
• Desambiguación Visual: Selección del candidato correcto de un POI entre candidatos con el mismo nombre basándose en relaciones espaciales con una zona dibujada.

3. Protocolo de Evaluación (Vía de Decisión Visual Pura)

Se solicita a los modelos que generen una decisión en formato JSON estructurado basada únicamente en la imagen renderizada. La evaluación sigue una cadena de control estricta:

1. Validez de Esquema (SVR): La salida debe procesarse en el esquema JSON correcto.
2. Ajuste e Inducción: Los IDs de los marcadores visibles se ajustan (snapping) a los nodos del grafo oculto.
3. Puntuación de Tarea: Las decisiones se califican contra el oráculo en cuanto a:
   • Legalidad: Adherencia a las restricciones del grafo (dirección, cierres, escaleras).
   • Optimidad: Comparación del costo de red contra el oráculo (ratio de arrepentimiento/regret ratio).
   • Coincidencia Exacta / F1: Para tareas de selección y conjuntos.
4. Consistencia de Cruce de Zoom (CZC): El modelo se ejecuta de forma independiente en ambos niveles de zoom; se mide el acuerdo para detectar la sensibilidad a la escala.

Contribuciones Clave

1. Benchmark Fundamentado en Grafos: Una suite de 6,000 instancias en 10 centros urbanos de EE. UU. con una cadena de puntuación simbólica exacta (validez $\to$ legalidad $\to$ optimidad $\to$ satisfacción de restricciones), totalmente regenerable desde una semilla fija.
2. Nuevos Ejes de Evaluación: La primera combinación de consistencia de cruce de zoom, rutas conscientes de la accesibilidad y localización de instalaciones fundamentada en grafos en una suite única con puntuación exacta.
3. Entorno Reproducible: Un marco de evaluación masivamente paralelo y asíncrono y un generador determinista que permite la prueba rigurosa de cualquier VLM sin necesidad de aumentación de herramientas o acceso tabular.

Resultados Experimentales

El estudio evaluó siete VLM (cinco de nivel rápido, dos de nivel de razonamiento de frontera) a través de las 12 tareas:

• Brecha de Percepción vs. Razonamiento: Los modelos funcionan bien en tareas que requieren percepción visual y trazado simple. La desambiguación visual está casi resuelta (precisión de 0.79–1.00) y el enrutamiento legal/de un solo sentido es sólido (0.70–0.98). Los modelos leen de forma fiable las gramáticas de marcadores y trazan rutas cortas y conectadas.
• Fallo en el Razonamiento de Costo de Grafo: El rendimiento colapsa en tareas que requieren la optimización de la distancia de red.
  • Colocación de Pines (1-mediana): Todos los modelos, incluidos los modelos de razonamiento de frontera (GPT-5.5, Claude Opus), funcionan cerca del azar (0.17–0.21). Los modelos no logran distinguir entre la proximidad euclidiana y la distancia de red.
  • Siting de Áreas de Servicio y Rutas de POI: Los modelos de nivel rápido tienen dificultades significativas (0.08–0.47), aunque los modelos de frontera muestran cierta mejora (hasta 0.71 para rutas de POI).
• Inconsistencia de Escala: Incluso los modelos de alta precisión son frecuentemente inconsistentes de escala. El mejor modelo coincide consigo mismo a través de los zooms solo un ~73% de las veces (CZC macro). Para las tareas de rutas, la consistencia a menudo cae a 0.52–0.67 a pesar de la alta precisión, lo que indica que las decisiones cambian cuando la escala del mapa cambia.
• Modelos de Frontera: Aunque los modelos de razonamiento de frontera mejoran el rendimiento en tareas complejas como rutas de POI y ubicación de áreas de servicio, no resuelven el modo de fallo central de la optimización del costo de grafo (la colocación de pines permanece en el nivel del azar).

Significado y Reivindicaciones

El artículo afirma que MapReason-OSM aísla un modo de fallo específico en los VLM actuales: la incapacidad de fundamentar las decisiones en la topología del grafo subyacente en lugar de la proximidad visual.

• Relevancia Industrial: Las tareas se extraen de operaciones reales de logística y movilidad asistida. Los resultados sugieren que, si bien los VLM pueden ser confiables para "leer" mapas etiquetados, aún no pueden ser confiables para optimizar sobre la red vial o proporcionar decisiones consistentes a través de diferentes escalas de mapa.
• Contribución Modesta: Los autores evitan explícitamente las afirmaciones de ser "el primero en su clase" respecto a la lectura general de mapas. En su lugar, posicionan su contribución como la combinación de ejes de evaluación (fundamentación en grafos, cruce de zoom, accesibilidad) y el encuadre de tareas industriales que hace medible la distincción entre una lectura de mapa competente y un verdadero razonamiento espacial.
• Desafío Abierto: El benchmark destaca que una mejor percepción visual por sí sola no resolverá el problema; el campo requiere métodos para fundamentar la localización de instalaciones y el razonamiento de menor costo en la estructura del grafo visible.

Los autores liberan el benchmark, el entorno y el generador determinista para permitir a la comunidad medir el progreso en estos modos de fallo específicos y medibles.