Resumo Técnico: MapReason-OSM

Declaração do Problema

Modelos de linguagem-visão (VLMs) estão sendo cada vez mais implantados para logística, entrega de última milha e navegação acessível, onde a saída deve ser uma decisão acionável e restrita a um grafo (ex: uma rota específica, um pin de instalação ou uma escolha de estacionamento) em vez de texto livre. No entanto, os benchmarks de mapas existentes avaliam predominantemente os modelos com base em respostas de texto livre ou de múltipla escolha. Essa abordagem falha em verificar se a decisão de um modelo é legal (aderindo a ruas de mão única, fechamentos e conectividade), otimizada (minimizando a distância de rede) ou consistente em escala. Consequentemente, um modelo pode parecer "ler" bem um mapa ao identificar rótulos e ícones, enquanto propõe rotas que atravessam ruas não adjacentes ou seleciona instalações que estão próximas no espaço euclidiano, mas distantes na distância de rede. Existe uma lacuna crítica na avaliação de VLMs sobre decisões de mobilidade fundamentadas em grafos derivadas diretamente de imagens de mapas de ruas.

Metodologia: Benchmark MapReason-OSM

Os autores introduzem o MapReason-OSM, um benchmark e um sistema de avaliação projetado para medir o raciocínio fundamentado em grafos. O sistema é construído sobre os seguintes componentes:

1. Substrato de Dados e Geração

• Painéis Autorrenderizados: Em vez de extrair (scrape) blocos raster existentes, os autores geram 12.000 painéis de mapa (6.000 instâncias em dois níveis de zoom) a partir de dados vetoriais do OpenStreetMap (OSM) usando o OSMnx. Isso garante controle sobre o estilo cartográfico, a gramática de marcadores e extensões multi-zoom alinhadas.
• Alinhamento de Dual-Zoom: Cada instância inclui um painel "médio" (extensão de aprox. 1 km) e um painel "local" (extensão de aprox. 350 m) compartilhando o mesmo centro. Isso permite a avaliação da consistência entre zooms, garantindo que a decisão de um modelo não mude arbitrariamente com base na escala quando a evidência visual é idêntica.
• Verdade de Campo Oculta: Por trás de cada painel renderizado reside um grafo de rua oculto ($G$) e um oráculo exato ($y^\star$). O modelo vê apenas a imagem e um prompt; ele nunca vê o grafo ou a função de snapping (ajuste).
• Filtros Anti-Manipulação (Anti-Gaming): O processo de geração impõe invariantes estritos para evitar que os modelos resolvam tarefas via atalhos visuais (ex: proximidade euclidiana). Por exemplo, em tarefas de posicionamento de pin, o candidato visualmente mais próximo é explicitamente filtrado se não for a solução otimizada pela rede.

2. Famílias de Tarefas

O benchmark compreende 12 tarefas em três famílias:

• Tarefas de Roteamento: Planejamento de rota legal, conformidade com mão única, replanejamento de fechamentos, roteamento com restrição de símbolos (evitando zonas de perigo desenhadas), roteamento com objetivo de POI (Ponto de Interesse) e roteamento de acessibilidade sem barreiras.
• Tarefas de Instalação e Seleção de Conjuntos: Posicionamento de pin (1-mediana), localização de área de serviço (cobertura máxima), alcançabilidade (listagem de nós dentro de um orçamento), estacionamento consciente de atributos (fusão de preço e acessibilidade) e seleção de docas de carga.
• Desambiguação Visual: Seleção do candidato correto de um POI entre candidatos de mesmo nome com base em relações espaciais a uma zona desenhada.

3. Protocolo de Avaliação (Trilha de Decisão Puramente Visual)

Os modelos são instruídos a fornecer uma decisão em JSON estruturado baseada apenas na imagem renderizada. A avaliação segue uma cadeia de filtragem rigorosa:

1. Validade de Esquema (SVR): A saída deve ser processada no esquema JSON correto.
2. Snapping e Indução: Os IDs de marcadores visíveis são ajustados (snapped) aos nós do grafo oculto.
3. Pontuação de Tarefa: As decisões são pontuadas contra o oráculo para:
   • Legalidade: Adesão às restrições do grafo (direção, fechamentos, escadas).
   • Otimalidade: Comparação da custo de rede contra o oráculo (razão de arrependimento/regret ratio).
   • Correspondência Exata / F1: Para tarefas de seleção e conjuntos.
4. Consistência de Cross-Zoom (CZC): O modelo é executado independentemente em ambos os níveis de zoom; a concordância é medida para detectar sensibilidade de escala.

Principais Contribuições

1. Benchmark Fundamentado em Grafo: Um conjunto de 6.000 instâncias em 10 centros urbanos dos EUA com uma cadeia de pontuação simbólica exata (validade $\to$ legalidade $\to$ otimalidade $\to$ satisfação de restrições), totalmente regenerável a partir de uma semente fixa.
2. Novos Eixos de Avaliação: A primeira combinação de consistência de cross-zoom, roteamento consciente de acessibilidade e localização de instalações fundamentada em grafo em um único conjunto de pontuação exata.
3. Harness Reproduzível: Um framework de avaliação massivamente paralelo e assíncrono e um gerador determinístico que permite o teste rigoroso de qualquer VLM sem necessidade de aumento de ferramentas (tool-augmentation) ou acesso tabular.

Resultados Experimentais

O estudo avaliou sete VLMs (cinco de nível rápido, dois de nível de raciocínio de fronteira) nas 12 tarefas:

• Lacuna de Percepção vs. Raciocínio: Os modelos performam bem em tarefas que exigem percepção visual e rastreamento simples. A desambiguação visual está quase resolvida (acurácia de 0.79–1.00) e o roteamento legal/mão única é forte (0.70–0.98). Os modelos leem de forma confiável as gramáticas de marcadores e rastreiam rotas curtas e conectadas.
• Falha no Raciocínio de Custo de Grafo: A performance colapsa em tarefas que exigem otimização de distância de rede.
  • Posicionamento de Pin (1-mediana): Todos os modelos, incluindo modelos de raciocínio de fronteira (GPT-5.5, Claude Opus), performam próximo ao acaso (0.17–0.21). Os modelos falham em distinguir entre proximidade euclidiana e distância de rede.
  • Localização de Área de Serviço e Roteamento de POI: Modelos de nível rápido têm dificuldade significativa (0.08–0.47), embora modelos de fronteira mostrem alguma melhoria (até 0.71 para roteamento de POI).
• Inconsistência de Escala: Mesmo modelos de alta acurácia são frequentemente inconsistentes em escala. O melhor modelo concorda consigo mesmo através dos zooms apenas ~73% das vezes (CZC macro). Para tarefas de roteamento, a consistência frequentemente cai para 0.52–0.67 apesar da alta acurácia, indicando que as decisões mudam quando a escala do mapa altera.
• Modelos de Fronteira: Embora os modelos de raciocínio de fronteira melhorem o desempenho em tarefas complexas como roteamento de POI e localização de área de serviço, eles não resolvem o modo de falha central de otimização de custo de grafo (o posicionamento de pin permanece no nível do acaso).

Significância e Alegações

O artigo afirma que o MapReason-OSM isola um modo de falha específico nos atuais VLMs: a incapacidade de fundamentar decisões na topologia do grafo subjacente em vez da proximidade visual.

• Relevância Industrial: As tarefas são extraídas de operações reais de logística e mobilidade assistiva. Os resultados sugerem que, embora os VLMs possam ser confiáveis para "ler" mapas rotulados, eles ainda não podem ser confiados para otimizar sobre a rede rodoviária ou fornecer decisões consistentes através de diferentes escalas de mapa.
• Contribuição Modesta: Os autores evitam explicitamente alegações de "primeiro do gênero" em relação à leitura geral de mapas. Em vez disso, posicionam sua contribuição como a combinação de eixos de avaliação (fundamentação em grafo, cross-zoom, acessibilidade) e o enquadramento de tarefas industriais que torna a distinção entre leitura de mapa competente e verdadeiro raciocínio espacial mensurável.
• Desafio Aberto: O benchmark destaca que uma melhor percepção visual sozinha não resolverá o problema; o campo requer métodos para fundamentar a localização de instalações e o raciocínio de menor custo na estrutura do grafo visível.

Os autores liberam o benchmark, o harness e o gerador determinístico para permitir que a comunidade meça o progresso nesses modos de falha específicos e mensuráveis.