Resumo Técnico: PlanBench-V

Declaração do Problema

Os mapas de planejamento espacial são instrumentos críticos no governo territorial, traduzindo marcos regulatórios e objetivos estratégicos em representações visuais. No entanto, interpretar esses mapas requer uma síntese complexa de percepção visual detalhada, raciocínio espacial e julgamento profissional informado por políticas. Embora os Modelos de Linguagem de Visão (VLMs) tenham avançado em tarefas multimodais gerais, eles enfrentam limitações significativas em domínios especializados como o planejamento urbano. Os benchmarks existentes focam principalmente na compreensão visual geral ou na interpretação geográfica básica, falhando em capturar os processos cognitivos específicos do domínio necessários para a análise de mapas de planejamento estatutário. Os VLMs atuais têm dificuldade em reconhecer elementos cartográficos especializados (ex: legendas, limites de zoneamento), processar relações espaciais complexas e, crucialmente, aplicar conhecimento normativo de planejamento para avaliar e otimizar propostas. Há uma falta de frameworks de avaliação sistemática para avaliar VLMs nesses contextos profissionais, dificultando o desenvolvimento de sistemas inteligentes de suporte ao planejamento.

Metodologia

1. Construção do Conjunto de Dados: Banco de Dados de Mapas de Planejamento Espacial (SPMD)

Os autores construíram um conjunto de dados de alta qualidade, anotado por especialistas, compreendendo 223 mapas de planejamento e 1.629 pares de pergunta-resposta (QA).

• Fontes: Os mapas foram selecionados de três fontes para garantir diversidade e precisidade: (1) Planos Mestres Oficiais da China; (2) O Exame de Qualificação de Planejador Urbano-Rural Certificado da China (CURPQE); e (3) Mapas de planejamento internacionais do Japão, Reino Unido, EUA, Países Baixos, Canadá, Alemanha, Singapura e México.
• Anotação: Planejadores urbanos profissionais formularam manualmente os pares QA para visar quatro dimensões cognitivas progressivas. As respostas de referência foram geradas via um processo híbrido: geração inicial pelo Qwen2.5-VL-72B-Instruct, seguida de rigorosa revisão, correção e reescrita por especialistas humanos para garantir a correção factual e minimizar alucinações.
• Pré-processamento: Uma triagem manual foi realizada para remover elementos visuais estranhos (ícones, fotos), e mapas de baixa resolução foram aprimorados para garantir a legibilidade do texto.

2. Framework de Avaliação

O artigo propõe um framework de avaliação quadridimensional que reflete o pipeline cognitivo da prática de planejamento:

• Percepção: Avalia a identificação de componentes visuais, incluindo configurações de layout, anotações textuais, características geográficas e elementos de desenho. As subtarefas incluem Reconhecimento de Elementos e Legendagem (Captioning).
• Raciocínio: Avalia a derivação de insights estruturados a partir de informações visuais e semânticas. As subtarefas incluem Classificação (identificação de tipos de mapas, como planos mestres vs. planos detalhados), Raciocínio de Relação Espacial (relações topológicas, ordinais e métricas) e Raciocínio Específico do Domínio (análise de layout espacial, organização funcional, transporte e ecologia).
• Associação: Testa a capacidade de vincular elementos visuais com políticas de base, regulamentações e indicadores de planejamento relevantes (ex: leis de zoneamento, linhas vermelhas ecológicas).
• Implementação: Aborda a capacidade de crítica comparativa e otimização de propostas de planejamento. As subtarefas incluem Avaliação de Esquema (avaliação de pontos fortes/fracos) e Tomada de Decisão (seleção de direções ótimas sob restrições).

3. Configuração Experimental

• Modelos Avaliados: Duas rodadas de avaliação foram conduzidas em 17 VLMs.
  • Rodada 1 (2025): 11 modelos incluindo GPT-4o, GPT-4o-mini e vários modelos de código aberto (Qwen-VL, InternVL) variando de 2B a 78B de parâmetros.
  • Rodada 2 (2026): 6 modelos incorporando capacidades aprimoradas de raciocínio agêntico (ex: Qwen3.6-Plus, Gemini-2.5-Pro, GPT-5.4).
• Protocolo de Avaliação: Todos os modelos foram testados usando seus pesos originais sem ajuste fino (fine-tuning). A avaliação utilizou um framework de LLM-como-juiz com rubricas de pontuação estruturadas e otimização automática de prompts para lidar com tarefas de planejamento subjetivas.
• Validação: Baselines de desempenho humano foram estabelecidos usando estudantes de pós-graduação, e a calibração do juiz confirmou que rubricas estruturadas permitem que modelos menores (ex: GPT-4o-mini) alcancem fidelidade de avaliação comparável a juízes maiores.
• Análise de Sensibilidade: Uma análise de sensibilidade de resolução confirmou que variações na resolução da imagem (até 46 vezes) não introduziram viés sistemático nas classificações dos modelos.

Principais Resultados

Trajetória de Desempenho

• Salto Geracional: O melhor modelo de 2026, Qwen3.6-Plus, alcançou uma pontuação geral de 1,701, superando o melhor modelo de 2025, GPT-4o (1,342), por uma margem de 27%. Notavelmente, mesmo o modelo mais leve de 2026 (Qwen3.6-Flash) superou a pontuação máxima de 2025, indicando um aumento substantivo de nível geracional impulsionado pelo raciocínio agêntico.
• Ganhos Dimensionais: As melhorias foram desiguais entre as dimensões. Os ganhos mais significativos foram observados em Avaliação de Esquema (+77,7%), Raciocínio Espacial e Tomada de Decisão. Ganhos menores foram vistos em Legendagem e Associação de Políticas.

Achados Específicos

• Percepção: Grandes modelos geralmente tiveram bom desempenho no reconhecimento de elementos, mas problemas persistentes incluíram má classificação de cores e alucinação de objetos em cenas congestionadas.
• Raciocínio: Modelos tiveram dificuldades com lógica de múltiplos passos e classificação baseada em condições. Embora o GPT-4o tenha liderado na primeira rodada, os modelos de 2026 mostraram capacidade aprimorada para inferência estruturada.
• Associação: Mesmo os melhores modelos exibiram consciência política limitada, frequentemente falhando em distinguir níveis administrativos ou classificações funcionais de regulamentações, levando a sobreposições conceituais.
• Implementação: Esta permaneceu a dimensão mais desafiadora. Os modelos frequentemente produziram saídas verbosas e sem foco, carecendo de priorização ou julgamentos de valor. Eles frequentemente falharam em identificar restrições críticas (ex: incompatibilidades de zoneamento) e tiveram dificuldade em gerar conselhos acionáveis e fundamentados em terminologia técnica.

Significância e Alegações

O artigo alega introduzir o PlanBench-V, o primeiro benchmark abrangente projetado especificamente para avaliar o desempenho de VLMs na interpretação de mapas de planejamento espacial. Sua significância reside em:

1. Preencher a Lacuna: Fornecer um conjunto de dados rigoroso, anotado por especialistas, e um framework de avaliação que vai além da compreensão visual geral para o julgamento profissional específico do domínio.
2. Revelar Limitações: Destacar que, embora o raciocínio agêntico impulsione um progresso substancial, os atuais VLMs ainda carecem da profunda sensibilidade política e tomada de decisão consciente de restrições necessária para contextos de planejamento profissional.
3. Guiar o Desenvolvimento Futuro: Os achados sugerem que melhorias de raciocínio de propósito geral são insuficientes para tarefas de planejamento. Os autores defendem a necessidade de estratégias de aprendizagem multimodal adaptativas ao domínio que codifiquem explicitamente a lógica de planejamento, as restrições regulatórias e os processos de decisão espacial para preencher a lacavra entre a inteligência geral e a cognição de planejamento urbano de nível especialista.

O artigo conclui que o PlanBench-V serve não apenas como uma ferramenta de avaliação, mas também como uma base conceitual para avançar os VLMs em direção a aplicações confiáveis na governança espacial.