Resumen Técnico: PlanBench-V

Planteamiento del Problema

Los mapas de planificación espacial son instrumentos críticos en la gobernanza territorial, que traducen los marcos regulatorios y los objetivos estratégicos en representaciones visuales. Sin embargo, la interpretación de estos mapas requiere una síntesis compleja de percepción visual detallada, razonamiento espacial y juicio profesional informado por políticas. Aunque los Modelos de Lenguaje de Visión (VLM) han avanzado en tareas multimodales generales, enfrentan limitaciones significativas en dominios especializados como el urbanismo. Los benchmarks existentes se centran principalmente en la comprensión visual general o en la interpretación geográfica básica, sin capturar los procesos cognitivos específicos del dominio requeridos para el análisis de mapas de planificación estatutaria. Los VLM actuales tienen dificultades para reconocer elementos cartográficos especializados (p. ej., leyendas, límites de zonificación), analizar relaciones espaciales complejas y, crucialmente, aplicar conocimiento normativo de planificación para evaluar y optimizar propuestas. Existe una falta de marcos de evaluación sistemáticos para evaluar los VLM en estos contextos profesionales, lo que dificulta el desarrollo de sistemas inteligentes de apoyo a la planificación.

Metodología

1. Construcción del Conjunto de Datos: Base de Datos de Mapas de Planificación Espacial (SPMD)

Los autores construyeron un conjunto de datos de alta calidad y anotado por expertos que comprende 223 mapas de planificación y 1,629 pares de pregunta-respuesta (QA).

• Fuentes: Los mapas fueron seleccionados de tres fuentes para garantizar la diversidad y la precisión: (1) Planes Maestros Oficiales de China; (2) El Examen de Calificación de Planificador Urbano-Rural Certificado de China (CURPQE); y (3) Mapas de planificación internacionales de Japón, el Reino Unido, EE. UU., Países Bajos, Canadá, Alemania, Singapur y México.
• Anotación: Planificadores urbanos profesionales formularon manualmente los pares QA para dirigirse a cuatro dimensiones cognitivas progresivas. Las respuestas de referencia se generaron mediante un proceso híbrido: generación inicial por Qwen2.5-VL-72B-Instruct, seguida de una revisión, corrección y reescritura rigurosa por parte de expertos humanos para asegurar la corrección fáctica y minimizar las alucinaciones.
• Preprocesamiento: Se realizó un cribado manual para eliminar elementos visuales extraños (iconos, fotos), y se mejoraron los mapas de baja resolución para asegurar la legibilidad del texto.

2. Marco de Evaluación

El artículo propone un marco de evaluación de cuatro dimensiones que refleja el flujo de trabajo cognitivo de la práctica de la planificación:

• Percepción: Evalúa la identificación de componentes visuales, incluyendo configuraciones de diseño, anotaciones textuales, características geográficas y elementos de dibujo. Las subtareas incluyen Reconocimiento de Elementos y Descripción de Imágenes (Captioning).
• Razonamiento: Evalúa la derivación de conocimientos estructurados a partir de información visual y semántica. Las subtareas incluyen Clasificación (identificación de tipos de mapas como planes maestros frente a planes detallados), Razonamiento de Relaciones Espaciales (relaciones topológicas, ordinales y métricas) y Razonamiento Específico del Dominio (análisis de disposición espacial, organización funcional, transporte y ecología).
• Asociación: Prueba la capacidad de vincular elementos visuales con políticas, regulaciones e indicadores de planificación relevantes (p. ej., leyes de zonificación, líneas rojas ecológicas).
• Implementación: Aborda la capacidad de crítica comparativa y optimización de propuestas de planificación. Las subtareas incluyen Evaluación de Esquemas (evaluación de fortalezas y debilidades) y Toma de Decisiones (selección de direcciones óptimas bajo restricciones).

3. Configuración Experimental

• Modelos Evaluados: Se realizaron dos rondas de evaluación en 17 VLM.
  • Ronda 1 (2025): 11 modelos incluyendo GPT-4o, GPT-4o-mini y varios modelos de código abierto (Qwen-VL, InternVL) que oscilan entre 2B y 78B de parámetros.
  • Ronda 2 (2026): 6 modelos que incorporan capacidades de razonamiento de agentes mejoradas (p. ej., Qwen3.6-Plus, Gemini-2.5-Pro, GPT-5.4).
• Protocolo de Evaluación: Todos los modelos fueron probados utilizando sus pesos originales sin ajuste fino (fine-tuning). La evaluación utilizó un marco de LLM-como-juez con rúbricas de puntuación estructuradas y optimización de prompts automatizada para manejar tareas de planificación subjetivas.
• Validación: Se establecieron líneas base de rendimiento humano utilizando estudiantes de posgrado, y la calibración del juez confirmó que las rúbricas estructuradas permiten que los modelos más pequeños (p. ej., GPT-4o-mini) alcancen una fidelidad de evaluación comparable a la de los jueces más grandes.
• Análisis de Sensibilidad: Un análisis de sensibilidad de resolución confirmó que las variaciones en la resolución de la imagen (hasta 46 veces) no introdujeron un sesgo sistemático en las clasificaciones de los modelos.

Resultados Clave

Trayectoria de Rendimiento

• Salto Generacional: El mejor modelo de 2026, Qwen3.6-Plus, logró una puntuación general de 1.701, superando al mejor modelo de 2025, GPT-4o (1.342), por un margen del 27%. Notablemente, incluso el modelo más ligero de 2026 (Qwen3.6-Flash) superó la puntuación máxima de 2025, lo que indica una mejora sustancial a nivel generacional impulsada por el razonamiento de agentes.
• Ganancias Dimensionales: Las mejoras fueron desiguales entre las dimensiones. Las ganancias más significativas se observaron en la Evaluación de Esquemas (+77.7%), el Razonamiento Espacial y la Toma de Decisiones. Se observaron ganancias menores en la Descripción de Imágenes y la Asociación de Políticas.

Hallazgos Específicos

• Percepción: Los modelos grandes generalmente funcionaron bien en el reconocimiento de elementos, pero persistieron problemas de clasificación de colores y alucinación de objetos en escenas congestionadas.
• Razonamiento: Los modelos tuvieron dificultades con la lógica de múltiples pasos y la clasificación basada en condiciones. Aunque GPT-4o lideró en la primera ronda, los modelos de 2026 mostraron una mayor capacidad para la inferencia estructurada.
• Asociación: Incluso los mejores modelos exhibieron una conciencia de política limitada, fallando a menudo en distinguir entre niveles administrativos o clasificaciones funcionales de las regulaciones, lo que llevó a solapamientos conceptuales.
• Implementación: Esta siguió siendo la dimensión más desafiante. Los modelos produjeron frecuentemente salidas verbosas y sin enfoque, carentes de priorización o juicios de valor. A menudo no lograron identificar restricciones críticas (p. ej., incompatibilidades de zonificación) y tuvieron dificultades para generar consejos accionables basados en la terminología técnica.

Significancia y Reivindicaciones

El artículo afirma introducir PlanBench-V, el primer benchmark integral diseñado específicamente para evaluar el rendimiento de los VLM en la interpretación de mapas de planificación espacial. Su significancia radica en:

1. Cerrar la Brecha: Proporcionar un conjunto de datos riguroso, anotado por expertos, y un marco de evaluación que va más allá de la comprensión visual general hacia el juicio profesional específico del dominio.
2. Revelar Limitaciones: Destacar que, si bien el razonamiento de agentes impulsa un progreso sustancial, los VLM actuales aún carecen de la profunda sensibilidad política y la toma de decisiones consciente de las restricciones requerida para contextos de planificación profesional.
3. Guiar el Desarrollo Futuro: Los hallazgos sugieren que las mejoras de razonamiento de propósito general son insuficientes para las tareas de planificación. Los autores abogan por la necesidad de estrategias de aprendizaje multimodal adaptativas al dominio que codifiquen explícitamente la lógica de planificación, las restricciones regulatorias y los procesos de decisión espacial para cerrar la brecha entre la inteligencia general y la cognición de planificación urbana de nivel experto.

El artículo concluye que PlanBench-V sirve no solo como una herramienta de evaluación, sino también como una base conceptual para avanzar los VLM hacia aplicaciones confiables en la gobernanza espacial.