Resumen Técnico: Evaluación Comparativa de Modelos de Lenguaje de Gran Escala frente al Juicio Profesional en el Urbanismo

1. Planteamiento del Problema

El rápido despliegue de los Modelos de Lenguaje de Gran Escala (LLM) en la práctica del urbanismo ha precipitado una pregunta epistemológica urgente: ¿hasta qué punto puede la inteligencia artificial replicar la sensibilidad contextual, la conciencia de los valores y la alfabetización institucional que constituyen el juicio profesional del urbanista? Mientras que la literatura existente ofrece críticas éticas generales o aplicaciones técnicas estrechas (por ejemplo, la evaluación automatizada de planes o el análisis de sentimiento), existe una falta crítica de marcos sistemáticos y específicos del dominio para evaluar si los sistemas de IA pueden razonar con la phronesis (sabiduría práctica) requerida para el urbanismo del mundo real. A diferencia de la medicina o el derecho, que cuentan con referentes establecidos (Med-PaLM, LegalBench) para separar las capacidades de la IA de la pericia humana, el urbanismo carece de un instrumento empírico para medir qué es lo que los urbanistas realmente saben y qué dimensiones de ese conocimiento permanecen irreductiblemente humanas. Esta brecha deja a la profesión vulnerable tanto a la dependencia excesiva de la IA para tareas de alto riesgo como al rechazo innecesario de la IA para el trabajo rutinario, sin una guía basada en evidencia sobre los límites de la competencia de la IA.

2. Metodología: Urban Planning Bench (UPBench)

Para abordar esta brecha, los autores introducen Urban Planning Bench (UPBench), un marco de evaluación específico del dominio fundamentado en la propia estructura de conocimiento de la disciplina, en lugar de basarse en referentes genéricos de la informática.

2.1. Arquitectura de Evaluación

UPBench utiliza un marco de Diseño Centrado en la Evidencia (ECD) organizado a lo largo de una matriz de 4×5:

• Cuatro Pilares de Conocimiento: Derivados de los exámenes de licencia internacionales (AICP, RTPI, PIA) y sus currículos:
  1. Principios de Urbanismo: Teorías fundacionales y conceptos analíticos (Episteme).
  2. Integración Transdisciplinaria: Síntesis de campos adyacentes como la ingeniería, la ecología y la economía (Techne).
  3. Gobernanza Urbanística: Condiciones legales, regulatorias e institucionales (Interpretativo).
  4. Práctica Urbanística: Juicio profesional integrativo en contextos de proyectos (Phronesis).
• Cinco Niveles Cognitivos: Adaptados de la taxonomía revisada de Bloom (Anderson & Krathwohl, 2001):
  1. Recordar: Recuerdo factual de conceptos y teorías.
  2. Comprender: Explicación de relaciones y lógica teórica.
  3. Aplicar: Despliegue de conocimiento para resolver problemas específicos.
  4. Analizar: Evaluación crítica de proposiciones y afirmaciones.
  5. Evaluar: Juzgar la validez de escenarios y suministrar terminología precisa.
     (Nota: El nivel "Crear" fue excluido para centrarse en el juicio profesional más que en la producción abierta).

2.2. Construcción y Validación de Datos

• Generación de Escenarios: El referente comprende 405 escenarios de evaluación derivados de un flujo de trabajo transnacional. Las fuentes incluyen materiales de preparación para el AICP, el Examen Nacional de Urbanista Registrado de China (2,150 ítems) y currículos de posgrado del MIT, UC Berkeley, Tongji y la Universidad de Pekín.
• Equivalencia Cross-Contextual: Para asegurar que el referente evalúe el razonamiento y no la nomenclatura regulatoria, los conceptos institucionales chinos (por ejemplo, "un documento, tres certificados") se mapearon funcionalmente a sus contrapartes estadounidenses (por ejemplo, secuencias de derechos/entitlements) preservando la demanda cognitiva.
• Protocolo de Evaluación de Doble Vía:
  • Vía 1 (Automatizada): LLM de alta capacidad actúan como jueces para tareas estructuradas (Recordar, Comprender, Aplicar), puntuando las respuestas frente a rúbricas elaboradas por expertos y analizando las Cadenas de Pensamiento (CoT).
  • Vía 2 (Panel de Expertos): Un panel de cinco miembros compuesto por académicos y profesionales del urbanismo evalúa el razonamiento abierto (Analizar, Evaluar) en cuanto a profundidad, sensibilidad contextual y adecuación profesional.
  • Calibración: Las dos vías fueron alineadas mediante optimización de prompts, logrando un $\rho$ de Spearman de 0.67, considerado aceptable dada la inherente diferencia epistemológica entre la evaluación estructurada y la basada en el juicio.

2.3. Modelos Evaluados

El estudio evaluó 25 LLM, incluyendo 22 modelos de pesos abiertos (dominados por el ecosistema Qwen de Alibaba, Llama de Meta y Gemma de Google) y 3 modelos de API propietarios (GPT-4o-mini, Gemini 2.5 Flash, Claude Haiku). El enfoque en modelos de pesos abiertos prioriza la reproducibilidad y la transparencia.

3. Resultados Clave

3.1. La Curva Cognitiva No Monotónica

Contrario a la suposición de que los LLM sobresalen en tareas de orden inferior y fallan en las de orden superior, UPBench reveló una curva de rendimiento no monotónica:

• Recordar (89.6%) y Analizar (81.8%) mostraron un alto rendimiento.
• Comprender (55.3%) exhibió un "colapso catastrófico", cayendo casi 34 puntos porcentuales desde el nivel de Recuerdo.
• Aplicar (76.2%) se recuperó pero permaneció por debajo de Analizar.
• Evaluar (37.9%) tuvo el desempeño esperado (el más bajo).
  Esto indica que el conocimiento de "orden inferior" del urbanismo (comprensión conceptual) está profundamente incrustado en el contexto institucional y jurisdiccional, lo que lo hace más difícil para las estrategias de generalización de patrones que las tareas de síntesis analítica aparentemente "superiores".

3.2. Asimetrías en los Dominios de Conocimiento

El rendimiento varió entre los cuatro pilares, mapeándose con la tipología del conocimiento aristotélica:

• Integración Transdisciplinaria (69.3%): Mayor rendimiento; los modelos sobresalen en la síntesis de diversas literaturas.
• Gobernanza Urbanística (68.8%): Rendimiento moderado; alta precisión en el recuerdo factual pero propenso a la "alucinación regulatoria" en la aplicación.
• Principios de Urbanismo (67.6%): Sólido en marcos canónicos pero débil en la aplicación contextual.
• Práctica Urbanística (65.6%): Menor rendimiento; los modelos tienen dificultades con el razonamiento situado, estratégico y políticamente consciente.

3.3. Cuatro Diagnósticos Epistémicos (Modos de Fallo)

El análisis cualitativo identificó cuatro modos de fallo sistemáticos que iluminan dimensiones de la pericia urbanística resistentes a la replicación computacional:

1. Alucinación Regulatoria: La fabricación de requisitos regulatorios específicos o citas legales inexistentes, mezclando elementos de diferentes jurisdicciones en respuestas plausibles pero factualmente incorrectas.
2. Conflación Conceptual: La erosión de la precisión teórica, donde los modelos tratan paradigmas urbanísticos distintos (por ejemplo, crecimiento orgánico medieval frente a funcionalismo modernista) como intercambiables.
3. Parálisis ante Problemas Perversos (Wickedness Paralysis): El retroceso del compromiso normativo. Ante valores en conflicto (por ejemplo, equidad frente a derechos de propiedad), los modelos enumeran factores exhaustivamente pero se niegan a realizar los juicios valorativos requeridos para la toma de decisiones profesionales.
4. Déficit Fronético: La ausencia de sabiduría práctica situada. Los modelos carecen del conocimiento tácito basado en la experiencia respecto a la dinámica comunitaria, la viabilidad política y la brecha entre la retórica del plan y la realidad sobre el terreno.

3.4. Asimetría Institucional Transnacional

Las brechas de rendimiento entre los escenarios de EE. UU. y China estuvieron mediadas principalmente por el origen del modelo más que por la dificultad de la tarea. Los modelos de origen estadounidense mostraron una ventaja significativa (+13.6%) en los escenarios de EE. UU., mientras que los modelos de origen chino mostraron brechas casi nulas (-1.7%). Esto sugiere que la composición de los datos de entrenamiento es el principal motor de la competencia, desafiando la noción de un modelo "global" único capaz de un rendimiento cultural equitativo.

4. Contribuciones Clave

1. Metodológica: Introducción de UPBench, el primer marco integral y fundamentado en la teoría para evaluar la competencia de la IA en urbanismo, construido desde las propias tradiciones evaluativas del urbanismo (evaluación de calidad de planes, estándares de licencia) en lugar de importar de la informática.
2. Teórica: El uso de los patrones de fallo de la IA como un "espejo epistémico" para demostrar empíricamente la estructura del conocimiento urbanístico. El estudio confirma que la pericia en urbanismo es irreductiblemente institucional, normativa, temporal y relacional, caracterizada por la phronesis más que por un mero procedimiento técnico.
3. Práctica: Un marco para la delegación diferencial, proporcionando una guía basada en evidencia para que los profesionales y educadores del urbanismo determinen qué tareas pueden ser aumentadas responsablemente por la IA (por ejemplo, revisión de literatura, síntesis preliminar) y cuáles requieren el juicio humano irreductible (por ejemplo, interpretación regulatoria, resolución de conflictos normativos).

5. Significado y Reivindicaciones

El artículo sostiene que el gradiente cognitivo invertido —donde la IA tiene más dificultades con el conocimiento institucional "simple" que con las tareas analíticas "complejas"— revela que la pericia en urbanismo está estructurada de forma distinta a otras profesiones. Los autores argumentan que la propuesta de valor distintiva de la profesión no reside en la sofisticación analítica (que la IA provee cada vez más), sino en el juicio institucional integrativo y la sabiduría fronética.

El estudio concluye que, si bien los LLM pueden servir como herramientas productivas para la síntesis transdisciplinaria y el razonamiento analítico amplio, presentan una incapacidad persistente en la interpretación regulatoria específica de la jurisdicción, la resolución de conflictos normativos y la aplicación procedimental sensible al contexto. En consecuencia, los autores abogan por una reorientación de la educación urbanística, pasando de la transmisión de conocimientos hacia el cultivo de la alfabetización institucional, la precisión paradigmática, la valentía normativa y la alfabetización crítica de la IA. Los hallazgos sugieren que el "humano en el bucle" no es solo un control de seguridad, sino un requisito fundamental para la legitimidad del juicio urbanístico, ya que el núcleo de la profesión se constituye a través de la inserción en contextos de gobernanza y comunidades específicas, más que mediante la computación pura.