Resumen Técnico: ¿Pueden los Modelos de Lenguaje de Gran Escala Sustituir a los Evaluadores Humanos? Fiabilidad y Validez de la Evaluación de la Calidad del Diseño Urbano

1. Planteamiento del Problema

La evaluación de la calidad del diseño urbano depende tradicionalmente de observadores humanos capacitados para evaluar atributos ambientales detallados (p. ej., cerramiento, transparencia, condiciones de la fachada) mediante listas de verificación estandarizadas. Si bien la proliferación de imágenes a nivel de calle con geolocalización ha creado vastos conjuntos de datos visuales, la naturaleza laboriosa de los sistemas de calificación basados en humanos restringe severamente su escalabilidad. El surgimiento de los Modelos de Lenguaje de Gran Escala (LLM) multimodales, capaces de interpretar entradas visuales y aplicar rúbricas de puntuación estructuradas, plantea una pregunta metodológica fundamental: ¿Pueden los LLM reemplazar de manera fiable a los evaluadores humanos capacitados en la evaluación del diseño urbano?

Las brechas de investigación actuales incluyen la falta de una evaluación sistemática respecto a la fiabilidad inter-evaluador de las evaluaciones basadas en IA y el grado en que los resultados de la IA se alinean con los juicios humanos. Los enfoques de IA existentes suelen centrarse en la extracción de características mediante visión computacional en lugar de aplicar los complejos criterios evaluativos contextuales utilizados por los expertos humanos. Este estudio aborda si los LLM pueden servir como sustitutos válidos y fiables de los evaluadores humanos o si su utilidad se limita a roles de apoyo.

2. Metodología

Área de Estudio y Muestreo

El estudio se llevó a cabo en Hwagok-dong, Seúl, un denso vecindario de villas de baja altura caracterizado por condiciones edilicias heterogéneas, calles estrechas y una variación significativa en la calidad del paisaje urbano.

• Muestreo: Se seleccionaron 40 puntos de observación utilizando un enfoque de muestreo espacial sistemático (intervalos de 100 metros) seguido de un muestreo aleatorio para asegurar una cobertura representativa y minimizar el sesgo de selección.
• Datos: Se capturaron imágenes de alta resolución a nivel de calle en cada punto.

Protocolo de Evaluación

Tres grupos distintos evaluaron los 40 puntos de observación utilizando una rúbrica estandarizada idéntica derivada de marcos establecidos (p. ej., Ewing & Clemente, 2013):

1. Evaluadores Humanos: Tres observadores capacitados realizaron levantamientos de campo.
2. Evaluadores LLM: Tres modelos multimodales (GPT-5.3 Thinking, Gemini 3.5 Flash y Claude Sonnet 4.6) fueron instruidos con las mismas instrucciones estandarizadas y entradas visuales.

Variables

La calidad del diseño urbano se operacionalizó en dos tipos de variables:

• Variables Continuas: Conteos (p. ej., letreros comerciales, luminarias) y medidas proporcionales (p. ej., relación ventana-pared, cobertura arbórea, factor de visión del cielo).
• Variables Categóricas: Presencia/ausencia o tipos de características (p. ej., marcas de carril, materiales de construcción, cercas, cámaras de CCTV).

Análisis Estadístico

El estudio empleó un marco de fiabilidad y validez de tres vertientes:

1. Fiabilidad Intra-grupo:
   • Variables Continuas: Coeficiente de Correlación Intraclase (ICC) utilizando un modelo de efectos aleatorios de dos vías para el acuerdo absoluto [ICC(2,1)].
   • Variables Categóricas: Kappa de Fleiss ($\kappa$) para cuantificar el acuerdo entre múltiples evaluadores.
2. Acuerdo Inter-grupo (Humano vs. LLM):
   • Variables Continuas: Análisis de Bland–Altman para cuantificar el sesgo sistemático y los límites de acuerdo al 95% (LOA).
   • Variables Categóricas: Kappa de Fleiss calculado entre el grupo humano y el grupo LLM.
3. Validez de Constructo:
   • Se estimaron modelos de regresión de Mínimos Cuadrados Ordinarios (OLS) para predecir el nivel de confort percibido (variable dependiente) utilizando variables de diseño calificadas por humanos y LLM por separado. Esto probó si las variables calificadas por IA mantenían asociaciones significativas con los resultados humanos.

3. Resultados Clave

3.1 Fiabilidad Inter-evaluador

• Evaluadores Humanos: Demostraron, en general, una fuerte fiabilidad para características visualmente explícitas y contables (p. ej., letreros comerciales, instalaciones minoristas, barras de seguridad de ventanas; ICC > 0.6). La fiabilidad disminuyó para variables que requieren estimación proporcional o detección de detalles pequeños (p. ej., estacionamiento ilegal, bancos).
• Evaluadores LLM: Mostraron un patrón de rendimiento selectivo.
  • Alta Fiabilidad: Los LLM funcionaron de manera comparable a los humanos para atributos estructuralmente estables y visualmente delimitados (p. ej., materiales de construcción, presencia minorista, barras de seguridad de ventanas).
  • Baja Fiabilidad: La fiabilidad disminuyó significativamente para variables que requieren estimación proporcional (p. ej., cobertura arbórea, factor de visión del cielo) o detección de elementos de pequeña escala y parcialmente ocluidos (p. ej., luminarias, instalaciones de seguridad).
• Comparación: Los evaluadores humanos fueron más consistentes que los LLM en la mayoría de las variables, particularmente en aquellas que requieren interpretación contextual.

3.2 Acuerdo Humano-LLM

• Sesgo Sistemático: El análisis de Bland–Altman reveló que los LLM asignaron sistemáticamente valores más bajos que los humanos para la mayoría de las variables continuas.
• Límites de Acuerdo: Se observaron amplios límites de acuerdo para variables que involucran juicios proporcionales (p. ej., relación ventana-pared, factor de visión del cielo, cobertura arbórea), lo que indica que las calificaciones humanas y de IA no son intercambiables para estas métricas.
• Desacuerdo Categórico: El Kappa de Fleiss inter-grupo fue generalmente moderado. Aunque el acuerdo fue sustancial para la "señalización excesiva" ($\kappa = 0.670$), fue débil o negativo para elementos de pequeña escala como botes de basura, cámaras de CCTV y cables/postes. En algunos casos (p. ej., botes de basura), las clasificaciones humana y de LLM fueron sistemáticamente diferentes en lugar de solo inconsistentes.

3.3 Validez de Constructo

• Ajuste del Modelo: Tanto los modelos calificados por humanos como los calificados por LLM explicaron una proporción similar de la varianza en el confort percibido (43.0% vs. 42.6%), lo que sugiere que los LLM capturan información ambiental agregada.
• Divergencia a Nivel de Variable:
  • Asociaciones Consistentes: La cobertura arbórea, la relación ventana-pared y la presencia de cercas mostraron asociaciones direccionales consistentes con el confort en ambos modelos.
  • Asociaciones Divergentes: Variables como el estacionamiento en pilotis, las marcas de carril y los materiales de construcción mostraron diferencias significativas en dirección o significancia entre los dos modelos. Por ejemplo, el estacionamiento en pilotis se asoció positivamente con el confort en el modelo humano, pero no en el modelo de LLM.

4. Principales Contribuciones

1. Diferenciación de Fiabilidad, Acuerdo y Validez: El estudio distingue entre la consistencia interna (fiabilidad) y la equivalencia inter-grupo (acuerdo). Demuestra que un sistema de IA puede ser internamente consistente (fiable) y, aun así, fallar en reproducir los juicios humanos (bajo acuerdo), desafiando la suposición de que una alta fiabilidad implica capacidad de sustitución.
2. Rendimiento Específico por Elemento: La investigación identifica que el rendimiento de los LLM es específico para cada elemento en lugar de ser universal. Los LLM son efectivos para atributos arquitectónicamente legibles y visualmente explícitos, pero tienen dificultades con cualidades que requieren estimación proporcional, inferencia contextual o detección de detalles finos.
3. Marco Metodológico: El estudio proporciona un riguroso marco estadístico (combinando ICC, Kappa de Fleiss y análisis de Bland–Altman) para evaluar la IA como un instrumento de medición en el urbanismo, yendo más allá de la simple precisión predictiva para evaluar la intercambiabilidad de la medición.

5. Significancia y Reivindicaciones

El artículo concluye que los LLM multimodales aún no son sustitutos generales de los evaluadores humanos capacitados en la evaluación de la calidad del diseño urbano.

• Idoneidad Selectiva: Los LLM son más adecuados como herramientas de medición selectivas para clases específicas de variables visualmente explícitas y estructuralmente estables. Aún no son capaces de replicar plenamente los juicios matizados y contextuales requeridos para evaluar cualidades como la apertura, la vegetación y las condiciones de mantenimiento en entornos complejos de baja altura.
• Flujo de Trabajo Híbrido: Los autores proponen un flujo de trabajo híbrido donde la IA se encarga de las variables visualmente explícitas para escalar la evaluación, mientras que los evaluadores humanos siguen siendo esenciales para las características sensibles al contexto, proporcionales o de baja frecuencia.
• Reivindicaciones Modestas sobre la Validez: Si bien los LLM preservan algunas asociaciones significativas con el bienestar humano (específicamente para variables como la cobertura arbórea y el cerramiento), no reproducen el patrón completo de relaciones observadas en las medidas calificadas por humanos. El estudio afirma que la IA debe verse como una herramienta complementaria y de cribado en lugar de un evaluador totalmente autónomo, particularmente en entornos residenciales densos donde las señales ambientales sutiles son críticas.

El estudio enfatiza que el papel futuro de los LLM en el diseño urbano es probablemente complementario, selectivo e híbrido, en lugar de un reemplazo completo de la experiencia humana.