Using street view images and visual LLMs to predict heritage values for governance support: Risks, ethics, and policy implications

Resumen Técnico: Uso de Imágenes de Street View y LLM Visuales para Predecir Valores Patrimoniales en Apoyo a la Gobernanza

Planteamiento del Problema
La implementación de la Directiva de Desempeño Energético de los Edificios (EPBD) de la Unión Europea requiere que los Estados miembros desarrollen Planes Nacionales de Renovación de Edificios para 2026. Estos planes requieren una visión general exhaustiva del parque de edificios nacional, incluyendo aquellos con valores patrimoniales, para guiar las exenciones o los requisitos energéticos adaptados. En Suecia, existe una barrera significativa: no hay un registro nacional exhaustivo de edificios con valores patrimoniales. Los registros existentes están fragmentados, basándose en listados oficiales bajo la Ley del Entorno Histórico (que cubre aproximadamente el 0,15% del parque) y listas municipales incompletas bajo la Ley de Planificación y Construcción. Además, los datos existentes suelen carecer de fiabilidad o granularidad. La Junta Nacional de Patrimonio de Suecia buscó utilizar herramientas novedosas para llenar estos vacíos de datos de manera eficiente, explorando específicamente el uso de Modelos de Lenguaje Extensos (LLM) visuales para evaluar indicadores de patrimonio a partir de imágenes a nivel de calle a escala nacional.

Metodología
El estudio empleó un enfoque de prompting de cero disparos (zero-shot prompting) utilizando el modelo multimodal de OpenAI (gpt-4o-2024-08-06) para analizar imágenes de street view del parque de edificios sueco.

• Adquisición y Procesamiento de Datos: El análisis comenzó con 272.174 Certificados de Eficiencia Energética (EPC) vinculados al registro nacional de la propiedad. Mediante procesamiento geoespacial (vinculando las huellas de los edificios con las líneas centrales de las carreteras y calculando las líneas de visión), los autores recuperaron 281.018 imágenes utilizables de Google Street View que representaban 186.038 edificios únicos. Tras filtrar por visibilidad y calidad, se evaluaron con éxito 154.710 EPC únicos.
• Ingeniería de Prompts: En lugar de realizar un ajuste fino (fine-tuning) del modelo, los investigadores utilizaron el zero-shot prompting. El prompt se diseñó basándose en las listas de verificación oficiales de la Junta Nacional de Patrimonio de Suecia y de Boverket para inspecciones oculares de edificios. Se le asignó una personalidad al modelo y se le instruyó para generar datos estructurados en formato JSON, identificando características específicas de la fachada (por ejemplo, año de construcción, número de plantas, paneles de ventanas, materiales) y asignando una puntuación de "indicador de patrimonio predicho" (1–100).
• Validación e Integración en la Gobernanza: Para mitigar los riesgos de las alucinaciones de los LLM y el sesgo, el estudio incorporó un proceso de validación con intervención humana (human-in-the-loop). Se realizaron talleres de expertos con especialistas en patrimonio de la Junta Nacional de Patrimonio de Suecia y la Universidad de Uppsala. Se desarrolló una herramienta de mapeo basada en la web para visualizar las puntuaciones predichas junto con las imágenes de las fachadas para la revisión de expertos. La decisión final fue utilizar la salida del LLM no para la certificación de edificios individuales, sino como un indicador estadístico a nivel de parque de edificios para informar la implementación de la EPBD.

Resultados Clave

• Desempeño Predictivo: El LLM demostró grados variables de precisión. Identificó con éxito hitos bien documentados (por ejemplo, el Turning Torso) y mostró una alineación razonable con los datos de los Certificados de Eficiencia Energética respecto al número de plantas. Sin embargo, tuvo dificultades con las predicciones del año de construcción, mostrando una tendencia a sobreestimar edades extremas (por ejemplo, prediciendo edificios de 1000 años de antigüedad) y a subrepresentar décadas específicas (por ejemplo, la década de 1910 o la de 1940).
• Sesgo y Representatividad: El estudio identificó sesgos significativos en las salidas del modelo.
  • Sesgo Geográfico y Socioeconómico: Los edificios en Estocolmo y en áreas prósperas (con un ingreso disponible promedio más alto) recibieron puntuaciones de indicador de patrimonio significativamente más altas en comparación con edificios similares en otras regiones o áreas de menores ingresos.
  • Sesgo de Material: El modelo asignó puntuaciones de patrimonio más bajas a los edificios de madera, que son comunes en entornos modestos y cotidianos, mientras que favoreció las estructuras de piedra y ladrillo.
  • Enfoque Conservador: El modelo exhibió un sesgo conservador, rara vez asignando puntuaciones extremadamente altas (90+). En consecuencia, los investigadores establecieron un umbral de 50 para identificar el "valor patrimonial predicho", lo que capturó solo un 1–2% adicional del parque de edificios más allá de las categorías oficialmente protegidas.
• Aplicación en la EPBD: Basándose en la validación de los expertos y la distribución estadística de las puntuaciones, la Junta Nacional de Patrimonio de Suecia adoptó los indicadores derivados del LLM para el proceso de la EPBD. El método permitió la inclusión de 5,0 millones de metros cuadrados adicionales de superficie útil de calefacción en la categoría de consideración de patrimonio, llenando un vacío de datos crítico para la planificación nacional.

Contribuciones Clave

1. Marco de Gobernanza para la IA: El artículo proporciona un caso de estudio concreto de cómo las autoridades públicas pueden integrar las predicciones de zero-shot LLM en la toma de decisiones políticas. Demuestra un flujo de trabajo donde la IA se encarga de la tarea "mecánica" de la extracción de datos de vastos conjuntos de imágenes, mientras que los expertos humanos mantienen la supervisión para la validación y la toma de decisiones estratégicas.
2. Transparencia Metodológica: Al utilizar prompts estructurados basados en listas de verificación oficiales existentes y requerir salidas en JSON, los autores mitigaron los riesgos de "sicofancia" (el modelo de estar de acuerdo con el usuario) y lograron que los resultados fueran más interpretables y auditables que la generación de texto no estructurado.
3. Identificación de Sesgos: El estudio documenta explícitamente los sesgos socioeconómicos y geográficos inherentes a los actuales LLM multimodales cuando se aplican a la evaluación del patrimonio, destacando que estos modelos tienden a reproducir las valoraciones sociales existentes en lugar de reevaluarlas críticamente.
4. Escalabilidad: La investigación demuestra que el zero-shot prompting puede escalarse para analizar cientos de miles de edificios sin necesidad de datos de entrenamiento costosos y específicos de la región, ofreciando una solución rápida, aunque imperfecta, para entornos con escasez de datos.

Significancia y Reivindicaciones
El artículo sostiene que, si bien las predicciones de zero-shot LLM no pueden reemplazar la evaluación experta del patrimonio ni servir como un registro legal definitivo para edificios individuales, ofrecen una herramienta valiosa y eficiente para el análisis a nivel de parque de edificios. La principal significación reside en permitir que las autoridades generen una "primera pasada" de los indicadores de patrimonio en todo el parque de edificios nacional, algo que antes era imposible debido a la fragmentación de los datos y las limitaciones de recursos.

Los autores enfatizan que el valor de este enfoque no reside en la precisión absoluta de cada predicción individual, sino en su capacidad para apoyar el desarrollo de los Planes Nacionales de Renovación de Edificios mediante la identificación de posibles activos patrimoniales que de otro modo permanecerían invisibles en los registros oficiales. Sin embargo, el artículo concluye con una fuerte advertencia: estas herramientas deben utilizarse con supervisión crítica, ya que inherentemente reproducen sesgos relacionados con la riqueza, la ubicación y el estilo arquitectónico. El método se presenta como un mecanismo de apoyo a la decisión suplementario que reduce la carga de los expertos en patrimonio, permitiéndoles centrarse en tareas estratégicas y evaluaciones complejas caso por caso, en lugar de como un reemplazo del juicio humano en la gobernanza del patrimonio.