HeatPrompt: Zero-Shot Vision-Language Modeling of Urban Heat Demand from Satellite Images

El artículo presenta HeatPrompt, un marco de modelado energético visión-lingüístico de cero disparos que estima la demanda de calor anual a partir de imágenes satelitales y datos GIS básicos, logrando una mejora significativa en la precisión respecto a los modelos basales y ofreciendo una solución ligera para la planificación térmica en regiones con escasez de datos.

Lo esencial

¡Claro que sí! Imagina que quieres saber cuánto gas o electricidad necesita una ciudad para calentar sus casas en invierno. Normalmente, para saber esto, los expertos necesitan una "hoja de datos" perfecta de cada edificio: año de construcción, grosor del aislamiento, tipo de techo, etc.

El problema es que esa información perfecta casi nunca existe. Los registros están desactualizados, son confusos o están protegidos por leyes de privacidad. Es como intentar adivinar el peso de una persona sin poder usar una báscula, solo mirándola de lejos.

Aquí es donde entra HeatPrompt, la nueva herramienta que presenta este paper. Vamos a explicarlo con una analogía sencilla.

🏙️ La Analogía: El "Detective de Energía" con Ojos de Águila

Imagina que tienes un detective muy inteligente (el modelo de Inteligencia Artificial) que nunca ha estudiado ingeniería térmica, pero tiene una capacidad increíble para observar y describir lo que ve.

1. El Caso: Tienes una foto de satélite de un barrio (como si la tomaras desde un dron).
2. La Misión: En lugar de pedirle al detective que haga cálculos matemáticos complejos, le dices: "Actúa como un planificador de energía experto. Mira esta foto y descríbeme todo lo que ves que podría hacer que las casas aquí necesiten más o menos calefacción".
3. La Observación (El Truco): El detective no ve "números", ve señales visuales. Te dice cosas como:
   • "Veo muchos tejados viejos y oxidados" (eso pierde calor).
   • "Hay muchos árboles y jardines" (eso ayuda a aislar).
   • "Los edificios están muy juntos" (se calientan entre ellos).
   • "Veo paneles solares en muchos techos" (eso genera energía).

🚀 ¿Cómo funciona HeatPrompt?

El sistema funciona en tres pasos simples, como una receta de cocina:

1. La Foto y el Mapa: Toman una foto de satélite de una zona y le ponen una "máscara" digital para delimitar exactamente qué barrio estamos analizando.
2. El "Prompt" (La Pregunta Mágica): Le envían esa foto a una Inteligencia Artificial muy avanzada (llamada VLM, o Modelo de Lenguaje Visual). Le dan una instrucción especial: "Eres un experto en calefacción urbana. Describe los 5 factores visuales más importantes que ves en esta imagen".
   • La IA no necesita haber sido entrenada específicamente para esto (por eso se llama "Zero-Shot" o "de un solo tiro"). Es como si le dieras un libro de cocina a un chef experto y le dijeras: "Hazme un pastel", y él sabe cómo hacerlo porque ya sabe cocinar, aunque nunca haya hecho ese pastel específico.
3. La Traducción a Números: La IA escribe una descripción (ej: "tejado viejo, poca vegetación"). El sistema convierte esas palabras en una lista de números (una "huella digital" de la imagen) y se la pasa a un pequeño calculador matemático (un regresor).
4. El Resultado: El calculador usa esos números para predecir: "Esta zona necesita X cantidad de energía al año".

🏆 ¿Por qué es un gran avance?

Antes, los modelos intentaban adivinar la energía basándose solo en datos fríos y a veces incompletos (como el tamaño del edificio). Funcionaban, pero con errores grandes.

HeatPrompt es como darle al detective unas gafas de visión nocturna:

• Antes: El modelo decía: "Es un edificio de 100 metros cuadrados. Necesita 100 unidades de calor". (Error: No sabe si el techo está roto).
• Ahora: El modelo dice: "Es un edificio de 100 metros, pero tiene un techo de tejas antiguas y está rodeado de árboles. Por lo tanto, necesita 150 unidades de calor".

Los resultados son impresionantes:

• La precisión mejoró un 93.7% en comparación con los métodos antiguos.
• El error de predicción bajó un 30%.
• Lo mejor: No necesitas inspeccionar casa por casa. Con solo una foto de satélite, puedes saber qué barrios necesitan urgentemente mejoras en su aislamiento.

💡 En resumen

Este paper nos dice que ya no necesitamos esperar a tener todos los datos perfectos para planificar el futuro energético. Podemos usar la inteligencia artificial para "leer" las ciudades como si fueran libros, observando detalles visuales (como el color de los techos o la cantidad de árboles) para entender dónde se está desperdiciando calor.

Es como pasar de intentar adivinar el clima mirando el cielo con los ojos cerrados, a tener un satélite que te dice exactamente: "Oye, hay nubes grises y el suelo está mojado, así que lleva paraguas". ¡Y todo esto sin tener que salir de casa!

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "HeatPrompt: Zero-Shot Vision-Language Modeling of Urban Heat Demand from Satellite Images" en español.

1. Planteamiento del Problema

La descarbonización del calentamiento de espacios es fundamental para combatir el cambio climático, especialmente en Europa, donde se buscan reducciones drásticas de emisiones para 2030 y 2050. Sin embargo, la planificación eficiente de redes de calefacción urbana y la rehabilitación de edificios requieren mapas precisos de demanda de calor.

El principal obstáculo es la falta de datos detallados a nivel de edificio (año de construcción, geometría, nivel de aislamiento, sistemas de calefacción) debido a regulaciones de protección de datos, información incompleta o desactualizada. Los enfoques tradicionales de mapeo de calor (modelos "bottom-up" que requieren datos exhaustivos o "top-down" que agregan datos macro) a menudo fallan en precisión o escalabilidad en regiones con escasez de datos. Además, convertir imágenes satelitales en métricas energéticas cuantitativas sigue siendo un desafío técnico significativo.

2. Metodología: HeatPrompt

Los autores proponen HeatPrompt, un marco de modelado energético de visión-idioma (Vision-Language Model - VLM) de aprendizaje cero disparo (zero-shot). El objetivo es estimar la demanda anual de calor utilizando características semánticas extraídas de imágenes satelitales RGB, sin necesidad de etiquetado manual de características energéticas.

El flujo de trabajo se divide en tres etapas principales:

• Adquisición y Preprocesamiento de Datos:

  • Se utilizan imágenes satelitales de la base de Esri World Imagery superpuestas con isolíneas de planificación de calor municipal (del Atlas de Energía de Renania-Palatinado, Alemania).
  • Cada muestra consiste en una imagen RGB de 512x512 píxeles y una máscara binaria que define la región de interés (polígono).
  • Se enriquecen los datos con metadatos GIS (área, perímetro) y características de edificios extraídos de OpenStreetMap (OSM) y datos del censo (tipo de edificio, altura, edad aproximada).

• Extracción de Características Semánticas (Zero-Shot):

  • Se crea un compuesto RGBA insertando la máscara binaria en el canal alfa de la imagen.
  • Esta imagen se alimenta a un Modelo de Visión e Idioma (VLM) preentrenado (específicamente GPT-4o, aunque se prueban otros como CLIP y Qwen2.5-VL) mediante un prompt específico del dominio.
  • El VLM actúa como un "planificador de calor municipal" y genera descripciones textuales (captions) que identifican los cinco factores visuales más relevantes para la demanda de calor (ej. "techo antiguo", "alta densidad de edificios", "baja cobertura vegetal").
  • Estas descripciones se convierten en vectores de embeddings fijos (usando Nomic text-embeddings) que capturan características interpretables por humanos.

• Regresión:

  • Se entrena un Perceptrón Multicapa (MLP) que toma como entrada:
    1. Atributos GIS básicos.
    2. Embeddings semánticos del VLM.
    3. Características de composición de edificios.
  • El modelo se evalúa mediante validación cruzada estratificada de 5 pliegues.

3. Contribuciones Clave

1. Mapeo de Calor Semántico Zero-Shot: Es el primer marco que modela la demanda anual de calor para zonas municipales utilizando imágenes satelitales RGB y descripciones semánticas generadas por VLM, eliminando la necesidad de etiquetado manual de características energéticas.
2. Pipeline Interpretable: A diferencia de las redes neuronales convolucionales (CNN) que actúan como "cajas negras", HeatPrompt proporciona características semánticas legibles por humanos (ej. estado del techo, densidad). Esto ofrece a los planificadores información transparente y accionable sobre los impulsores de la demanda de calor.
3. Benchmark Reproducible: Los autores proporcionan código abierto y establecen el primer benchmark de visión-idioma para la estimación de demanda de calor urbana, incluyendo pruebas estadísticas rigurosas.

4. Resultados Experimentales

Los experimentos compararon HeatPrompt contra un modelo de simulación física "bottom-up" (baselines) y otros modelos de aprendizaje automático tradicionales.

• Rendimiento del Baseline: La simulación física tradicional obtuvo un $R^2$ de 0.32 y un Error Absoluto Medio (MAE) de 287.1.
• Mejora con HeatPrompt (GPT-4o):
  • Al integrar los embeddings semánticos de GPT-4o, el modelo logró un $R^2$ de 0.62.
  • Esto representa un aumento del 93.7% en el $R^2$ en comparación con la simulación de referencia.
  • El MAE se redujo en un 30% (de 287.1 a 200.7).
• Comparación de Modelos Visuales:
  • GPT-4o superó a otros modelos como CLIP ($R^2$ 0.60), Qwen2.5-VL y CNNs tradicionales (ResNet, EfficientNet), demostrando que el razonamiento experto de los VLMs es superior para extraer características energéticas relevantes.
• Interpretabilidad: El análisis cualitativo mostró que los tokens de alto impacto (ej. "techo antiguo", "baja vegetación") se alinean correctamente con zonas de alta demanda, permitiendo distinguir edificios geométricamente similares pero con diferentes características térmicas (ej. un techo moderno con vegetación vs. un techo de tejas antiguo y desnudo).

5. Significado e Impacto

El trabajo de HeatPrompt es significativo por varias razones:

• Superación de la Escasez de Datos: Permite estimar la demanda de calor con alta precisión en regiones donde faltan datos detallados de edificios, utilizando únicamente imágenes satelitales públicas y modelos de lenguaje preentrenados.
• Eficiencia y Automatización: Ofrece una alternativa más rápida y automatizada a las encuestas de campo costosas y lentas.
• Transparencia en la Planificación Energética: Al proporcionar explicaciones semánticas (no solo números), facilita la toma de decisiones para los planificadores urbanos, quienes pueden entender por qué un área tiene una demanda de calor alta (ej. debido a la falta de aislamiento visual o densidad).
• Futuro de la Modelización: Establece una base para el desarrollo de embeddings visuales específicos para la energía, capaces de inferir propiedades físicas latentes (como la calidad del aislamiento) a partir de señales visuales indirectas.

En conclusión, HeatPrompt demuestra que la combinación de modelos de visión-idioma de última generación con datos geoespaciales básicos puede revolucionar la planificación de la transición energética urbana, ofreciendo un equilibrio óptimo entre precisión, interpretabilidad y escalabilidad.