HeatPrompt: Zero-Shot Vision-Language Modeling of Urban Heat Demand from Satellite Images

Il paper introduce HeatPrompt, un framework di modellazione energetica zero-shot che combina immagini satellitari e modelli linguistici-visivi per stimare la domanda di calore urbana in aree con scarse disponibilità di dati, migliorando significativamente l'accuratezza rispetto ai modelli di base.

L'essenziale

Immagina di dover riscaldare una città intera, ma non hai una lista dei palazzi, non sai quando sono stati costruiti, né quanto sono isolati. È come cercare di cucinare una cena per cento persone senza sapere quanti sono, cosa mangiano o quanto hanno fame. È un problema enorme per chi deve decidere come rendere le nostre città più verdi e meno inquinanti.

Gli autori di questo studio, provenienti dal Karlsruhe Institute of Technology in Germania, hanno inventato una soluzione intelligente chiamata HeatPrompt. Ecco come funziona, spiegato con parole semplici e qualche metafora.

Il Problema: La "Cecità" dei Dati

Di solito, per sapere quanto calore serve a un quartiere, servono dati precisi: anno di costruzione, tipo di tetto, spessore delle pareti. Spesso, però, questi dati non esistono, sono vecchi o protetti da leggi sulla privacy.
I metodi vecchi cercavano di indovinare basandosi su statistiche generali (come contare le persone), ma erano spesso imprecisi.

La Soluzione: L'Occhio Magico (HeatPrompt)

Gli autori hanno creato un sistema che usa l'intelligenza artificiale per "guardare" le foto satellitari e capire quanto calore serve, senza bisogno di dati specifici sui singoli edifici.

Ecco la magia in tre passaggi:

1. Lo Sguardo del Pianificatore Energetico (Il VLM):
   Immagina di avere un architetto esperto, ma che non parla la tua lingua e non ha mai visto i dati energetici. Invece di dargli un foglio di calcolo, gli mostri una foto aerea del quartiere e gli chiedi: "Guarda questa foto. Cosa vedi? Il tetto è vecchio o nuovo? C'è molta vegetazione? I palazzi sono vicini o distanti?".
   Questo "architetto" è un'intelligenza artificiale avanzata (chiamata VLM, o Modello Linguistico Visivo) che è stata addestrata a capire le immagini. Non ha bisogno di essere addestrata su dati energetici specifici; basta chiedergli di descrivere la scena.

2. La Traduzione in Parole Chiave:
   L'AI guarda la foto e scrive una breve descrizione, tipo: "Tetti vecchi e rossi, molti alberi, parcheggi asfaltati, edifici molto vicini tra loro".
   Queste descrizioni sono come indizi (o "token") che rivelano quanto un edificio consuma energia. Un tetto vecchio e senza alberi significa più caldo perso; un tetto moderno con verde significa meno consumo.

3. Il Calcolatore Intelligente (MLP):
   Queste descrizioni scritte dall'AI vengono poi passate a un semplice calcolatore matematico. Questo calcolatore impara che certe frasi (es. "tetto vecchio") significano "alto consumo di calore" e altre (es. "tetto nuovo") significano "basso consumo".
   Alla fine, il sistema ti dice: "Questo quartiere ha bisogno di X quantità di calore".

Perché è una Rivoluzione? (Le Analogie)

• Il "Cacciatore di Indizi" Zero-Shot:
  Di solito, per insegnare a un computer a riconoscere i tetti, devi mostrargli migliaia di foto etichettate manualmente (questo è costoso e lento). HeatPrompt è come un detective che arriva in una città sconosciuta e, senza averla mai vista prima, capisce subito la situazione guardando solo le finestre e i tetti. Non ha bisogno di una mappa preesistente; impara guardando.

• Dalle "Scatole Nere" alle "Finestre Aperte":
  Molti sistemi di intelligenza artificiale sono come "scatole nere": ti danno un risultato, ma non sai perché. HeatPrompt è diverso. Ti dice: "Ho previsto che serve molto calore perché ho visto tetti vecchi e pochi alberi". È come se il sistema ti mostrasse il ragionamento, rendendo tutto trasparente per chi deve prendere decisioni.

• Il Risultato:
  Quando hanno provato questo metodo, è stato un successo clamoroso. Rispetto ai metodi tradizionali, l'errore di previsione è sceso del 30% e la precisione è aumentata quasi del 94%. In pratica, hanno trasformato una previsione "abbastanza buona" in una "quasi perfetta", usando solo foto satellitari e un po' di intelligenza artificiale.

In Sintesi

HeatPrompt è come dare agli urbanisti un super-potere: la capacità di leggere la "salute energetica" di una città semplicemente guardando le foto dal cielo. Non serve più aspettare anni per raccogliere dati noiosi; basta un'immagine e un'intelligenza artificiale curiosa che descrive ciò che vede, aiutandoci a riscaldare le nostre case in modo più intelligente e pulito.

Sommario tecnico

1. Il Problema

La decarbonizzazione del riscaldamento degli edifici è fondamentale per raggiungere gli obiettivi climatici europei (riduzione del 40% delle emissioni entro il 2030 e dell'80% entro il 2050). Una strategia chiave consiste nell'ottimizzare le reti di teleriscaldamento e nel retrofit degli edifici, il che richiede mappe accurate della domanda di calore.

Tuttavia, la maggior parte dei comuni manca di dati dettagliati a livello di edificio (anno di costruzione, geometria, livello di isolamento, tipo di riscaldamento) necessari per calcoli precisi. I dati esistenti sono spesso incompleti, obsoleti o limitati da normative sulla protezione dei dati. Gli approcci tradizionali (modelli "bottom-up" basati su dati fisici dettagliati o modelli "top-down" basati su aggregazioni) soffrono di questa scarsità di dati, portando a stime imprecise.

2. Metodologia: HeatPrompt

Gli autori propongono HeatPrompt, un framework di modellazione energetica "zero-shot" che stima la domanda annuale di calore utilizzando immagini satellitari RGB, dati GIS di base e caratteristiche a livello di edificio, senza richiedere etichettatura manuale specifica per l'energia.

Il processo si articola in tre fasi principali:

• Acquisizione e Preprocessing dei Dati:

  • Vengono utilizzate immagini satellitari ad alta risoluzione (basemap Esri World Imagery) sovrapposte a isoline di pianificazione del calore (poligoni) provenienti dall'Atlante Energetico della Renania-Palatinato (Germania).
  • Per ogni poligono, viene estratta un'immagine RGB di 512x512 pixel con un margine contestuale del 5%.
  • Vengono integrati metadati GIS (area, perimetro) e dati a livello di edificio estratti da OpenStreetMap (OSM) e dal censimento (tipo di edificio, altezza, anno di costruzione approssimativo).

• Estrazione di Caratteristiche Semantiche (Zero-Shot VLM):

  • L'immagine RGB e una maschera binaria (che delimita la zona di interesse) vengono inviate a un Large Vision-Language Model (VLM) pre-addestrato (es. GPT-4o, Qwen2.5-VL, CLIP).
  • Il VLM riceve un prompt specifico di dominio che lo istruisce ad agire come un "pianificatore del calore municipale".
  • Il modello estrae automaticamente attributi visivi rilevanti per l'energia (es. età del tetto, densità edilizia, copertura vegetale, presenza di pannelli solari, materiali riflettenti) e genera una descrizione testuale (caption) con livelli di confidenza.
  • Queste descrizioni vengono convertite in vettori di embedding semantici (tramite Nomic text-embeddings) che catturano caratteristiche interpretabili dall'uomo.

• Regressione:

  • Un regressore MLP (Multi-Layer Perceptron) viene addestrato su un vettore di caratteristiche completo che combina:
    1. Attributi GIS di base.
    2. Embedding semantici derivati dal VLM.
    3. Caratteristiche di composizione edilizia (da OSM/LOD2).
  • Il modello viene valutato tramite validazione incrociata stratificata a 5 fold.

3. Contributi Chiave

• Mappatura Semantica Zero-Shot: HeatPrompt è il primo framework a modellare la domanda di calore annuale utilizzando solo immagini RGB, maschere e caption semantiche generate da VLM, eliminando la necessità di etichette energetiche manuali.
• Pipeline Interpretabile: A differenza delle "scatole nere" delle CNN, HeatPrompt produce token leggibili (es. "tetto vecchio", "alta densità"), fornendo ai pianificatori insight trasparenti sui driver della domanda di calore.
• Benchmark Riproducibile: Gli autori hanno rilasciato codice open-source e stabilito il primo benchmark vision-language per la stima della domanda di calore urbana, includendo test statistici rigorosi.

4. Risultati Sperimentali

Lo studio è stato condotto su un dataset di 1.677 campioni. I risultati mostrano un miglioramento significativo rispetto ai baseline:

• Baseline di Simulazione: Un modello fisico "bottom-up" ha ottenuto un $R^2$ di 0.32 e un MAE (Errore Assoluto Medio) di 287.1.
• Modelli ML Tradizionali: L'MLP addestrato solo su dati strutturati ha raggiunto un $R^2$ di 0.51 (+59.4% rispetto al baseline).
• Impatto dei VLM (HeatPrompt):
  • L'aggiunta degli embedding semantici da VLM ha portato a un $R^2$ di 0.62 e un MAE di 200.7.
  • Questo rappresenta un miglioramento del 93.7% nell'$R^2$ rispetto alla simulazione fisica e una riduzione del 30% del MAE.
  • Tra i modelli testati, GPT-4o ha ottenuto le prestazioni migliori, superando anche modelli CNN specializzati (ResNet, EfficientNet) e altri VLM come CLIP.

Analisi Qualitativa:
L'analisi ha dimostrato che i token ad alto impatto (es. "tetto vecchio", "bassa vegetazione") si allineano correttamente con le zone ad alta domanda di calore. Il sistema è in grado di distinguere edifici geometricamente simili ma con caratteristiche visive diverse (es. tetto moderno con verde vs. tetto vecchio in tegole), fornendo stime differenziate che i modelli tradizionali non riescono a cogliere.

5. Significato e Impatto

HeatPrompt dimostra che le caratteristiche semantiche estratte da modelli visione-linguaggio possono fungere da proxy efficaci per dati energetici mancanti o difficili da quantificare (come l'isolamento o l'età del tetto).

• Scalabilità: Il metodo è applicabile in regioni con scarsità di dati, sfruttando solo immagini satellitari pubbliche e modelli VLM pre-addestrati.
• Trasparenza: Fornisce ai pianificatori energetici non solo una previsione numerica, ma anche una spiegazione visiva e testuale del perché una zona ha una certa domanda di calore.
• Futuro: Il lavoro apre la strada a embeddings specifici per l'energia urbana, permettendo di recuperare direttamente attributi come l'età del tetto o la copertura PV dalle immagini, riducendo la dipendenza da rilevamenti sul campo costosi.

In sintesi, HeatPrompt rappresenta un passo avanti significativo verso una pianificazione energetica urbana più efficiente, economica e basata sui dati, superando le limitazioni dei modelli fisici tradizionali in contesti di dati incompleti.