HeatPrompt: Zero-Shot Vision-Language Modeling of Urban Heat Demand from Satellite Images

Het artikel introduceert HeatPrompt, een zero-shot vision-language framework dat met behulp van gespecialiseerde prompts voor grote visueel-taalmodellen en satellietbeelden nauwkeurige warmtevraagkaarten genereert voor gebieden met beperkte data, wat leidt tot een aanzienlijke verbetering in voorspellingsnauwkeurigheid ten opzichte van bestaande methoden.

De kern

Warme Buurt, Koud Huis? De "HeatPrompt" van de Toekomst

Stel je voor dat je een stad wilt verwarmen zonder fossiele brandstoffen. Dat is een grote uitdaging, net als het proberen te begrijpen waarom één huis in de winter ijskoud is terwijl het huis ernaast lekker warm blijft. Om dit op te lossen, moeten we weten hoeveel warmte elke wijk eigenlijk nodig heeft. Maar hier zit het probleem: gemeenten hebben vaak geen gedetailleerde dossiers over elk gebouw. Ze weten niet precies hoe oud het dak is, hoe goed het geïsoleerd is of hoeveel ramen er open staan. Het is alsof je een dokter bent die een patiënt moet behandelen, maar de patiënt mag geen medische gegevens tonen.

In het verleden probeerden wetenschappers dit op te lossen met ingewikkelde berekeningen (zoals een "bottom-up" aanpak), maar die faalden vaak omdat ze te veel informatie nodig hadden die ze niet hadden.

Enter HeatPrompt: De Slimme Buurman

De auteurs van dit paper, onderzoekers van het KIT in Duitsland, hebben een nieuwe oplossing bedacht: HeatPrompt. Je kunt dit zien als een super-slimme, digitale "buurman" die alleen naar foto's van de stad kijkt en daaruit slimme conclusies trekt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Foto en de Vraag

Stel je voor dat je een satellietfoto hebt van een wijk. Normaal gesproken ziet een computer daar alleen maar pixels: grijs, rood, groen. Maar HeatPrompt gebruikt een heel nieuw type kunstmatige intelligentie, een Vision-Language Model (VLM). Denk hierbij aan een zeer slimme kunstenaar die niet alleen kan kijken, maar ook kan praten.

De onderzoekers geven deze kunstenaar een opdracht (een "prompt"): "Je bent nu een energiedeskundige. Kijk naar deze foto en vertel me wat je ziet dat belangrijk is voor de warmte: Is het dak oud of nieuw? Zijn er veel bomen? Zie je zonnepanelen? Hoe dicht op elkaar staan de huizen?"

2. De Vertaling van Beeld naar Woord

In plaats van dat de computer zelf de cijfers uitrekent, laat de kunstenaar de foto "vertalen" naar een lijstje met beschrijvingen.

• Voorbeeld: De computer ziet een grijs dak en zegt: "Dit dak lijkt oud en heeft veel schaduwen, dus het warmt waarschijnlijk slecht vast."
• Voorbeeld: Een ander dak ziet eruit als een tuin en zegt: "Dit is een groen dak met veel planten; dat houdt de warmte goed vast."

Dit is het "zero-shot" gedeelte: de computer heeft nooit eerder deze specifieke huizen gezien, maar hij gebruikt zijn algemene kennis om de foto te begrijpen, net zoals jij zou doen als je naar een nieuwe stad zou kijken.

3. De Rekenmachine

Nu hebben we een lijstje met slimme beschrijvingen (zoals "oud dak", "veel bomen", "dichtbebouwd"). Deze woorden worden omgezet in een soort "code" (getallen) en gevoerd in een simpele rekenmachine (een regressiemodel). Deze rekenmachine leert: "Ah, als er veel oude daken en weinig bomen zijn, dan is de warmtevraag hoog."

Waarom is dit zo cool? (De Metaphor)

• De "Zwarte Doos" vs. De "Open Boek":
  Oude methoden waren vaak als een zwarte doos. Je stopte data erin en kreeg een getal eruit, maar je wist niet waarom. HeatPrompt is als een open boek. Omdat de computer eerst beschrijft wat hij ziet ("Het dak is rood en oud"), weten de planningsdeskundigen precies waarom ze een bepaalde warmtevraag krijgen. Ze kunnen zeggen: "O, we moeten hier de daken vervangen, want de AI zag dat ze oud zijn."

• De "Dikke Databank" vs. De "Slimme Schatting":
  Vaak dachten we: "Zonder perfecte data kunnen we niets doen." HeatPrompt zegt: "Nee, we kunnen gewoon kijken." Het is alsof je in plaats van elke auto in de stad te wegen, gewoon naar de banden en de rook uit de uitlaat kijkt om te weten of de auto zwaar is.

Wat leverde het op?

De resultaten zijn indrukwekkend. De oude methoden (zonder de slimme foto-analyse) waren vaak onnauwkeurig. Door HeatPrompt toe te voegen:

• De nauwkeurigheid steeg met 93,7%.
• De foutmarge werd 30% kleiner.

Het betekent dat gemeenten nu, zelfs zonder gedetailleerde dossiers over elk huis, een heel goed beeld kunnen krijgen van waar ze moeten investeren in isolatie of nieuwe verwarmingssystemen.

Kortom:
HeatPrompt is een slimme manier om satellietfoto's te gebruiken als een "energie-röntgenfoto". Het laat computers niet alleen kijken, maar ook begrijpen wat ze zien, zodat we onze steden warmer en groener kunnen maken, zelfs als we niet alles over elk gebouw weten.

Technische samenvatting

Probleemstelling

Het decarboniseren van ruimteverwarming is cruciaal voor de strijd tegen klimaatverandering, maar het plannen van efficiënte warmtenetten vereist nauwkeurige kaarten van de warmtevraag op gebouwniveau. Het grootste obstakel is het ontbreken van gedetailleerde data: veel gemeenten hebben geen toegang tot actuele gegevens over bouwjaar, isolatieniveau, geometrie of verwarmingssystemen van individuele gebouwen, vaak vanwege privacyregels of verouderde databases.

Bestaande benaderingen (bottom-up en top-down) zijn beperkt door deze datakloof. Bottom-up-modellen zijn nauwkeurig maar data-hongerig, terwijl top-down-modellen vaak te grof zijn. Er is behoefte aan een methode die gebruikmaakt van publiek beschikbare satellietbeelden om warmtevraag te schatten zonder dat er handmatige labels voor energieniveaus nodig zijn.

Methodologie: HeatPrompt

De auteurs introduceren HeatPrompt, een zero-shot vision-language framework dat warmtevraag schat door semantische kenmerken uit RGB-satellietbeelden te extraheren en te combineren met basis GIS-gegevens.

1. Data Voorbereiding:

   • Satellietbeelden (512x512 px) worden gekoppeld aan gemeentelijke warmteplanningsisolijnen (multipolygons).
   • Een binaire masker wordt gegenereerd om het gebied van belang (ROI) te markeren.
   • Aanvullende data wordt verzameld uit OpenStreetMap (OSM) en het Rijksgebouwenregister (LOD2), zoals gebouwtype, hoogte en oppervlakte.

2. Semantische Extractie met VLM's:

   • In plaats van pixels direct te verwerken, wordt een Large Vision Language Model (VLM) (zoals GPT-4o, Qwen2.5-VL, of CLIP) gebruikt.
   • Het beeld (met het masker in de alpha-kanaal) wordt ingevoerd met een domeinspecifieke prompt die het model vraagt op te treden als een "gemeentelijke warmteplanner".
   • Het VLM genereert een tekstuele beschrijving (caption) met de vijf meest relevante visuele factoren voor warmtevraag (bijv. dakouderdom, dichtheid, groendakken, vegetatie) inclusief een betrouwbaarheidsscore.

3. Embedding en Regressie:

   • De gegenereerde tekst wordt omgezet in een vast vectorformaat (512 dimensies) met behulp van Nomic text-embeddings.
   • Deze semantische vector ($z_{sem}$) wordt gecombineerd met GIS-kenmerken (oppervlakte, omtrek) en gebouwcompositie-kenmerken (bouwdecennium, typeverhoudingen).
   • Een Multi-Layer Perceptron (MLP) regressor (twee verborgen lagen) wordt getraind op deze samengestelde feature-vector om de jaarlijkse warmtevraag (MWh/a) te voorspellen.

Belangrijkste Bijdragen

• Zero-Shot Semantische Warmtekaarten: Het is het eerste framework dat jaarlijkse warmtevraag modelleert voor gemeentelijke zones uitsluitend op basis van RGB-satellietbeelden en zero-shot semantische captions, zonder handmatige labeling van energiefactoren.
• Interpreteerbaarheid: In tegenstelling tot "black-box" CNN-modellen, levert HeatPrompt menselijk leesbare tokens op (bijv. "oud getegeld dak", "hoge dichtheid"). Dit biedt planners transparante inzichten in waarom een bepaalde warmtevraag wordt voorspeld.
• Reproduceerbaar Benchmark: De auteurs hebben een open-source benchmark gecreëerd voor visueel-taalmodellering in de context van stedelijke warmtevraag, inclusief data-preparatie en validatiemethoden.

Resultaten

De prestaties werden getest met stratified 5-voudige cross-validatie op een dataset van 1.677 monsters (Rijnland-Palts, Duitsland).

• Vergelijking met Baselines:

  • Een traditionele bottom-up simulatie (fysiek model) behaalde een $R^2$ van 0,32.
  • Een standaard MLP zonder visuele data (alleen gestructureerde data) behaalde een $R^2$ van 0,51.
  • HeatPrompt met GPT-4o: Door de toevoeging van semantische embeddings van GPT-4o steeg de $R^2$ naar 0,62. Dit is een 93,7% verbetering ten opzichte van de simulatie-baseline.
  • De Mean Absolute Error (MAE) daalde met 30% (van 287,1 naar 200,7).

• Ablatie Studies:

  • Andere modellen zoals CLIP en Qwen2.5-VL presteerden ook goed, maar GPT-4o leverde de beste resultaten, wat aantoont dat geavanceerde redenering over beelden essentieel is voor het extraheren van relevante energiekarakteristieken.
  • Visuele trends bevestigden verwachte patronen: gebieden met hoge warmtevraag hebben minder vegetatie, minder zonnepanelen en een hogere structurele dichtheid.

• Kwalitatieve Analyse:

  • Het model kan onderscheid maken tussen gebouwen met dezelfde geometrie maar verschillende visuele kenmerken (bijv. een oud dak vs. een nieuw groendak), wat leidt tot realistischere voorspellingen dan traditionele modellen.

Betekenis en Toekomstperspectief

HeatPrompt biedt een krachtige oplossing voor data-schaarste in de energietransitie. Het stelt gemeenten in staat om snel en goedkoop gedetailleerde warmteplannen te maken zonder kostbare veldmetingen of gevoelige data te hoeven verzamelen.

De belangrijkste waarde ligt in de interpretatie: planners kunnen niet alleen een getal zien, maar ook de reden (bijv. "verouderd dak" of "weinig isolatie door open structuur"). De auteurs plannen om in de toekomst specifieke "energy-aware" visueel-taalembeddings te ontwikkelen die nog nauwkeuriger zijn opgeleid op stedelijke energie-semantiek, waardoor dit een standaardtool kan worden voor data-arme energiemodellering wereldwijd.