HeatPrompt: Zero-Shot Vision-Language Modeling of Urban Heat Demand from Satellite Images

Die Studie stellt HeatPrompt vor, ein Zero-Shot-Vision-Language-Framework, das mithilfe von prätrainierten Modellen und Satellitenbildern präzise Wärmebedarfskarten für die Dekarbonisierung der Raumheizung erstellt und dabei die Genauigkeit im Vergleich zu herkömmlichen Basismodellen erheblich steigert.

Das Wesentliche

Wärme aus dem All: Wie KI die Heizkosten von Städten „errät"

Stellen Sie sich vor, Sie sind ein Stadtplaner und wollen wissen, welche Häuser in Ihrer Stadt im Winter besonders viel Wärme brauchen. Normalerweise müssten Sie dafür zu jedem einzelnen Haus gehen, das Dach abheben, die Dämmung prüfen und die Baujahre nachschauen. Das ist aber unmöglich: Es gibt zu viele Häuser, die Daten sind oft veraltet oder aus Datenschutzgründen nicht verfügbar.

Die Forscher vom Karlsruher Institut für Technologie (KIT) haben eine clevere Lösung gefunden, die sie „HeatPrompt" nennen. Hier ist die Idee, einfach erklärt:

1. Der Detektiv mit dem Fernglas (Die Satellitenbilder)

Statt die Häuser zu besuchen, schaut sich die KI einfach von oben auf die Stadt – genau wie ein Detektiv mit einem sehr starken Fernglas (einem Satellitenbild). Sie sieht die Dächer, die Bäume, die Straßen und wie dicht die Häuser beieinander stehen.

2. Der kluge Übersetzer (Die Vision-Language-Modelle)

Das ist der geniale Teil: Früher konnten Computer auf Bildern nur zählen oder messen. Aber die neue KI (genannt VLM, wie ein sehr kluger Roboter, der sowohl Bilder als auch Sprache versteht) kann das Bild beschreiben.

Stellen Sie sich vor, Sie zeigen der KI ein Foto eines Hauses und fragen: „Was siehst du hier, das wichtig für die Heizung ist?"
Die KI antwortet nicht nur mit Zahlen, sondern mit Sätzen wie:

• „Das Dach sieht alt und verwittert aus."
• „Es gibt viele Bäume, die Schatten spenden."
• „Die Häuser stehen sehr eng beieinander."
• „Das Dach ist hell und reflektiert die Sonne."

Diese Beschreibung nennt man einen „Prompt" (einen Hinweis). Die KI agiert hier wie ein erfahrener Energieberater, der nur einen Blick auf das Bild wirft und sofort die wichtigsten Details erkennt.

3. Die Schatzkarte (Die Vorhersage)

Die KI nimmt diese beschreibenden Sätze und wandelt sie in eine Art „Schatzkarte" um. Zusammen mit ein paar einfachen Daten (wie: „Wie groß ist das Grundstück?") rechnet ein kleiner Computer-Algorithmus aus, wie viel Wärme dieses Stadtviertel wahrscheinlich braucht.

Das Ergebnis ist wie ein Zaubertrick:

• Ohne KI: Die alten Methoden lagen oft daneben, weil ihnen wichtige Details fehlten (wie ein Koch, der nur Salz und Pfeffer hat, aber keine Gewürze).
• Mit HeatPrompt: Die Vorhersagen sind 93 % genauer als die alten Methoden! Der Fehler wird um 30 % kleiner.

Warum ist das so toll?

Stellen Sie sich vor, Sie wollen wissen, ob ein Haus gut gedämmt ist, ohne hineinzugehen.

• Der alte Weg: Man müsste ein Formular ausfüllen, das niemand kennt.
• Der neue Weg (HeatPrompt): Die KI sieht das alte, schief liegende Ziegeldach und die kahlen Wände und sagt: „Aha, hier wird es kalt!" und rechnet das in Heizkosten um.

Zusammenfassung in einer Metapher

Stellen Sie sich die Stadt als ein riesiges Puzzle vor. Früher fehlten dem Bild viele Teile, weil die Daten fehlten. HeatPrompt ist wie ein magischer Vergrößerungsglas, das nicht nur die Puzzlestücke findet, sondern auch beschreibt, wie sie aussehen (alt, neu, grün, grau). Aus dieser Beschreibung kann die KI dann das ganze Bild (den Wärmebedarf) perfekt rekonstruieren, ohne dass jemand die Häuser einzeln abhaken muss.

Das ist besonders wichtig für Städte, die ihre Heizungssysteme modernisieren wollen, um den Klimawandel zu bekämpfen. Sie können jetzt genau wissen, wo sie zuerst ansetzen müssen, selbst wenn sie keine detaillierten Akten über jedes einzelne Haus haben.

Technische Zusammenfassung

1. Problemstellung

Die genaue Kartierung des Wärmebedarfs ist entscheidend für die Dekarbonisierung der Raumheizung, doch viele Kommunen verfügen nicht über die notwendigen detaillierten Gebäudedaten (z. B. Baujahr, Dämmung, Geometrie), um diese Berechnungen durchzuführen.

• Herausforderung: Bestehende Bottom-up-Modelle benötigen umfassende Gebäudemetadaten, die oft lückenhaft, veraltet oder durch Datenschutzbestimmungen eingeschränkt sind. Top-down-Ansätze leiden unter mangelnder räumlicher Auflösung.
• Ziel: Entwicklung einer Methode zur Schätzung des jährlichen Wärmebedarfs auf Gemeindeebene unter Verwendung von öffentlich zugänglichen Satellitenbildern, ohne dass manuelle Labeling von energiebezogenen Merkmalen erforderlich ist.

2. Methodik: HeatPrompt

Das vorgestellte Framework HeatPrompt ist ein Zero-Shot Vision-Language-Modell, das semantische Merkmale aus RGB-Satellitenbildern extrahiert und diese mit GIS-Daten kombiniert, um den Wärmebedarf zu prognostizieren.

• Datengrundlage:
  • Satellitenbilder: 512x512 Pixel große RGB-Bilder (Esri World Imagery).
  • Geodaten: Binäre Isolinien-Masken (Multipolygone) aus dem Energieatlas Rheinland-Pfalz, die den Untersuchungsraum definieren.
  • Zusatzdaten: Gebäudefootprints aus OpenStreetMap (OSM), LOD2-Höhenmodelle und Zensusdaten (z. B. Gebäudeart, Alter).
• Semantische Merkmalsextraktion (Zero-Shot):
  • Ein vortrainiertes Large Vision-Language Model (VLM) (insbesondere GPT-4o, aber auch CLIP und Qwen2.5-VL wurden getestet) wird mit einem domänenspezifischen Prompt versorgt.
  • Das Modell agiert als „Energieplaner" und analysiert das Bild (mit überlagertem Masken-Alpha-Kanal), um die fünf wichtigsten visuellen Faktoren zu identifizieren, die den Wärmebedarf beeinflussen (z. B. Dachzustand, Gebäude密度, Vegetationsanteil, Parkplatzflächen).
  • Diese textuellen Beschreibungen (Captions) werden mittels Text-Embeddings (Nomic) in einen festen Vektor ($z_{sem}$) umgewandelt.
• Regressionsmodell:
  • Die semantischen Embeddings werden mit strukturierten GIS-Attributen (Fläche, Umfang) und Gebäudemerkmalen (Höhe, Baujahr, Typ) zu einem vollständigen Feature-Vektor kombiniert.
  • Ein Multi-Layer Perceptron (MLP) mit zwei versteckten Schichten wird auf diesen Vektoren trainiert, um den kontinuierlichen jährlichen Wärmebedarf (in MWh/a) vorherzusagen.
  • Die Validierung erfolgt mittels stratifizierter 5-Fold-Cross-Validation.

3. Hauptbeiträge

1. Zero-Shot Semantische Wärmekartierung: HeatPrompt ist das erste Framework, das den jährlichen Wärmebedarf für Gemeindezonen ausschließlich unter Nutzung von RGB-Satellitenbildern und Zero-Shot-VLM-Captions modelliert, wodurch manuelles Labeling entfällt.
2. Interpretierbarkeit: Im Gegensatz zu „Black-Box"-CNN-Modellen liefert HeatPrompt menschenlesbare semantische Merkmale (z. B. „alter Dachzustand", „hohe Vegetation"), die als transparente Entscheidungsgrundlage für Planer dienen.
3. Reproduzierbarer Benchmark: Die Autoren stellen Open-Source-Code bereit und etablieren den ersten Vision-Language-Benchmark für die Schätzung des urbanen Wärmebedarfs.

4. Ergebnisse

Die Leistung wurde mit einem physikalischen Bottom-up-Simulations-Baseline-Modell und verschiedenen maschinellen Lernansätzen verglichen:

• Performance-Steigerung:
  • Das Baseline-Simulationsmodell erreichte ein $R^2$ von 0,32.
  • Der reine MLP-Ansatz mit strukturierten Daten erreichte ein $R^2$ von 0,51.
  • HeatPrompt mit GPT-4o-Embeddings erzielte das beste Ergebnis mit einem $R^2$ von 0,62 und einem Mean Absolute Error (MAE) von 200,7.
  • Dies entspricht einer Verbesserung der $R^2$ um 93,7 % gegenüber der Simulation und einer Reduktion des MAE um 30 %.
• Vergleich der Modelle:
  • VLM-basierte Ansätze (GPT-4o, CLIP) übertrafen traditionelle CNN-Architekturen (ResNet50, EfficientNet) und reine Regressionsmodelle deutlich.
  • GPT-4o zeigte die stärkste Leistung, gefolgt von CLIP.
• Qualitative Analyse:
  • Die extrahierten semantischen Token korrelieren stark mit bekannten physikalischen Faktoren: Hoher Wärmebedarf wurde mit geringer Vegetation, alten Dächern und hoher Bebauungsdichte assoziiert.
  • Das Modell konnte feine Unterschiede zwischen geometrisch ähnlichen Gebäuden erkennen (z. B. modernes Dach mit viel Grün vs. altes Ziegeldach ohne Grün), was zu realistischeren Prognosen führte.

5. Bedeutung und Ausblick

HeatPrompt demonstriert, dass Zero-Shot-Learning mit großen multimodalen Modellen eine effektive Lösung für datenarme Szenarien in der Energiewende darstellt.

• Praktischer Nutzen: Die Methode ermöglicht Kommunen ohne detaillierte Gebäudekataster eine schnelle, kostengünstige und interpretierbare Abschätzung des Wärmebedarfs.
• Zukunftsperspektiven: Die Autoren planen die Entwicklung von „energy-aware" Visual-Language-Embeddings, die speziell auf urbane Energiesemantik trainiert sind. Dies soll es Planern ermöglichen, direkt Attribute wie Dämmqualität oder PV-Abdeckung aus Satellitenbildern abzuleiten, ohne dass ein spezifisches Re-Training für jede Aufgabe notwendig ist.

Zusammenfassend bietet HeatPrompt einen neuen, transparenten und hochpräzisen Ansatz zur Unterstützung der Dekarbonisierungsstrategien, indem er die Lücke zwischen rohen Satellitendaten und quantitativen Energiemetriken schließt.