HeatPrompt: Zero-Shot Vision-Language Modeling of Urban Heat Demand from Satellite Images

Each language version is independently generated for its own context, not a direct translation.

🌡️ HeatPrompt : Le "Détective Satellite" qui devine la chaleur des villes

Imaginez que vous êtes un urbaniste chargé de chauffer une ville. Votre objectif est de réduire la pollution en remplaçant les vieilles chaudières à fioul par des systèmes plus propres. Mais pour cela, vous avez un gros problème : vous ne savez pas exactement combien de chaleur chaque quartier consomme.

Les données officielles sont souvent incomplètes, vieilles ou protégées par des lois sur la vie privée. C'est comme essayer de réparer une voiture sans jamais pouvoir ouvrir le capot.

C'est là qu'intervient HeatPrompt, une nouvelle méthode intelligente qui utilise des images satellites et une intelligence artificielle très savante pour "deviner" la consommation de chaleur sans avoir besoin de visiter chaque maison.

1. Le Problème : La "Cassette de Données" Vide

Traditionnellement, pour savoir combien chauffe un quartier, il faut une liste détaillée de chaque bâtiment : année de construction, épaisseur de l'isolation, type de toit, etc.

Le souci : Dans beaucoup de villes, ces listes n'existent pas ou sont obsolètes.
L'ancienne solution : Les experts faisaient des estimations grossières (comme deviner la taille d'un gâteau en regardant juste la boîte). Ce n'était pas assez précis.

2. La Solution : HeatPrompt, le "Traducteur d'Images"

Les chercheurs ont créé un outil qui fonctionne comme un détective visuel. Au lieu de chercher des fichiers Excel, il regarde des photos satellites de la ville.

Voici comment cela fonctionne, étape par étape, avec une analogie :

L'œil du détective (L'image satellite) : Le système prend une photo de la ville (vue du ciel). On y voit les toits, les arbres, les parkings et la densité des bâtiments.
Le cerveau expert (Le Modèle de Langage Visuel - VLM) : C'est ici que la magie opère. Ils utilisent une IA très puissante (comme GPT-4o) qu'ils ont "habillée" en urbaniste expert.
- Au lieu de simplement dire "C'est une image", on demande à l'IA : "Regarde cette photo et décris-moi ce qui influence le chauffage : les toits sont-ils vieux ? Y a-t-il beaucoup d'arbres qui font de l'ombre ? Les maisons sont-elles serrées ?"
- L'IA génère une description textuelle (une "légende") de la scène, comme si un humain regardait la photo et prenait des notes.
Le calculateur (La régression) : Une fois que l'IA a écrit sa description ("Toits rouges et vieux, peu de végétation, densité élevée"), un petit programme mathématique transforme ces mots en un chiffre : la quantité de chaleur nécessaire.

3. Pourquoi c'est génial ? (Les Analogies)

L'effet "Miroir Magique" :
Imaginez que vous voulez connaître la température d'une maison sans entrer dedans. Si vous voyez par la fenêtre qu'il y a des rideaux épais et un vieux radiateur, vous devinez qu'il fait froid. HeatPrompt fait pareil avec toute la ville. Il voit les toits verts (qui gardent la chaleur), les panneaux solaires (qui réduisent le besoin de chauffage) ou les rues étroites (qui bloquent le vent) et en déduit la consommation.
Zéro "Cahier de Charges" :
La méthode s'appelle "Zero-Shot" (zéro coup). Cela signifie qu'on n'a pas besoin d'entraîner l'IA pendant des mois avec des milliers d'exemples de maisons chauffées. On lui donne juste la photo et la consigne, et elle comprend tout de suite grâce à sa culture générale acquise ailleurs. C'est comme donner un manuel de cuisine à un chef étoilé : il n'a pas besoin d'essayer le plat pour savoir comment le faire, il sait juste comment ça marche.
La transparence (Pas de "Boîte Noire") :
Les anciennes méthodes d'IA étaient des "boîtes noires" : elles donnaient un résultat, mais on ne savait pas pourquoi. HeatPrompt, lui, vous dit : "J'ai estimé que ce quartier consomme beaucoup de chaleur parce que j'ai vu des toits en tuiles rouges abîmés et très peu d'arbres." C'est comme un médecin qui vous explique son diagnostic plutôt que de vous donner juste une ordonnance.

4. Les Résultats : Une Précision Record

Les chercheurs ont testé leur méthode sur une région en Allemagne (Rhineland-Palatinate).

Avant : Les modèles classiques se trompaient souvent (comme un tireur qui rate la cible).
Avec HeatPrompt : La précision a bondi de 93 %. L'erreur moyenne a diminué de 30 %.
En résumé : Ils sont passés d'une estimation approximative à une prédiction très fine, juste en regardant des photos du ciel et en demandant à une IA intelligente de décrire ce qu'elle voit.

🎯 Conclusion Simple

HeatPrompt, c'est comme donner des lunettes de super-héros aux planificateurs urbains. Au lieu de se fier à des données manquantes, ils peuvent maintenant "voir" les besoins en chauffage d'une ville simplement en analysant son apparence visuelle depuis l'espace. C'est plus rapide, moins cher, et cela permet de mieux lutter contre le changement climatique, même dans les zones où les données sont rares.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La décarbonation du chauffage spatial est un enjeu majeur pour atteindre les objectifs climatiques européens (réduction de 40 % des émissions d'ici 2030). Pour planifier efficacement cette transition, il est crucial de disposer de cartes précises de la demande thermique au niveau des bâtiments ou des quartiers.

Cependant, les municipalités font face à un manque critique de données :

Les attributs clés des bâtiments (année de construction, géométrie, niveau d'isolation, type de chauffage) sont souvent incomplets, obsolètes ou protégés par des réglementations sur la vie privée.
Les approches traditionnelles de modélisation (bottom-up ou top-down) dépendent fortement de ces métadonnées, limitant leur précision dans les zones où les données sont rares.
L'utilisation de l'imagerie satellite (télédétection) pour déduire la demande énergétique se heurte à la difficulté de convertir des données pixeliques brutes en métriques énergétiques quantitatives sans étiquetage manuel coûteux.

2. Méthodologie : HeatPrompt

Les auteurs proposent HeatPrompt, un cadre de modélisation énergétique "zero-shot" (sans apprentissage spécifique sur la tâche) qui combine l'imagerie satellite, les systèmes d'information géographique (SIG) et les modèles de langage-vision (VLM).

Le pipeline se déroule en trois étapes principales :

A. Acquisition et Prétraitement des Données

Sources : Utilisation de l'Atlas Énergétique de Rhénanie-Palatinat (Allemagne) pour les isolines de consommation thermique (polygones) et d'images satellites RGB (Esri World Imagery).
Échantillonnage : Pour chaque polygone d'intérêt, une fenêtre d'échantillonnage carrée de 512x512 pixels est extraite, incluant une marge contextuelle de 5 %.
Enrichissement : Les données sont complétées par des attributs SIG (surface, périmètre) et des données de bâtiments au niveau du lotissement (OSM, LOD2, recensement) pour obtenir des caractéristiques structurelles (type de bâtiment, hauteur, surface au sol).

B. Extraction de Caractéristiques Sémantiques (Zero-Shot)

C'est le cœur de l'innovation :

Composition : Une image composite RGBA est créée en superposant le masque binaire de la zone d'intérêt sur l'image satellite.
Prompting VLM : Cette image est soumise à un modèle de langage-vision pré-entraîné (comme GPT-4o, Qwen2.5-VL, ou CLIP) via un prompt spécifique. Le modèle est invité à agir en tant que "planificateur énergétique municipal" et à extraire les cinq facteurs visuels les plus saillants influençant la demande de chaleur (ex: âge du toit, densité de bâtiments, couverture végétale, présence de panneaux solaires).
Embedding : Les descriptions textuelles générées (captions) sont converties en vecteurs d'embeddings sémantiques fixes (via Nomic text-embeddings). Ces vecteurs capturent des attributs interprétables par l'homme sans nécessiter de fine-tuning du VLM.

C. Régression

Fusion : Les embeddings sémantiques ( $z_{sem}$ ) sont concaténés avec les attributs SIG ( $x_{GIS}$ ) et les caractéristiques de composition des bâtiments ( $x_{comp}$ ).
Modèle de prédiction : Un Perceptron Multicouche (MLP) simple (deux couches cachées) est entraîné sur ces vecteurs de caractéristiques fusionnés pour prédire la demande thermique annuelle continue.
Validation : Utilisation d'une validation croisée stratifiée en 5 plis basée sur les quintiles de demande thermique.

3. Contributions Clés

Cartographie Sémantique Zero-Shot : C'est le premier cadre à modéliser la demande thermique annuelle en utilisant uniquement des images satellites RGB, des masques binaires et des descriptions sémantiques générées par un VLM, éliminant le besoin d'étiquetage manuel des caractéristiques énergétiques.
Pipeline Interprétable : Contrairement aux réseaux de neurones convolutifs (CNN) qui agissent comme des "boîtes noires", HeatPrompt fournit des tokens sémantiques lisibles par l'humain (ex: "toit ancien", "forte densité"). Cela offre aux planificateurs des insights transparents sur les moteurs de la demande thermique.
Benchmark Reproductible : Les auteurs publient un code open-source et établissent le premier benchmark vision-langage pour l'estimation de la demande thermique urbaine.

4. Résultats Expérimentaux

L'étude compare HeatPrompt à une simulation de référence (bottom-up) et à divers modèles d'apprentissage automatique.

Performance par rapport à la simulation de base :
- La simulation physique de base atteint un $R^2$ de 0,32 et une erreur absolue moyenne (MAE) de 287,1.
- L'ajout des caractéristiques sémantiques issues de GPT-4o porte le $R^2$ à 0,62 et réduit le MAE à 200,7.
- Cela représente une augmentation de 93,7 % du $R^2$ et une réduction de 30 % du MAE par rapport à la ligne de base.
Comparaison avec d'autres modèles :
- Les modèles CNN (ResNet50, EfficientNet) améliorent les résultats mais restent inférieurs aux VLMs (GPT-4o).
- CLIP et Qwen2.5-VL montrent également des performances compétitives, confirmant que les caractéristiques sémantiques riches peuvent servir de substituts aux métadonnées manquantes.
Analyse Qualitative :
- L'analyse montre que les zones à forte demande thermique correspondent visuellement à une faible végétation, une absence de panneaux solaires et une densité structurelle élevée.
- Le modèle distingue correctement des bâtiments géométriquement similaires mais ayant des caractéristiques visuelles différentes (ex: toit moderne avec végétation vs toit ancien en tuiles), là où les modèles traditionnels échoueraient.

5. Signification et Perspectives

Signification :
HeatPrompt démontre que les modèles de fondation (Foundation Models) peuvent servir de "proxy sémantique" puissant pour l'énergie. Ils permettent de quantifier des facteurs physiques difficiles à mesurer (comme l'état d'un toit ou la qualité de l'isolation visuelle) à partir d'images satellites, rendant la modélisation énergétique accessible même dans les régions pauvres en données. La nature interprétable du modèle est un atout majeur pour l'adoption par les décideurs politiques.

Perspectives Futures :
Les auteurs prévoient de développer des embeddings "conscients de l'énergie" (inspirés de CLIP) spécifiquement adaptés à la sémantique urbaine-énergétique. L'objectif est de permettre aux planificateurs de requêter directement des attributs comme l'âge du toit, les propriétés d'isolation ou la couverture PV, et d'intégrer ces vecteurs dans des modèles de demande sans réentraînement spécifique, tout en explorant un fine-tuning léger des VLMs pour cibler les facteurs énergétiques.