HeatPrompt: Zero-Shot Vision-Language Modeling of Urban Heat Demand from Satellite Images

O artigo apresenta o HeatPrompt, um framework de modelagem energética zero-shot que utiliza modelos de linguagem e visão grandes (VLMs) para estimar a demanda de calor anual a partir de imagens de satélite e dados básicos, alcançando uma melhoria significativa na precisão em comparação com modelos de base e oferecendo suporte leve ao planejamento térmico em regiões com escassez de dados.

O essencial

Imagine que você é um planejador de cidade e precisa responder a uma pergunta muito importante: "Quanta energia térmica (aquecimento) cada bairro precisa para manter as casas quentes no inverno?"

Normalmente, para responder a isso, você precisaria de um arquivo gigante com dados de cada prédio: ano de construção, tipo de isolamento, espessura das paredes, etc. O problema? Esses dados muitas vezes não existem, estão desatualizados ou são secretos. É como tentar adivinhar o preço de uma casa sem nunca ter visto o interior dela.

É aqui que entra o HeatPrompt, o "detetive de satélite" criado pelos pesquisadores do Instituto de Tecnologia de Karlsruhe (na Alemanha).

A Ideia Principal: O "Olho Mágico" da IA

O HeatPrompt é como um detetive superinteligente que não precisa entrar nas casas. Ele olha apenas para fotos de satélite (imagens de cima) e usa uma Inteligência Artificial chamada VLM (Modelo de Linguagem e Visão) para "ler" a imagem como se fosse um texto.

Aqui está a analogia do dia a dia:

1. O Problema (A Cegueira de Dados): Antigamente, os modelos tentavam calcular o calor apenas com números de arquitetura (tamanho do prédio). Era como tentar adivinhar se um carro é econômico apenas olhando para o tamanho do motor, sem saber se ele tem pneu careca ou se o motorista anda pisando fundo.
2. A Solução (O Detetive VLM): O HeatPrompt usa um modelo de IA (como o GPT-4o) treinado para agir como um planejador energético.
   • Ele olha para a foto do bairro.
   • Em vez de apenas ver "pixels", ele descreve a cena em linguagem humana: "Vejo muitos telhados velhos e vermelhos", "Há poucas árvores, o que deixa o vento passar", "O prédio parece ter muitas janelas pequenas".
   • Ele transforma essas descrições em uma "lista de suspeitas" (características semânticas) que afetam o calor.

Como Funciona a Mágica? (Passo a Passo Simples)

1. A Foto e a Máscara: O sistema pega uma foto de satélite de um bairro e desenha um círculo ao redor da área que quer analisar (como se fosse um recorte de revista).
2. A Pergunta Mágica (Prompt): O computador pergunta para a IA: "Olhe para esta foto de bairro. Quais são as 5 coisas visuais mais importantes que fazem as casas aqui precisarem de mais ou menos aquecimento?"
3. A Resposta Inteligente: A IA responde: "Alta densidade de prédios, telhados antigos de telha, pouca vegetação e muitas áreas de estacionamento asfaltado."
4. A Tradução para Números: O sistema pega essa resposta em texto e a transforma em números que uma calculadora simples (um regressor) pode entender.
5. O Resultado: A calculadora soma esses "números de texto" com o tamanho do terreno e diz: "Este bairro precisa de X quantidade de energia por ano."

Por que isso é um "Superpoder"?

O artigo mostra que, ao usar essa "descrição visual" da IA, o modelo ficou 93,7% mais preciso do que os métodos antigos baseados apenas em simulações físicas.

• Analogia do Médico: Imagine dois pacientes com o mesmo peso e altura (dados estruturais). Um tem pele pálida e tosse (sinais visuais de doença), o outro está bronzeado e sorrindo. Um médico antigo (modelo antigo) diria que ambos têm a mesma saúde. O HeatPrompt (o novo modelo) olha para a "pele" e o "sorriso" (os sinais visuais da IA) e entende que um deles está doente e precisa de mais cuidados (energia).

O Que Isso Significa para o Futuro?

• Sem "Caixa Preta": Modelos de IA antigos eram "caixas pretas": eles davam um número, mas você não sabia o porquê. O HeatPrompt diz: "O bairro precisa de mais energia porque os telhados são velhos e não há árvores". Isso é transparente e útil para planejadores.
• Para Cidades sem Dados: Funciona em lugares onde ninguém tem os dados de construção. Se você tem uma foto de satélite, você tem o dado.
• Economia e Meio Ambiente: Ao saber exatamente onde o calor está sendo desperdiçado, as cidades podem reformar os prédios certos, economizando dinheiro e ajudando a combater as mudanças climáticas.

Resumo da Ópera:
O HeatPrompt é como dar óculos de raio-X para um planejador de cidade. Em vez de depender de planilhas de Excel que ninguém tem, ele usa a inteligência artificial para "ler" a paisagem urbana a partir do céu e dizer exatamente onde e quanto calor é necessário, tudo de forma automática e sem precisar entrar em nenhuma casa.

Resumo técnico

Resumo Técnico: HeatPrompt

1. O Problema

A descarbonização do aquecimento de espaços é crucial para atingir as metas climáticas da Europa (redução de 40% até 2030 e 80% até 2050). Para planejar upgrades eficientes em sistemas de aquecimento urbano e reformas de edifícios, é necessário mapear com precisão a demanda de calor. No entanto, a maioria dos municípios carece de dados detalhados em nível de edifício (como ano de construção, geometria, nível de isolamento e tipo de sistema de aquecimento) devido a lacunas nos registros, dados desatualizados ou restrições de proteção de dados.

Métodos tradicionais de mapeamento de calor (modelos "bottom-up" e "top-down") dependem fortemente desses metadados, o que limita sua precisão em áreas com dados escassos. Embora imagens de satélite sejam amplamente utilizadas para análise urbana, converter dados de pixels em métricas quantitativas de energia continua sendo um desafio significativo.

2. Metodologia: HeatPrompt

O artigo propõe o HeatPrompt, um pipeline de modelagem de energia "zero-shot" (sem necessidade de treinamento específico para a tarefa) que combina imagens de satélite, sistemas de informação geográfica (SIG) básicos e Modelos de Linguagem e Visão (VLMs).

O fluxo de trabalho consiste em três etapas principais:

• Aquisição de Dados e Pré-processamento:

  • Utiliza imagens de satélite RGB (basemap Esri World Imagery) e isolinhas de planejamento de calor municipal (do Atlas de Energia da Renânia-Palatinado, Alemanha).
  • Cria uma janela de amostragem quadrada de 512x512 pixels ao redor do centróide de cada polígono de interesse.
  • Gera uma máscara binária que é inserida no canal alfa da imagem (composição RGBA) para destacar a região de interesse.
  • Enriquece os dados com metadados de SIG (área, perímetro) e características de edifícios extraídos do OpenStreetMap (OSM) e dados do censo (tipo de uso, altura, idade).

• Extração de Características Semânticas (O Núcleo do HeatPrompt):

  • A imagem composta (RGB + máscara) é alimentada em um VLM pré-treinado (como GPT-4o, Qwen2.5-VL ou CLIP) com um prompt específico de domínio.
  • O VLM atua como um "planejador de calor municipal", identificando e listando os cinco fatores visuais mais salientes que afetam a demanda de calor (ex: idade do telhado, densidade de edifícios, cobertura vegetal, materiais reflexivos).
  • As descrições textuais geradas (legendas) são convertidas em vetores de incorporação (embeddings) fixos usando modelos de texto (ex: Nomic text-embeddings).

• Regressão:

  • Um regressor de Rede Neural Perceptron Multicamada (MLP) é treinado para prever a demanda anual de calor.
  • A entrada do MLP é uma concatenação de:
    1. Atributos de SIG ($A_i, \ell_i$).
    2. Características de composição de edifícios (extraídos de OSM/LOD2).
    3. Incorporações Semânticas ($z^{sem}_i$) derivadas das legendas do VLM.

3. Principais Contribuições

1. Mapeamento de Calor Semântico Zero-Shot: É a primeira estrutura a modelar a demanda anual de calor para zonas municipais usando apenas imagens RGB, máscaras binárias e legendas semânticas geradas por VLMs, eliminando a necessidade de rotulagem manual de características energéticas.
2. Pipeline Interpretável: Diferente de modelos de "caixa preta" baseados em CNNs (que processam pixels diretamente), o HeatPrompt gera características legíveis por humanos (ex: "telhado antigo", "alta densidade"). Isso oferece insights transparentes e acionáveis para planejadores, revelando os principais impulsionadores da demanda.
3. Benchmark Reproduzível: Os autores disponibilizam código aberto e estabeleceram o primeiro benchmark visão-linguagem para estimativa de demanda de calor urbana, incluindo validação cruzada estratificada e testes estatísticos.

4. Resultados

Os experimentos foram conduzidos com validação cruzada de 5 dobras (5-fold CV) estratificada por quintis de demanda de calor.

• Desempenho do Modelo Base: Um modelo de simulação física "bottom-up" (baseline) obteve um $R^2$ de 0,32 e um Erro Absoluto Médio (MAE) de 287,1 MWh.
• Impacto das Características Semânticas:
  • O uso de incorporações de VLMs (especificamente do GPT-4o) resultou no melhor desempenho.
  • Melhoria no $R^2$: Aumento de 93,7% (de 0,32 para 0,62).
  • Redução no MAE: Redução de 30% (de 287,1 para 200,7).
  • Comparado a outros modelos de visão (ResNet50, EfficientNet, CLIP), o GPT-4o superou todos, demonstrando que o raciocínio semântico de alto nível é mais eficaz do que apenas a extração de características visuais brutas.
• Análise Qualitativa: O modelo conseguiu distinguir edifícios geometricamente semelhantes, mas com características visuais diferentes (ex: telhado moderno com vegetação vs. telhado antigo e nu), atribuindo demandas de calor distintas e mais realistas, algo que modelos tradicionais falhariam em fazer.

5. Significado e Conclusão

O HeatPrompt demonstra que características semânticas inferidas por VLMs a partir de imagens de satélite servem como proxies eficazes para metadados energéticos difíceis de obter. A abordagem oferece uma solução leve e automatizada para regiões com escassez de dados, permitindo que planejadores energéticos considerem fatores críticos (como condição do telhado e cobertura vegetal) sem a necessidade de levantamentos de campo extensivos.

O trabalho abre caminho para o desenvolvimento de embeddings visuais-linguísticos específicos para energia, que poderiam capturar correlações latentes entre morfologia urbana e desempenho térmico, tornando a modelagem de energia mais acessível, interpretável e precisa.