🤖 machine learning

GHGbench: A Unified Multi-Entity, Multi-Task Benchmark for Carbon Emission Prediction

Este artigo apresenta o GHGbench, um benchmark aberto unificado para prever emissões de carbono em nível de empresa e de edifício, que aborda a fragmentação de dados ao fornecer conjuntos de dados em grande escala e harmonizados, e revela que a generalização fora da distribuição é o principal desafio, no qual modelos fundamentais tabulares e embeddings multimodais de sensoriamento remoto superam significativamente as linhas de base tradicionais.

Autores originais: Yifan Duan, Siyuan Zheng, Lihuan Li, Chao Xue, Flora Salim

Publicado 2026-05-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yifan Duan, Siyuan Zheng, Lihuan Li, Chao Xue, Flora Salim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando prever quanto poluição duas coisas muito diferentes produzem: uma gigante corporação e um único prédio de escritórios.

Por muito tempo, tentar fazer isso com computadores tem sido como tentar comparar maçãs e laranjas usando balanças diferentes, unidades de medida distintas e dados espalhados por mil arquivos trancados em gabinetes diferentes. Alguns dados estavam escondidos atrás de paywalls, alguns estavam em idiomas diferentes e alguns simplesmente não existiam.

GHGbench é o novo "tradutor universal" e "campo de testes" que os autores construíram para corrigir essa bagunça. Pense nele como um nível gigante e de código aberto de videogame onde diferentes modelos de IA podem correr para ver quem é o melhor em prever emissões de carbono.

Aqui está uma explicação simples do que eles fizeram e do que descobriram:

1. As Duas "Pistas" do Jogo

O benchmark possui dois níveis distintos, porque empresas e prédios são bestas muito diferentes.

A Pista das Empresas (O Gigante Corporativo): Este nível usa dados de mais de 12.000 empresas. É como tentar adivinhar a poluição de uma empresa com base no seu tamanho, no setor em que atua (como bancos ou tecnologia) e em seus relatórios financeiros. Os autores reuniram 32.000 registros desses dados.
A Pista dos Prédios (O Bloco de Concreto): Este nível é muito mais difícil. Usa dados de quase 100.000 prédios individuais em 26 cidades dos EUA, Austrália e Singapura. É como tentar adivinhar quanto eletricidade uma casa específica consome apenas olhando para seu endereço, seu tamanho e o clima. Eles harmonizaram dados de 13 portais municipais diferentes em um único formato limpo.

2. As Regras da Corrida

Os autores não deixaram os modelos de IA apenas chutando aleatoriamente. Eles estabeleceram regras estritas para ver se os modelos eram realmente inteligentes ou apenas estavam memorizando as respostas:

O Teste do "Mesmo Bairro": O modelo consegue prever emissões para prédios que já viu antes? (Modo fácil).
O Teste da "Nova Cidade": O modelo consegue prever emissões para uma cidade que ele nunca viu antes? (Modo difícil). Isso é como ensinar um aluno em Nova York e depois testá-lo em Sydney.
O Teste da "Viagem no Tempo": O modelo consegue prever as emissões do próximo ano com base nos dados deste ano?

3. As Grandes Surpresas (O Que Eles Descobriram)

Os autores executaram muitos tipos diferentes de IA (desde modelos matemáticos simples até "modelos de base" sofisticados que são como cérebros superinteligentes) e descobriram três coisas principais:

Surpresa #1: Prédios são mais difíceis do que empresas.
Prever a poluição de uma empresa é como adivinhar o peso de uma pessoa com base na sua altura e cargo; é bastante previsível. Prever a poluição de um prédio é como adivinhar o peso de uma pessoa com base no seu endereço, porque depende de coisas invisíveis como quantas pessoas estão dentro, que horas elas ligam as luzes e quão antiga é a geladeira. Os dados não dizem essas coisas, então a IA luta mais.
Surpresa #2: O problema da "Nova Cidade" é enorme.
A maior lacuna de desempenho não foi entre os diferentes modelos de IA; foi entre "ter visto os dados antes" e "ver os dados pela primeira vez".
- A Analogia: Imagine um aluno que memorizou as respostas de uma prova de matemática. Ele tira 100% nessa prova. Mas se você der a ele uma prova com os mesmos problemas matemáticos, mas na moeda de um país diferente, ele pode reprovar.
- O Resultado: A maioria dos modelos falhou miseravelmente ao ser movida para uma nova cidade. No entanto, um modelo específico chamado TabPFN (um "modelo de base para tabelas") foi o primeiro a mostrar que conseguia aprender as regras do jogo em vez de apenas memorizar as respostas, superando os modelos padrão antigos ao ser movido para novas cidades.
Surpresa #3: Fotos de satélite são a arma secreta para novas cidades.
Quando os modelos de IA ficaram presos tentando adivinhar emissões em uma nova cidade, adicionar imagens de satélite dos prédios ajudou.
- A Analogia: Se você tiver apenas uma lista de endereços (texto), pode adivinhar que uma casa em uma cidade nevada é aquecida de forma diferente de uma em uma cidade quente. Mas se você puder ver o telhado em uma foto de satélite, pode dizer se está coberto de neve, tem painéis solares ou é cercado por árvores. As imagens de satélite deram à IA uma "pista visual" que a ajudou a generalizar para lugares que nunca tinha visto antes.

4. As Falhas "Catastróficas"

O artigo também destaca onde a IA quebra completamente.

O Colapso da "Transferência entre Cidades": Ao passar de uma cidade com muitos dados para uma cidade com muito poucos dados, alguns modelos não ficaram apenas um pouco piores; eles colapsaram completamente, dando previsões que estavam absurdamente erradas (como prever que um prédio emite poluição negativa).
O Teto do "Fator Setorial": Tentar adivinhar emissões apenas consultando um "número padrão de poluição" para um setor (por exemplo, "Todos os bancos emitem X quantidade") é muito grosseiro. Isso ignora os detalhes específicos de empresas individuais, levando a erros enormes.

Resumo

GHGbench é uma caixa de ferramentas que finalmente permite que pesquisadores comparem modelos de IA de forma justa. Mostra que, embora a IA esteja ficando boa em prever poluição para empresas que conhece bem, prever poluição para novos prédios em novas cidades ainda é muito difícil. No entanto, usar um tipo específico de "modelo de base" combinado com fotos de satélite é o caminho mais promissor para resolver esse quebra-cabeça.

Os autores tornaram todo o seu código, receitas de dados e resultados abertos a todos, para que outros cientistas possam construir sobre este trabalho sem ter que começar do zero.

Resumo Técnico do GHGbench: Um Benchmark Unificado Multi-Entidade e Multi-Tarefa para Previsão de Emissões de Carbono

Declaração do Problema
A previsão quantitativa de emissões de gases de efeito estufa (GEE) no nível da entidade é crítica para políticas climáticas, finanças e operações urbanas. No entanto, o campo carece de um ecossistema unificado e aberto de benchmarking. Os recursos existentes estão fragmentados: estudos no nível de empresas frequentemente dependem de feeds de dados licenciados (por exemplo, CDP, Bloomberg) com esquemas incompatíveis, enquanto dados no nível de edifícios estão dispersos em portais municipais com padrões de relatórios variados. Consequentemente, é difícil comparar modelos em tarefas abertas e reproduzíveis que reflitam mudanças reais na geografia, no tempo e no esquema de dados. Além disso, os benchmarks atuais geralmente avaliam ou empresas ou edifícios isoladamente, falhando em abordar as diferenças estruturais na dificuldade de previsão entre esses dois tipos de entidade ou em testar a generalização sob deslocamentos de distribuição (por exemplo, transferência entre regiões ou entre cidades).

Metodologia
Os autores introduzem o GHGbench, um conjunto de dados aberto e um benchmark projetados para avaliar conjuntamente a previsão de emissões de carbono no nível de empresas e edifícios sob um conjunto de tarefas compartilhado.

Construção do Conjunto de Dados:
- Trilha de Empresas: Contém 32.830 registros empresa-ano de 12.087 firmas (2018–2023). Integra divulgações públicas de GEE (Escopo 1+2 e Escopo 3) com sinais financeiros (receita, EBITDA, capitalização de mercado) e dados setoriais (fatores ExioML/EXIOBASE). Os dados são divulgados como um script de reconstrução utilizando APIs públicas gratuitas para respeitar os termos das fontes.
- Trilha de Edifícios: Harmoniza 491.591 registros edifício-ano de 13 fontes abertas em 26 áreas metropolitanas nos EUA, Austrália e Singapura. Unifica taxonomias de propriedades, coordenadas e metas anuais de GEE. O conjunto de dados é aumentado com covariáveis climáticas do NASA POWER e embeddings multimodais de sensoriamento remoto do Sentinel-2 + Clay.
Design do Benchmark:
- Tarefas: O benchmark define divisões canônicas para regressão em distribuição, transferência entre regiões/cidades (leave-one-out), retenção temporal, teste de estresse entre tipos de propriedade e previsão de curto prazo.
- Protocolo de Avaliação: Todos os resultados principais são relatados como a média sobre múltiplas sementes com intervalos de confiança de 95% derivados de testes de bootstrap pareado com 1.000 reamostragens em linhas de teste compartilhadas. Isso garante rigor estatístico nas alegações de ordenação de modelos.
- Baselines: A avaliação abrange referências ingênuas, aprendizado de máquina clássico (Ridge, Random Forest, XGBoost, LightGBM), redes neurais (MLP, FT-Transformer), modelos fundamentais de séries temporais (Chronos, TimesFM, Moirai) e um modelo fundamental tabular (TabPFN v2). Um painel de LLM também é avaliado para a trilha de empresas.

Principais Contribuições

Conjunto de Dados Aberto Unificado: O primeiro conjunto de dados e benchmark abertos a avaliar conjuntamente emissões de empresas e edifícios em 26 metrópoles e mais de 12.000 firmas, apresentando divisões canônicas e sinais multimodais.
Framework de Avaliação Rigoroso: Um conjunto de tarefas múltiplas com protocolos estatísticos estritos (testes de significância de bootstrap pareado) para distinguir melhorias genuínas de modelos de variância, particularmente em configurações fora de distribuição (OOD).
Lançamento de Código Aberto: Inclui código, receitas de reconstrução de dados e um kit de inicialização rápida para garantir reprodutibilidade sem exigir acesso a feeds de dados proprietários.

Principais Resultados e Descobertas
O artigo relata três descobertas principais no nível do benchmark:

Assimetria de Dificuldade entre Entidades: As emissões de edifícios são estruturalmente mais difíceis de prever do que as emissões de empresas. Enquanto as emissões de empresas são dominadas pelo tamanho da firma (a receita é o principal preditor), as emissões de edifícios dependem de fatores não observados, como horários de ocupação, tempo de execução e comportamento dos ocupantes. Consequentemente, o melhor modelo de edifício (TabPFN v2, $R^2 \approx 0,48$ ) performa significativamente pior do que o melhor modelo de empresa (XGBoost, $R^2 \approx 0,88$ ).
Dominância da Lacuna ID-OOD: A lacuna de desempenho entre configurações em distribuição (ID) e fora de distribuição (OOD) supera qualquer diferença de desempenho entre modelos dentro da mesma configuração.
- Na trilha de edifícios, a transferência entre cidades causa um colapso no desempenho para modelos baseados em árvores (por exemplo, LightGBM $R^2$ cai de ~0,41 para ~0,03).
- Notavelmente, o TabPFN v2 é a primeira baseline a abrir uma lacuna estatisticamente significativa por bootstrap pareado sobre árvores de gradiente ajustadas em uma tarefa de emissões de edifícios multi-cidade e multi-fonte na configuração OOD ( $R^2 = 0,482$ vs. $0,401$ para LightGBM). Essa vantagem é atribuída ao pré-treinamento em contexto e não apenas à arquitetura.
Aumento Multimodal em Configurações de Transferência: Embeddings multimodais de sensoriamento remoto (Sentinel-2 + Clay) fornecem ganhos negligenciáveis em configurações em distribuição (onde características tabulares como latitude/longitude são suficientes), mas oferecem melhorias mensuráveis na transferência entre cidades. Eles atuam como um prior geográfico generalizável onde a generalização tabular falha.

Modos de Falha Sistemáticos
O benchmark expõe modos de falha específicos:

Transferência Catastrófica entre Cidades: O desempenho varia drasticamente por cidade; algumas cidades (por exemplo, Seattle, Hobart) mostram $R^2$ negativo para modelos de árvores, indicando deslocamentos de distribuição severos.
Teto de Consulta de Fator Setorial: Consultas simples de fatores setoriais (por exemplo, ExioML) falham em capturar a magnitude no nível da firma, frequentemente superestimando em ordens de grandeza para sub-setores específicos (por exemplo, serviços financeiros).

Significado e Alegações
Os autores posicionam o GHGbench como um passo necessário em direção a uma avaliação aberta e comparável da previsão de emissões de carbono, movendo o campo para longe da dependência de dados atrás de paywalls. O artigo alega modestamente que o benchmark revela onde os modelos atuais de aprendizado profundo e fundamentais têm sucesso (aprendizado tabular em contexto) e onde falham (generalização entre cidades sem priores multimodais). Ele identifica o "teto de consulta de fator setorial" e a "transferência catastrófica entre cidades" como desafios sistemáticos que pesquisas futuras devem abordar. O trabalho não alega resolver a previsão de carbono, mas fornece a infraestrutura para medir o progresso rigorosamente.