🤖 machine learning

GHGbench: A Unified Multi-Entity, Multi-Task Benchmark for Carbon Emission Prediction

Este artículo presenta GHGbench, un benchmark unificado y abierto para predecir emisiones de carbono a nivel de empresa y edificio que aborda la fragmentación de datos mediante la provisión de conjuntos de datos a gran escala y armonizados, y revela que la generalización fuera de distribución es el desafío principal, donde los modelos fundamentales tabulares y las incrustaciones multimodales de teledetección superan significativamente a las líneas base tradicionales.

Autores originales: Yifan Duan, Siyuan Zheng, Lihuan Li, Chao Xue, Flora Salim

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yifan Duan, Siyuan Zheng, Lihuan Li, Chao Xue, Flora Salim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas predecir cuánto contaminan dos cosas muy diferentes: una gigantesca corporación y un solo edificio de oficinas.

Durante mucho tiempo, intentar hacer esto con computadoras ha sido como intentar comparar manzanas y naranjas usando diferentes balanzas, diferentes unidades de medición y datos dispersos en mil archivadores cerrados con llave. Algunos datos estaban ocultos tras muros de pago, algunos estaban en diferentes idiomas y algunos simplemente faltaban.

GHGbench es el nuevo "traductor universal" y "campo de pruebas" que los autores construyeron para arreglar este desastre. Piénsalo como un nivel de videojuego gigante y de código abierto donde diferentes modelos de inteligencia artificial pueden competir para ver quién es el mejor prediciendo las emisiones de carbono.

Aquí tienes un desglose sencillo de lo que hicieron y lo que descubrieron:

1. Las dos "pistas" del juego

El punto de referencia tiene dos niveles distintos, porque las empresas y los edificios son bestias muy diferentes.

La pista de las empresas (El gigante corporativo): Este nivel utiliza datos de más de 12,000 empresas. Es como intentar adivinar la contaminación de una empresa basándose en su tamaño, en qué industria se encuentra (como banca o tecnología) y en sus informes financieros. Los autores reunieron 32,000 registros de estos datos.
La pista de los edificios (El bloque de concreto): Este nivel es mucho más difícil. Utiliza datos de casi 100,000 edificios individuales en 26 ciudades de Estados Unidos, Australia y Singapur. Es como intentar adivinar cuánta electricidad usa una casa específica solo mirando su dirección, su tamaño y el clima. Armonizaron datos de 13 portales de ciudades diferentes en un solo formato limpio y unificado.

2. Las reglas de la carrera

Los autores no dejaron que los modelos de IA adivinaran al azar. Establecieron reglas estrictas para ver si los modelos eran realmente inteligentes o simplemente estaban memorizando las respuestas:

La prueba del "mismo vecindario": ¿Puede el modelo predecir las emisiones de edificios que ya ha visto antes? (Modo fácil).
La prueba de la "nueva ciudad": ¿Puede el modelo predecir las emisiones de una ciudad que nunca ha visto antes? (Modo difícil). Esto es como enseñarle a un estudiante en Nueva York y luego ponerle un examen en Sídney.
La prueba del "viaje en el tiempo": ¿Puede el modelo predecir las emisiones del próximo año basándose en los datos de este año?

3. Las grandes sorpresas (lo que descubrieron)

Los autores probaron muchos tipos diferentes de IA (desde modelos matemáticos simples hasta sofisticados "modelos fundacionales" que son como cerebros superinteligentes) y descubrieron tres cosas principales:

Sorpresa #1: Los edificios son más difíciles que las empresas.
Predecir la contaminación de una empresa es como adivinar el peso de una persona basándose en su altura y su título profesional; es bastante predecible. Predecir la contaminación de un edificio es como adivinar el peso de una persona basándose en su dirección, porque depende de cosas invisibles como cuántas personas hay dentro, a qué hora encienden las luces y qué tan vieja es la nevera. Los datos no te dicen estas cosas, así que la IA lucha más.
Sorpresa #2: El problema de la "nueva ciudad" es enorme.
La mayor brecha en el rendimiento no fue entre los diferentes modelos de IA; fue entre "haber visto los datos antes" y "verlos por primera vez".
- La analogía: Imagina a un estudiante que memoriza las respuestas de un examen de matemáticas. Obtiene el 100% en ese examen. Pero si le das un examen con los mismos problemas matemáticos pero en la moneda de otro país, podría suspender.
- El resultado: La mayoría de los modelos fracasaron miserablemente al trasladarse a una nueva ciudad. Sin embargo, un modelo específico llamado TabPFN (un "modelo fundacional de tablas") fue el primero en demostrar que podía aprender realmente las reglas del juego en lugar de simplemente memorizar las respuestas, superando a los modelos estándar antiguos al trasladarse a nuevas ciudades.
Sorpresa #3: Las fotos satelitales son el arma secreta para las nuevas ciudades.
Cuando los modelos de IA se atascaron intentando adivinar las emisiones en una nueva ciudad, agregar imágenes satelitales de los edificios ayudó.
- La analogía: Si solo tienes una lista de direcciones (texto), podrías adivinar que una casa en una ciudad nevada se calienta de manera diferente a una en una ciudad caliente. Pero si puedes ver el techo en una foto satelital, puedes decir si está cubierto de nieve, si tiene paneles solares o si está rodeado de árboles. Las imágenes satelitales le dieron a la IA una "pista visual" que la ayudó a generalizar a lugares que nunca había visto antes.

4. Los fallos "catastróficos"

El artículo también destaca dónde la IA se rompe por completo.

El colapso de la "transferencia de ciudad": Al pasar de una ciudad con muchos datos a una ciudad con muy pocos datos, algunos modelos no solo empeoraron un poco; colapsaron por completo, dando predicciones que estaban enormemente equivocadas (como predecir que un edificio emite contaminación negativa).
El techo del "factor sectorial": Intentar adivinar las emisiones simplemente consultando un "número estándar de contaminación" para una industria (por ejemplo, "Todos los bancos emiten X cantidad") es demasiado burdo. Pierde los detalles específicos de las empresas individuales, lo que lleva a errores enormes.

Resumen

GHGbench es una caja de herramientas que finalmente permite a los investigadores comparar modelos de IA de manera justa. Muestra que, aunque la IA se está volviendo buena prediciendo la contaminación para empresas que conoce bien, predecir la contaminación para nuevos edificios en nuevas ciudades sigue siendo muy difícil. Sin embargo, usar un tipo específico de "modelo fundacional" combinado con fotos satelitales es el camino más prometedor hacia adelante para resolver este rompecabezas.

Los autores han hecho todo su código, recetas de datos y resultados disponibles para todos, para que otros científicos puedan construir sobre este trabajo sin tener que empezar desde cero.

Resumen Técnico de GHGbench: Un Benchmark Unificado Multi-entidad y Multi-tarea para la Predicción de Emisiones de Carbono

Declaración del Problema
La predicción cuantitativa de emisiones de gases de efecto invernadero (GEI) a nivel de entidad es crítica para la política climática, las finanzas y las operaciones urbanas. Sin embargo, el campo carece de un ecosistema unificado y abierto de evaluación comparativa. Los recursos existentes están fragmentados: los estudios a nivel de empresa a menudo dependen de fuentes de datos con licencia (por ejemplo, CDP, Bloomberg) con esquemas incompatibles, mientras que los datos a nivel de edificio están dispersos en portales municipales con estándares de reporte variables. En consecuencia, es difícil comparar modelos en tareas abiertas y reproducibles que reflejen cambios del mundo real en geografía, tiempo y esquema de datos. Además, los benchmarks actuales suelen evaluar ya sea empresas o edificios de forma aislada, sin abordar las diferencias estructurales en la dificultad de predicción entre estos dos tipos de entidades ni probar la generalización bajo desplazamientos de distribución (por ejemplo, transferencia entre regiones o entre ciudades).

Metodología
Los autores presentan GHGbench, un conjunto de datos abierto y un benchmark diseñados para evaluar conjuntamente la predicción de emisiones de carbono a nivel de empresa y de edificio bajo un conjunto de tareas compartido.

Construcción del Conjunto de Datos:
- Pista de Empresas: Contiene 32.830 registros empresa-año de 12.087 empresas (2018–2023). Integra divulgaciones públicas de GEI (Alcance 1+2 y Alcance 3) con señales financieras (ingresos, EBITDA, capitalización bursátil) y datos sectoriales (factores ExioML/EXIOBASE). Los datos se publican como un script de reconstrucción que utiliza APIs públicas gratuitas para respetar los términos de las fuentes.
- Pista de Edificios: Armoniza 491.591 registros edificio-año de 13 fuentes abiertas en 26 áreas metropolitanas de EE. UU., Australia y Singapur. Unifica taxonomías de propiedades, coordenadas y objetivos anuales de GEI. El conjunto de datos se complementa con covariables climáticas de NASA POWER y embebidos multimodales de teledetección de Sentinel-2 + Clay.
Diseño del Benchmark:
- Tareas: El benchmark define divisiones canónicas para regresión dentro de la distribución, transferencia entre regiones/ciudades (dejar uno fuera), retención temporal, pruebas de estrés entre tipos de propiedades y pronóstico a corto plazo.
- Protocolo de Evaluación: Todos los resultados principales se reportan como la media sobre múltiples semillas con intervalos de confianza del 95% derivados de pruebas de bootstrap apareado con 1.000 remuestreos en filas de prueba compartidas. Esto garantiza rigor estadístico en las afirmaciones sobre el ordenamiento de modelos.
- Líneas Base: La evaluación abarca referencias ingenuas, aprendizaje automático clásico (Ridge, Random Forest, XGBoost, LightGBM), redes neuronales (MLP, FT-Transformer), modelos fundacionales de series temporales (Chronos, TimesFM, Moirai) y un modelo fundacional tabular (TabPFN v2). También se evalúa un panel de LLM para la pista de empresas.

Contribuciones Clave

Conjunto de Datos Abierto Unificado: El primer conjunto de datos y benchmark abiertos para evaluar conjuntamente emisiones de empresas y edificios en 26 áreas metropolitanas y más de 12.000 empresas, con divisiones canónicas y señales multimodales.
Marco de Evaluación Riguroso: Un conjunto de tareas múltiples con protocolos estadísticos estrictos (pruebas de significancia de bootstrap apareado) para distinguir mejoras genuinas de los modelos de la varianza, particularmente en configuraciones fuera de la distribución (OOD).
Lanzamiento de Código Abierto: Incluye código, recetas de reconstrucción de datos y un kit de inicio rápido para garantizar la reproducibilidad sin requerir acceso a fuentes de datos propietarias.

Resultados y Hallazgos Clave
El artículo reporta tres hallazgos principales a nivel de benchmark:

Asimetría en la Dificultad entre Entidades: Las emisiones de edificios son estructuralmente más difíciles de predecir que las de empresas. Mientras que las emisiones de empresas están dominadas por el tamaño de la firma (los ingresos son el predictor principal), las emisiones de edificios dependen de factores no observados como los horarios de ocupación, el tiempo de funcionamiento y el comportamiento de los ocupantes. En consecuencia, el mejor modelo para edificios (TabPFN v2, $R^2 \approx 0.48$ ) tiene un rendimiento significativamente inferior al del mejor modelo para empresas (XGBoost, $R^2 \approx 0.88$ ).
Dominancia de la Brecha ID-OOD: La brecha de rendimiento entre configuraciones dentro de la distribución (ID) y fuera de la distribución (OOD) supera con creces cualquier diferencia de rendimiento entre modelos dentro de la misma configuración.
- En la pista de edificios, la transferencia entre ciudades provoca un colapso en el rendimiento de los modelos basados en árboles (por ejemplo, LightGBM $R^2$ cae de ~0.41 a ~0.03).
- Cabe destacar que TabPFN v2 es la primera línea base que abre una brecha estadísticamente significativa mediante bootstrap apareado sobre árboles de gradiente optimizados en la tarea de emisiones de edificios multi-ciudad y multi-fuente en configuración OOD ( $R^2 = 0.482$ frente a $0.401$ para LightGBM). Esta ventaja se atribuye al preentrenamiento en contexto más que a la arquitectura por sí sola.
Mejora Multimodal en Configuraciones de Transferencia: Los embebidos multimodales de teledetección (Sentinel-2 + Clay) aportan ganancias neglijibles en configuraciones dentro de la distribución (donde características tabulares como latitud/longitud son suficientes), pero ofrecen mejoras medibles en la transferencia entre ciudades. Actúan como un prior geográfico generalizable donde la generalización tabular falla.

Modos de Fallo Sistemáticos
El benchmark expone modos de fallo específicos:

Transferencia Catastrófica entre Ciudades: El rendimiento varía enormemente según la ciudad; algunas ciudades (por ejemplo, Seattle, Hobart) muestran $R^2$ negativos para modelos de árboles, lo que indica desplazamientos de distribución severos.
Techo de Búsqueda por Factor Sectorial: Las búsquedas simples por factor sectorial (por ejemplo, ExioML) no capturan la magnitud a nivel de firma, a menudo sobreestimando en órdenes de magnitud para subsectores específicos (por ejemplo, servicios financieros).

Significado y Afirmaciones
Los autores posicionan a GHGbench como un paso necesario hacia una evaluación abierta y comparable de la predicción de emisiones de carbono, alejando al campo de la dependencia de datos tras paywall. El artículo afirma con modestia que el benchmark revela dónde tienen éxito los modelos actuales de aprendizaje profundo y modelos fundacionales (aprendizaje tabular en contexto) y dónde fallan (generalización entre ciudades sin priores multimodales). Identifica el "techo de búsqueda por factor sectorial" y la "transferencia catastrófica entre ciudades" como desafíos sistemáticos que la investigación futura debe abordar. La obra no afirma resolver la predicción de carbono, sino proporcionar la infraestructura para medir el progreso con rigor.