GHGbench: A Unified Multi-Entity, Multi-Task Benchmark for Carbon Emission Prediction

GHGbench 기술 요약: 탄소 배출 예측을 위한 통합 다중 개체·다중 태스크 벤치마크

문제 제기
개체 수준에서의 온실가스 (GHG) 배출량 정량적 예측은 기후 정책, 금융, 도시 운영에 필수적입니다. 그러나 해당 분야는 통합된 오픈 벤치마킹 생태계가 부재합니다. 기존 리소스는 단편화되어 있습니다: 기업 수준 연구는 종종 호환되지 않는 스키마를 가진 라이선스 데이터 피드 (예: CDP, 블룸버그) 에 의존하는 반면, 건물 수준 데이터는 다양한 보고 기준을 가진 도시 포털에 흩어져 있습니다. 결과적으로 지리, 시간, 데이터 스키마의 실제 세계적 변화를 반영하는 개방적이고 재현 가능한 태스크에서 모델을 비교하기 어렵습니다. 더 나아가, 현재 벤치마크는 일반적으로 기업이나 건물을 고립적으로 평가하여, 이러한 두 개체 유형 간의 예측 난이도 구조적 차이를 다루지 못하거나 분포 변화 (예: 교차 지역 또는 교차 도시 전이) 하에서의 일반화를 테스트하지 못합니다.

방법론
저자들은 기업 및 건물 수준 탄소 배출 예측을 공유 태스크 스위트 하에 공동으로 평가하도록 설계된 오픈 데이터셋 및 벤치마크인 GHGbench를 소개합니다.

• 데이터셋 구축:
  • 기업 트랙: 2018~2023 년 12,087 개 기업의 32,830 개 기업 - 연도 레코드를 포함합니다. 공개 GHG 공시 (Scope 1+2 및 Scope 3) 를 재무 신호 (매출, EBITDA, 시가총액) 및 섹터 데이터 (ExioML/EXIOBASE 요인) 와 통합합니다. 데이터는 소스 약관을 존중하기 위해 무료 공개 API 를 사용하는 재구성 스크립트로 공개됩니다.
  • 건물 트랙: 미국, 호주, 싱가포르의 26 개 대도시 지역에 걸쳐 있는 13 개 오픈 소스에서 491,591 개의 건물 - 연도 레코드를 통합합니다. 부동산 분류 체계, 좌표, 연간 GHG 목표를 통일합니다. 데이터셋은 NASA POWER 기후 공변량과 Sentinel-2 + Clay 다중 모달 원격 탐사 임베딩으로 증강되었습니다.
• 벤치마크 설계:
  • 태스크: 벤치마크는 분포 내 회귀, 교차 지역/도시 전이 (leave-one-out), 시간적 홀드아웃, 교차 부동산 유형 스트레스 테스트, 단기간 예측을 위한 표준 분할을 정의합니다.
  • 평가 프로토콜: 모든 주요 결과는 공유 테스트 행에 대한 1,000 리샘플 쌍 부트스트랩 테스트에서 유도된 95% 신뢰구간을 가진 여러 시드 평균으로 보고됩니다. 이는 모델 순위 주장에 대한 통계적 엄격성을 보장합니다.
  • 베이스라인: 평가는 단순 참조, 고전적 머신러닝 (Ridge, Random Forest, XGBoost, LightGBM), 신경망 (MLP, FT-Transformer), 시계열 파운데이션 모델 (Chronos, TimesFM, Moirai), 그리고 테이블 파운데이션 모델 (TabPFN v2) 을 포괄합니다. 기업 트랙에 대해서는 LLM 패널도 평가됩니다.

주요 기여

1. 통합 오픈 데이터셋: 26 개 대도시와 12,000 개 이상 기업의 기업 및 건물 배출량을 공동으로 평가하는 최초의 오픈 데이터셋 및 벤치마크로, 표준 분할과 다중 모달 신호를 특징으로 합니다.
2. 엄격한 평가 프레임워크: 분포 외 (OOD) 설정에서 특히 분산과 진정한 모델 개선을 구분하기 위해 엄격한 통계 프로토콜 (쌍 부트스트랩 유의성 테스트) 을 갖춘 다중 태스크 스위트.
3. 오픈소스 공개: 독점 데이터 피드 접근 없이 재현성을 보장하기 위해 코드, 데이터 재구성 레시피, 퀵스타트 키트를 포함합니다.

주요 결과 및 발견
본 논문은 세 가지 주요 벤치마크 수준의 발견을 보고합니다:

1. 교차 개체 난이도 비대칭성: 건물 배출은 기업 배출보다 구조적으로 예측하기 어렵습니다. 기업 배출은 기업 규모 (매출이 최상위 예측 변수) 에 지배되는 반면, 건물 배출은 점유 일정, 가동 시간, 거주자 행동과 같은 관찰되지 않은 요인에 의존합니다. 결과적으로, 최선의 건물 모델 (TabPFN v2, $R^2 \approx 0.48$) 은 최선의 기업 모델 (XGBoost, $R^2 \approx 0.88$) 보다 현저히 낮은 성능을 보입니다.
2. 분포 내 (ID) 에서 분포 외 (OOD) 간격의 우세: 분포 내 (ID) 와 분포 외 (OOD) 설정 간의 성능 격차는 동일한 설정 내 모델 간 성능 차이를 압도합니다.
   • 건물 트랙에서 교차 도시 전이는 트리 기반 모델의 성능 붕괴를 초래합니다 (예: LightGBM 의 $R^2$가 약 0.41 에서 약 0.03 으로 하락).
   • 주목할 점은 TabPFN v2가 OOD 설정에서 다중 도시, 다중 소스 건물 배출 태스크에서 튜닝된 그래디언트 부스팅 트리보다 쌍 부트스트랩 유의성 격차를 연 첫 번째 베이스라인이라는 것입니다 ($R^2 = 0.482$ 대 LightGBM 의 $0.401$). 이 우위는 아키텍처 단독이 아닌 컨텍스트 내 사전 훈련에 기인합니다.
3. 전이 설정에서의 다중 모달 리프트: 다중 모달 원격 탐사 임베딩 (Sentinel-2 + Clay) 은 위도/경도와 같은 테이블 특징으로 충분한 분포 내 설정에서는 미미한 이득을 제공하지만, 교차 도시 전이에서는 측정 가능한 개선을 제공합니다. 이는 테이블 일반화가 무너지는 곳에서 일반화 가능한 지리적 사전 지식으로 작용합니다.

체계적 실패 모드
벤치마크는 특정 실패 모드를 노출합니다:

• 재앙적 도시 전이: 성능은 도시별로 극단적으로 변동합니다; 일부 도시 (예: 시애틀, 호바트) 는 트리 모델에 대해 음수 $R^2$를 보여 심각한 분포 변화를 나타냅니다.
• 섹터 - 요인 조회 한계: 단순한 섹터 - 요인 조회 (예: ExioML) 는 기업 수준의 크기를 포착하지 못하며, 종종 특정 하위 섹터 (예: 금융 서비스) 에 대해 수직으로 과대 예측합니다.

의의 및 주장
저자들은 GHGbench 를 유료 데이터에 대한 의존을 벗어나 탄소 배출 예측의 개방적이고 비교 가능한 평가로 나아가는 필수 단계로 위치시킵니다. 논문은 벤치마크가 현재 딥러닝 및 파운데이션 모델이 성공하는 곳 (컨텍스트 내 테이블 학습) 과 실패하는 곳 (다중 모달 사전 지식 없이 교차 도시 일반화) 을 드러낸다고 겸손하게 주장합니다. 이는 "섹터 - 요인 조회 한계"와 "재앙적 도시 전이"를 향후 연구가 해결해야 할 체계적 과제로 식별합니다. 본 작업은 탄소 예측을 해결한다고 주장하지 않지만, 진전을 엄격하게 측정할 수 있는 인프라를 제공합니다.