GHGbench: A Unified Multi-Entity, Multi-Task Benchmark for Carbon Emission Prediction

GHGbench の技術的概要：炭素排出量予測のための統合的多エンティティ・多タスクベンチマーク

問題定義
エンティティレベルでの温室効果ガス（GHG）排出量の定量的予測は、気候政策、金融、都市運営において極めて重要である。しかし、この分野には統合されたオープンなベンチマークエコシステムが存在しない。既存のリソースは断片化されている：企業レベルの研究は、互換性のないスキーマを持つライセンス付きデータフィード（CDP、ブルームバーグ等）に依存することが多く、一方、ビルレベルのデータは報告基準が異なる都市ポータルに散在している。その結果、地理、時間、データスキーマにおける現実世界のシフトを反映するオープンで再現性のあるタスクにおいてモデルを比較することが困難である。さらに、現在のベンチマークは通常、企業またはビルを個別に評価するにとどまり、これら 2 つのエンティティタイプ間の予測難易度の構造的差異に対処できず、分布シフト（例：地域間または都市間の転移）下での汎化性をテストできていない。

手法
著者は、企業レベルおよびビルレベルの炭素排出量予測を共有タスクスイートで共同評価するために設計されたオープンデータセットおよびベンチマーク「GHGbench」を導入する。

• データセット構築:
  • 企業トラック: 12,087 社の企業から 2018 年～2023 年の 32,830 件の企業 - 年レコードを含む。公開 GHG 開示（スコープ 1+2 およびスコープ 3）を、財務シグナル（売上高、EBITDA、時価総額）およびセクターデータ（ExioML/EXIOBASE ファクター）と統合している。データはソース利用規約を尊重するため、無料の公開 API を使用した再構築スクリプトとして公開される。
  • ビルトラック: 米国、オーストラリア、シンガポールの 26 の大都市圏にまたがる 13 のオープンソースから、491,591 件のビル - 年レコードを調和させた。不動産分類、座標、年間 GHG 目標を統一している。データセットは NASA POWER の気候共変量および Sentinel-2 と Clay のマルチモーダルリモートセンシング埋め込みによって拡張されている。
• ベンチマーク設計:
  • タスク: ベンチマークは、分布内回帰、地域/都市間転移（留め置き法）、時間的ホールドアウト、クロスプロパティタイプストレステスト、および短期予測のための標準的な分割を定義する。
  • 評価プロトコル: すべての主要な結果は、共有テスト行に対する 1,000 回リサンプリングのペアードブートストラップテストから導出された 95% 信頼区間を伴う、複数のシードの平均として報告される。これにより、モデルの順序付けに関する主張に統計的厳密性が保証される。
  • ベースライン: 評価には、単純な参照、古典的機械学習（Ridge、Random Forest、XGBoost、LightGBM）、ニューラルネットワーク（MLP、FT-Transformer）、時系列基盤モデル（Chronos、TimesFM、Moirai）、および表形式基盤モデル（TabPFN v2）が含まれる。企業トラックについては LLM パネルも評価される。

主要な貢献

1. 統合されたオープンデータセット: 26 の大都市圏および 12,000 社超の企業にまたがる企業およびビルの排出量を共同評価する初のオープンデータセットおよびベンチマーク。標準的な分割とマルチモーダルシグナルを備える。
2. 厳格な評価フレームワーク: 分布外（OOD）設定において、真のモデルの改善をばらつきから区別するための厳格な統計プロトコル（ペアードブートストラップ有意性テスト）を備えた多タスクスイート。
3. オープンソース公開: 特許データフィードへのアクセスを必要とせず再現性を確保するためのコード、データ再構築レシピ、クイックスタートキットを含む。

主要な結果と知見
本論文は、ベンチマークレベルの 3 つの主要な知見を報告する：

1. エンティティ間難易度の非対称性: ビルの排出量は企業の排出量よりも構造的に予測が困難である。企業の排出量は企業規模（売上高が最上位の予測因子）によって支配されるのに対し、ビルの排出量は occupancy スケジュール、稼働時間、居住者の行動といった観測されない因子に依存する。その結果、最良のビルモデル（TabPFN v2、$R^2 \approx 0.48$）は、最良の企業モデル（XGBoost、$R^2 \approx 0.88$）よりも著しく性能が劣る。
2. ID から OOD へのギャップの支配性: 分布内（ID）設定と分布外（OOD）設定の間の性能ギャップは、同一設定内でのモデル間のあらゆる性能差を凌駕する。
   • ビルトラックにおいて、都市間転移は木ベースモデルの性能を崩壊させる（例：LightGBM の $R^2$ が約 0.41 から約 0.03 に低下）。
   • 注目すべきは、TabPFN v2 が、OOD 設定におけるマルチ都市・マルチソースのビル排出量タスクにおいて、調整済み勾配ブースティング木に対してペアードブートストラップで有意なギャップを開けた初のベースラインであることである（LightGBM の $R^2 = 0.401$ 対 $0.482$）。この優位性は、アーキテクチャ単独ではなく、コンテキスト内事前学習に起因する。
3. 転移設定におけるマルチモーダルによる向上: マルチモーダルリモートセンシング埋め込み（Sentinel-2 + Clay）は、緯度/経度などの表形式特徴量で十分な分布内設定では無視できる程度の利点しか提供しないが、都市間転移では測定可能な改善をもたらす。これらは表形式の汎化が破綻する場所において、汎用可能な地理的事前分布として機能する。

体系的な失敗モード
ベンチマークは特定の失敗モードを露呈させる：

• 壊滅的な都市転移: 性能は都市によって激しく変動する。一部の都市（例：シアトル、ホバート）では木モデルの $R^2$ が負となり、深刻な分布シフトを示している。
• セクターファクター参照の天井: シンプルなセクターファクター参照（例：ExioML）は企業レベルの規模を捉えきれず、特定のサブセクター（例：金融サービス）では桁違いに過大予測することが多い。

意義と主張
著者は、GHGbench を、有料データへの依存から脱却し、炭素排出量予測のオープンで比較可能な評価に向けた必要な一歩として位置づけている。本論文は、ベンチマークが現在の深層学習および基盤モデルが成功する場所（コンテキスト内表形式学習）と失敗する場所（マルチモーダル事前分布なしの都市間汎化）を明らかにすると控えめに主張する。また、「セクターファクター参照の天井」と「壊滅的な都市転移」を、将来の研究が取り組むべき体系的な課題として特定している。この研究は炭素予測を解決するものではないと主張するが、進捗を厳密に測定するためのインフラを提供する。