Evaluating the scientific rigour of climate scenario analysis: LLM-assisted evidence from New Zealand’s mandatory disclosures

技術要約：ニュージーランドにおける気候シナリオ分析の科学的厳密性の評価

問題提起
地球規模の金融安定性は、気候変動によってますます脅かされており、これに伴い、強制的な気候関連財務開示（例：TCFD、IFRS S1/S2、EU CSRD）の波が押し寄せている。ニュージーランド（NZ）はこの規制上の転換を先導し、約200の主要な団体（気候報告主体：CRE）に対し、2023年1月1日から、明確に区別されたシナリオに基づく気候レジリエンスの開示を法的に義務付けた。しかし、規制へのコンプライアンス（遵守）と、真の科学的有用性との間には決定的な溝が存在する。企業はこれらの開示を作成するために多額のコスト（1社あたり最大200万NZドル）を費やしているが、その基礎となるシナリオ分析の科学的厳密性については未検証のままである。ここには、開示が単なる物語的な「チェックボックスを埋めるだけの作業」となり、グリーンウォッシング、気候科学の誤解、あるいは、異なるモデルやデータソースが混同される「内部的不整合」を招くリスクがある。また、数百におよぶ複雑で多ページにわたる文書を、科学的根拠を確認するために手動で監査することは、規制当局や投資家にとって運用上のボトルネックを生み出している。

手法
本研究では、ニュージーランドの最初の2つの義務的報告期間（FY23/24およびFY24/25）の科学的厳密性を監査するために、大規模言語モデル（LLM）を活用した新しいエージェンティック・リトリーバル増強生成（Agentic Rented-Augmented Generation: RAG）フレームワークを採用している。

• サンプル: 研究者は、金融および非金融セクターの173のユニークな報告主体からなる227の気候声明書のデータセットを収集・フィルタリングした。
• 評価フレームワーク: 気候科学、金融、適応の専門家からなる多角的なチームが、シナリオ分析を評価するための13の具体的な質問からなるマトリックスを開発した。これらの質問は、シナリオ名、温度目標、データプロバイダー、ベースラインの仮定、および物理モデルと経済モデルの統合といった主要な要素を対象としている。
• LLMアーキテクチャ: 本研究では、Anthropic社のClaude 3.5 Sonnetを動力源とする、**エージェンティック・リトリーバル増強生成（Agentic RAG）**パイプラインを利用した。
  • データ処理: ドキュメントはPyMuPDFとTesseract OCRを使用してパースされ、階層的な「small-to-big」チャンキング戦略（2,000トークンの親チャンクに紐付けられた400トークンの子チャンク）を通じて処理され、Qdrantベクトルデータベースに格納された。
  • エージェンティック・ワークフロー: 硬直的な線形RAGパイプラインとは異なり、本システムはマルチターン推論が可能な、ツール駆動型の反復的なエージェントを使用している。エージェントは、暗黙的または非線形に分散した情報（例：特定のモデリングの仮定）を特定するために、検索クエリを動的に調整した。
  • 出力構造: エージェントは、回答、正確なテキストの証拠（引用）、位置ポインタ、異常ログ、および信頼度指標（高/低）を含む、13の質問に対する構造化されたデータを出力するように厳格なシステムプロンプトによって制約された。
• 検証: 信頼性を確保するため、自動化されたパイプラインを、13の開示資料の手動監査から得られた人間によるアノテーション済みの「グラウンド・トゥルース（正解）」と比較検証した。システムは91%の完全一致精度（部分一致を含めると93%）を達成したが、失敗は主に、明示的なテキスト抽出ではなく、複雑で解釈を要するタスクにおいて発生した。

主な結果
227の開示事項の分析により、現在の気候報告における構造的なパラドックスが明らかになった。

1. 定量化よりも物語の優位性: 開示内容はボリュームとしては非常に包括的（平均約47ページ）であるが、圧倒的に物語的（ナラティブ）である。定量的な指標は全文字数のわずか約2.1%を占める。金融機関は非金融機関と比較して、よりネガティブで慎重なトーンを用いる傾向があるが、両セクターとも依然としてテキストベースの記述が中心である。
2. 断片化および不整合な方法論: すべての主体が3つのシナリオ（1.5℃、3℃以上、および第3の経路）の義務を遵守しているものの、基礎となるタクソノミー（分類体系）は極めて断片化されている。各主体は、明確な構造的論理なしに、国際的なプロバイダー（IPCC、NGFS）とローカルな機関（CCC、NIWA）のシナリオを「ピック・アンド・ミックス（つまみ食い）」していることが多い。
3. 科学的厳密性とベースラインの欠如:
   • 開示事項の**68%**が、ベースライン・シナリオを明示していない。
   • データ集計者（例：S&P Trucost、NGFS）と、一次モデリング・アーキテクチャ（例：CMIP6、GCAMのようなIAM）との混同が広く見られる。
   • 明示的なマクロ経済波及モデリング（例：計算可能一般均衡モデル）は、ほぼ完全に欠落している。
   • 各主体は、構造的なシナリオ・ベースラインと、局所的な物理モデリングのベースライン（例：過去のデータ）を混同しており、これが「内部的不整合」を生んでいる。
4. LLMの性能と限界: エージェンティックRAGシステムは分析のスケールアップには成功したが、特定の失敗モードも浮き彫りにした。モデルは、内部の信頼度スコアと、複雑な領域（例：ベースラインの特定）における実際の検索成功率との間に負の相関を示した。システムは、データが見当たらない場合に、単に「見つからない」とフラグを立てるのではなく、頻繁に「低信頼度の主張」や防御的な理由付けを生成した。これは、プロンプトエンジニアリングだけでは、非構造化データにおけるハルシネーション（幻覚）を排除できないことを示している。

主な貢献

• 初の体系的な監査: 本研究は、義務的体制下における企業の気候シナリオ分析の科学的厳密性を体系的に評価した最初期の事例の一つである。
• 自動監査フレームワーク: 何百もの開示事項を監査できる、LLM支援型RAGフレームワークを実証しており、世界の規制が拡大する中で、国際的な規制当局へのツールとしての可能性を提示している。
• 「分析の霧」の診断: 本論文は、現在の規制上の柔軟性と、異種混合のデータソースの組み合わせが、「分析の霧」を生み出していることを指摘している。これにより、コストのかかる開示が行われているにもかかわらず、資本配分に資する比較可能な、科学的根拠に基づいたデータが得られていない状況が生じている。
• エージェンティックRAGの検証: ポリシー分析におけるエージェンティックAIの使用に関する経験的な証拠を提供し、明示的なデータについては高い精度を示す一方で、複雑で暗黙的な科学的ロジックの解釈には大きな課題があることを示した。

意義と主張
本論文は、ニュージーランドの規制枠組みは法的コンプライアンスを強制することには成功したが、意図せずして「パフォーマンスとしてのコンプライアンス（形式的な遵守）」のループを助長してしまったと主張している。現在の開示は、物語的なスタイルと一貫性のない方法論に制約されており、TCFDやIFRSの基準が意図している市場の透明性と資本配分の効率化を実現できていない。

著者らは、規制上のコンプライアンスと科学的有用性の間のギャップは、物理的な気候科学と金融上の意思決定のデカップリング（分離）によって悪化していると論じている。彼らは、標準化されたマシンリーダブル（機械判読可能）な報告と、物理モデルと経済モデルの明示的な結合への移行がなければ、自動監査システムは単に「空虚な物語」の抽出をスケールさせるだけに終わると警告している。本論文は、気候監査におけるLLMの導入は決して「魔法の杖」ではなく、むしろ、不確実性を増幅させ、金融システムにおける誤適応（マラアダプテーション）のリスクを防ぐために、ソース側でのより厳格なデータ標準化の必要性を露呈させるものであると結論付けている。