Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026)
518件のESGレポートにわたるこれら5つのオープンウェイトLLMを用いた縦断的なベンチマークは、モデルが叙述的な方針を要約することには信頼できる一方で、正確な数値抽出には苦戦しており、明示的な推論や厳格な指示がない場合には頻繁にデータを捏造していることを明らかにしており、自動化されたサステナビリティ監査における改善された棄却メカニズムの決定的な必要性を浮き彫りにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のビジネス界において、企業の環境への取り組み、労働者の扱い、そして倫理的なガバナンスは、もはや単なる広報活動の問題ではありません。これらの要素は、多くの場所で法的に義務付けられたハードデータとなり、その企業が真に持続可能であるのか、それとも単にふりをしているだけなのかを知ろうとする投資家たちによって精査されるようになっています。この変化は、監査人に巨大な課題をもたらしました。たった一つのサステナビリティ・レポートでも、膨大な数の数字、脚注、そして変化する定義で埋め尽くされた数百ページに及ぶことがあります。この膨大な量を理解するために、金融機関は人工知能、具体的には「大規模言語モデル」として知られる一種のコンピュータ・プログラムに頼っています。これらのプログラムは膨大な量のテキストを学習しており、非常に速く、非常に博識な司書のように、文書を読み取って特定の答えを見つけ出すことができます。しかし、これらのツールが公式な監査を任されるためには、単に物語を要約するだけでなく、作り話をすることなく正確な数値を抽出できなければならず、さらに、答えが文書内に存在しない場合には、それを正直に認めることができなければなりません。
ガーナ大学の研究チームは、これらのオープンソースの人工知能モデルが、このような極めて重要な環境において、果たしてどの程度の性能を発揮できるのかをテストするために、まさにこの検証を行いました。彼らは、2010年から2026年までの間に発行された、518件の実際の企業のサステナビリティ・レポートという膨大なコレクションを集めました。これには、古い自主的な報告書と、欧州法によって義務付けられた最新の厳格な規制対象の報告書の両方が含まれています。この文書のライブラリから、彼らは120の具体的な監査質問からなる厳格なテストを作成しました。これらの質問は、単純な方針の要約を求めるものから、温室効果ガスの排出量や水の使用量といった正確な数値を要求するものまで多岐にわたります。その後、研究者たちはこれらの質問を5つの異なる主要な人工知能モデルに投入し、コンピュータがまず関連するページを検索し、次にその答えを読み取ろうとするという、現実世界のシナリオをシミュレートしました。決定的なのは、公平性を確保するために、独立した別の人工知能システムを使用して回答を採点し、モデルが自分自身の仕事に対して高いスコアを付けてしまうことを防いだ点です。
結果は、これらの機械が「言葉」を理解する能力と、「数字」を扱う能力との間に明確な隔たりがあることを明らかにしました。企業の一般的な方針やコミットメントを要約するよう求められた場合、モデルはかなり良好に機能し、高い精度でテキストの要旨を捉えることができました。しかし、複雑な表から特定の数値を抽出するタスク、例えば特定の年における二酸化炭素排出の正確な量などを求める場合、その性能は著しく低下しました。たとえ研究者がモデルに対して報告書の完璧なページを与えたとしても、最も優れたモデルでさえ、正しい数値を抽出できたのは約73パーセントの時だけでした。困難の原因は、多くの場合、正しいページを見つけることではなく、表を正しく読み取ること、例えば親会社の合計値と子会社の数値を混同したり、単位の読み方を間違えたりすることにありました。
おそらく最も重要な発見は、答えが見当たらない場合にこれらのモデルがどのように振る舞うかに関するものでした。実際の監査では、企業が特定の指標を報告していなかったり、あるいは検索によって誤って別の年のページを呼び出してしまったりすることがあります。研究者たちは、2024年の有害廃棄物に関する質問を提示しながら、2022年の水のリサイクルについてのみ記載されたページを提供することで、これをテストしました。標準的な指示の下では、多くのモデルは「役に立ちたい」という心理から、数値を捏造したり、別の年の類似した数値で代用したりしようとしました。これは「ハルシネーション（幻覚）」と呼ばれる挙動です。一部のモデルでは、ケースの半分近くでこの現象が発生しました。しかし、本研究は、この危険な傾向は大幅に修正できることを示しました。「正確なデータが存在しない場合は『回答できません』と答える」という厳格な指示を与えることで、作り物の数値の割合は激減しました。さらに、「思考」プロセスを経てから回答するように設計されたモデルは、厳格な指示がなくても、こうした不一致を察知して推測を拒むことに自然と長けていました。
また、本研究は、企業報告の性質の変化がこれらのツールにどのような影響を与えるかについても調査しました。研究者たちは、欧州の規制によって求められる最新の義務的報告書は、標準化された表や一貫したラベルを使用しているため、古い自主的な報告書よりも人工知能にとって読みやすいことを発見しました。コンピュータがこれらの現代的な文書内の正しいセクションを見つけると、その精度は顕著に向上しました。これは、規制によって企業がデータをより明確に整理することが強制されるにつれて、これらのツールがより信頼性の高いものになることを示唆しています。最終的に、本研究は、人工知能は企業が語るサステナビリティの物語を要約する準備はできているものの、確定的な数値をチェックするための人間の監査人に取って代わる準備はまだできていない、と結論付けています。最も安全なアプローチは、これらのモデルを要約の作成や潜在的な問題のフラグ立てに使用しつつ、最終的な数値を検証するために人間がプロセスに関与し続け、その数字が実在するものであり、説得力のある推測ではないことを保証することです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。