EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements

本論文は、日本の企業開示データ（EDINET）を用いて会計不正検出や収益予測などの高度な金融タスクを評価するオープンソースベンチマーク「EDINET-Bench」を提案し、最先端の LLM でも専門家の判断に迫る性能が得られていない現状を明らかにするとともに、より実務に近い環境での評価枠組みの必要性を提言しています。

要約

EDINET-Bench: 人工知能（AI）に「お金のプロ」の試験を受けさせた話

この論文は、**「最新の AI（大規模言語モデル）が、本当に複雑な日本の財務データを理解して、お金のプロのような判断ができるのか？」**という疑問に答えるための、新しい「試験問題」を作ったというお話しです。

まるで、AI に「高校の数学」や「プログラミング」のテストをさせたのはこれまでの話ですが、今回は**「会計士や投資家レベルの、高度で難しい財務分析」**という、よりハードルの高い試験を作りました。

以下に、難しい専門用語を使わず、日常の例え話で解説します。

---

1. なぜこんな試験が必要なの？（背景）

これまでに AI は、数学の問題やプログラミングのコードを書くのが得意になり、人間を超えたと言われています。でも、**「お金の世界（金融）」**は少し違います。

• 他の分野： 「答えが一つ決まっている」問題が多い。
• お金の世界： 決算書（会社の成績表）には、数字の表だけでなく、長い文章の解説も含まれています。さらに、**「表と文章を組み合わせながら、裏の事情を読み解く」**という、熟練のプロでないとできないような高度な推理が必要です。

これまでの AI のテストは、あまりに簡単すぎたので、「AI はお金のプロになれる！」と過信されがちでした。そこで、**「本当に実務で使えるのか？」**を試すための、もっと難しい試験「EDINET-Bench」を作りました。

2. この試験の正体は？（EDINET-Bench とは）

この試験は、日本の金融庁が管理している「EDINET（電子開示システム）」という、すべての上場企業が提出する「決算書」のデータベースから作られました。

試験内容は、以下の 3 つの「難問」です。

1. 詐欺見破り（会計不正検知）：
   • 例え： 会社の成績表（決算書）を見て、「これは嘘をついて作られたもの（粉飾決算）だ！」と見抜くこと。
   • 難しさ： 数字が合っていなくても、文章の矛盾や、突拍子もない利益の増え方から「怪しい！」と察知する必要があります。
2. 未来予知（利益予測）：
   • 例え： 今年の成績表を見て、「来年は儲かる（利益増）か、損をする（利益減）か？」を当てること。
   • 難しさ： 過去のデータだけでなく、業界の動向や会社の状況を読み解く必要があります。
3. 職業診断（業界分類）：
   • 例え： 会社の成績表だけを見て、「この会社は自動車メーカー？それとも銀行？」と当てること。
   • 難しさ： 数字の傾向から、その会社がどんなビジネスをしているか推測します。

3. 試験の結果はどうだった？（驚きの結果）

ここが最も重要な部分です。最新の AI（GPT-4 や Claude など）にこの試験を受けさせましたが、結果はあまり良くなかったのです。

• AI の成績： 最新の AI でも、**「ただの統計ツール（ロジスティック回帰）」**と大差ない、あるいはそれ以下の成績でした。
• 何がダメだった？
  • AI は、決算書という「分厚い本」を渡されただけでは、重要なポイントを見逃してしまいます。
  • 表（数字）と文章（解説）をうまく結びつけて、**「あ、ここがおかしいな！」**と推理する力が、人間のプロに比べて圧倒的に不足していました。

【重要な発見】
「AI に決算書を渡せば、自動的に詐欺を見つけてくれる」という考えは間違いでした。現状の AI は、単に情報を渡すだけでは、お金のプロにはなれないようです。

4. じゃあ、どうすればいいの？（結論と未来）

この論文は、単に「AI はダメだ」と言っているわけではありません。むしろ、**「これからの AI の使い方を考えるきっかけ」**になっています。

• 現状： AI に「決算書を読んで答えを言え」というだけでは不十分。
• 必要なこと： 人間のプロが仕事をするように、**「シミュレーション」や「サポート機能」**を持たせる必要があります。
  • 例：「この数字は前年と比べてどう？」「この文章はリスクを暗示していない？」と AI 自身に考えさせたり、外部のニュースも一緒に調べさせたりする「エージェント（助手）」のような形が必要です。

まとめ：この論文が伝えたいこと

この研究は、**「AI にお金の仕事を任せるには、まだ『試験の難易度』と『AI のサポート体制』を本気で見直さなければならない」**という警鐘を鳴らしています。

• EDINET-Benchは、AI の「お金のプロとしての実力」を測るための、新しい「難関資格試験」です。
• 今の AI は、この試験でまだ合格点に届いていません。
• でも、この試験があるおかげで、より実用的で、人間を助ける本当の「金融 AI」を開発するための道筋が見えてきました。

つまり、**「AI はまだお金のプロにはなれないけど、この試験を通じて、いつかそうなれるように成長させよう！」**という前向きなメッセージが込められています。

技術概要

EDINET-BENCH 技術サマリー

1. 問題定義 (Problem)

大規模言語モデル（LLM）は数学やコーディングなどの分野で人間を超える性能を示していますが、金融分野、特に専門的な知識と高度な推論を要するタスクにおける評価基準（ベンチマーク）は依然として不足しています。
既存の金融ベンチマーク（FinQA など）の多くは、単純な数値推論やデータ抽出に焦点を当てており、実際の金融専門家が行うような「複数の表とテキストを横断的に統合し、専門的な文脈に基づいて推論する」ような複雑で高リスクなタスク（会計不正の検出、収益予測など）を評価するものは存在しませんでした。また、金融分野では専門性の壁が高く、実用的なユースケースに対応できるベンチマークが求められています。

2. 提案手法とデータセット構築 (Methodology)

著者らは、日本の金融庁が運営する「電子開示システム（EDINET）」から取得した過去 10 年間の有価証券報告書（約 4 万 2 千件）を用いて、EDINET-Bench というオープンソースの金融ベンチマークを構築しました。

2.1 データ収集ツール: edinet2dataset

• EDINET API を利用して有価証券報告書をダウンロードし、TSV 形式の構造化データと PDF からのテキスト抽出を行うツールを開発しました。
• 抽出データには、メタデータ、要約、貸借対照表（BS）、損益計算書（PL）、キャッシュフロー計算書（CF）、および本文（リスク開示など）が含まれます。

2.2 3 つの主要タスク

EDINET-Bench は、専門家の推論能力を問う以下の 3 つのタスクで構成されています。

1. 会計不正検出 (Accounting Fraud Detection)

   • タスク: 有価証券報告書が「不正」か「非不正」かを二値分類する。
   • データ作成: 訂正有価証券報告書（6,712 件）から、訂正理由のテキストを抽出し、Claude 3.7 Sonnet を用いて「会計不正に関連するものか」を判定。その後、人手でレビューを行い、668 件の不正ラベルを付与しました。非不正データはランダムサンプリングで取得。
   • 特徴: 単なる数値の不一致だけでなく、テキスト記述や論理的な矛盾（例：監査法人の指摘、売上の過大計上など）を統合して判断する必要がある。

2. 収益予測 (Earnings Forecasting)

   • タスク: 当期の有価証券報告書に基づき、翌期の「親会社株主に帰属する当期純利益」が増加するか減少するかを二値分類する。
   • データ作成: 1,000 社の連続する 2 年間の報告書ペアから、利益の増減をラベル付け。

3. 業界分類 (Industry Prediction)

   • タスク: 有価証券報告書に基づき、企業の所属業界（TOPIX-33 をベースに 16 業界に集約）を多クラス分類する。
   • 特徴: 財務諸表の構成（現金、借入、有価証券の比率など）から業界特性を推測する必要がある。

3. 評価実験 (Evaluation)

最先端の LLM（GPT-4o, GPT-5, Claude 3.5/3.7 Sonnet, DeepSeek-V3/R1, Kimi-K2, Llama 3.3 等）をゼロショット設定で評価し、古典的な機械学習モデル（ロジスティック回帰、ランダムフォレスト、XGBoost）と比較しました。

3.1 入力形式

• Summary のみ
• 数値データのみ (BS + CF + PL + Summary)
• 全データ (上記 + 本文テキスト)

3.2 主要な結果

• LLM の性能限界: どのタスクにおいても、最先端の LLM は古典的なモデル（特にランダムフォレストやロジスティック回帰）と比べてわずかに上回る程度の性能しか示しませんでした。
  • 不正検出: ロジスティック回帰の ROC-AUC が 0.68 であるのに対し、最上位の Claude 3.5 Sonnet は 0.73 程度。テキスト情報を追加しても劇的な改善は見られませんでした。
  • 収益予測: GPT-5 でも ROC-AUC は 0.65 程度にとどまり、専門家の予測能力には遠く及びません。
  • 業界分類: 比較的に容易なタスクであり、Claude 3.5 Sonnet は 41% の精度を達成しましたが、それでもランダム推測よりはるかに良いものの、実用レベルには達していません。
• テキスト情報の役割: 不正検出タスクではテキスト情報が有効でしたが、収益予測では数値データのみの方が性能が安定する傾向がありました。
• バイアスの発見: 一部のモデルは、企業の規模（総資産）や監査法人の知名度に基づいて「非不正」と判断するバイアスを持っていることが示唆されました。

4. 主要な貢献 (Key Contributions)

1. 初の会計不正検出用オープンデータセット: 実世界の訂正報告書に基づき、専門家の推論を必要とする大規模な不正検出データセットを初めて公開しました。
2. 高度な金融推論ベンチマークの提案: 単なる QA や数値計算を超え、複数の表とテキストを統合して専門的な判断を下すタスクを評価できるフレームワークを提供しました。
3. LLM の現状の限界の明確化: 金融ドメインにおいて、単に報告書を入力するだけでは LLM は専門家レベルの推論を行えず、より高度な推論支援やシミュレーション環境の必要性を浮き彫りにしました。
4. ツールとデータの公開: データセット構築ツール (edinet2dataset) と評価コードをオープンソース化し、今後の研究の再現性と発展を支援しています。

5. 意義と今後の展望 (Significance & Future Work)

• 実社会への適用: 現在の LLM は金融分野の実務（不正検出や収益予測）に直接適用するには不十分であることが示されました。今後は、単なる入力出力だけでなく、現実の金融専門家が使用するような「リッチな足場（scaffolding）」、例えば現実的なシミュレーションやタスク固有の推論支援を組み込んだベンチマークフレームワークの構築が急務です。
• マルチリンガル・エージェント化: 将来的には米国 EDGAR などのデータを用いた多言語ベンチマークへの拡張や、Web ブラウジングやコード実行環境を活用したエージェント型アプローチによる評価が期待されます。
• 倫理的配慮: 実在する企業のデータを使用しているため、悪用（企業の評判毀損や不正の巧妙化）を防ぐための倫理的ガイドラインが明記されています。

結論:
EDINET-Bench は、LLM が金融分野の複雑な推論タスクにおいて依然として課題を抱えていることを示す重要なベンチマークです。この研究は、LLM を実用的な金融アプリケーションに統合するためには、より高度な推論能力と専門的な文脈理解を促す新しい評価枠組みが必要であることを強く示唆しています。