HiFi-KPI: 決算報告書からの階層的 KPI 抽出のためのデータセット

技術的サマリー（日本語）

本論文は、上場企業の決算報告書（SEC ファイリング）に含まれるインライン XBRL（iXBRL）データから、キーパフォーマンス指標（KPI）を抽出・構造化するための大規模データセット「HiFi-KPI」と、その評価用サブセット「HiFi-KPI-Lite」の提案、ならびにそれらを用いた実験結果を報告するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と問題定義

• iXBRL の複雑性と一般化の難しさ: 米国や EU などの公的企業は、iXBRL 形式で財務報告を提出することが義務付けられています。iXBRL には機械可読なタグが付けられていますが、その分類体系（タクソノミー）は極めて細かく（最大 19 万 8 千のラベル）、企業ごとに独自に拡張されるため、タグの一般化が困難です。
• 文脈情報の欠如: 従来の財務 NLP データセットは、特定のラベル数に限定されていたり、文脈（期間、通貨、数値など）が不足していたりします。これにより、異なる企業間での KPI 比較や、高度な情報抽出タスクの自動化が阻害されています。
• エラーの存在: 専門家のタグ付けであっても、約 34% のドキュメントに何らかの誤りがあることが報告されており、データの品質管理が課題となっています。

2. 提案手法とデータセット構築

著者らは、以下の要素を含む HiFi-KPI データセットを構築しました。

• 大規模コーパス: 2017 年から 2024 年にかけての SEC ファイリング（10-Q, 10-K）から収集された 165 万の文節 と 450 万のエンティティ を含む大規模データセットです。
• 統合タクソノミーの作成:
  • iXBRL には「Presentation（表示）」と「Calculation（計算）」の 2 つの主要なタクソノミーがあります。
  • 企業ごとに異なるタグ付けを統一するために、各企業ごとの親子関係を集約し、2 つの統合タクソノミー（Presentation: 157 万エッジ、Calculation: 20 万エッジ）を構築しました。
  • これにより、超具体的なラベルを、ユーザーが指定した粒度（Granularity）で階層的にマッピング可能にしました。
• 文脈情報の付与: 各 KPI タグに対して、期間（開始/終了日）、通貨、数値 などの構造化された文脈情報を保持しています。これにより、単なるラベル分類を超えた構造化抽出が可能になります。
• HiFi-KPI-Lite: 迅速な評価とプロトタイピングのために、業界の専門家（定量金融の部門責任者）が選定した 4 つの主要な財務概念（Earnings, EBIT, EPS, Revenues）にマッピングした 8,000 文節 のキュレーション済みサブセットです。
• 品質管理: 手動によるサンプリング検証と正規表現によるフィルタリングを行い、最終的なデータセットのエラー率を 1% 未満に抑えました。

3. 主要な貢献

1. HiFi-KPI データセットの公開: 財務ドメインにおいて、iXBRL の構造的階層性を活用した初の大規模データセットです。19 万 8 千のユニークラベルを網羅し、タグ付けされていないエントリを 0% に抑えています。
2. 粒度選択アルゴリズム: ボトムアップ型の階層的集約アルゴリズムを提案し、超具体的なラベルをより一般的な概念にマッピングすることで、データスパース性を克服し、モデルの汎化性能を向上させる手法を提供しました。
3. 多様なタスクへの対応: テキスト分類、シーケンスラベリング、構造化情報抽出（LLM による）の 3 つのタスクに対するベンチマークを確立しました。
4. オープンソース化: データセット、コード、および統合タクソノミーの全リソースを GitHub で公開しました。

4. 実験結果と分析

著者らは、HiFi-KPI-Lite およびフルデータセットを用いて、エンコーダーベースのモデルと大規模言語モデル（LLM）を評価しました。

• テキスト分類（KPI 分類）:
  • BERT ベースのモデル（BERT, FLANG-BERT）は、マクロ F1 スコアで 0.906 以上の高い性能を達成しました。
  • 階層的なラベル付け（ボトムアップ集約）を行うことで、頻度の低いラベルに対する性能が向上し、粒度の粗いラベルほど性能が高くなる傾向が確認されました。
  • Presentation タクソノミーの方が、Calculation タクソノミーよりも深い階層構造を持ち、より柔軟な表現が可能であることが示されました。
• シーケンスラベリング（KPI 抽出）:
  • 頻出する 1,000 個のタグを対象とした実験では、エンコーダーモデルが非常に高い精度を維持しました。
  • 特定のタグが存在しない場合でも、上位の抽象的なラベル（例：特定の資産から「資産」全体へ）に正しくマッピングできることが確認されました。
• LLM による構造化抽出:
  • Gemma-3, Qwen3, Mistral, DeepSeek-V3.1 などの SOTA LLM を HiFi-KPI-Lite で評価しました。
  • 完全な構造化抽出（ラベル、日付、通貨、数値のすべてが正確）の F1 スコアは 0.440 程度にとどまり、LLM にはまだ改善の余地があることが示されました。
  • 主なエラー要因: 日付の解釈（特に「3 ヶ月終了」などの表現）、通貨の混同、数値の正規化ミスが主要なエラー原因でした。DeepSeek-V3.1 は精度が高くリコールが低い傾向、Qwen はリコールが高く精度が低い傾向など、モデルごとの特性が見られました。
• 定性的分析: 抽出エラーの多くは日付の関連付けミスに起因しており、財務文書における「時系列」の理解が依然として課題であることが浮き彫りになりました。

5. 意義と将来展望

• 投資家と規制当局への価値: 正確な KPI 抽出の自動化は、投資判断の迅速化や、規制遵守（コンプライアンス）の効率化に寄与します。特に、日付や通貨の誤解による重大な投資ミスを防ぎます。
• iXBRL の真の価値の活用: 従来の「タグ付け」を超え、文脈を含めた構造化データとして iXBRL を活用する道を開きました。
• 研究の基盤: 財務ドメインにおける階層的テキスト分類や構造化抽出の研究に対して、高品質で大規模なベンチマークを提供しました。
• 今後の課題: LLM の財務ドメイン特有の用語（例：bps, 期間の表現）や、複雑な数値推論能力の向上、およびより多様な国際会計基準への一般化が今後の課題です。

結論として、HiFi-KPI は、財務報告書の構造化抽出を自動化するための重要なリソースであり、エンコーダーモデルによる高精度なラベル分類と、LLM による構造化抽出の可能性を示すとともに、その課題を明確にしました。