💬 NLP

LLM-based Triplet Extraction from Financial Reports

本論文は、金融報告書からの知識グラフ構築においてアノテーションデータが不足する課題に対し、オントロジー駆動のメトリクスとハイブリッド検証手法を用いた半自動トリプル抽出パイプラインを提案し、自動誘導型オントロジーが手動作成型より優れ、主語の幻覚を大幅に低減できることを示しています。

原著者： Dante Wesslund, Ville Stenström, Pontus Linde, Alexander Holmberg

公開日 2026-02-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dante Wesslund, Ville Stenström, Pontus Linde, Alexander Holmberg

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「企業の財務報告書という、難解で分厚い本から、AI（大規模言語モデル）を使って重要な事実を自動的に抜き出す方法」**について研究したものです。

でも、ここで大きな問題があります。AI は時々、**「もっともらしい嘘（ハルシネーション）」**をつくことがあり、金融の世界ではそんなミスは許されません。また、正解となる「答え合わせ用のデータ」が用意されていない場合、AI が正しいことをどうやって証明すればいいのでしょうか？

この論文は、その難しい問題を解決するための**「新しい検査方法」と「より賢い AI の使い方」**を提案しています。

以下に、日常の言葉と面白い例えを使って解説します。

1. 背景：なぜこれが難しいのか？

例え話：「膨大な量のレシピ本」
Imagine 企業の財務報告書は、何千ページもある「レシピ本」だと考えてください。そこには、どの材料（数字）を、誰が（会社）、いつ、使ったかが書かれています。
これを人間が全部読んで、整理するのは時間がかかりすぎます。そこで、AI に「この本から、重要な事実（例：『A 社が 2024 年に 100 億円の利益を出した』）を抜き出して」と頼みました。

問題点：

AI の嘘つき癖: AI は「A 社が 100 億円の利益を出した」と言いつつ、実際には「100 億円の損失」だったなんて、勝手に作り上げてしまうことがあります（これを「ハルシネーション」と呼びます）。
正解がない: この「レシピ本」には、事前に「ここからここまでの事実が正解」というリスト（正解データ）がついていません。だから、「AI の答えが合っているか」をどうチェックすればいいか困ってしまうのです。

2. この研究の 3 つのすごいアイデア

この論文は、この問題を解決するために 3 つの工夫をしました。

① 「正解リスト」を作らずに、AI をチェックする（オントロジー駆動評価）

通常、AI の正しさをチェックするには「正解データ」が必要です。でも、今回はそれがありません。
そこで、**「ルールブック（オントロジー）」**という考え方を導入しました。

例え話：
- 手動ルールブック（旧式）： 人間が事前に「『利益』や『売上』という単語しか使っちゃダメ」と決めた、硬いルールブック。
- 自動ルールブック（新式）： AI がその本を読みながら、「この本には『利益』と『売上』しかないな、じゃあこのルールブックで OK」と、その本に合ったルールをその場で自動で作る方法。

結果：
「自動ルールブック」を使うと、AI がルールから外れた変な言葉（嘘）を使うことが100% なくなりました。まるで、その本に特化した専用ツールを使うと、ミスがなくなるようなものです。

② 2 種類の AI を比較した（モデルの性格の違い）

2 つの異なる AI モデル（M1 と M2）を使ってみました。

M1（真面目な優等生）： 指示されたルールを厳守するタイプ。どんなルールブックでも、ルールから外れたことは言いません。
M2（自由奔放な芸術家）： 意味は通じるけど、ルールを少し無視して「もっと自然な言い方」をしようとするタイプ。手動ルールブックだと、ルール違反をしてしまいました。

発見：
「自動ルールブック」を使えば、自由奔放な M2 も、優等生の M1 と同じくらいルールを守るようになりました。つまり、「その本に合ったルールブック」を与えれば、どんな AI でもミスが減ることがわかりました。

③ 「嘘」を見分ける新しい検査方法（ハイブリッド検証）

これが一番重要な発見かもしれません。
AI が「嘘をついた」と判断する際、単純に「文中にその単語がそのまま書いてあるか？」（文字通り一致するか）だけをチェックすると、「嘘」だと勘違いしてしまうことが多発しました。

例え話：
文中に「彼は 100 万円を稼いだ」と書かれているのに、AI が「社長は 100 万円を稼いだ」と出力したとします。
- 古い検査（文字通り一致）： 「文中に『社長』という文字がない！嘘つき！」と誤判定。
- 新しい検査（ハイブリッド）： 「『彼』って誰？あ、文脈から『社長』のことだよね。OK、これは嘘じゃない」と、別の AI が文脈を理解して判断します。

結果：
この新しい検査方法を使うと、AI が「嘘をついている」と誤って判断される件数が、65% から 1.6% まで劇的に減りました。
「AI が嘘をついている」のではなく、「AI が文脈を理解して、代名詞を具体的な名前に変えただけ」だったケースが大半だったのです。

3. 面白い発見：「主語」と「目的語」の嘘の癖

研究で面白いことがわかりました。AI が嘘をつくとき、**「誰が（主語）」と「何をした（目的語）」**では、癖が違うのです。

主語（誰が）： 財務報告書では「〜が達成された」という受動態（誰がやったかは書かれていない）が多いです。AI は「誰がやったか」を勝手に推測して、嘘をつく（主語のハルシネーション）ことが多いです。
目的語（何）： 金額や日付など、具体的な数字はそのままコピーされることが多く、嘘をつく（目的語のハルシネーション）ことは少ないです。

つまり、AI は「誰がやったか」を勝手に想像して嘘をつく傾向があり、そこを特に注意してチェックする必要があることがわかりました。

まとめ：この研究は何を伝えている？

AI に「その本に合ったルール」を与えれば、ミスは激減する。（手動で決めた硬いルールより、AI がその場で作る柔軟なルールの方が良い）
「文字通り一致」だけでチェックするのは危険。（文脈を理解して判断する「AI による裁判官」が必要）
金融文書では、「誰が（主語）」が最も嘘をつきやすい。（受動態の文章に注意が必要）

この研究は、**「正解データがなくても、AI が金融文書から信頼できる事実を抜き出せる」**ことを示し、将来の自動的な財務分析システムの基礎を作りました。まるで、AI に「ただの翻訳機」ではなく、「文脈を理解する優秀な秘書」を育てるための新しい教育法を見つけたようなものです。

論文「LLM-based Triplet Extraction from Financial Reports」の技術的サマリー

この論文は、企業財務報告書からの構造化知識（主語 - 述語 - 目的語のトリプル）の抽出において、人手によるアノテーションされた正解データ（Ground Truth）が存在しないという課題に対処し、大規模言語モデル（LLM）を用いた半自動パイプラインを提案した研究です。KTH 王立工科大学の研究者らによって 2026 年 2 月に発表されました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と問題定義

現代の金融分野では、非構造化された企業年次報告書から洞察を迅速に得ることが競争優位性につながりますが、これらの文書は密度が高く、受動態の多用や複雑な構文が特徴であり、手動での構造化抽出は非現実的です。
知識グラフ（KG）の構築には LLM が有望ですが、以下の課題が存在します。

ハルシネーション（幻覚）: LLM はソーステキストに忠実でない内容を生成する傾向があり、金融分野では許容されません。
評価の困難さ: 動的な環境では、精度や再現率を計算するための大規模な人手アノテーションデータセットの作成・維持が困難です。

従来の評価手法は Ground Truth に依存しますが、本研究ではGround Truth に依存しない評価を目指しています。

2. 提案手法：半自動抽出パイプライン

本研究は、Mihindukulasooriya ら（2023）の枠組みを拡張し、以下の 2 つの代理指標（Proxy Metrics）を用いて抽出品質を評価します。

オントロジー適合性（Ontology Conformance, OC）: 抽出されたトリプルが、事前に定義された金融ドメインのオントロジー（概念と関係のセット）に準拠しているか。
忠実性（Faithfulness）: 抽出された情報がソーステキストに厳密に基づいているか（ハルシネーションがないか）。

実験設計

データ: スウェーデンの Volvo（2024 年）と Elekta（2022/23 年）の年次報告書。
モデル: Gemini-2.5 Flash（M1）と Llama 4 Maverick（M2）。
オントロジー戦略の比較:
- 手動オントロジー（ $O_{Manual}$ ）: Volvo 報告書から人手で定義された静的なオントロジーを両社の報告書に適用（ドメイン一般化のテスト）。
- 自動誘導オントロジー（ $O_{Auto}$ ）: 各文書ごとに LLM が文書固有のスキーマを動的に生成・誘導するアプローチ。
ハイブリッド検証戦略:
- 単純な正規表現（Regex）一致だけでは、形態論的変化や照応解決（コリファレンス）により誤って「ハルシネーション」と判定されるケースが多い。
- 対策: Regex で一致しない場合、LLM を「裁判官（Judge）」として機能させ、文脈的にその実体が存在するかを判定する二段階検証を導入。

3. 主要な貢献

C1: オントロジー戦略の比較分析: 静的な手動オントロジーと、文書固有の自動誘導オントロジーを比較し、後者がスキーマ違反を排除することを示した。
C2: モデルアーキテクチャの影響評価: 異なる LLM が厳密なスキーマ制約下でどのように振る舞い、オントロジーのドリフト（逸脱）やハルシネーションにどう影響するかを特定した。
C3: ハイブリッド検証戦略の提案: 正規表現と LLM-as-a-judge を組み合わせることで、照応解決に起因する偽陽性をフィルタリングし、Ground Truth 不要な忠実性評価を可能にした。

4. 実験結果

4.1 検証手法の妥当性（RQ3）

結果: 厳密な Regex みの検証では、主語のハルシネーション（SH）率が**65.2%と過大評価されていたが、ハイブリッド検証（Regex + LLM-Judge）では1.6%**に激減した。
意義: 多くの「ハルシネーション」は、文法的な照応解決（例：代名詞を実体名に置き換えるなど）による表面形式の違いであり、真のハルシネーションではないことが判明した。

4.2 オントロジー戦略の影響（RQ1）

結果: 自動誘導オントロジー（ $O_{Auto}$ ）は、すべての設定で**100% のオントロジー適合性（OC）**を達成した。
対照: 手動オントロジー（ $O_{Manual}$ ）の場合、特に Llama 4（M2）モデルにおいて、ドメイン外（Elekta）のデータで適合性が低下（89.4%）し、関係のハルシネーション（RH）が増加した。
考察: 文書固有のオントロジーは、LLM の探索空間を狭め、コンテキストウィンドウの効率を高めるため、スキーマ遵守が向上する。

4.3 モデルの性能差（RQ2）

Gemini-2.5 Flash（M1）: どの設定でも 100% の OC と 0% の RH を維持し、制約遵守が極めて厳格だった。
Llama 4 Maverick（M2）: 手動オントロジー下では、意味的な流暢さを優先し、定義されていない関係（例: "driven by"）を生成する傾向（オントロジー・ドリフト）が見られた。しかし、 $O_{Auto}$ を使用すると、M2 の性能も大幅に改善し、M1 と同等の遵守率を達成した。

4.4 ハルシネーションの非対称性

主語のハルシネーション（SH）は目的語のハルシネーション（OH）よりも頻度が高く、特に残存する SH は、財務報告書特有の受動態や主語の省略により、モデルが文脈から主語を推論する際に発生しやすいことが示唆された。

5. 意義と結論

本研究は、金融ドメインにおける知識抽出において、Ground Truth が存在しない状況でも、オントロジー駆動型メトリクスとハイブリッド検証を用いて信頼性の高い評価が可能であることを実証しました。

実用的な示唆: 特定のドメインや文書に特化したオントロジーを自動生成するアプローチは、静的な手動オントロジーよりも頑健であり、モデルのドリフトを抑制する。
評価の革新: 単なる文字列一致ではなく、意味的検証（LLM-as-a-judge）を組み合わせることで、照応解決による誤判定を防ぎ、真のハルシネーション率を正確に把握できる。
今後の課題: 評価対象をより多様な企業や言語に拡大すること、および安定したコアスキーマと文書固有の拡張を組み合わせるハイブリッドなオントロジー戦略の検討が挙げられる。

総じて、この研究は、大規模な非構造化財務データから高品質な知識グラフを構築するための、スケーラブルで信頼性の高い自動化パイプラインの確立に寄与するものです。