DiligenceProv: A Truth-Ledger Benchmark for Verifiable Financial Due-Diligence Answers from Large Language Models
本論文は、高額なリスクを伴う金融デューデリジェンスにおける大規模言語モデルの検証可能性、証拠検索能力、および定義の正確性を評価・向上させるために、登録された不備を含む合成的なディールルームを用いた新しいベンチマークおよび構築手法であるDiligenceProvを導入するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
企業が買収または売却される際、そのプロセスは、デューデリジェンスとして知られる、企業の財務健全性を厳格にチェックする段階に依存しています。アドバイザーたちは、監査済みの財務諸表や収益報告書から、契約書の草案、経営プレゼンテーション資料に至るまで、一連の文書が集まった「データルーム」を数週間にわたって精査します。彼らの仕事は、極めて重要な問いに答えることです。「この事業は真にいくら稼いでいるのか？」「最大顧客のリスクは何か？」といった問いです。この極限の環境において、答えは、その背後にある証拠と同じくらい価値があります。レビュアーは、最終的な数値だけでなく、それを算出するために使用された特定の定義や、その主張を裏付ける正確な文書までも検証できなければなりません。もし、自信に満ちた回答が間違っていた場合、それは回答がない場合よりも危険に投資判断を誤らせる可能性があります。
人工知能、特に大規模言語モデルは、これらの複雑な文書の読解と分析を加速させることを約束し、この分野への導入が進み始めています。しかし、重大な障害が依然として残っています。現在のAIシステムはテキストを流暢に読むことはできますが、金融において求められる特定の種類の手法による検証には苦戦します。AIはもっともらしい数値を提示しても、それが実際には誤っていたり、結論を裏付ける文書を引用できなかったりすることがあります。核心的な課題は、AIが言葉を読めるかどうかではなく、人間である専門家が受け入れるであろう唯一の真実を見つけ出すために、いかにして矛盾する情報の乱雑な集まりをナビゲートできるかという点にあります。
これに対処するため、研究者たちは「DiligenceProv」と呼ばれる新しいテスト環境を構築しました。これは、すでに調整され合意されているクリーンな公開財務報告書に基づく標準的なテストではありません。代わりに、研究者たちは架空の企業を構築し、財務諸表、負債スケジュール、経営プレゼンテーションを含む、現実的な30種類の文書を生成しました。彼らは、現実世界の取引に見られる種類の「乱雑さ」を意図的に導入しました。例えば、同じ収益指標が3つの異なる方法で定義されていたり、現在のものであるように見える古い数字が含まれていたり、あるいは文書自体が答えを持っていない問いが存在したりといった状況です。その目的は、AIシステムが、数値、定義、そしてエビデンスのすべてを同時にチェックしながら、人間のレビュアーが検証可能な回答を提供できるかどうかを確認することでした。
研究者たちは、単に文書を現実的に見せるだけでは、最も高度なAIシステムを試すには不十分であることを発見しました。現実的ではあるものの、完全に整合性の取れた文書を用いた初期テストでは、トップクラスの商用モデルは、たとえ問題がトリッキーであっても、すべての質問に正しく回答しました。文書に交渉における特有の「罠」が含まれていなかったため、システムは問題なく動作したのです。研究者たちは、これらのシステムを真にテストするためには、難易度を設計（エンジニアリング）する必要があることに気づきました。彼らは、あらゆる事実を記録したマスターレコードである「真実台帳（truth ledger）」を作成し、その後、文書の中に「登録された不完全性」が含まれるように執筆しました。これには、異なる文書間の矛盾、正解のように見えるが実は間違いである現実的なディストラクター（注意をそらすもの）、そして情報が欠落しているものの、欠落していることが明示されていない空白などが含まれます。
AIモデルをこの設計された混乱状態に対してテストしたところ、結果は劇的に変化しました。以前は完璧なスコアを出していた最先端のモデルが、これらの登録された不完全性をナビゲートしなければならない場面で、失敗し始めたのです。さらに驚くべきことに、研究者たちは、多くのミドルレンジのモデルにおいて、30個の文書セット全体をAIに与えることは、厳選された6ページだけを与えるよりも、パフォーマンスを低下させるという事実を発見しました。AIがフルセットのデータにアクセスすると、追加のテキスト内に存在する古い数値や捏造された引用に惑わされることがよくありました。AIは誤ったバージョンの数値を拾ったり、存在しない文書を捏定したりしてしまうのです。しかし、最も関連性の高い一節のみを提供した場合、AIのパフォーマンスは大幅に向上しました。この場合、検索プロセスが保護フィルターとして機能し、モデルをフル文書セットのノイズと混乱から守ったのです。
この研究はまた、これらのAIシステムにとって最も困難な部分は、エビデンスを見つけることではなく、それをどのように使うかを理解することであることも明らかにしました。たとえ研究者が正しい文書と正しい数値を与えたとしても、モデルは間違いを犯しました。モデルは、金融指標の正しい定義を適用できなかったり、契約書のドラフト版と最終版を区別できなかったりすることがよくありました。エラーの原因は情報の不足ではなく、取引のルールを適用する規律の欠如にありました。研究者たちは、これらの失敗を、「自信に満った誤答（確信を持って誤った事実を述べるもの）」や「ディストラクターへの捕捉（誤導的な数値に執着するもの）」といった具体的なタイプに分類しました。
特に懸念すべき発見は、AIが「分からない」と言うことができないという点でした。現実の世界では、もし文書に特定の予測が含まれていない場合、正しい答えは「情報が欠落している」と伝えることです。テストにおいて、AIモデルが回答を拒否することはほとんどありませんでした。代わりに、データが欠落している場面に直面すると、彼らは推測や外挿を行おうとし、構造化されプロフェッショナルに見える捏造された数値を生成しました。これは、自信に満ちた響きの誤った数値が、明確な情報の欠如を認めることよりも有害になり得る金融の世界においては、極めて危険な挙動です。
研究者たちは、金融におけるデューデリジェンスの難しさは、単なるテキストの複雑さではなく、エビデンスがいかにアクセスされ、管理されるかにあると結論付けました。最強のAIシステムにとって、全文書のフルコンテキストにアクセスすることは完璧に近いスコアに到達することを意味しており、これは彼らの主な限界が、単に適切な情報が利用可能であるかどうかにあることを示唆しています。他のモデルにとっては、情報が多すぎることはむしろ足かせとなりました。この研究は、これらのシステムが実際の取引において信頼されるためには、単純な検索よりも、検証と定義を優先するワークフローが必要であることを示唆しています。ベンチマーク自体は、他の研究者が利用できるように公開されており、これらのシステムが本当のお金（実社会の資金）を扱う前に、その性能を測定し改善するための手段を提供しています。この研究は、高額な資金が動くタスクにおいて、信頼性への道はAIをより賢くすることではなく、厳格なルールとエビデンスに対して自らの答えを検証できるシステムを構築することにあるということを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。