INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models
本論文は、大規模言語モデルの知識、長文コンテキストに基づく事例推論、およびツールを用いた実践能力を評価するために、16の保険数理協会からなる12,000問以上の問題で構成された包括的なベンチマークであるINS-ActBenchを紹介しており、最先端のモデルは標準的な知識においては優れているものの、複雑な専門的ワークフローにおいては依然として大幅に遅れをとっていることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたはロボットに、金融の魔法使いになる方法を教えているところだと想像してください。あなたはすでに、そのロボットに「お金に関する用語の辞書」の読み方や、「基礎的な数学」のやり方を教え終えています。しかし、真の魔法使いになるには、単に呪文を知っているだけでは不十分です。いつその呪文を使うべきか、状況が混乱している時にどうやってそれらを組み合わせるか、そして城に火を放つことなく、確実に呪文を唱えるための安定した手つきを持っていなければなりません。これが**大規模言語モデル（LLM）**の世界です。これらは、人間のように読み、書き、推論することができる、非常にスマートなコンピュータプログラムです。長い間、私たちはこれらのロボットに対し、「この単語の意味を定義できるか？」や「この数学の問題を解けるか？」といった、孤立したタスクでテストを行ってきました。しかし、現実の世界では、専門家は孤立して仕事をしているわけではありません。彼らは100ページの契約書を読み、重要な唯一の条項を見つけ出し、リスクを計算し、その答えが正しいことを証明するためにスプレッドシートやコードを使用しなければならないのです。この論文は、大きな問いを投げかけています。これらのAIの魔法使いたちは、本当に仕事全体をこなせるのか、それとも単に暗記カードが得意なだけなのか？
そこで登場するのが、富旦大学の研究者によって作られた、AIに対する大規模な「最終試験」であるINS-ActBenchです。これは、保険数理学（アクチュアリー）という、非常に重要で責任の重い仕事に特化してAIをテストするためのものです。アクチュアリーとは、保険会社のために働く「プロのリスク探偵」のようなものだと考えてください。彼らは数学、統計学、経済学を用いて、何か悪いこと（車の衝突事故や火災など）が起こる確率や、その支払いのために会社がいくら貯金しておく必要があるかを算出します。この仕事には、ルールを知っていること、現実世界の災害に関する複雑な物語を読み解くこと、そして間違いが許されない精密な計算を行うことが求められます。研究者たちは、世界中のアクチュアリーが実際に受験した試験から抽出された12,050問のテストバンクを構築しました。彼らは単なるトリビアを問うのではなく、AIが以下の3つの異なる難易度レベルを扱えるかどうかを確認するように設計しました。
- 暗記カード（INS-Act-Know）： AIは定義や公式を記憶しているか？
- 推理小説（INS-Act-Case）： AIは企業の財務に関する長く複雑な物語を読み、隠された手がかりを見つけ出し、将来について賢明な予測ができるか？
- ワークショップ（INS-Act-Practice）： AIは、チェック可能な数値を出すために、正しいコンピュータコードやスプレッドシートの数式を実際に書くことで、実務を行うことができるか？
研究者が9つの異なるAIモデルをこの過酷なテストにかけたところ、結果は「驚き」と「落胆」が入り混じったものでした。AIモデルは最初のレベルについては驚くほど優秀でした。彼らは暗記カードを完璧にこなし、標準的な知識問題においては人間の専門家よりも高いスコアを出すこともよくありました。単にルールを暗唱したり、単純な数学問題を解いたりするだけであれば、AIは天才なのです。
しかし、テストが複雑になった途端、ロボットたちはつまずきました。AIが長く複雑な保険ケース（「推理小説」レベル）を読まなければならないとき、スコアは劇的に低下しました。彼らは物語の異なる部分同士を関連付けることに苦戦しました。さらに悪いことに、「ワークショップ」に入り、最終的な数値を出すためのコードやスプレッドシートの数式を実際に書かなければならないとき、彼らはそれを信頼性を持って行うことができませんでした。この研究によれば、AIは数学について「語る」ことはできても、一貫性と検証可能性のある形で数学を「実行する」ことはできないことが多いことが判明しました。
また、研究者たちは、AIのパフォーマンスがルールの出所によって変化することも発見しました。保険の法律は、アメリカ、イギリス、日本などで異なります。AIモデルは、学習データによく含まれている「標準的な」ルールには優れていましたが、異なる国の異なるローカルな規制に基づいた問題になると混乱しました。また、AIの最大の失敗は、通常、ツールの使い方（計算機など）を忘れたことによるものではなく、ツールを正しく使いながらも、問題に対して間違った「論理」や公式を適用してしまったことにあることも分かりました。
要するに、この論文は、AIが保険数理の知識に関する素晴らしい百科事典にはなっているものの、まだ信頼できるプロフェッショナルな助手にはなっていないことを示唆しています。AIは筆記試験には合格できるかもしれませんが、保険会社を守るための最終決定を下すためにオフィスに座る準備はできていません。研究者たちは、AIがこの分野で真に役立つためには、長い物語の中の点と点を結びつけることや、小さくともコストのかかるミスを犯すことなく、複雑なステップ・バイ・ステップのワークフローを実行することにおいて、もっと上手くなる必要があると結論付けています。今のところ、ペンを握っているのは依然として人間の専門家なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。