Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models
本論文は、LLMの回答をアトミックな主張へと分解し、推論時の信号を用いた事後的なキャリブレーションを適用することで、信頼性の高い主張レベルの確信度スコアを生成するクローズドボックス・フレームワークを提案しており、これにより、ハイステークスな領域におけるより実行可能な意思決定と標的を絞った検証を可能にする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
急速に進化する人工知能の展望において、大規模言語モデルはテキスト生成、質問への回答、複雑なタスクの支援のための強力なツールとなっています。しかし、根強い課題が残っています。これらのシステムは、時として自信に満ちた口調で、事実とは異なる回答を生成することがあり、これは「ハルシネーション（幻覚）」として知られる現象です。これらのモデルを重要な意思決定に利用するユーザーにとって、危険は単に間違えることだけでなく、「絶対的な確信を持って間違える」ことにあります。これに対処するため、研究者たちは長年、モデルの不確実性を測定する方法、つまりシステムに対して自身の出力に対してどの程度確信を持っているかを問う方法を模索してきました。従来の方法は、天気予報が一日の全体に対して一つの確率を出すのと同様に、回答全体に対して単一の信頼度スコアを提供することがよくあります。しかし、一つの回答には正確な事実と微妙な誤りが混在している場合があり、単一の総合的なスコアでは、行動に移す前に特定の詳細を検証する必要がある人々にとって、あまりにも大まかすぎて役に立たないものとなります。
清華大学およびその他の機関のトグルル・アバスリ（Toghrul Abbasli）らによる新しい研究は、この問題に対してより粒度の細かいアプローチを提案しています。回答を一つのテキストの塊として扱うのではなく、研究者たちはすべての回答を、彼らが「アトミック・クレーム（原子的な主張）」と呼ぶ、最小かつ独立した情報の単位へと分解する手法を開発しました。そして、これらの個々の主張に対して特定の信頼度スコアを割り当てます。チームは、主要な開発者によるシステムを含む現代的な言語モデル数種を用いて、この技術をテストしました。その際、一般的な事実知識に焦点を当てたものと、モデルが誤った前提を受け入れるように仕向けるように設計されたものの二種類の異なる質問セットを使用しました。彼らの知見は、主張レベルで確信度を分離・較正することで、意思決定者にとってるべく信頼性の高いシグナルを作成することが可能であることを示唆しています。このアプローチにより、ユーザーは回答のうち高い確率で真実である部分を受け入れ、一方で特定の文章についてはさらなるレビューや拒絶のためにフラグを立てることができ、高リスクな環境における、より安全で信頼できる人工知能への実用的な道筋を提供します。
研究者たちの作業の核心は、言語モデル自体の内部構造を変更する必要なく動作する、多段階のパイプラインに含まれています。まず、システムはユーザーの質問に対する回答を生成します。次に、補助ツールがこの回答を、「アインシュタインは相対性理論を提唱した」や「これは1905年に起こった」といった、短く自己完結した記述へと分解します。回答が分解されると、システムは各記述を個別に評価します。システムは、各主張に対してモデルがどの程度の確信を持つべきかを判断するために、主に二つのシグナルを使用します。第一のシグナルは、モデル自身の自己評価または言語化された確信度から得られるもので、モデルに対して自身の確信度を述べるよう促します。第二のシグナルは一貫性に依存しており、システムは回答のバリエーションを複数生成し、同じ主張がそれらすべてに現れるかどうかを確認します。もしある主張が異なる試行の間で繰り返されている場合、それはより信頼できるものとして扱われます。これら二つのシグナルは、個々の特定の主張に対する最終的な信頼度スコアを算出するために統合されます。
これらのスコアに意味を持たせるために、研究者たちは「事後較正（ポストホック・キャリブレーション）」と呼ばれる統計的プロセスを適用しました。このステップは、生の信頼度数値を現実と一致するように調整するものです。例えば、システムがある一連の主張に対して90パーセントの確信度を割り当てた場合、較正によって、それらの主張の約90パーセントが実際に正しいことが保証されます。研究では、このフレームワークを、オープンソースのシステムから独自の商用モデルに至るまでの6つの異なる言語モデルに対して、数千の質問を用いてテストしました。結果として、この主張レベルのアプローチは、回答を全体としてのみ見る手法と比較して、信頼度推定の誤差率を大幅に減少させました。事実に関する質問において、較正されたスコアははるかに正確になり、つまりシステムが90パーセント確信していると言ったとき、実際に90パーセントの確率で正しかったのです。この精度により、人間のユーザーは具体的な決定を下すことができます。つまり、高確信度の主張は即座に信頼し、低確信度のものについては検証のために注意を向けることができるのです。
しかし、本研究は、この手法が限界に直面する明確な境界も特定しました。質問が誤った前提（何かが真実であると仮定する罠）を含むように設計されていた場合、モデルは流暢で自信に満ちているものの、完全に誤った主張を生成することがよくありました。これらの敵対的なシナリオにおいて、主張レベルの信頼度スコアは、モデルがその間違いにおいて内部的に一貫していたために、エラーを検出できないことがありました。研究者たちは、彼らの手法が正誤の混在する回答を整理することには優れている一方で、基礎となる事実について自信を持って間違っているモデルを必ずしも克服できないことを発見しました。このような場合、研究は、信頼度スコアだけでは不十分であり、証拠の検索や別のシステムによる相互検証といった外部的なチェックが必要であると示唆しています。
この研究の実践的な意味合いは、専門的な場面における人工知 Intelligence との関わり方の変化にあります。漠然とした信頼感に基づいて回答全体を受け入れるか拒絶するかではなく、意思決定者は今や、信頼性の詳細なマップに頼ることができるのです。例えば、AIによって生成された医療報告書の場合、その一般的な構造は受け入れつつ、特定の薬の投与量や患者の既往歴の詳細については、個々の信頼度スコアに基づいて人間によるレビューのためにフラグを立てることができます。研究者たちは、この手法が内部メカニズムが隠されている「クローズドボックス」モデルであっても機能することを強調しており、現在使用されている最も高度な商用システムにも適用可能であることを示しています。この手法は、特にモデルが誤った仮定によって欺かれた場合のハルシネーションの問題を完全に解決するものではありませんが、不確実性を管理するための堅牢なツールを提供します。言語モデルの出力というブラックボックスを検証可能な断片へと分解することで、本研究は、何が信頼でき、何がさらなる調査を必要とするのかをより明確に理解した上で、重大な意思決定を行うための道筋を提示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。