Verifiable by Construction: Claim-Level Evaluation of Verbatim Citation in Clinical Question Answering
本論文は、事実に基づいた主張に対して逐語的な引用を付与することによって、12種類の大規模言語モデルが検証可能な臨床的回答を生成する能力を評価しており、その結果、ほとんどのモデルが主張の90%以上に引用を付与することには成功しているものの、これらの引用は、付随する主張の詳細を十分に立証できていないことが多いということを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の医療という極めて重要な世界において、時間はしばしば最も希少な資源となります。医師が複雑な症例に直面したとき、彼らに求められるのは、単に正確であるだけでなく、即座に信頼できる答えです。長年、人工知能は膨大な医学文献を整理して分かりやすく読みやすい助言を提供することで、一助となることを約束してきました。しかし、これらのツールには「ハルシネーション（幻覚）」として知られる、事実を捏造してしまうという傾向という、根強い問題が影を落としてきました。たった一つの誤りが患者に危害を及ぼし得る分野において、医師はコンピュータの言葉を単に信じることはできません。彼らはすべての記述の根拠を検証できなければならないのです。従来、AIが引用と共に回答を提供する場合、その引用は医学ガイドライン全体や研究論文のような広範な文書を指していることがよくありました。これにより、多忙な臨床医は、主張を裏付ける特定の文章を見つけるために何百ページもの中を探し回らなければならず、効率的なアシスタントを持つという目的そのものが損なわれてしまいます。したがって、目標は、単にソースを指し示すだけでなく、回答のすぐ横にそのソースからの正確な言葉を表示することで、自らの仕事を証明できるシステムを構築することにあります。
ジョンズ・ホプキンス大学の研究チームは、現在の人工知能モデルが実際にこれを行うことができるかどうかをテストするために着手しました。彼らは、心臓疾患、血圧、コレステロール、および糖尿病に関する4つの主要な医学ガイドラインを用いて、臨床的な質問に答えるための特化したシステムを構築しました。モデルに単に情報を要約させるのではなく、研究者たちは、モデルが文章ごとに回答を構成し、すべての事実的な主張に対して、元のガイドラインからの直接的かつ逐語的な引用を付与するように指示しました。これが機能するかどうかを確認するために、彼らはデジタル監査官のように機能する厳格なテストフレームワークを作成しました。このシステムは、すべての回答を構成要素である主張へと分解し、以下の3つの特定の基準に照らしてチェックを行いました。第一に、モデルは主張に引用を付与したか？ 第二に、付随する引用は、変更や言い換えのない、元のテキストの正確な逐語コピーであったか？ そして第三に、読者が他に何も参照する必要がないほど、その特定の引用に主張の真実性を証明するのに十分な情報が含まれていたか？ という点です。
研究者たちは、強力で複雑なシステムから、より小さく高速なものまで、12種類の異なる大規模言語モデルを用い、ガイドラインから派生した222の合成臨床質問を用いてテストを行いました。結果は、これらのモデルができることと、真の信頼性に求められることとの間に、大きな隔たりがあることを明らかにしました。ほとんどの高度なモデルは、驚くくほど最初の2つのステップには長けていました。彼らは主張の90パーセント以上に引用を付随させることに成功し、多くの場合、提供された引用はソーステキストと正確に一致していました。しかし、システムは最終の、最も重要なステップにおいて劇的に躓きました。すなわち、主張を証明することです。例えば、モデルはある文章を「推奨される」と引用しながら、その引用を用いて、その薬がすべての人に「必須である」というより広範な主張を裏付けるといったことが起こり得ます。ある顕著な事例では、Claude Opus 5というトップクラスのモデルは、主張の98パーセントに対して逐語的な引用を付与することに成功しましたが、それらの引用のみによって完全に立証された主張はわずか37.1パーセントでした。引用は存在しており、それらは正確でしたが、論点を証明するには不十分だったのです。
この研究はまた、モデルの規模と種類が大きく影響することも浮き彫りにしました。小型で軽量なモデルは、主張に引用を付与すること自体に失敗したり、ソースの正確なコピーではない引用を提供したりして、検証率が急落しました。テストされた最も小さなモデルの一つであるClaude Haikuは、主張を完全にサポートできたのは約25パーセントに過ぎませんでした。対照的に、最大のモデルははるかに優れた性能を示し、最良のシステムは約75パーセントの主張を、正確かつ十分な証拠によって裏付けていました。研究者たちは、失敗の主な理由は、モデルが嘘をついたり何かを捏造したりしたことではなく、適切な証拠を選択することに苦戦していたためであることを見出しました。モデルは、トピックに関連はしているものの、文全体の裏付けとなる特定の詳細を含んでいない引用を掴んでしまうことが多かったのです。証拠が実際に利用可能であったかどうかをテストするため、研究者たちは別のAIに、主張を完全にサポートするであろう引用を元の文書から検索するよう依頼しました。その結果、多くのモデルにとって、欠落していた証拠は、彼らがすでに読み込んだテキストの中に確かに存在していたことが分かりました。モデルは単に、正しい断片を抽出して付与することに失敗していただけだったのです。
結局のところ、この研究は、人工知能が医学情報の検索やフォーマットにおいてますます能力を高めている一方で、臨床現場において人間の監視なしに完全に信頼される準備はまだ整っていないことを示しています。流暢な回答を生成する能力は、検証可能な回答を構築する能力とは別物です。本研究は、現在のモデルは検証のための原材料を提供することはできるものの、それらを完全で自己完結した証明へと組み立てることに頻繁に失敗することを示しています。今後の進むべき道は、単にソースを引用するだけでなく、その助言のあらゆる言葉が、元のガイドラインからの特定かつ十分で、改変されていない証拠によって裏付けられていることを保証するシステムを構築することにあります。モデルが、「引用を持つこと」と「論点を証明すること」の間の溝を一致して埋めることができるようになるまで、検証の責任は依然として人間の臨床医の手の中に留まることになるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。