LLM Enhancement with Domain Expert Mental Model to Reduce LLM Hallucination with Causal Prompt Engineering

人工知能の世界において、大規模言語モデルは膨大な情報の読解、記述、要約において驚異的な習熟を見せています。それらは複雑な科学理論を説明し、法的文書を起草し、さらにはコードを書くことさえ可能です。しかし、これらのシステムには根本的な盲点があります。それは、すでに書き記され、学習データとして入力された知識しか扱えないということです。未記入の直感や、特定の組織的文脈、あるいは記録されたことのない独自の状況の組み合わせに基づいた決定に直面したとき、モデルは単に「知らない」と認めるのではなく、自信に満ちた誤った答えを捏造することがよくあります。これは「ハルシネーション（幻覚）」として知られる現象です。これは、より多くの文書を探すことで解決できるような不具合ではなく、構造的な限界なのです。データベースに知識が存在しない場合、機械はそれを見つけ出すことはできません。医学、国家安全保障、研究資金提供といった分野における重大な決定において、機械が知っていることと人間の専門家が知っていることの間のこの溝は、危険を伴う可能性があります。

研究者のボリス・コバレリチュクとブレント・D・フェグリーは、この溝を埋めるための新しい方法を提案しました。人工知能をより賢くしたり、より多くの本を読ませたりしようとするのではなく、人間の専門家が実際にどのように考えているかという、特定の構造化されたマップを構築することを彼らは提案しています。彼らはこれを「エキスパート・メンタルモデル（専門家の精神モデル）」と呼んでいます。核心となるアイデアは、機械に答えを推測させるのではなく、専門家が自身の意思決定ロジックを明確に言語化するのを助けるツールとして機械を使用することです。人間の直感的な判断を明確でステップバイステップのルールへと変換することで、システムは決して幻覚を起こすことなく、それらのルールを新しい状況に適用できるようになります。このアプローチは、問題を機械の記憶力の失敗としてではなく、人間の特定の推論プロセスを捉えきれていない失敗として扱っています。

研究者たちは、このアイデアを非常に異なる3つの分野でテストしました。研究助成金の申請を行うべきかどうかの決定、サイバーセキュリティシステムの設計、そして臨床診断です。最初のシナリオでは、研究チームが資金提供機関に対してプロポーザル（提案書）を執筆するために数ヶ月を費やすべきかどうかを決定する必要がありました。その決定は、チームが適切なスキルを持っているか、プロジェクトが機関の目標に合致しているか、十分な時間があるかなど、多くの要因に依存していました。標準的な人工知能は、尋ねるべき質問のリストを生成することはできますが、それらの回答をどのように重み付けするかを判断することはできません。もしチームが「スキルはあるが予算はない」と答えた場合、機械はプロジェクトが依然として実行可能であると推測するか、あるいは実行不可能であると推測するかもしれません。そのチームにとって予算が致命的な問題（ディールブレイカー）である一方で、別のチームにとっては些細な障害であるかもしれないということを、機械には知る術がないのです。

これを解決するために、研究者たちは単純な原理に基づいた手法を用いました。それは、「ある状況が『イエス』と言うのに十分な状態であれば、その一部を改善したとしても答えが『ノー』に変わることはない」というものです。これは「単調性（monotonicity）」と呼ばれます。例えば、プロジェクトに関する一連の「はい」か「いいえ」の質問に答える専門家チームを想像してください。もし彼らが「素晴らしいアイデアはあるが資金がない」プロジェクトを「ノー」と判断した場合、「素晴らしいアイデアがあり、資金もなく、さらにチームメンバーもいない」プロジェクトも必ず「ノー」になるはずです。この論理を用いることで、研究者たちは通常必要とされるよりもはるかに少ない質問で、専門家に問いかけることができました。あらゆる要素の組み合わせ（複雑な決定においては数百万に及ぶこともあります）について質問する代わりに、彼らは慎重に選ばれた一連の質問を行いました。これらの質問への回答によって、彼らは何千もの他のシナリオに対する回答を自動的に推論することができたのです。

研究助成金の例では、チームは20個の潜在的な質問からスタートしました。人工知能は、これらを関連する質問ごとにグループ化し、階層構造に整理するのを助けました。次に、人間の専門家は、少数の一般化された質問に回答しました。例えば、リソースに関するあらゆる詳細に答える代わりに、専門家は「チームの準備ができているか」といった広範な質問に答えるかもしれません。もし答えが「ノー」であれば、システムは即座に、プロジェクトを却下するためにこれ以上の詳細は不要であることを理解します。もし答えが「イエス」であれば、システムは具体的な詳細へと掘り下げていきます。わずか4回の質問ラウンドを通じて、研究者たちは全可能なシナリオの6割以上について、専門家の意思決定ロジックをマッピングすることに成功しました。残りのシナリオは、判断が不明確になりやすい難しいエッジケース（境界事例）の周囲に集まっており、これこそが人間の判断が最も価値を発揮する場面です。

研究者たちはまた、ルールが政府の基準によって定義されることが多いサイバーセキュリティにおいても、この手法をテストしました。このケースでは、人工知能は文書から標準的なルールを抽出することはできますが、それらのルールを特定の組織の特定データに適用するためには、依然として人間の専門家を必要とします。システムは、専門家が特定のネットワークに対するセキュリティ侵害の影響を判断するのを助け、漠然とした懸念を構造化されたモデルへと翻訳しました。3つ目の領域であるヘルスケアでは、研究者たちは放射線科医による診断に同様の手法が用いられた過去の研究をレビューしました。その結果、意思決定ルールがこの構造化されたアプローチを用いて放射線科医から直接抽出された場合、得られたモデルは、純粋にデータのみから構築されたものよりも正確で一貫していることがわかりました。モデルはなぜその決定に至ったのかを説明でき、それを特定の要因にまで遡って追跡することができました。これは、システムを信頼する必要がある医師にとって極めて重要です。

この研究の重要な部分は、人工知能が自らの判断に任された場合に、どの程度間違えるかを測定することでした。研究者たちは、人間の専門家の決定と人工知能の推測を比較するシミュレーションを作成しました。その結果、全体的なエラー率は小さく見えるかもしれませんが、間違いは最も重要なケースに集中していることが判明しました。専門家がプロジェクトに対して「イエス」と言うべき場面で、人工知能はしばしば「ノー」と言い、機会を完全に見逃していました。いくつかのシミュレーションでは、これらの見逃された機会におけるエラー率は100パーセントに達しました。これは、ハルシネーションの危険が単にランダムな間違いを犯すことではなく、特定の、書き記されていない知識を必要とする稀で価値の高いケースを、系統的に認識できないことにあることを明らかにしました。

研究者たちは、解決策は人工知能をより人間に近づけることではなく、人間が自身の思考をエンコード（符号化）するのを助けるために人工知能を使用することであると主張しています。機械は、要因のリストを作成し、それらを論理的なグループに整理し、一貫性をチェックすることには優れています。しかし、特定のチームや組織にとって何が重要であるかを知ることについては極めて不得意です。これらを組み合わせることで、システムは計算効率が高く、かつ人間の専門知識に基づいた意思決定支援ツールを生み出します。人工知能は構造化と整理という重労働を担い、人間は決定に意味を与える具体的な価値とロジックを提供します。

このアプローチは、全員が同じ人工知能を使用しているために、誰もが同じように意思決定を行うようになる「認知の均質化（cognitive homogenization）」という微妙なリスクも防ぎます。もし組織が汎用的なモデルにのみ依存すれば、独自の視点や経験から来る独自の洞察を失ってしまう可能性があります。独自の「エキスパート・メンタルモデル」を構築することで、組織は独自の思考様式を維持できます。モデルは、その専門家が組織を去ったとしても生き続ける、彼らの集団的な知恵の持ち運び可能な記録となります。これにより、意思決定プロセスは、誰も説明できないブラックボックスではなく、透明性と説明責任を備えたものになります。

この研究は、あらゆる問題を解決したと主張しているわけではありません。この手法は、状況を改善することが結果を悪化させることはないという原則に従う場合に最も効果を発揮します。また、専門家が自身の考えを言語化することに時間を割く意欲を持つことも必要であり、これは課題となる場合があります。場合によっては、専門家が具体的な詳細を見ることなしに抽象的な質問に答えることに苦労することもあり、システムにはそのような不確実性を扱う柔軟性が求められます。さらに、この手法はシミュレーションや過去の研究のレビューを通じてテストされていますが、研究者たちは、実際の臨床現場や実際の研究助成金においてどのように機能するかを確認するために、さらなる実世界でのテストが必要であることを認めています。

それにもかかわらず、これらの知見は、重要な分野における人工知能の活用に向けた明確な道筋を示しています。鍵となる洞察は、機械は意思決定者であってはならないということです。むしろ、機械は意思決定プロセスの設計者（アーキテクト）であり、人間の判断を正確に捉える構造を構築するのを助けるべきなのです。そうすることで、機械はハルシネーションの罠を回避し、強力で信頼できるツールを提供できます。その結果、システムは専門家に取って代わるのではなく、複雑で不確実な状況においても、健全で一貫性があり、説明可能な決定を下すための能力を増幅させるものとなるのです。