On the Fundamental Impossibility of Hallucination Control in Large Language Models
本論文は、大規模言語モデルにおけるハルシネーションは、内部知識を統合する際の固有のトレードオフに起因するため根本的に回避不可能であることを論じており、外部の証拠が回答への支持を検証することはできても、事実としての真実性を保証したり、捏造を招く意味論的な不均衡を解消したりできる内部メカニズムは存在しないことを証明している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大なジグソーパズルを解こうとしている場面を想像してみてください。ただし、それは一人で解くのではなく、テーブルを囲んで専門家のチームが取り組んでいる状況です。各専門家は手元に絵の断片を数枚しか持っておらず、全体の完成図を見ることはできません。パズルを解くために、彼らは最終的な絵がどのような姿になるはずかについて、自分たちの最善の推測を叫び合い、その答えに対して投票しなければなりません。これは、まさに現代の人工知能、特に大規模言語モデル（LLM）が機能している仕組みと同じです。これらのモデルは、膨大な数のデジタルな「専門家」（コンポーネントやアテンション・ヘッドと呼ばれます）のチームのようなもので、それぞれが知識の極めて小さな断片を保持しています。あなたがAIに質問を投げかけると、これらすべての断片が、最終的な答えを形作るために競い合います。
長い間、科学者やエンジニアたちは、ある厄介な問題の解決を試みてきました。それは、AIが時として物事を捏造してしまうという問題です。彼らは、まるで自信満々に偽の事実を語っているかのように見えることがあります。これは「ハルシネーション（幻覚）」と呼ばれる不具合です。人々は、AIにより優れたトレーニングを与えたり、より多くのデータを与えたり、あるいはAIに自分の仕事をチェックさせたりすることで、これを修正しようとしてきました。しかし、もしこの問題が、単にパッチを当てれば直るようなバグではないとしたらどうでしょうか？ もし、AIの作り方そのものが、完璧な真実性、完璧な自信、そして完璧な創造性を同時に実現することを不可能にしているとしたら？ これこそが、ミハル・P・カルポウィッチ（Michal P. Karpowicz）が新しい論文で探求している大きな問いです。この論文は、ハルシネーションとは単なるミスではなく、まるで「ケーキを食べつつ、同時にそのケーキを保持する」こと（両立不可能なことを同時に求めること）のように、根本的なトレードオフであると示唆しています。
アイデアの競売
論文では、AIの脳を「アイデアの競売（Auction of Ideas）」と呼ばれる賑やかな市場として描いています。この競売では、AIのあらゆる小さなパーツ（特定のアテンション・ヘッドや回路など）が、入札者となります。各入札者は秘密の知識の断片を保持しており、自分たちのバージョンの答えがベストであるとグループに納得させようとします。彼らは、出力を左右するための信号を送ることで、「入札」を行います。
著者は、時としてこの競売が壁に突き当たることを証明しています。例えば、二人の入札者が同じ事実について争っていると想像してください。一人が「空は青い」と言い、もう一人が「空は緑だ」と言っています。もしAIが、これら二つの相反する見解を一つの自信に満ちた答えへと統合しようとすると、数学的な不可能性に直面します。論文は、システムが以下の4つのことを同時に達成することはできないと示しています。
- 真実を語る（自分が知っていることを正直に報告する）。
- 情報を保存する（新しい事実をゼロから作り出さない）。
- 全員の参加を認める（保持している関連するすべての知識を使用する）。
- 最善の答えを出す（ユーザーの満足度を最適化する）。
論文は、もし入札者が同じ事実を巡って争っている場合、システムは必ずこれらの目標のうちの一つにおいて失敗することを証明しています。それは、手元にウサギが二羽しかないのに、帽子から三羽のウサギを取り出そうとする手品のようなものです。あなたは選択しなければなりません。AIが嘘をつく（物語を完結させるために詳細を捏造する）か、あるいは過度に慎重になり、知らないことを認めるとか、あるいは実際に持っている知識の一部を無視するかです。完璧に正直で、完璧に自信に満ち、かつ完璧に役に立つAIという「フリーランチ（無料の豪華な食事）」は存在しないのです。
自信の罠
論文は、いくつかの巧妙な数学を用いて、なぜこのようなことが起こるのかをさらに深く掘り下げています。AIがどのようにして自身の異なるパーツからの「票」を組み合わせるのかを考察しています。AIが答えを決めるためにこれらの票を合算するとき、しばしば個々のパーツが持っている実際のレベルよりも、より自信に満ちた印象を与える結果となります。
これは、一団の気象予報士を例に考えると分かりやすいでしょう。予報士Aが「降水確率50%」と言い、予報士Bも「降水確率50%」と言ったとしても、彼らが異なる雲を見ている場合、グループとしては「間違いなく雨が降る！」と結論付けてしまうかもしれません。数学によれば、グループの自信は「製造されたもの」なのです。それは、個々のパーツには存在しなかった、余剰な確信の層です。これが、ハルシネーションにつながる「過剰な自信」です。AIが意図的に嘘をついているわけではありません。単に、情報を組み合わせる方法自体が、知識と自信の間にギャップを生み出してしまうのです。
私たちは修正できるのか？
この論文が明確に述べていないこともあります。それは、AIが「常に」嘘をつくということでも、信頼できるAIを構築することが「決して不可能」だと言っているわけでもありません。そうではなく、ハルシネーションは、特定の条件下の競売においては構造的な限界であることを述べています。それは、光速や回転するコインの不確実性のように、単に「トレーニング」によって取り除けるものではないということです。
しかし、論文は問題に対処する方法も提示しています。AIを完璧に真実であるようにすること（この条件下では不可能）を目指すのではなく、**「証明可能な裏付け（certifiable support）」**に焦点を当てるべきだと示唆しています。AIを弁護士だと想像してください。私たちは、その弁護士の話が絶対的な真実であるかどうかを常に証明できるわけではありませんが、その話が与えられた証拠によって裏付けられているかどうかをチェックすることはできます。
論文は、もしAIに特定の「承認された証拠」（信頼できるデータベースや文書セットなど）を与えれば、AIの答えがその証拠の範囲内に留まっているかどうかを数学的に証明できることを示しています。もしAIがその範囲を逸脱した場合、たとえ絶対的な真実が分からなくても、その証拠に対する相対的な意味でのハルシネーションを起こしていると判断できます。これにより、問題は「これは真実か？」（難しい問い）から、「これは裏付けられているか？」（検証可能な問い）へと変わります。
結論
この論文は、AI界への警鐘です。私たちが目にする「ハルシネーション」は、単に、より多くのデータやより優れたコードで修正できるようなバグではないことを伝えています。それは、これらのシステムが情報を集約する際の根本的な特徴なのです。AIの異なる部分が同じ事実を巡って意見を戦わせたり競合したりする場合、システムは選択を迫られます。正直で弱くなるか、あるいは自信に満ちて間違えるかです。
著者は、このトレードオフを排除しようとするのではなく、管理し始めるべきだと提案しています。AIの自信が、アイデアを組み合わせる数学によって時として「製造」されるものであることを理解することで、私たちはより優れたシステムを構築できます。自分の知識の限界を知っているAIを設計するか、あるいは、与えられた証拠に厳格に縛られるシステムを構築することができるのです。この論文は完璧なAIを約束するものではありませんが、どこに壁があるのかという明確な地図を与えてくれます。それによって、私たちは壁に頭を打ち付け続けるのをやめ、より良い「ドア」を作り始めることができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。