From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data
本論文は、大規模言語モデルにおけるハルシネーションは、自己注意機構、最尤推定、および自己回帰的デコーディングという3つの核心的なアーキテクチャ上の決定による構造的な帰結であり、これらがデータセットの病理を起源とするのではなくむしろ増幅させる複合的な失敗システムを形成していることを論じ、出力ベースの分類からメカニズム特有の診断および緩和戦略への転換を必要としている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ビッグアイデア：問題はデータではなく、マシンにある
想像してみてください。物語を書くロボットがいます。時々、そのロボットは完璧で、流れが美しく、非常に自信に満ちた物語を書きます。しかし、それは完全に作り話です。私たちはこれを「ハルシネーション（幻覚）」と呼んでいます。
多くの人は、ロボットが嘘をつくのは、質の悪い本やインターネット上のデータを与えられたからだと考えています。しかし、この論文はそれは間違いであると主張しています。たとえ世界中の完璧な図書館をロボットに与えたとしても、それでもロボットは嘘をつくだろう、とこの論文は述べています。
なぜでしょうか？ それは、ロボットの脳の構造（アーキテクチャ）が、嘘をつくことが避けられないような仕組みで作られているからです。著者たちは、AIモデルがこれらの「自信満々な嘘」を生み出す原因となる、設計上の3つの具体的な「欠陥」を特定しています。
3つの「設計上の欠陥」（複合的失敗システム）
この論文は、ロボットがハルシネーションを引き起こす3つの具体的な癖について述べています。これらは、一緒に回転することで偽の物語を作り出す機械の3つのギアのようなものです。
1. 「パターン・マッチャー」（自己注意機構 / Self-Attention）
欠陥： ロボットは実際に「意味」を理解しているのではなく、「頻度」を理解しているに過ぎません。
比喩： 何百万冊もの本を読んではいるけれど、一度も家から出たことがない人を想像してください。その人は、「シレット（Sylhet）」と「茶（Tea）」が、これまで読んだほぼすべての文章の中で隣り合わせに登場することを知っています。
- 仕組み： もしあなたが「シレットは何で有名ですか？」と尋ねたら、ロボットは強いパターンを見つけます：シレット ＋ 茶。そして自信満々に「シレットは茶で有名です」と答えます。
- ハルシネーション： しかし、もしあなたが「バングラデシュの首都は何ですか？」と尋ねたらどうでしょう。ロボットは、たとえ新しい文脈においてそれらが意味をなさないとしても、学習データの中でそれらの言葉がよく一緒に現れるため、依然として「シレット」のパターンを掴んでしまうかもしれません。
- 論文の主張： ロボットは、統計的な近接性（一緒に現れやすい言葉）と、意味的な真実（実際に何が現実か）を混同しています。ロボットは事実を確認しているのではなく、単に言葉が通常どのように組み合わさるかを確認しているだけなのです。
2. 「人気投票」（最尤推定 / Maximum Likelihood Estimation）
欠陥： ロボットは「最も正しい」次の言葉ではなく、「最もありそうな」次の言葉を予測するように訓練されています。
比喩： ゲーム番組を想像してください。司会者が質問をし、賞品は、それが真実であるかどうかに関わらず、観客の頭の中に最も多く浮かんでいる答えを当てた人に贈られます。
- 仕組み： もしインターネット上の90%が「雷は二度と同じ場所に落ちない（という迷信）」と言い、10%だけが「落ちる」と言っていたら、ロボットはその迷信がより「正しい」答えであると学習します。なぜなら、それがより「人気がある」からです。
- ハルシネーション： ロボットは真実であろうとしているのではなく、**流暢（フルエント）**であろうとしています。たとえそのテキストが嘘で溢れていても、平均的な人間のテキストのように聞こえることに報酬を与えているのです。論文は、モデルが大きくなればなるなるほど、データの中にある嘘をより上手く記憶してしまうため、真実を伝える能力はむしろ低下すると指摘しています。
3. 「一方通行の道」（自己回帰型デコーディング / Autoregressive Decoding）
欠陥： 一度ロボットが言葉を書いたら、二度と取り消すことはできません。
比喩： 進むにつれて自ら線路を敷いていく列車を想像してください。もしエンジニアが小さなミスをして、線路を少し左に敷いてしまったら、列車は左に進み続けなければなりません。最初のミスを修正するために戻ることはできないのです。
- 仕組み： ロボットは一度に一つの言葉を書いていきます。もし最初の言葉で小さなミス（欠陥#1または#2によるもの）を犯した場合、その間違った言葉が次の言葉にとっての「真実」となってしまいます。
- ハルシネーション： ロボットは自分がミスをしたことに気づきません。ただ、その間違った出発点に基づいて残りの文章を構築していきます。その結果、論理的でスムーズに流れるように聞こえるものの、嘘の土台の上に築かれた物語が出来上がります。これは「連鎖的失敗（cascade failure）」と呼ばれます。
悪いデータの役割（増幅器）
この論文は、悪いデータ（稀な長尾の事実や、偏ったインターネットコンテンツなど）が状況を悪化させることは認めています。しかし、悪いデータはあくまで増幅器であり、原因ではないと主張しています。
- 比喩： これら3つの設計上の欠陥を「乾燥した森」と考えてください。悪いデータは単なる「火花」です。
- もし森が湿っていれば（完璧なデータ）、火花が起きても火災にはなりません。
- しかし、もし森が乾燥していれば（アーキテクチャの欠陥）、たとえ小さな火花（小さなデータの誤り）であっても、巨大な火災（ハルシネーション）を引き起こします。
- 論文のポイント： 火花を取り除くことだけで火を消すことはできません。森の乾燥具合（アーキテクチャ）を直さなければなりません。データがハルシネーションを生み出すのではなく、機械のデザインがデータを「利用して」ハルシネーションを作り出すのです。
なぜ現在のチェックリストは失敗するのか
論文は、現在のハルシネーションの研究方法を批判しています。研究者は通常、嘘が「どのような形をしているか」（例：「入力内容と矛盾している」「事実を捏造している」など）によって分類しています。
論文による批判： これは、医師が「患者に熱があります」と言うだけで、その熱がインフルエンザによるものか、感染症によるものか、あるいは体温計の故障によるものかを確認していないのと同じです。
- 解決策： 著者らは、ハルシネーションを分類する新しい方法を提案しています。単に出力（アウトプット）を見るのではなく、そのメカニズムを見る必要があります。
- ロボットは、言葉のパターンを混同したために嘘をついたのか？（自己注意機構）
- ロボットは、普及している迷信に従ったために嘘をついたのか？（最尤推定）
- ロボットは、初期の小さなミスを修正できなかったために嘘をついたのか？（自己回帰的な連鎖失敗）
まとめ
この論文は、大規模言語モデルがハルシネーションを起こすのは、それらが「愚か」だからでも「データが悪い」からでもなく、以下の3つの特定のアーキテクチャ上の決定に基づいているからだと主張しています。
- 真実ではなく、パターンを学習する。
- 正確さではなく、人気に報酬を与える。
- 自分のミスを修正できない一方通行の道に縛られている。
これらの構造的なギアを修正しない限り、ロボットは流暢で自信に満ちているが、事実とは異なる物語を書き続けることになるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。