🤖 machine learning

Reliability Scales Inversely: Bigger Models Compound Mistakes Faster via a Hidden Auto-Regressive Risk Regime

この論文は、言語モデルがスケールアップするにつれて、低確率なトークンのエラーが自信に満ちた雪だるま式の幻覚を誘発し、それがモデル自身の不確実性シグナルが検知できる期間よりも長く持続するという、自己増殖的な「自己回帰的リスク・レジーム」へとますます進入していくことを明らかにしている。これにより、大規模なモデルは汎用的な能力を獲得する一方で、ミスをより速く累積させてしまうことになる。

原著者： Kushal Chakrabarti

公開日 2026-07-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kushal Chakrabarti

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

偉大なるAIのパラドックス：なぜ「大きいこと」が必ずしも「良いこと」ではないのか

ロボットに物語の作り方を教えているところを想像してみてください。人工知能の世界には、「より多くの脳力、より多くの本、より多くの学習時間を与えれば、最終的にロボットは完璧になる」という長年の信念があります。この考え方は「スケーリング（規模拡大）」と呼ばれます。モデルが大きければ大きいほど、より賢くなるという考えです。しかし、そこには落とし穴があります。これらのロボットが長い物語を書くとき、彼らは単に向上するだけでなく、物語が進むにつれて真実を維持することに「下手」になってしまうことがあるのです。最初は完璧な事実から始まっても、うっかり嘘をついてしまうことがあります。そして、その嘘に対してあまりにも自信満々であるために、その嘘の上に物語を積み上げてしまい、ナンセンスの雪だるまを作り上げてしまうのです。

なぜこのようなことが起こるのかを理解するには、これらのロボットがどのように「考えているか」を見る必要があります。彼らは私たちのように事実を知っているわけではありません。彼らは以前に見たパターンに基づいて、文章の次の単語を予測しているのです。科学者たちは、ロボットが間違いを犯すとき、それは必ずしも答えを「知らない」からではないことを発見しました。時には、答えを知っているにもかかわらず、間違った推測をしてしまうことがあるのです。一度間違った推測をしてしまうと、それを次の文章のための事実として扱います。これは「自己回帰（オートレグレッション）」と呼ばれます。つまり、ロボットは自分自身の出力を自分自身にフィードバックしているのです。研究者たちが問いかけている大きな疑問は、「なぜモデルが大きくなるほど、この間違いの発生が悪化するのか？」「なぜロボットは自分が嘘をついていることに気づけないのか？」ということです。

研究の大きな発見：見えない雪だるま

クシャル・チャクラバルティ（Kushal Chakrabarti）によって書かれたこの論文は、AIの信頼性に関する私たちの考え方を覆します。主な発見は、直感に反するものです。**「AIモデルが大きくなればなるほど、単に賢くなるだけでなく、間違いが連鎖して加速するスピードも速くなる」**ということです。

AIモデルを、長い多部構成のテストを受けている学生だと考えてみてください。

旧来の考え方： 「知識のギャップ」理論では、もし学生が問題を間違えたら、それは勉強不足が原因であると考えます。解決策は？もっと大きな図書館（データ）と、もっと大きな脳（パラメータ）を与えることです。
新しい発見： この論文は、非常に賢い学生（大きなモデル）にとって、問題は事実を知らないことではないと主張しています。問題は、一度小さな、自信に満ちた誤った推測をしてしまうと、彼らが「リスク・レジーム（危険な状態）」に陥ってしまうことです。彼らはその誤った推測に固執し、あまりにも自信があるために、自分が間違っていることに気づきません。そして、その誤った推測を使って次の問題に答えようとし、それがまた次の誤った推測を招く……という具合です。学生が賢ければ賢いほど、この嘘の雪だるまはより速く成長します。

感じることのできない「リスク」

これを説明するために、著者らは巧みな数学的手法を用いて、AIの「不確実性」を2つの部分に分割しています。

感じられる不確実性（Felt Uncertainty）： これはAIがどれほど不安を感じているかです。推測しているときは落ち着きがなく、確信を持っているときは穏やかです。
コミットメント・リスク（Commitment Risk）： これは隠れた危険です。AIが「正しい」と思っていることと、「超知能的なオラクル（完璧な参照モデル）」が正しいと知っていることとの間のギャップです。

ここが恐ろしい点です。AIは自分自身の「不安」しか感じることができません。 「コミットメント・リスク」を感じることはできないのです。

あなたが橋の上を歩いているところを想像してください。

感じられる不確実性は、あなたの膝がどれほど震えているかです。
コミットメント・リスクは、実際の橋が地面からどれほど離れているかです。

AIが間違い（捏造）を犯すと、その「膝（感じられる不確実性）」の震えは、ほぼ即座に止まります。AIは再び穏やかで自信に満ちた状態になります。しかし、橋はまだ地面から遠いままなのです！「コミットメント・リスク」は高いままです。AIは穏やかだと感じているため、自分がまだ危険な状態にあることに気づきません。そして、自信を持って歩き続け、そのまま崖から転落していくのです。これが嘘の連鎖を生み出します。

「雪だるま」効果

この論文は、これが単発のミスではないことを示しています。一度AIが嘘をつき始めると、次の文章で再び嘘をつく確率が 1.08倍から1.71倍 高まります。

小さなモデル： 間違いを犯しますが、それらを完璧に連鎖させることは必ずしもありません。
大きなモデル： 次の単語を予測するのが非常に上手いため、一度間違った道を選んでしまうと、強烈な自信を持ってそこにロックオンしてしまいます。彼らは単に一つの間違いをするのではなく、間違いの「連鎖」を作るのです。

著者らは、モデルがスケールアップ（大型化）するにつれて、「知識のギャップ（彼らが知らないこと）」は約 6倍小さくなる一方で、「知識の劣化（嘘をつき始めた後に崩壊する速さ）」は 11倍から39倍 も悪化することを発見しました。言い換えれば、大きなモデルは物語を正しく始めることは得意ですが、ナンセンスを作り出すことなく物語を完結させることは非常に苦手なのです。

なぜAIは自分自身をチェックできないのか？

「なぜAIは自分の仕事をチェックしないのか？」とあなたは思うかもしれません。論文はこの盲点を明らかにしています。AIの嘘を検出しようとする現在のツールの多くは、AIがどれほど「不安」を感じているか（感じられる不確実性）を見ています。

問題点： AIが嘘をつき始めると、一瞬だけ不安を感じますが、その後すぐにリラックスします。検出ツールはそのリラックスを見て、「ああ、落ち着いているから、これは真実を言っているに違いない！」と判断してしまうのです。
現実： AIは穏やかですが、依然として「危険地帯（高いリスク）」にいます。ツールは、不確実性ではなく隠れたリスクを見ているため、嘘を見逃してしまいます。論文によれば、これらの検出器は、捏造がほぼ 4倍も多く含まれるリスクの高い分岐において、通常よりも 30% も作動しにくくなっています。

「魔法の解決策」（とその証明）

この「隠れたリスク」こそが真の悪役であることを証明するために、著者らはシミュレーションを行いました。彼らは間違いを犯そうとしているモデルを取り上げ、それが何を正しいと考えているかを変えることなく、人工的に「リスク」を低減させました。

結果： この隠れたリスクを取り除いたところ、さまざまなタイプのモデルにおいて、嘘の数が 35%から74% 減少しました。
これが意味すること： これは、問題がAIが事実を「知らない」ことにあるのではないことを証明しています。問題は、AIが「自信はあるが間違っている」という状態に陥り、その状態がエラーを蓄積させてしまうことにあるのです。

まとめ

この論文は、単にAIモデルを大きくするだけでは、嘘をつく問題を解決できないことを示唆しています。実際、大きなモデルは自信を抱くのが早すぎるため、むしろこれらの「雪だるま式」の嘘に対してより脆弱になる可能性があります。解決策は、単にデータを増やすことではなく、AIが嘘にロックオンしてしまう前に、その隠れた「コミットメント・リスク」を検知する方法を見つけることです。橋が地面からどれほど離れているかが見えるようになるまで、たとえ最高に賢いAIであっても、自信満々に崖から踏み外してしまうかもしれないのです。

技術要約：信頼性は反比例する

問題提起

大規模言語モデル（LLM）におけるハルシネーション（幻覚）に関する支配的な見解は、それを「知識の欠落」——すなわち、スケーリングや検索、あるいは追加データによって埋めることのできる情報の不足——として扱うものである。本論文はこの説明に異を唱え、スケーリングが初期知識（「知識のギャップ」）を改善する一方で、明確な失敗モードである**自己回帰的リスク（auto-regressive risk）**を増幅させることで、信頼性を損なうと主張している。

核心となる問題は、モデルがスケールアップするにつれ、単に正確になるだけでなく、より特定の種類の累積的なエラーに対して脆弱になるという点である。モデルが低確率で根拠のないトークン（捏造）を生成して確定させると、その後の生成がそのエラーに条件付けられてしまう。このプロセスにより、一時的なサンプリングの分散が持続的なバイアスへと変換される。極めて重要な点は、この失敗モードが、外部のオラクル（真理）ではなくモデル自身の内部確率分布（ $p_M$ ）に依存するモデル自身の自己監視メカニズムからは、構造的に不可視であるということである。

メソドロジー

著者らは、モデルの分布（ $p_M$ ）と、より強力な同系統のオラクル（ $p_O$ ）との間の対数尤度比として定義される不一致変数（ $\delta$ ）に基づく理論的枠組みを導入する：
$\delta_t(x) = \log p_M(x | y_{<t}) - \log p_O(x | y_{<t})$

この変数の二次モーメント $E[\delta^2]$ は、以下の2つの異なる成分に分解される：

バイアス（Bias）: 二乗平均、 $KL(p_M \| p_O)^2$ 。これはモデルとオラクルの間の系統的な隔たりを表す。
リスク（Risk）: 分散 $Var[\delta]$ 。これは、オラクルがモデルの検討対象をどのように重み付けしているかの広がりを表す。

本論文では、複数のモデルファミリー（Qwen3, OLMo-3, Llama-3）およびスケール（0.6Bから32B）にわたる3つの主要な実験的アプローチを用いている：

スケーリング分析: 「知識のギャップ」（初期のハルシネーション率）と「知識の劣化」（レスポンスの長さに伴うハルシネーション増加率）を、FActScoreおよびLongFact++ベンチマークを用いて測定する。
発生ダイナミクス: 捏造が発生した直後の $\delta$ 、そのモーメント、およびモデルが感じる不確実性（ $H(p_M)$ ）の時系列的挙動を分析する。
因果的介入（イン・シリコ・ノックアウト）: 「リスク収縮（risk contraction）」メカニズムの実装。モデルがオラクルから逸脱したステップにおいて、平均（KLダイバージェンス）を厳密に維持したまま、 $\delta$ の分散を減少させるように次トークンの分布を修正する。これにより、リスクをバイアスから分離し、その因果的効果を孤立させる。

主な貢献

1. エラーの分解

本論文は、ハルシネーションが単なる知識のギャップ（バイアス）による関数ではないことを確立している。著者らは、リスク（ $Var[\delta]$ ）を、支配的かつ明確に異なるエラー項として特定した。スケーリングはバイアスを減少させる（モデルは平均的にオラクルに近づく）一方で、リスク（不一致の広がり）を減少させることはできず、モデルが大きくなるにつれて、全エラーに占めるリスクの割合はむしろ増大する。

2. 持続性の非対称性

捏造の後に、「感じられる不確実性」と「オラクル参照のリスク」の間には乖離があるという決定的な知見が得られた：

感じられる不確実性 ( $H(p_M)$ ): モデルの内部的な不確実性の感覚は、捏造の瞬間に急上昇するが、流暢な生成が進むにつれて急速に緩和する（約0.3トークン以内）。
オラクル参照のリスク ( $Var[\delta]$ ): 確定されたエラーに関連するリスクは、著しく長く持続する（3.5〜5.0トークン）。
これにより、モデルは確信を持っているが統計的には真理から逸脱しているという、「自信に満ちているが不安定な（confident-but-precarious）」領域が生じる。自己監視デテクターは $H(p_M)$ のみを読み取るため、この状態を検知できない。

3. 自己回帰的変換と雪だるま式増幅

自己回帰が、この持続的なリスクを固定的なバイアスへと変換する機械として機能することを本論文は示している。モデルが根拠のないトークンをサンプリングすると、リスクは、それ以降のすべてのトークンに引き継がれる固定されたギャップへと崩壊する。これは**エラーの累積（error compounding）**を引き起こす。後続の捏造の相対的なリスクはスケールとともに単調に増加しており（1.08倍から1.71倍へ）、つまり、より大きなモデルほど、ハルシネーションを連鎖させる可能性が高い。

4. 自己監視の構造的盲目性

モデルの分布（ $p_M$ ）のみに基づくデテクター（Semantic EntropyやSelfCheckGPTなど）は、このリスク領域に対して構造的に盲目である。本論文は、これらのデテクターが、捏造の発生（onset）トークンよりも、実際には約4倍多くのハルシネーションを運んでいる「ブリッジ（橋渡し）」トークンの領域において、検知率が著しく低い（約30%低い）ことを示している。モデルの内部的な不確実性がすでに緩和しているため、デテクターは「不安定な」分岐を見逃してしまうのである。

主な結果

信頼性の逆スケーリング: モデルファミリー全体を通じて、スケーリングは初期の知識ギャップを 5.7〜7.0倍 減少させるが、知識の劣化（エラー蓄積の速度）を 11〜39倍 増大させる。能力（Capability）と信頼性（Reliability）は、異なるスケーリング軸であることが示された。
リスクの支配: モデルのスケールが大きくなるにつれ、エラーのうちリスク（分散）に起因する割合は、全二乗誤差の 31%から49% へと増加する。また、不一致分布の裾は重くなり（過剰尖度は8.9から33.0へ上昇）、テールが鋭くなっている。
リスク収縮によるハルシネーションの因果的削減: リスク収縮介入（バイアスを一定に保ちつつ分散を減少させる手法）を適用することで、3つのモデルファミリーにおいて、ウェブ検証済みのハルシネーションを 35〜74% 因果的に削減できた。これは、累積する量が知識ではなく、分散であることを裏付けている。
デテクターの失敗: セマンティック・エントロピー・デテクターは、発生（onset）時と比較して、ブリッジ領域（捏造間の状態）に対して有意に感度が低いことが示された（統計的有意性 $p < 10^{-16}$ ）。

意義と主張

本論文は、LLMのハルシネーションの理解を、静的な知識不足から、動的で自己増殖的なリスク領域へと再定義することを主張している。その主な意義は以下の通りである：

メカニズム的因果関係: モデルとオラクルの間の分散（リスク）を収縮させることが（平均を変えることなく）直接的にハルシネーションを減少させるという、最初のオンポリシーかつ因果的な証拠を提供し、「リスク」こそが累積的エラーの駆動要因であることを証明した。
スケーリングの限界: 単にモデルをスケールさせるだけでは信頼性は解決されないことを示し、むしろ、リスクの裾が鋭くなることで、より大きなモデルの方が特定の種類の累積的エラーに対して脆弱になる可能性があることを示した。
盲点: 現在の自己監視技術は、ハルシネーションを駆動するメカニズムそのものであるリスク項（ $Var[\delta]$ ）を「見ることができない」という根本的な限界があることを浮き彫りにした。

著者らは、信頼性は別のスケーリング軸であり、単に平均的な知識を改善したり、自己報告された不確実性に頼ったりするのではなく、モデルのコミットメントの分散を標的とした新しい介入が必要であると結論づけている。支配的な失敗モードは「モデル自身にとって不可視」であり、効果的な緩和のためには外部またはホワイトボックスの信号が必要である。