💬 NLP

Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

本論文は、大規模言語モデルにおける事実の想起が、モデルのパラメータ数と訓練データにおけるトピックの頻度の複合的な効果によって駆動される予測可能なシグモイドスケーリング則に従うことを実証し、特定モデルファミリー内の性能変動の最大 94% を説明することを明らかにする。

原著者： Matthew L. Smith, Jonathan P. Shock, Samuel T. Segun, Iyiola E. Olatunji, Tegawendé F. Bissyandé

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Matthew L. Smith, Jonathan P. Shock, Samuel T. Segun, Iyiola E. Olatunji, Tegawendé F. Bissyandé

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットの中に巨大な図書館があることを想像してください。このロボットは人工知能（AI）であり、その仕事は、その図書館から事実を引き出して質問に答えることです。時にはロボットは正解しますが、他の時には、現実には存在しないのに実在するように聞こえる事実を捏造してしまいます。この論文の著者たちは、このような捏造された事実を「幻覚（confabulations）」と呼んでいます。

この論文が問いかけるのは、単純な疑問です：ロボットがより頻繁に真実を語るようになるのはなぜか？

研究者たちは 38 種類の異なる AI モデル（小規模なものから大規模なものまで）をテストし、24 の異なるトピックについて 10 件の実際の学術論文をリストアップするよう求めました。いくつかのトピックは非常に人気のあるもの（「気候変動」など）でしたが、他のトピックは非常にニッチなもの（「農村部の学校中退防止」など）でした。その後、ロボットがリストアップした論文が実際に存在するかどうかを確認しました。

以下に、彼らが発見したことを、日常的なアナロジーを用いて説明します。

1. 真実のための 2 つの要素

この論文は、正解を得るためには、レシピのように連携して働く 2 つの主要な要素に依存していることを発見しました。

脳のサイズ（モデルの規模）： AI がどれほど大きいかです。これは図書館の棚の大きさと考えてください。より大きな図書館は、本が潰れたり混ざったりすることなく、より多くの本を収容できます。
トピックの知名度（トピックの頻度）： AI が学習中に読んだ本の中で、その特定のトピックがどれほど頻繁に登場するかです。これは図書館にある特定の本の冊数と考えてください。あるトピックが数千冊の本で言及されている場合、AI はそれをよく知っています。しかし、わずかな冊数でしか言及されていない場合、AI は苦労するかもしれません。

2. 「信号対雑音」の戦い

著者たちは、これがどのように機能するかを説明するために、信号対雑音比（Signal-to-Noise Ratio） という概念を使用します。混雑して騒がしい部屋で、友人のささやきを聞き取ろうとしている状況を想像してください。

信号： これはトピックに関する「真実」です。トピックが学習データで非常に一般的である場合（「気候変動」など）、信号は大きく明確です。
雑音： これは AI の限られた記憶によって引き起こされる干渉です。AI が小さい場合、その「部屋」は他の事実で非常に混雑しており、多くのノイズ（静電雑音）が生じます。
結果： 真実を聞き取る（事実を想起する）ためには、信号（トピックの知名度）が、雑音（AI の記憶の小ささ）を打ち破るのに十分な大きさである必要があります。

3. 成功の「S 字カーブ」

最も興味深い発見は、その関係が直線ではないということです。それはS 字型のカーブ（シグモイド曲線）です。平坦な底、急峻な中央、そして平坦な頂上を持つ坂道を想像してください。

平坦な底（床）： AI が非常に小さいか、トピックが非常に不明瞭な場合、「雑音」があまりにも大きくなります。AI は真実を全く聞き取れません。推測する代わりに、それはテンプレートを作り始めます。「スミス（1990）が X について書いた」というように、「スミス」といった一般的な名前を繰り返し使用して、単にスペースを埋めようとするかもしれません。それは嘘をつこうとしているのではなく、単に実在するデータが不足しているのです。
急峻な中央（坂道）： AI が大きくなるか、トピックがより人気のあるものになると、信号が雑音を突き破り始めます。ここで AI は非常に急速に劇的に改善します。規模やデータ頻度のわずかな増加が、真実性の大きな飛躍につながります。
平坦な頂上（天井）： 最終的に、AI が非常に大きくなり、トピックが非常に一般的になると、限界に達します。そのトピックについて、すでに記憶できるほぼすべてを記憶している状態です。AI をさらに大きくしても、見つかる事実がないため、あまり役立ちません。

4. 「ロングテール」の問題

この論文は、大きな不平等を浮き彫りにしています。AI は人気のあるもの（カーブの「頭」）を記憶するのが得意ですが、稀なものを記憶するのは苦手です（「尾」）。

アナロジー： トップ 40 のヒット曲を繰り返し流すラジオ局を想像してください。あなたは常にヒット曲を明確に聞くことができます。しかし、1995 年に一度だけ流れた曲を聴こうとすると、雑音に埋もれてしまいます。
発見： テストされた最大の AI モデル（数兆のパラメータを持つ）でさえ、最も稀なトピックに苦労しました。AI に非常に稀な事実を、人気のある事実と同じくらいよく記憶させるためには、テストされた最大のモデルよりも30 倍も大きなAI が必要になります。これは巨大な飛躍です！

5. 未来への示唆（論文によると）

著者たちは、「幻覚（hallucinations）」（作り事）は偶然の間違いではないと結論付けています。それらは、無限の記憶に収まるように、巨大で偏った情報世界を無理やり押し込めようとした結果として予測可能なものです。

偶然ではない： トピックが稀で AI が小さい場合、間違いを犯すでしょう。
構造的である： AI は「嘘をついている」のではなく、その事実に関する信号が、限られた記憶の雑音に打ち勝つには弱すぎるだけなのです。
解決策： 稀なトピックについてこれを修正するには、AI を劇的に大きくする（これは高価です）か、論文が示唆するように、「検索拡張（retrieval augmentation）」のような異なる戦略を使用する必要があります（記憶に頼る代わりに、AI に検索エンジンを使って答えを探すようにさせる）。

要約： この論文は、AI の真実を語る能力は、その規模とトピックの知名度という、数学的に予測可能な組み合わせであることを証明しています。トピックが不明瞭で AI が小さい場合、何かを捏造すると予想されます。トピックが有名で AI が巨大な場合、おそらく正解するでしょう。

技術的サマリー：予測可能な虚構生成

問題定義
事実の想起エラー、すなわち虚構生成（コンファブリケーション）は、大規模言語モデル（LLM）における重要な失敗モードのままである。先行研究は、モデルの性能がモデルサイズ、データセットサイズ、計算リソースに関連するスケーリング則に従うことを確立してきたが、事実の想起の質をモデルサイズとトレーニングデータの構成（具体的にはトピックの頻度）の両方に結びつけた単一の枠組みは存在しない。既存の研究はモデル規模と知識の頻度を独立した駆動因子として扱っているが、これらを統合する予測的な関数形式は欠けている。

手法
著者らは、10 億から 1.6 兆パラメータにわたる 38 の LLM（密モデル、エキスパート混合モデル、クローズドソースモデルを含む）を、24 の学術トピックにわたって評価した。トピックは、OpenAlex の学術作品数（ $S$ ）で測定されるトレーニングデータ表現において 5 つのオーダーにわたる範囲をカバーするように選定された。

データ生成: 各モデルに対し、標準化されたプロンプトを用いて、トピックごとに 10 件の学術文献を生成するよう指示した。
検証パイプライン: 自動化システム「SourceVerify」が、生成された文献を OpenAlex、Google Scholar、DOI 登録簿に対して認証した。これは、分野レベルの一致（タイトル、著者、年、掲載誌、識別子）に基づいて連続的な真正性スコアを生成した。
品質指標: 最終的な想起の質は、真正性（SourceVerify によって検証）と関連性（自動化エージェントによって判定され、人間の評価者によって検証）の積として定義された。
統計分析: 著者らはシグモイド関数をデータに適合させ、モデルのパラメータ数（ $P$ ）とトピック表現頻度（ $S$ ）の対数線形結合の関数として質をモデル化した。

理論的枠組み
本研究は、「重ね合わせに着想を得た」信号対雑音比（SNR）モデルを提案する。

信号: 概念の表現の強さは、トレーニングデータにおけるその頻度（ $S$ ）に比例して増大する。
雑音: 干渉の床値はモデルの容量（ $P$ ）によって決定される。モデルが次元数以上の特徴を符号化する重ね合わせの理論の下では、概念の想起は他の重なり合う表現からの干渉を伴う。モデル容量が増加するにつれ、この干渉の床値は低下する。
シグモイド: 想起は、信号が雑音の床値を超えたときに発生する。著者らは、想起の質がこれらの因子の対数和のシグモイド関数に従うと仮定する：
$\text{quality} = \sigma(\alpha \log_{10} P + \beta \log_{10} S + \gamma)$
ここで、 $\sigma$ はロジスティック関数である。

主要な結果

シグモイド・スケーリング: 提案されたシグモイドモデルは、4 つの独立したファミリー（Llama、Gemma、Mistral、Qwen）に属する 16 の密モデルにわたってデータに適合し、 $R^2$ は 0.599 であった。個々のファミリー内で分析すると、適合は著しく向上した（ $R^2$ は 0.74 から 0.94 の範囲）。
独立した駆動因子: モデルサイズ（ $P$ ）とトピック頻度（ $S$ ）の両方が、想起の質に独立して寄与する。モデルサイズのみで分散の 42.1% を説明し、トピック頻度がさらに 17.8% を追加する。
3 つの領域: シグモイド曲線は、3 つの明確な運用領域を明らかにする。
- 床（Floor）: 小規模モデルまたは稀なトピックの場合、「テンプレート化された捏造」が生じる。モデルは特定の事実を想起するのではなく、高頻度の姓や汎用的なテンプレートを再利用する。
- 傾斜（Ramp）: 対数線形的な改善の領域であり、容量または頻度の増加が想起の比例的な向上をもたらす。
- 天井（Ceiling）: 容量が概念の在庫を超えると飽和が発生し、質は頭打ちになる。
引用勾配: 大規模モデルは、小規模モデルが高度に引用された（高頻度の）論文に制限されるのに対し、引用数の少ない文献（ロングテールの知識）を想起する。これは、大規模モデルが雑音の床値を十分に低下させて、より弱い信号を retrieval 可能にしているという仮説を支持する。
ファミリーのオフセット: モデルファミリー間には体系的なオフセットが存在する（例：Llama モデルは同パラメータ数において一般的に Gemma や Qwen よりも優れている）。これは、トレーニング手順やデータキュレーションがスケーリング勾配を変えずに切片（ $\gamma$ ）をシフトさせることを示唆している。

意義と主張
本論文は、モデル規模とトレーニングデータの構成の両方を組み込んだ、事実の想起に関する最初の統合的な予測スケーリング則を提供すると主張する。虚構生成をランダムなエラーではなく、非一様に分布した知識を有限の表現容量に圧縮することによる予測可能な帰結として再定義することで、著者らは信頼性を推定するための定量的枠組みを提供する。

著者らは、集計ベンチマークはしばしば体系的な格差を隠蔽していると強調する。モデルは高頻度のトピックでは良好に機能する一方で、ロングテールの概念では失敗する可能性がある。この枠組みは、低頻度のトピックに信頼性の高い想起を拡張するには、モデル容量の非比例な増加が必要となるが、想起閾値に近い概念についてはデータキュレーションやターゲットを絞った事前学習の方が効率的である可能性を示唆する。本研究は、非常に低頻度の概念については、パラメトリックな想起に代わる必須の代替手段として、検索拡張が依然として必要であると結論づけている。

限界
著者らは、いくつかの制約を指摘している。本研究は因果的ではなく観察的（相関的）であること、トレーニングデータの代理変数（ $S$ ）は間接的であること、分析は英語と学術文献に限定されていること、そして特定のスケーリングパラメータは常識や手続き的知識などの他の事実領域には一般化されない可能性があることである。