🤖 AI

Neural Diversity Regularizes Hallucinations in Language Models

本論文は、言語モデルにおける第3のスケーリング軸として「ニューラル多様性（neural diversity）」を導入し、非相関な並列表現とBarlow Twins正則化を通じてハルシネーションを最大25.6%削減するND-LoRA手法を提案するとともに、低いニューラル相関がより高い信頼性に結びつくことを示す形式的な境界を確立している。

原著者： Kushal Chakrabarti, Nirmal Balachundhar

公開日 2026-08-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kushal Chakrabarti, Nirmal Balachundhar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

難しい謎解きに挑む際、一人に聞くのではなく、チーム全員に聞く場面を想像してみてください。もしチーム全員が全く同じように考えたら、全員で同じ初歩的なミスを犯し、一緒に間違った答えを出してしまうかもしれません。これが、現代の「言語モデル」——物語を書いたり、質問に答えたり、私たちとチャットしたりする超スマートなコンピュータプログラム——が抱える核心的な問題です。これらのプログラムはより大きく、より賢くなってきていますが、それでも時として作り話をすることがあり、これは「ハルシネーション（幻覚）」と呼ばれる不具合です。彼らは自信満々に架空の事実を述べたり、一度も起こらなかった物語を捏造したりすることがあります。

これを修正するために、科学者たちは通常、モデルを大きくしたり、より多くのデータを読み込ませたりしようとします。これは、パズルを解くために、より大きな箱を買おうとするようなものです。しかし、この論文は異なるアプローチを提案しています。それは、チームを大きくするのではなく、チームのメンバーを「多様」にすることです。著者らは、金融の世界から「分散投資」というアイデアを借りています。投資家が全財産を一銘柄に集中させないのは、その銘柄がダメになった時にすべてを失ってしまうからです。だからこそ、多くの異なる銘柄に資金を分散させます。もし一つの銘柄が暴落しても、他の銘柄が安定していれば、ポートフォリオの安全を守ることができます。論文は問いかけます。「私たちはコンピュータの脳でも同じことができるだろうか？」もしモデルの内部構造が、少しずつ異なる、相関のない方法で考えるよう強制できれば、彼らが同時に同じ間違いを犯すことを防げるのではないだろうか？

これこそが、研究者たちがテストしようとしたことです。彼らは、コンピュータの脳に対する「多様性コーチ」のような役割を果たす、Neural Diversity（ニューラル・ダイバーシティ）という新しい手法を提案しています。モデルの内部経路がすべて同じ考え方に収束してしまうのではなく、それらの経路が明確に区別され、独立した状態を保つよう強制するのです。彼らは、これを実現するためにND-LoRAというツールを構築しました。これは、一つのコンピュータモデルに、一度に4つの異なる「帽子」を被らせるようなものだと考えてください。それぞれの帽子は、同じ文章を処理するための、わずかに異なる方法を表しています。モデルはその後、これら4つの帽子の答えを組み合わせます。

結果は非常に有望です。この「4つの帽子」のアプローチを用い、帽子同士が似通いすぎないようにする特別な数学的トリックを使うことで、特定のテストにおいて、作り話の数を最大25.6%削減し、平均で14.6%の改善を実現したことがわかりました。これは、コンピュータモデルを大きくしたり、より多くのデータで学習させたりすることなく達成されました。実際、コストとしてかかったのは、ごくわずかな計算能力の増加（学習時間は約0.008%増、実行速度はわずか1.1倍）だけでした。

しかし、論文はまた、あるひねりを発見しました。それは、多様性が多ければ多いほど良いというわけではない、ということです。それは合唱団のようなものです。もし全員が異なる音を歌えば、それはノイズになります。もし全員が全く同じ音を歌えば、それは退屈で、ミスを犯しやすくなります。エラーを見つけるために十分に異なりつつ、真実に対しては一致できるような「スイートスポット（最適解）」が存在します。研究者たちは、このスイートスポットはコンピュータが行う作業内容によって変化することを発見しました。クリエイティブな物語作りや事実確認を行うタスクでは、より多くの「異なる」声（具体的には4つから8つの並列ストリーム）を持つことが最も効果的でした。しかし、特定の名前を思い出すような単純な記憶タスクにおいては、たった一つの声を持つことが実は最も信頼できました。

著者らは、自分たちの数学がこれが「機能すべき」ことを証明しており、小規模なモデルを用いた実験がそれが「実際に機能する」ことを示しているものの、これは特定の種類のエラーに対する特定の解決策であると慎重に述べています。彼らは、ハルシネーションはモデルの内部パーツが誤ったアイデアのループに陥っていることで起こるものであり、単なる知識不足によるものではないと考えています。多様性によってそのループを断ち切ることで、巨大で高価なスーパーコンピュータを必要とせずに、モデルの信頼性を高めることができます。これは、AIを嘘つきにさせないための、巧妙で低コストな方法であり、時には、一度に少し異なる質問を投げかけることが、より良い答えを得るための最善の方法であることを証明しています。

技術要約：ニューラル多様性が言語モデルのハルシネーションを抑制する

問題提起

パラメータ、計算量、およびデータのスケールアップにもかかわらず、言語モデル（LM）は依然として持続的なハルシネーション（幻覚）の問題に直面しています。この信頼性の危機は、エッジやエージェント型アプリケーションで好まれる一方で、圧縮された表現ゆえに事実に基づかない、あるいは一貫性のない内容を生成しやすい小規模言語モデル（SLM）において特に深刻です。

現在の緩和戦略は、主に平均的な性能（一次モーメントの改善）の最適化に焦点を当てており、テールリスク（極端な失敗の発生確率）の制御には至っていません。RLHF（人間からのフィードバックによる強化学習）、RAG（検索拡張生成）、対照的デコーディングなどの手法は、平均的な無害性や事実への接地性を向上させることを目的としています。しかし、これらの手法は、破滅的な失敗（ハルシネーション）の確率に関する形式的な保証を欠いています。さらに、既存の並列スケーリング手法は、並列ストリームが類似した表現へと収束してしまう「表現崩壊」に陥ることが多く、信頼性の向上を実現できていません。本論文は、ハルシネーションは知識の欠如ではなく、相関した表現エラーから生じるものであり、ポートフォリオ理論的な多様化によって対処可能な「二次モーメント（分散・相関）」の問題であると断じています。

手法

理論的枠組み：ハルシネーションのためのポートフォリオ理論

著者らは、ハルシネーションの確率を、表現の共分散によって支配される二次モーメントの信頼性問題として再定義しました。マルコウィッツのポートフォリオ理論（1952年）に基づき、非相関な並列表現（「ニューラル多様性」）がハルシネーション確率のテール境界を減少させると提案しています。

信号・ノイズモデル: モデルは、同一の入力を処理する $P$ 個の並列計算ストリームを想定しています。各ストリームは、隠れ表現 $Z_i = z^* + \epsilon_i$ を生成します。ここで $\epsilon_i$ はノイズです。
ニューラル多様性指数 ( $D$ ): コサイン類似度に基づく指数で、ストリーム間の多様性を測定します。 $D=0$ は完全な直交性を、 $D=1$ は完全な崩壊を意味します。
理論的境界:
- 定理1: ハルシネーション確率 $P(H_\delta)$ が、ニューラル多様性 $D$ とストリーム数 $P$ の関数によって制限されることを証明しています。具体的には、完全な非相関状態において、 $P(H_\delta)$ は $O(1/P)$ にスケールします。
- 定理2: 非単調なスケーリング挙動を実証しています。ストリーム数 $P$ を増やすことは初期段階ではハルシネーションを減少させますが、過度な並列化は（オプティマイザの制約により）相関の増大を招き、信頼性を低下させます。これにより、特定のタスクに対して最適な $P^*$ が存在するU字型の曲線が生じます。

ND-LoRA: ニューラル多様性低ランク適応

この理論を実装するために、著者らは、並列LoRAアダプタと明示的な非相関正則化を組み合わせたパラメータ効率の高いアーキテクチャである ND-LoRA を導入しました。

アーキテクチャ: モデルは $P$ $P$ 個の並列ストリームを採用しています。各ストリームは以下を使用します：
- ストリーム固有のLoRAアダプタ: 表現を摂動させるために各レイヤーに適用されます。
- 学習可能なプレフィックス・トークン: 入力シーケンスの先頭に48個のトークンを付加します。
- マルチストリーム・アグリゲーター: アテンションの崩壊を防ぎつつ、動的な重みを用いてストリームの出力を結合する学習メカニブルメカニズム。
正則化: 学習目的関数には、指定されたデザインレイヤーにおけるペア間のストリームに対して適用される Barlow Twins 正則化 ( $L_{BT}$ ) が組み込まれています。これは、ホワイトニングされた特徴量の相互相関行列が単位行列に近づくように強制し、表現の冗長性を明示的に最小化します。
コスト効率: バックボーンは凍結されたままとなり、並列アダプタとアグリゲーターのみが訓練されます。これにより、継続的な事前学習コストは無視できる程度（+0.008%）であり、推論レイテンシの増加もわずか（1.1倍）です。

主な貢献

理論的連結: 本論文は、アンサンブルLMにおけるハルシネーション確率のテール境界に関する初の形式的なフレームワークを提供しています。ニューラル多様性がこれらの境界を減少させることを証明し、信頼性が変動する設定において、最適な並列レベル ( $P^*$ ) が存在することを確立しました。これは、設定内の信頼性の変動の94.3%を説明しています。
構成的実証 (ND-LoRA): 著者らは、一般的な能力を損なうことなく、小規模言語モデル（Qwen2.5-0.5B）においてハルシネーションを最大25.6%（平均14.6%）削減できることを示し、経験的な実現可能性を実証しました。これは、追加の計算コストをほぼゼロに抑えた上で達成されています。
メカニズム分析: アブレーション研究と因果介入を通じて、ニューラル多様性が媒介因子であることを確立しました。
- 因果関係: 多様性を人工的に破壊すると、統計的に有意な精度低下（ $p < 0.001$ ）を招きます。
- 相乗効果: LoRAアダプタとBarlow Twins正則化は相乗的に作用し、どちらか一方だけでは最大の利点を得ることはできません。
- タスク依存性: タスクごとに異なる最適な多様性レベルが必要です。ハルシネーションに焦点を当てたタスクは高い多様性の恩恵を受けますが、知識検索タスクなどはしばしば $P=1$ でピークに達します。

実験結果

評価は、The Pileの20Mトークンで学習された Qwen2.5-0.5B を用い、12のタスクにわたって実施されました。

ハルシネーションの削減: ND-LoRAは、パラメータ数が一致するベースラインと比較して、ハルシネーション・ベンチマークにおいて大幅な改善を達成しました：
- HaluEval (要約): +25.6% 相対的改善 ( $P^*=4$ )。
- HaluEval (QA): +23.4% 相対的改善 ( $P^*=4$ )。
- TruthfulQA (MC2): +9.5% 相対的改善 ( $P^*=2$ )。
- MemoTrap v2: +8.8% 相対的改善 ( $P^*=8$ )。
能力の維持: 一般的な能力（NQ, Winogrande, Wikitext BPBで測定）は維持または微増しており、「知識の税金（知識の損失）」が発生していないことを示しています。
ベースラインとの比較: ND-LoRAは、推論時の介入手法（Context-Aware Decoding, Activation Decoding）や学習時の不一致正則化を上回り、次点のメソッドと比較して平均+14.6%のハルシネーション削減を実現しました（次点は+4.1%）。
理論的適合性: ニューラル多様性と信頼性の間の経験的な関係は、 $R^2 = 0.943$ で理論的予測と一致しました。

意義と主張

本論文は、ハルシネーションを「一次モーメント（平均精度）」の問題ではなく、「二次モーメント（分散と相関）」の問題として捉え直すことで、LMの信頼性への取り組みにパラダイムシフトをもたらすと主張しています。

スケーリングとは独立: ニューラル多様性は、パラメータやデータの膨大なスケーリングを行うことなく、信頼性の向上を可能にします。これは容量ではなく、分散と相関構造を通じてテール確率を制御します。
コスト効率: この手法は、事前学習のオーバーヘッドをほぼゼロに抑えつつ、推論レイテンシのペナルティもわずか1.1倍という、実用的な信頼性の向上を実現しており、レイテンシ許容度の高い安全重視のデプロイに適しています。
タスク固有の最適性: 本研究は、信頼性が単一の性質ではないことを強調しています。異なるタスクには異なる程度のニューラル多様性が必要です。これは、「一律の」スケーリング法則から、タスク特性に基づいた原理的なアーキテクチャ設計への移行を示唆しています。

著者らは、今回の実証は小規模モデルによるものであるものの、その理論的枠組みと低いオーバーヘッドから、ニューラル多様性が高リスク領域における言語モデルの信頼性を向上させるための、スケーラブルで実用的なメカニズムであることを結論付けています。