🤖 machine learning

NoisyCoconut: Counterfactual Consensus via Latent Space Reasoning

NoisyCoconut は、潜在軌道に制御されたノイズを注入して多様な推論経路を生成し、それらの合意を利用して選択的棄却を可能にすることで推論タスクにおける誤り率を大幅に低減し、大規模言語モデルの信頼性を高める、再学習不要の推論時手法である。

原著者： Michael Jerge, David Evans

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Michael Jerge, David Evans

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、時として過信しやすいロボットアシスタントがいると想像してください。難しい数学の問題を尋ねると、通常はすぐに答えを返します。しかし、時には単に推測しているだけで、それに気づいていないこともあります。これを「ハルシネーション（幻覚）」と呼び、答えが 100% 正確である必要がある場合、これは危険です。

この論文は、NoisyCoconutと呼ばれる新しい手法を紹介しています。これは、ロボットを再訓練したり新しいことを教えたりすることなく、より信頼性のあるものにする方法です。これは、ロボットの「口」ではなく、その「脳」の中で行われる「第二の意見」システムだと考えてください。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 問題：ロボットの「自信」は嘘である

通常、ロボットが質問に答えるとき、次に言う最も確からしい単語を選びます。しかし、選ぶ「単語」に対して自信を持っているからといって、「論理」が正しいわけではありません。それは、非常に滑らかで自信に満ちた口調で話すものの、実際にはでっち上げの話をしている人のようなものです。この論文では、ロボットが実際に不確実であるときを知る方法が必要だと述べています。

2. 解決策：「もしも？」ゲーム

ロボットに一度だけ答えさせるのではなく、NoisyCoconut は、ひねりを加えた上で、同じ質問を5 回答えるように求めます。

ひねり（ノイズ注入）： ロボットが 5 回の試行のそれぞれで思考を始める前に、研究者はその内部の「脳」（隠れ状態）に、小さく制御された揺れを与えます。パズルを解こうとしていると想像してください。テーブルをわずかに揺らせば、手が少しだけ異なって動き、パズルへのアプローチもわずかに変わるかもしれません。
結果： これらの小さな揺れにより、ロボットは 5 つのわずかに異なる「思考経路」を生成します。これは、同じ人物の 5 つの異なるバージョンにパズルを解かせ、それぞれがわずかに異なる視点を持っているようなものです。

3. 魔法：合意を探す

さて、研究者はロボットが与えた 5 つの答えを確認します。

シナリオ A（全会一致）： ロボットの 5 つのバージョンがすべて全く同じ答えを導き出します。
- 比喩： 5 人の異なる専門家に対して数学の問題を解かせ、それぞれが自分の用紙に「42」と書き込んだと想像してください。その場合、「42」が正しいと非常に確信できます。
シナリオ B（不一致）： 3 人が「42」と答え、1 人が「43」と答え、もう 1 人が「100」と答えます。
- 比喩： 専門家たちが議論しています。これは、ロボットが混乱しているか、現時点では問題が難しすぎることを示しています。

4. セーフティネット：「棄権」

ここが最も重要な部分です。NoisyCoconut には次のルールがあります：5 つのバージョンが合意しない場合、ロボットは沈黙します。

間違った答えを出す代わりに、「わかりません」と言います。
この論文によると、ロボットが 5 つのバージョンがすべて合意したために発言する場合は、数学の問題において95% の確率で正解します。
この手法を使わなければ、ロボットは 60〜70% の確率で正解するかもしれませんが、間違った推測を含む「すべて」の質問に答えてしまいます。

5. これが特別である理由

再訓練不要： ロボットに新しいことを教える必要はありません。作業中に一時的に思考の仕方を変えるだけです。
内部対外部： 他の多くの手法は、ロボットに自分自身と対話させたり、どの文が最善かを見るために多くの異なる文を生成させたりします。NoisyCoconut は、ロボットが話し始める前に、内部の脳状態を揺らします。壁を塗る前に建物の基礎を確認するようなものです。
トレードオフ： ロボットは不確実な場合に沈黙するため、回答する質問の数は減ります（カバレッジの低下）。しかし、回答する質問の精度は格段に高まります。

まとめ

NoisyCoconut は、ロボットの脳のための品質管理検査員のようなものです。これは、ロボットに同じ問題を 5 つのわずかに異なる「レンズ」を通して処理させるように強制します。もし 5 つのレンズがすべて同じ画像を示せば、ロボットは自信を持って答えを提示します。もし画像がぼやけていたり異なっていたりすれば、ロボットは不確実であることを認め、推測することを拒みます。これにより、ロボットは回答する質問の数は減りますが、重要な状況で使用してもはるかに安全になります。

技術概要：NoisyCoconut 潜在空間推論による反事実的合意

問題定義

大規模言語モデル（LLM）は高リスク環境での展開が増加しているが、不確実性を示す内在的なメカニズムを欠いており、自信満々だが誤った出力（ハルシネーション）を生成することが多い。選択的予測（不確実な場合に回答を控えることを可能にする手法）は分類タスクの信頼性向上において確立された戦略であるが、生成型 LLM への適用は困難である。トークンレベルの確率は、事実の正確性ではなく言語的な不確実性を反映することが多く、既存の推論時手法（トークンサンプリングによる自己一貫性など）は、表面レベルのトークン分布に存在する多様性に限定される。さらに、連続的な隠れ状態に直接作用する潜在空間推論手法は、通常、専門的なトレーニングを必要とし、組み込みの信頼度推定メカニズムを欠いている。

手法

本論文は、連続的な潜在空間における内部表現を操作することで LLM の信頼性を向上させる、トレーニング不要の推論時手法「NoisyCoconut」を導入する。最後の隠れ状態を次の入力埋め込みとしてフィードバックすることで推論を可能にする「Continuous Chain-of-Thought (Coconut)」フレームワーク（Hao et al., 2025）を基盤としつつ、NoisyCoconut は潜在空間での推論をモデルに学習させるのではなく、信頼度評価に焦点を当てる点で異なる。

中核的なメカニズムは、事前学習済みモデルの潜在軌道への「制御されたノイズ注入」である：

ノイズ注入: 与えられた入力クエリに対して、順伝播中に隠れ状態に独立したガウスノイズ（ $\eta_t$ ）を注入することで、複数の推論パス（ $K$ ）を生成する。ノイズスケール $\sigma_t$ は時間ステップに対して指数関数的に減衰し、意味のある分岐を保ちつつ一貫性を維持するために、隠れ状態のノルムに基づいて適応的にスケーリングされる。
パス探索: この摂動は、連続的な表現空間内で代替的な推論軌道への分岐を誘発し、中間トークンを生成することなく、解空間の異なる領域を実質的に探索する。
集約と棄却: $K$ 個のパスの出力を集約する。システムは多数決戦略を用いて合意出力を決定する。重要なのは、パス間の合意が特定の閾値（例：5/5 の全会一致を要求）を下回る場合、システムは「棄却」（ $\perp$ と表記）できる点である。
信頼度シグナル: ノイズ摂動されたパス間の合意度は、予測の信頼度の代理指標として機能する。高い合意は、モデルが摂動に対して頑健な解が存在する安定した「アトラクタ盆地」にあることを示し、低い合意は表現の不安定性と高い不確実性を示唆する。

主要な貢献

著者は以下の 4 つの主要な貢献をなしている：

NoisyCoconut フレームワーク: 連続的な潜在空間における制御されたノイズ注入を通じて多様な推論パスを生成し、隠れ状態上で直接合意ベースの信頼度推定を可能にする、新規かつトレーニング不要の推論時手法。
パス合意の検証: パス合意が予測信頼度の信頼できる代理指標を提供し、効果的なカバレッジと精度のトレードオフを可能にするという実証的証明。
ノイズと精度の関係性の特性評価: ノイズスケールが増加するにつれてモデル精度に一貫したシグモイド型の劣化パターンが見られることを示す分析。これにより、ノイズ注入が異なるアーキテクチャ全体で予測可能かつ利用可能な効果を生み出すことが確認された。
ベンチマーク性能: NoisyCoconut が、トレーニングデータへのアクセスやパラメータ変更を必要とせず、3 つの推論ベンチマーク（GSM8K、GSM-Symbolic、MMLU）および 5 つの異なる言語モデル（Qwen、Llama、Mixtral、DeepSeek の変種を含む）において、顕著なカバレッジと精度のトレードオフを達成するという証拠。

結果

5 つの言語モデルと 3 つのベンチマークで行われた実験により、以下の知見が得られた：

誤り率の低減: ノイズ摂動されたパス間での全会一致（5/5）により、40〜70% のベースライン誤り率が 15% 未満に低下する。
棄却による高精度: 低信頼度の予測（パス合意が低い場合）を選択的に棄却することで、モデルは数学的推論タスク（例：GSM8K）において95% 以上の精度を達成する。例えば、DeepSeek-R1-Distill-Qwen-7B モデルは、全会一致閾値においてベースラインの 62.0% から 95.2% に向上したが、その代償としてカバレッジは 31.4% に減少した。
均等化効果: ベースラインモデルが弱いほど、高合意フィルタリング下での絶対的な精度向上幅が大きくなる。これは、NoisyCoconut が、高い信頼性を示す質問のサブセットにおいて、弱いモデルがより強力な対照モデルの信頼性に近づくのを助け得ることを示唆している。
ノイズ感応性: 系統的評価により、ノイズスケールが増加するにつれて精度が一貫したシグモイド減衰を示すことが明らかになった。すべてのモデルで $R^2 \ge 0.94$ の適合が見られ、モデルの挙動が頑健な推論からほぼランダムな性能へと遷移する相転移を示している。

意義と主張

本論文は、NoisyCoconut が再トレーニングや微調整の計算コストなしに LLM の信頼性を向上させる実用的な道筋を提供すると主張している。合意ベースの信頼度推定を潜在空間に拡張することで、この手法は連続的な表現空間を活用し、トークンレベルの分布には見えない不確実性を明らかにする。

著者は、パス合意と正解性の間の相関が、LLM における不確実性が潜在空間に可視化されていることを示唆すると仮定している。ノイズ摂動が分岐したパスをもたらす場合、モデルは表現の不安定な領域で動作している可能性が高い。逆に、同じ答えへの収束は、摂動に対して頑健な安定した解を示している。このアプローチは、精度と監査可能性が重要な規制されたセクターにおける LLM の展開を可能にし、高信頼度の精度のためにカバレッジを犠牲にするメカニズムを提供する。

本論文は、内部モデル状態へのアクセスが必要であること（オープンウェイトモデルへの適用を制限する）、現在、離散的または明確に定義された答えを持つタスクに焦点を当てていること、および複数のパスを生成する計算オーバーヘッドを含む限界を認めている。しかし、これらを適応的ノイズスケーリング、オープンエンド生成のための意味的集約、コスト削減のための推測的デコーディングとの統合に関する将来の作業の機会として位置づけている。