💬 NLP

DUD: Decoupled Update Dynamics for Reliable Uncertainty Quantification in Large Language Models

本論文は、因果的介入を通じてフィードフォワードネットワークとアテンション機構の個別の寄与を分離・分析することにより、従来の手法では捉えきれない内部的なメカニズムの衝突を捉え、大規模言語モデルにおける不確実性の定量化を向上させるフレームワークであるDUD（Decoupled Update Dynamics）を導入するものである。

原著者： Yixin Bu, Runze Xia, Guanyun Zou, Yupeng Ji, Haodong Liu, Piji Li

公開日 2026-08-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yixin Bu, Runze Xia, Guanyun Zou, Yupeng Ji, Haodong Liu, Piji Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに「真実を語ること」を教えようとしている場面を想像してみてください。あなたが質問を投げかけると、ロボットは完璧な文法で、非常に自信に満ちた声で答えます。しかし、それが本当に正しいのか、それともただの口のうまい嘘つきなのか、どうすればわかるのでしょうか？これは、人工知能の世界における「不確実性の定量化（Uncertainty Quantification）」という大きな謎です。現在、私たちは主に、ロボットの最終的な回答と、そのロボットが「どれほど自信を持っていると言っているか」を見て判断しています。それは、生徒を採点する際に、声のトーンだけで判断するようなものです。もし生徒が「100%の自信があります！」と叫べば、私たちはその生徒が答えを知っていると思い込んでしまいます。しかし、時にはロボットが信じられないほど自信満々なのに完全に間違っていたり、逆に、ためらっているのに実は正解だったりすることもあります。科学者たちは、ロボットが実際に考えているのか、それとも単に推測しているだけなのかを見抜くために、ロボットの脳の中を覗き見る方法を求めています。

この新しい発見を理解するには、これらの巨大なAIの脳（大規模言語モデルと呼ばれます）がどのように構築されているかを知る必要があります。これらは単なる一つの大きなコードの塊ではありません。小さな作業員たちの層によって構成されています。最も重要な二つの作業員は、「アテンション（Attention）」モジュールと「フィードフォワード・ネットワーク（FFN）」です。アテンションは、現在の会話の中で何が重要であるかをスキャンする「スポットライト」のような役割を果たし、FFNは、ロボットが学習中に暗記した事実の巨大な「図書室」のような役割を果たします。通常、これら二つの作業員が協力して答えを出します。大きな疑問は、ロボットが混乱したとき、彼らは一緒に混乱するのか、それとも互いに争い始めるのか、ということです。

この論文は、この謎を解明するための巧妙な新しい探偵ツールである「DUD（Decoupled Update Dynamics：分離された更新ダイナミクス）」を紹介しています。ロボットの最終的な答えを聞くだけではなく、研究者たちはロボットの脳の中で「間違い探し」をするという方法をとりました。彼らは、ロボットが間違いを犯そうとしているとき、二つの主要な作業員がしばしば密かに言い争いを始めていることを見つけました。「図書室（FFN）」は事実を引き出そうとしている一方で、「スポットライト（Attention）」は全く別の方向を指している、といった具合です。従来の手法は、チーム全体の声を聞こうとしたため、この争いの音が消されてしまっていました。しかし、DUDは各作業員に個別にヘッドフォンを装着し、ロボлоットが混乱したときに彼らがどのように反応するかを観察します。

研究者たちがどのようにこの探偵業務を行ったかを説明します。彼らはロボットを用意し、質問を投げかけますが、その前に、入力に対して少しだけ「静止ノイズ」を加えました。これは、耳元で秘密を囁いて少し混乱させるようなものです。これにより、ロボットの自信を低下させました。次に、「パッチング（継ぎはぎ）」というゲームを行いました。混乱した状態のロボットに対し、層ごとに、図書室の部分だけをクリーンで混乱していないバージョンと入れ替え、スポットライトは混乱したままの状態にします。そして、その逆を行います。スポットライトを修正しますが、図書室は混乱したままにします。ロボットの自信がそれぞれのシナリオでどのように回復したかを観察することで、脳のどの部分が失敗しているのかを正確に測定することができました。

結果は非常に興味深いものでした。不確実性とは、単なる「わからない」という一般的な感覚ではありません。それは特定の種類の機械的な崩壊なのです。ロボットがハルシネーション（もっともらしい嘘をつくこと）を起こしそうになると、図書室とスポットライトが意見の一致を見せなくなることがよくあります。あるケースでは、図書室が完全に崩壊する一方でスポットライトは安定しており、また別のケースでは、スポットライトが迷走している一方で図書室が持ちこたえようとしている、といった具合です。この論文は、この二つの部分の間の「戦い」を測定することで、最終的な答えを見るよりもはるかに正確にエラーを予測できることを示しています。

実際、研究者たちは、ロボットが「100%の自信があります！」と叫んでいる最中に、内部の作業員は完全な混沌状態にあることがあることを発見しました。あるテストケースでは、ロボットは「スティック・ジムナスティクス」に関する質問に対して、自信満々に「日本」と答えました。その自信スコアは極めて高かったのですが、DUDツールは内部の作業員が崩壊状態にあることを検知し、その答えを「嘘」としてフラグを立てました。逆に、ツールはロボットが臆病になりすぎている場面も特定しました。別のケースでは、ロボットは正しい答え（「魚と米の国」）を出していましたが、非常に自信なさげに見えました。しかし、DUDツールは内部の作業員が実際に完璧に連携していることを捉え、ロボットの躊躇にもかかわらず、その答えが正しいことを正しく識別しました。

この論文は、読解から複雑な推論に至るまで、さまざまな種類の質問でこのアイデアをテストし、この「分離された」手法が現在の手法よりも優れていることを明らかにしました。また、ロボットがある種類の質問で訓練され、全く異なる種類の質問でテストされた場合でもうまく機能したことから、この内部的な争いは、ロボットが混乱している際の普遍的なサインであることを示唆しています。著者たちは、AIを真に信頼するためには、単にそれが何を言っているかを聞くのではなく、その内部のパーツがどのように仲良くやっているかを聞く必要があると結論付けています。もし「スポットライト」と「図書室」が争っているなら、ロボットがどれほど自信たっぷりに聞こえようとも、それはおそらく間違っています。

技術要約：信頼性の高い不確実性定量化のためのデカップルド・アップデート・ダイナミクス (DUD)

1. 問題提起

大規模言語モデル（LLM）の信頼性の高い展開、特に高リスクな環境においては、正確な不確実性定量化（Uncertainty Quantification: UQ）が不可欠である。しかし、従来のUQ手法には重大な限界が存在する：

表層的な依存: ブラックボックス的なサンプリングの一貫性からホワイトボックス的なロジット解析に至るまで、従来のメソッドは主に最終的な出力分布に依存している。これらはデータレベルの曖昧さ（アレオリックな不一確実性）を捉えるには効果的だが、モデルの真のエピステミックな状態（認識的不確実性）を反映できないことが多い。
ブラックボックスの誤謬: 推論をブラックボックスとして扱うことで、これらの手法は不確実性が生じる内部の計算ダイナミクスを見落としている。その結果、モデルは高い確率スコアを出力しているにもかかわらず、内部的な推論が不安定であるという事態を招き、深刻な較正不全（miscalibration）を引き起こす可能性がある。
集約による見落とし: 近年のメカニスティックなアプローチは、残留ストリームの更新を利用しようと試みているが、通常はそれらを集約してしまう。この集約は、パラメトリック・メモリ（フィードフォワードネットワーク、FFN）とコンテキスト処理（マルチヘッド・セルフアテンション、MHSA）の明確に異なる役割を混同させてしまう。著者らは、この集約が微細なメカニズム上の衝突、具体的にはメモリとコンテキストの不整合（misalignment）を隠蔽しており、これこそが不確実性の根本的な指標であることを主張している。

2. 手法：デカップルド・アップデート・ダイナミクス (DUD)

本論文は、UQを受動的な推定から能動的なメカニスティック診断へと転換するフレームワークであるDecoupled Update Dynamics (DUD) を提案する。コアとなる仮説は、不確実性はFFNとMHSAモジュールの間の衝突から生じる、明確な時空間的脆弱性パターンとして現れるというものである。

2.1 因果トレーシング・フレームワーク

DUDは、メモリとコンテキストの寄与を分離するために、3段階の因果トレーシング・プロセスを採用している：

クリーン・ラン (Clean Run): 元の入力を用いた標準的なフォワードパスを行い、クリーンな活性化（隠れ状態、MHSA出力、およびFFN出力）をキャッシュし、ベースラインの予測確率 ( $P_{clean}$ ) を記録する。
破損ラン (Corrupted Run): 入力埋め込みにガウスノイズを注入して情報ボトルネックをシミュレートし、予測確率を $P_{corr}$ まで低下させる。 $P_{clean}$ と $P_{corr}$ の差によって、ノイズの全効果（Total Effect: TE）を確立する。
デカップルド・パッチ・ラン (Decoupled Patch Run): 隠れ状態全体を復元する代わりに、このフレームワークはコンポーネント特異的な介入を行う。各レイヤー $l$ において、特定のモジュール ( $\phi \in \{MHSA, FFN\}$ ) の活性化をクリーン・ランから復元し、残りのネットワークは破損状態のままにする。これにより、復元された確率 $P^{(l,\phi)}_{restored}$ が得られる。

2.2 復元スコアの定量化

フレームワークは、各レイヤーの各モジュールに対する復元スコア ( $S^{(l)}_{\phi}$ ) を算出する。これは、復元によって誘発される正規化された確率シフトを表す：
$S^{(l)}_{\phi} = \frac{P^{(l,\phi)}_{restored} - P_{corr}}{TE}$

解釈: スコアの絶対値が小さい場合（ $S \approx 0$ ）は、メカニズム的な堅牢性（モデルが内部的な不一致を許容している状態）を示す。絶対値が大きい負の値（ $|S| \gg 0$ ）は、メカニズム的な脆弱性を示唆する。これは、単一のモジュールを復元しただけで確率が壊滅的に低下することを意味し、生成が不安定な内部平衡に依存していることを明らかにしている。

2.3 DUDプローブの構築

これらの微細なダイナミクスを包括的な不確実性推定へと変換するため、著者らは軽量で非線形なプローブを構築している：

特徴量エンジニアリング: FFNとAttentionのレイヤーごとの復元スコアを、統一された特徴ベクトル $v \in \mathbb{R}^{2L}$ に結合し、Zスコア正規化を行う。
アーキテクチャ: これらの特徴に基づき、生成エラー（二値分類：正解 vs 不確実）を予測するように訓練された4層の多層パーセプトロン（MLP）を使用する。正解ラベルは、正解に対するROUGE-Lスコアから導出される。
学習: プローブは、負の復元スコアを扱い、過学習を防ぐために、LeakyReLUとバッチ正規化を備えたバイナリ・クロスエントロピー損失を使用する。

3. 主な貢献

本論文は、主に3つの貢献を述べている：

デカップルド因果フレームワーク: FFNとMHSAモジュールの因果的寄与を明示的に分離する初のUQフレームワークである。これは、内部モジュールのダイナミクスが、従来の出力確率よりも有意に忠実な信頼性のプロキシ（代用指標）であることを示している。
メカニスティックな脆弱性の発見: 厳密な因果トレーシングを通じて、予測の不確実性がシステム的な脆弱性とモジュールの衝突として物理的に現れることを明らかにした。特に、コンテキストエンコーディング中の初期レイヤーMHSAにおけるルーティングの不安定性と、知識想起中の後半レイヤーFFNにおける急激な崩壊という特定の失敗モードを特定した。
実験的性能: 広範な実験により、デカップルド・アプローチが、ロジットベースのベースラインや集約されたメカニスティック・プローブ（ICRプローブなど）の両方を、不確実性推定と較正において大幅に上回ること、そして優れたクロスデータセット汎用性を示すことが証明された。

4. 実験結果

DUDプローブは、3つのオープンソースLLM（Llama-3.1-8B, Qwen2.5-7B, Gemma-2-9B）を用い、4つのベンチマーク（HaluEval, SQuAD, TriviaQA, HotpotQA）で評価された。

優れた精度: DUDプローブは、一貫して最先端のAUROCスコアを達成した。例えば、HaluEvalを用いたLlama-3.1-8Bにおいて、AUROC 0.949を達成し、Semantic Entropy (0.7745) や集約されたICRプローブ (0.7703) を大幅に上回った。
クロスデータセット汎用性: この手法は卓越した転移性を示した。あるデータセットで訓練し、別のデータセットでテストした場合（例：TriviaQA $\to$ SQuAD）、DUDプローブは高いAUROCスコア（0.868）を維持したが、SAPLMAやSEPのようなベースラインは0.6を下回るほど低下した。これは、本手法がデータセットのアーティファクトではなく、タスクに依存しないメカニスティックなシグネチャを捉えていることを示唆している。
較正と堅牢性: DUDプローブは期待較正誤差（ECE）を大幅に減少させ、予測拒絶率（PRR）を向上させた。また、異なるROUGE-L閾値（Lenient, Standard, Strict）や異なるモデルスケール（3Bから14B）に対しても堅牢であった。
アブレーション研究: FFNまたはAttentionのいずれかのストリームを除去すると、性能が著しく低下した。これは、両方のモジュールが補完的な不確実性信号を提供していることを裏付けている。さらに、分析の結果、「黄金のレイヤー」は存在せず、信頼できる検出には初期エンコーディングから最終投影に至る包括的なダイナミック・トラジェトリが必要であることが判明した。

5. 意義と主張

本論文は、Decoupled Update Dynamics が、LLMにおける不確実性の理解と測定方法における根本的な転換を提示すると主張している：

表層的な自信を超えて: 本研究は「信頼のパラドックス（Confidence Paradox）」を浮き彫りにしている。すなわち、表層的なロジットはしばしば生成の信頼性を反映しない。DUDは、従来の指標が見逃してしまう「頑固な誤り（Stubborn Errors）」（高信頼度だが内部安定性が低い）と「謙虚な真実（Humble Truths）」（低信頼度だが内部安定性が高い）を暴き出す。
メカニスティックな接地: 不確実性を、パラメトリック・メモリとコンテキスト処理の間の内部的な衝突の物理的な顕現として扱うことで、DUDはモデルのエラーを検出するための「物理的な接地（physical grounding）」を提供する。
アーキテクチャの不変性: 本知見は、FFNとMHSAの間のメカニスティックな衝突が、多様なLLMアーキテクチャにわたる不確実性の普遍的な指標であることを示唆しており、デュアルストリーム・アプローチがモデルの忠実性の堅牢なプロキシとして有効であることを検証している。

著者らは、DUDが内部の活性化や複数のフォワードパス（Clean, Corrupted, Patched）を必要とするホワイトボックス手法であるため、現在はクローズドソースのAPIモデルには適用できず、単純なロジットベースの手法よりも推論レイテンシが高くなるという制限を認めている。今後の課題として、これらのシグナルをより軽量な検出器へと蒸留することが提案されている。