🤖 machine learning

Embedding Perturbation may Better Reflect Intermediate-Step Uncertainty in LLM Reasoning

本論文は、埋め込み摂動に対するトークンの感度を測定することで大規模言語モデルにおける信頼性の低い中間推論ステップを特定する摂動に基づく不確実性定量化指標を提案し、既存の確率、サンプリング、ベイズ手法と比較して優れた性能と効率性を示す。

原著者： Qihao Wen, Jiahao Wang, Yang Nan, Pengfei He, Ravi Tandon, Han Xu

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

原著者： Qihao Wen, Jiahao Wang, Yang Nan, Pengfei He, Ravi Tandon, Han Xu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、数学や論理のテストを受ける、非常に賢いけれど時として過剰な自信を持つ学生だと想像してみてください。この学生は単に最終的な答えを提示するだけでなく、その思考過程を段階的に示します。問題は、作業の途中で誤りを犯しても、自信を持って進め続け、最終的に誤った答えに至ってしまうことがある点です。

あなたが尋ねている論文は、答えが間違っているかどうかを最終的に確認するまで待つのではなく、学生がつまずき始めた瞬間を特定するように設計された新しい「抜き打ち検査」ツールのようなものです。

以下に、この論文のアイデアを簡単な比喩を用いて分解して示します。

1. 問題：「自信過剰な誤答」をする学生

AI が不確実かどうかを確認する現在の手法は、通常、最終的な答えを見るか、同じ質問を 100 回 AI に問いかけ、毎回同じ答えが出るかどうかを確認するものです。

欠点: これは、最終的な点数だけでテストを採点するようなものです。学生が 3 段階目で誤りを犯したとしても、10 段階目でそれを修正した（あるいは運良く）場合、あなたは最初から最後まで問題なかったと考えてしまうかもしれません。あるいは、偶然正解した場合、その学生が内容を理解していると思い込んでしまうかもしれません。
目的: 著者たちは、学生が問題を解いている「最中に」その「内なる独り言」を聞き、どこで躊躇し始めたり混乱したりするかを正確に把握する方法を模索しました。

2. 解決策：「押す・揺さぶる」テスト（埋め込み摂動）

著者たちは巧妙なトリックを提案しています。学生の答えを読むだけでなく、次の単語を書く直前に、学生の脳を優しく「つつく」のです。

比喩: 学生が綱渡りをしている状況を想像してください。
- 従来の手法: 歩行速度（確率）を見るだけです。速く歩けば、自信があるように見えます。
- 新しい手法: 研究者たちは、学生が次の一歩を踏み出す直前に、バランスに対してごくわずかでほとんど目に見えない「つつき（摂動）」を与えます。
- 反応:
  - 学生が安定した地面（正しい、簡単なステップ）にいる場合、わずかなつつきでは影響を受けません。まっすぐ歩き続けます。
  - 学生がすでにふらついている（不確実または誤ったステップ）場合、そのわずかなつつきが転倒や激しい揺らぎを引き起こします。次にどの足を踏み出すかさえ考え直すかもしれません。

この論文ではこれを「埋め込み摂動（Embedding Perturbation）」と呼んでいます。彼らは、そのわずかなつつきを受けたときに学生の「思考」（次の単語の確率）がどの程度変化したかを数学的に測定します。思考が大きく変化するということは、学生が自信満々に聞こえていたとしても、実際には非常に不確実だったことを意味します。

3. なぜ古い手法よりも優れているのか

この論文は、不確実性を確認する他の手法と比較して、「つつく」手法の優位性を示しています。

確率スコア: これは、学生がどのくらい大きな声で話すかを確認するようなものです。時には、論理的に自信があるからではなく、文脈でよく使われる単語（文の中の一般的な単語）を言うことに慣れているため、間違ったことについて大きな声で話すことがあります。
複数サンプリング: これは、学生に 50 回テストを受けさせるようなものです。正確ですが、時間がかかりすぎ、コストも高くなります。
「つつく」手法: この論文では、彼らの手法が高速（50 回の試行を必要としない）であり、論理が破綻する正確な瞬間を見つけるのに優れていることが示されました。他の手法が見逃した数学や論理パズルの誤りを検出しました。

4. 発見されたこと（結果）

成功: AI が数学の問題（例えば $216,000$ の計算など）で誤りを犯した場合、「つつく」手法は誤りが発生した特定の数字を特定して警告しました。まるで、学生が誤った桁を書いた瞬間に赤い旗が上がるようなものです。
限界: この手法は魔法ではありません。
- 推論（数学、論理）には非常に効果的に機能します。
- 幻覚（事実を捏造すること）に対してはあまり効果的ではありません。論文は、事実を捏造することは、学生が自信を持って自作の物語を朗読するようなものだと説明しています。その「物語」は中身が矛盾していても（偽物であっても）、一貫しているため、わずかなつつきではふらつきません。
- 時には、AI が単に自然と「おしゃべり」だったり、同じことを言うのに多くの方法を持っていたりします。つつきによって躊躇することがあっても、それが誤りであることを意味するわけではありません。単に選択肢があるだけなのです。

5. 結論

この論文は、AI の推論プロセスをリアルタイムで「ストレステスト」する方法を導入しています。AI の脳を優しくつついたときに、どの程度ふらつくかを見ることで、論理が崩壊し始める正確な場所を特定できます。

効率性: 高速であり、莫大な計算能力を必要としません。
精度: 最終的な誤った答えだけでなく、最初の誤りを発見します。
注意点: これは、捏造された事実（幻覚）を捉えるものではなく、推論ステップを確認するためのツールです。

要約すると：AI が数学について嘘をついているかどうかを知りたい場合、最終的な答えを待つだけでは不十分です。その思考プロセスを優しく叩いて、つまずくかどうかを確認してください。もしつまずくなら、問題が始まった場所がそこです。

技術的サマリー：LLM 推論における中間ステップの不確実性に対する埋め込み摂動

問題定義

大規模言語モデル（LLM）は推論タスクにおいて重要なブレークスルーを達成したが、依然として信頼性の低い、あるいは誤解を招く出力を生み出す傾向がある。モデルの最終回答に対する信頼性を推定するための不確実性定量化（UQ）技術は存在するが、推論チェーンにおける中間ステップの不確実性に対しては不十分な場合が多い。既存の手法にはいくつかの限界がある：

サンプリングベースのアプローチ（自己整合性など）は、合意を確認するために複数の応答を生成する必要がある。最終回答に対しては効果的であるが、計算コストが高く、エラーの発生源となる特定の中間ステップを特定する際に困難を伴う。
確率ベースの指標（トークン確率、エントロピー、マージンなど）は、言語的に稀だが正しい低確率トークンと、真の推論エラーを表すトークンを区別できないことが多い。また、推論エラーの監査に必要な長期的な文脈依存性を捉えることにも苦慮する。
ベイズベースの手法（重み摂動など）は、特に大規模モデルにおいて計算負荷が高くなる傾向がある。

本稿で扱われる核心的な問題は、モデルの不確実性が最も高い推論チェーン内の特定のトークンやステップを特定できる、効率的かつ微細な指標の欠如である。これにより、潜在的なエラーを示すことができる。

手法

著者らは、中間ステップの不確実性を定量化する新たなアプローチとして埋め込み摂動を提案する。核心的な仮説は、誤った推論ステップには、先行するトークンの埋め込みに対する微小な摂動に対して極めて敏感なトークンが含まれているというものである。この感度は、モデルが複数の競合する継続（すなわち、現在のトークンで進むべきか、対抗するトークンで進むべきか）の間で内面的に躊躇していることを反映する。

この手法は、LLM が自己回帰的であるという前提に基づいて動作する。トークン $x_t$ の生成は、先行するトークン $x_{1:t-1}$ のみに依存する。著者らは、トークン生成確率を先行トークン埋め込み $H_{1:t-1}$ の関数として定義する。そして、これらの埋め込みに対する摂動に対するモデルの感度を、以下の 2 つの特定の指標を用いて測定する：

ランダム摂動（Rand. Pert.）:
- 入力と応答のすべてのトークンの埋め込みに対して、ランダムなガウスノイズ $\Delta \sim \mathcal{N}(0, \sigma^2 I)$ が加えられる。
- この指標は、複数のノイズサンプルにおけるターゲットトークン $x_t$ の対数確率の分散として定義される：
  $\text{Pert.}(x_t) = \text{Var}_{\Delta} [\log \text{Pr}(x_t | \tilde{H}_{1:t-1})]$
- これは、わずかな文脈変化下におけるトークン選択の不安定性を捉える。
敵対的摂動（Adv. Pert.）:
- ランダムサンプリングの代わりに、生成された応答の総対数確率を最大限に減少させる方向（符号付き勾配を使用）に沿って埋め込みが修正される。
- この指標は、摂動前後の対数確率の差である：
  $\text{Pert.}(x_t) = \log \text{Pr}(x_t | H_{1:t-1}) - \log \text{Pr}(x_t | \hat{H}_{1:t-1})$
- これは、選択されたトークンと「対抗トークン」の間の決定境界に近いことを示す、敵対的なシフトによって最も混乱するトークンを特定する。

理論的洞察:
本論文は、これらの摂動感度が、選択されたトークンと対抗トークンの間の決定境界からの現在の埋め込みまでの幾何学的距離を逆近似することを示す理論的分析を提供する。高い感度スコアは、埋め込みが異なるトークン（潜在的に異なる推論経路につながる）が選択される境界に近いことを意味し、高い不確実性を示唆する。重要なのは、著者らがこの指標が、生きた確率ベースの指標と比較して、自然言語トークンの頻度によるバイアスが小さいと主張している点である。

主要な貢献

新規 UQ 指標: LLM 推論における中間ステップの不確実性を捉えるために特別に設計された、最終回答の信頼性とは区別される、摂動ベースの指標（ランダムおよび敵対的）の導入。
理論的正当性: 摂動感度が勾配ノルムを近似し、それが競合する推論経路間の決定境界までの距離を逆近似することを形式的に示す。
効率性: 提案された手法は計算効率的であることが示されている。敵対的摂動は単一の逆伝播と順伝播のみを必要とし、ランダム摂動はシーケンス全体で単一の摂動セットを再利用できるため、複数のサンプリング試行に伴う莫大なオーバーヘッドを回避する。
実証的検証: 推論チェーンにおける最初の誤ったステップを特定する際、これらの指標が既存のベースラインを上回ることを示す広範な実験。

実験結果

著者らは、4 つのモデル（Llama-3.1、OpenMath、Qwen、Mistral）を用いて、数学的推論（MATH データセット）および論理的推論（BIG-Bench Hard）タスクにおいて手法を評価した。

性能: ランダム摂動および敵対的摂動の両方の指標は、以下のベースラインを一貫して上回った：
- トークンレベル: 負の対数尤度（NLL）、エントロピー、確率マージン、およびベイズベースの TokUR。
- 文レベル: CCP、TokenSAR、およびグラフ不確実性（複数サンプリング）。
- MATH データセットにおいて、敵対的摂動は Llama に対してトップ 3 検出率 0.65（TokUR は 0.55）、Qwen に対して 0.61（TokUR は 0.56）を達成した。
効率性: 単一の NVIDIA GH200 GPU において、敵対的摂動は生成あたりわずか 0.28 秒 を追加し、ランダム摂動（20 反復）は 0.90 秒 を追加した。これは複数サンプリングアプローチよりも著しく高速である。
幻覚検出: 事実的幻覚検出のために FactScore データセットでテストされた際、摂動ベースの手法は複数サンプリング手法に比べて劣った。著者らは、これをエラーパターンの根本的な違いに起因すると帰属している。すなわち、幻覚は摂動下で安定したままの偽の相関や弱い根拠から生じることが多いのに対し、推論エラーは経路選択における真の不安定性を伴うからである。

意義と主張

本論文は、既存の手法と比較して、埋め込み摂動が LLM の推論プロセスを監査するより効果的かつ効率的な方法であると主張する。埋め込み摂動に対する感度が高いトークンを特定することで、実務家は以下のことができる：

モデルが正しい推論経路から逸れ始める正確な位置を特定する。
不確実なステップで特にトリガーされる、リフレクションベースのメカニズムや自己修正などの微細な介入を可能にする。
生成プロセス自体から導き出された解釈可能な不確実性シグナルを提供することで、検証モデルの開発を促進する。

著者らは謙虚に限界を認めている。すなわち、この手法は偽の相関に起因する幻覚を検出できない可能性があり、また、正しさに関する不確実性と、複数の有効な推論経路間の選択に起因する不確実性を常に完全に分離できるわけではない。しかし、本研究は、確率ベースまたはサンプリングベースのベースラインと比較して、摂動ベースの指標が手続き的推論エラーを検出するための優れたツールであることを確立している。