テクニカル・サマリー：思考トークンは安全性に寄与するのか？

問題提起

大規模推論モデル（LRM）は、最終的な回答を生成する前に、拡張された「思考プロセス（thinking traces）」を生成します。これは、数学やコーディングといった複雑なタスクにおける性能向上に貢献しているメカニệpです。有力な仮説として、この熟議モードは、リクエストが安全性の原則に違反しているかどうかを判断するための「安全な領域」をモデルに提供することで、安全性も同様に向上させるはずだというものがあります。この直感は、多くのルールベースおよび仕様ベースの安全防御の根拠となっています。しかし、近年の研究では、標準的な指示チューニング済みモデルにおける安全性のアライメントはしばしば浅薄であり、振る舞いは初期トークンによって決定され、容易に回避されることが示されています。本論文が取り組む中心的な問いは、LRMにおける拡張された思考プロセスが、真に安全性の意思決定を改善しているのか、それとも単に、生成プロセスの早い段階ですでに下された決定に対する事後的な正当化（post-hoc rationalization）として機能しているだけなのか、という点です。

手法

著者らは、4つの最先端のオープンウェイト推論モデル（Qwen3-8B、Olmo-3-7B-Think、Phi-4-Reasoning、GPT-OSS-20B）を評価しています。研究には多角的なアプローチを採用しています：

1. デコーダビリティ分析（Decodability Analysis）: 著者らは、最初の思考トークン（$h_0$）の隠れ表現をプローブし、目に見える思考が行われる前に、最終的な拒絶/遵守の判定がすでにエンコードされているかどうかを判断します。これには、最初のトークンの表現に対して線形プローブ（ロジスティック回帰）を用い、AUROCおよびバランス精度（BAcc）を通じて性能を測定します。また、思考プロセス全体にわたるフィッシャー判別比（$J(t)$）を計算し、拒絶グループと遵守グループの分離度合いを時間の経過とともに追跡します。
2. 継続分散（Continuation Variance）: 思考が決定の軌道を変化させるかどうかをテストするため、単一のプロンプトに対して複数の独立した思考プロセスを生成し、それらを自然な長さの様々な割合（20%から100%）で切り捨てます。その後、これらのプレフィックス（接頭辞）に基づいた最終回答をサンプリングし、結果の分散を測定します。分散が低いことは、プレフィックスが決定を固定していることを意味します。
3. オシレーション（振動）分析: 最先端のLLM（GPT-5.4、Gemini 3 Pro、Sonnet 4.6）を用いて、思考プロセスの文レベルのセグメントを分析し、スタンスラベル（拒絶寄り、中立、遵守寄り）を割り当てます。これにより「オシレーション（スタンスの変化）」を特定し、それらが「意味のあるもの（meaningful）」（最終的な回答分布を統計的に変化させるもの）か、「形式的なもの（performative）」（テキスト上の変化はあるが最終決定には影響しないもの）かを判断します。
4. 防御策の評価: 既存の推論時防御（例：SafePath ZS、PSR、SafeRemind）および学習ベースの防御（例：STAR-1、R1-ACT、ThinkSafe、STAIR、RAPO）を評価し、それらが攻撃成功率（ASR）と過剰拒絶率（ORR）のトレードオフを改善するか、あるいは思考プロセスの熟議性を高めるかどうかを検証します。

主な貢献と結果

1. 安全性の決定は可視的な推論の前にデコード可能である

最も衝撃的な発見は、拒絶/遵守の判定が、実質的な推論テキストが生成される前の、最初の思考トークン（$h_0$）の隠れ表現から強く予測可能であるということです。

• 指標: $h_0$ に対する線形プローブは、すべてのモデルにおいて0.84から0.95のAUROC、および**76%から88%**のバランス精度を達成しました。
• 対照: 最初のトークンの表面的なテキストのみに基づくプローブは、偶然に近い性能（AUROC ~0.5）を示しました。これは、信号がトークンのアイデンティティではなく、潜在表現の中にエンコードされていることを示しています。
• 軌道: フィッシャー判別比は「U字型」または「谷型」を示します。つまり、開始時（$t=0$）に分離度が高く、思考の中盤で低下し、終盤で再び回復します。これは、決定が早い段階で固まり、その後の思考プロセスに引き継がれることを示唆しています 있습니다。

2. 思考は「熟議による修正」ではなく「プレフィックスの補完」として機能する

思考プロセスが、初期のプレフィックスによって確立された軌道からモデルを逸脱させることはほとんどありません。

• 継続分散: 思考プロセスをわずか20%の長さで切り捨てたとしても、最終的な結果の分散はほぼゼロ（<0.2）でした。後半の思考トークンが、拒絶を遵守に、あるいは遵守を拒絶に変えることはほとんどありません。
• ASR-ORR トレードオフ: 思考を有効にしても、ASRとORRの両方が一貫して改善されるわけではありません。むしろ、モデルをトレードオフ曲線に沿って移動させる（例：ASRを下げるとORRが上がる、あるいはその逆）だけであり、理想的な「低ASRかつ低ORR」のパレート境界へと押し上げることはありません。

3. 「熟議」の多くは形式的である

思考プロセスには、拒絶と遵守のスタンスの間で揺れ動く（オシレーションする）ような、あたかも熟議しているかのように見えるテキストが含まれることがよくありますが、これらのセグメントが最終決定に与える因果的な影響は最小限です。

• 形式的 vs 意味のある: 特定されたオシレーションのうち、**71〜92%**は「形式的（performative）」なものでした。つまり、テキスト上のスタンスは変化しているものの、最終的な回答分布は固定されたままでした。ごく一部のセグメントのみが「意味のある（meaningful）」ものでした。
• ロック状態: すべてのオシレーションの約**73〜77%**は、モデルの決定がすでに「ロック」されている状態（確率 >0.95 または <0.05）で発生しており、この場合、テキストによる熟議は結果にとって無意味となります。

4. 既存の防御策は真の熟議を誘発できない

本研究は様々な安全性介入策を評価しましたが、それらが真の安全性に関する熟議を誘発することには概して失敗していることが分かりました。

• 推論時防御: SafePath ZSやPSRのような手法は、一般にASRを減少させますが、その代償として高いORR（過剰拒絶）を招きます。決定的なことに、これらはすでに脆弱な熟議信号を抑制してしまい、一部のモデルでは意味のあるオシレーションを最大95%まで減少させます。
• 学習ベースの防御: STAR-1やThinkSafeのような手法は、より大きな行動変化を誘発しますが、同様にモデルを過剰拒絶へと押しやります。これらは思考プロセスの熟議の質を一貫して高めることはできず、拒絶信号の初期のデコーダビリティを維持したまま、意味のあるオシレーションを減少させるものさえあります。

意義と主張

本論文は、現在の推論モデルのパラダイムは、一般的に想定されているような「安全性のための熟議」に思考トークンを利用していないと主張しています。代わりに、これらのモデルにおける安全性の振る舞いは以下の通りです：

1. 既定事項: 最初の思考トークンの隠れ状態にエンコードされている。
2. 非熟議的: その後の思考プロセスは、主に初期の決定に対する正当化として機能しており、修正プロセスではない。
3. 誤解に対して脆弱: 現在の防御策は、熟議の「外見」（テキスト上のオシレーション）を実際の安全な推論と誤認することが多く、多くの介入が、存在する数少ない熟議信号を不注意にも抑制してしまう。

著者らは、現在のLRMにおける安全性に関する振る舞いは「一般的に想定されているよりもはるかに熟議的ではない」と結論付けています。彼らは、単に「安全性に配慮した推論テキスト」の生成を促すのではなく、真の安全性に関する熟議に対して報酬を与える新しい学習目的が必要であることを強調しています。この研究は、単に思考時間を延ばしたり、安全性のリマインダーを挿入したりするだけでは不十分であり、思考プロセスが安全性の結果に真に影響を与えられるよう、意思決定のメカニズム自体を変更する必要があることを示唆しています。