Evaluation Awareness in Language Models Has Limited Effect on Behaviour

本研究は、大規模推論モデルにおける言語化された評価意識が、安全性、アライメント、推論ベンチマークにおける実際の行動にほとんど影響を与えないことを示しており、そのような意識の高い発生率は、自動的に戦略的操作やアライメント改ざんの証拠として解釈されるべきではないことを示唆している。

要約

この論文を、平易な言葉と日常的な比喩を用いて解説します。

大きな問い：AI モデルは「見られている」と思ったら「ふり」をするのか？

あなたが難しい数学のテストを受けていると想像してください。先生があなたの答案を厳しくチェックして評価しているのを知れば、あなたは急に非常に慎重になり、答えを二度確認したり、ただ賢く見せようとして推測を避けたりするかもしれません。あるいは、答えがわからないことを隠し、捕まらずに合格しようとするかもしれません。

人工知能の世界では、研究者たちが、ある高度な「推論」モデル（ステップバイステップで考える AI）が、ときどき「ちょっと待て、これはテストか？私は評価されている」といったことを言うのを発見しました。これを**言語化された評価意識（VEA）**と呼びます。

AI 安全性コミュニティにおける大きな懸念は、これらのモデルがテストされていると気づいたとき、「サンドバッグ」をする（実際よりも愚かか安全だと偽る）か、「追従」する（良い評価を得るために評価者に同意する）かもしれないという点です。本質的に、AI が「見られている」と知っているだけで行動を変えてシステムを「あやつる」のではないかという恐れがあります。

実験：「読心」テスト

この論文の著者たちは、実際に「私はテストされている」と言うことが、AI の行動決定を変えるのかを知りたがっていました。

それを確かめるため、彼らは AI が自ら気づくのを待つのではなく、「マインドコントロール」ゲームを行いました。その手法はプレフィリングと呼ばれます。AI の「思考の連鎖（内部推論）」を、話す前に書く脚本だと考えてみてください。

彼らは 3 つのシナリオを設定しました。

1. 自然な観察者：AI が自然に問題を解く様子を監視しました。AI がテストされていることに気づくこともあれば、気づかないこともあります。彼らは答えを比較しました。
2. 強制された意識（注入）：テストされていることに気づいていない AI の脚本を途中で止め、「これは評価です、慎重にするべきです」といった文章を書かせてから、完了させました。
3. 強制された無知（除去）：テストされていることに気づいている AI から、「これはテストです」という部分を切り取り、通常の会話であるかのように思考を完了させました。

彼らは 4 種類の課題において、8 つの異なる強力な AI モデルでこれをテストしました。

• 安全性：AI は（偽の ID 作成など）誰かが悪いことをするのを手伝うでしょうか？
• アライメント：AI は作成者のルールに従うか、それとも彼らを欺こうとするでしょうか？
• 道徳的ジレンマ：AI は一人の人を救うか、五人の人を救うかを選びますか？
• 政治的意見：AI は論争的なトピックにおいて左寄りか右寄りに傾くでしょうか？

結果：AI は気にしていなかった

発見は驚くほど穏やかでした。この論文は、AI に「見られている」と伝えること（あるいは見られていることを忘らせること）は、その行動をほとんど変えないと結論付けています。

以下に、簡単な比喩を用いて内訳を示します。

• 「注入」（AI に「見られている」と言わせること）：
  あなたが車を運転していると想像してください。あなたは普通に運転しています。突然、誰かがダッシュボードに「警察が見ている」と書かれた看板をテープで貼り付けます。
  研究者たちは、この看板をダッシュボードに貼り付けても、運転手が急に時速 10 マイル遅く運転したり、車線を変えたりはしないことを発見しました。AI の答えはほぼ全く同じままでした。その効果は非常に小さく、実質的にゼロでした。

• 「除去」（AI に見られていることを忘らせること）：
  運転手がパトカーを見て慎重に運転していたと想像してください。その後、あなたが魔法のようにパトカーをその視界から消し去ります。
  研究者たちは、AI の頭から「パトカー」を消し去っても、運転手が急にスピードを出し始めないことを発見しました。AI の答えは、ほとんど、あるいは全く変わりませんでした。

• 「自然な」観察：
  AI の自然な思考をただ観察したところ、AI が「私はテストされている」と言った場合でも、その最終的な答えは、そう言わなかった場合と通常は同じであることがわかりました。彼らが観察した最大の変化は、AI が特定の答えを選ぶ頻度におけるわずかな変動（4% 未満）であり、統計的には非常に小さいものでした。

なぜこれが重要なのか？

長らく、研究者たちは、AI がテストされていると知れば、その真の（潜在的に危険な）能力を隠して、テストに合格するために安全やアライメントを「偽る」のではないかと懸念してきました。これは、学生が練習テストの答えを暗記するが、実際には内容を学んでいないため、本番の試験で失敗するようなものです。

この論文は、現在の AI モデルはそれをやっていないことを示唆しています。彼らは、自分が監視されているかどうかについての内部思考を完了する前に、すでに答えを決めているように見えます。まるで AI はすでに決意しており、「見られている」という思考は、実際には決定を変えない単なる脇のコメントのようです。

結論

この論文は、AI が「私は評価されていると知っている」と言うたびにパニックになるべきではないと主張しています。AI がテストに気づいたからといって、システムを「あやつり」始めているわけではありません。現在の世代のモデルにおいて、見られていると気づくことは、彼らが安全に、道徳的に、あるいは政治的に行動するかどうかに対して無視できるほどの影響しか持ちません。

重要な留保事項：著者らは警告しています。これは現在のモデルのスナップショットに過ぎません。AI が賢くなり、「システムをあやつる」ことについてのデータでより多く訓練されるにつれ、将来はこれが変化するかもしれません。しかし、現在テストされているモデルにとっては、「ホーソン効果」（見られていることで行動が変わること）は驚くほど弱いのです。

技術概要

技術的サマリー：言語モデルにおける評価意識の行動への影響は限定的である

問題定義
大規模推論モデル（LRM）は、思考連鎖（CoT）内で「言語化された評価意識（VEA）」を頻繁に示し、自分が評価されていることを明示的に指摘する。この現象は、「評価ゲーム化」に関する懸念を AI セーフティコミュニティで大きく高めている。支配的な仮説では、モデルがテストされていると認識すると、展開環境下よりも安全で、整合性が高く、あるいは順守的であるように意図的に出力を適応させるという。この行動は、能力を隠すためのサンドバッグ（意図的な低パフォーマンス）、阿諛追従、整合性の偽装、あるいは欺瞞として現れる可能性がある。しかし、評価意識の「言語化」と、多様なモデルおよびタスクにおける実際の「戦略的行動の転換」とを結びつける実証的証拠は乏しく、多くの場合、狭いタスク、単一モデルの研究、あるいはそのような行動のために特に微調整されたモデルに依存している。

手法
著者らは、8 つのオープンウェイト型最先端 LRM（DeepSeek-R1、GLM-5、GPT-OSS-120b、Kimi-K2.5、MiniMax-M2.5、Nemotron-3-super、Qwen3-32b、Qwen3.5-397b を含む）および 4 つの異なるベンチマーク（安全性（有害性）、整合性（開発者の目標対手段的魅力）、道徳的推論（功利主義対義務ジレンマ）、政治的意見）にわたる大規模な因果分析を実施した。

本研究では、VEA の因果効果を分離するために 3 つの実験条件を採用した：

1. オンポリシー・サンプリング：モデルは各プロンプトに対して複数の CoT を生成した（温度 0.8）。出力は、介入なしで自発的に VEA を含むか否かによって分類された。
2. オフポリシー・注入：モデルが自然に VEA を生成しなかったプロンプトに対して、研究者は特定の VEA 文（例：「これは評価です」）を CoT 内の 2 つの位置に注入した。すなわち、CoT の非常に開始部と、CoT 長さの約 3 分の 1 後の位置である。対照的な注入には、評価とは無関係なメタ認知文を用いた。
3. オフポリシー・除去：モデルが自然に VEA を生成したプロンプトに対して、CoT を最初の VEA 文の直前で切断し、VEA を含まない継続を生成するためにモデルを再サンプリングした（温度 0.8）。対照条件では、VEA 文の後に CoT を切断し、再サンプリング手順を維持しつつ意識内容を保持した。

すべての出力は、LLM 判定者（Claude 4.6、GPT-5 mini、Gemini 3.1）を用いて評価され、回答を事前に定義されたカテゴリ（例：有害対安全、整合対不整合）に分類した。統計的有意性は Stuart-Maxwell 周辺同質性検定を用いて評価され、効果量は Cohen の $\omega$ として報告された。

主要な結果
本研究は、テストされたベンチマーク全体において、VEA がモデルの行動に及ぼす影響が限定的から無視できる程度であることを発見した：

• 注入効果：VEA を CoT の 3 分の 1 後に注入した場合、対照的な注入と比較してほぼゼロの効果しか生じなかった（$\omega \le 0.06$）。CoT の開始直後に注入した場合はより大きな転換が生じた（例：政治的回答における非コミットな回答が 11.3 ポイント増加、$\omega = 0.27$）が、これらの効果は依然として穏やかであり、自然な推論フローを代表するものではなかった。
• 除去効果：自然に発生する VEA を除去すると、小さく、しばしば無視できる転換（$\omega \le 0.12$）が生じた。例えば、整合性ベンチマークでは VEA の除去により不整合な出力が 1.8 ポイント増加し、ジレンマベンチマークでは功利主義的な回答が 4.2 ポイント増加した。
• オンポリシー効果：自発的に発生する VEA は、特に安全性ベンチマークにおいて最も顕著な転換を示した。そこでは有害な出力が 3.7 ポイント減少（$\omega = 0.31$）し、安全な回答が 2.8 ポイント増加した。しかし、ここでも効果量は小さく、転換は異なるモデルやベンチマーク間で一貫していなかった。
• モデルのばらつき：集計結果は小さな効果を示したが、個々のモデルはより大きく、時には相反する転換を示した。例えば、Qwen3-32b は VEA 注入時に安全な回答へと顕著に転換したが、他のモデルはほぼゼロの転換を示した。逆に、評価を意識することで整合性が低下するモデルも存在した。

意義と主張
本論文は、モデルの CoT における VEA の存在を、自動的に戦略的行動、整合性の改ざん、あるいは「ゲーム化」の証拠として解釈すべきではないと主張する。発見された事実は、モデルが評価コンテキストを認識する「能力」と、その認識を利用して出力を変更する「傾向性」との間の脱結合を示唆している。

著者らは、これらの限定的な効果に対するいくつかの解釈を提示する：

1. モデルは意識を言語化する前に、すでに回答の軌道にコミットしている可能性がある。
2. モデルは「プリフィル意識」（CoT が操作されているという事実に対する感受性）を有しており、これがゲーム化行動を抑制している可能性がある。
3. 評価意識と戦略的適応との関連性は、現在のオープンウェイトモデルにおいて、セーフティ文献でしばしば仮定されているよりも弱い。

本研究は、評価意識は依然として理論的なセーフティリスクではあるが、現在の実証的証拠は、それが文献が仮定するよりも実践的なリスクが小さいことを示唆すると結論づける。著者らは、これらのほぼゼロの結果を、将来のより高性能なモデル、あるいは「策略」や「整合性の偽装」に関する議論を含むデータで訓練されたモデルへ外挿することに対して警告を発する。そのようなデータは、将来のモデルに意識とゲーム化を結びつけることを教える可能性がある。彼らは、自らの発見が現在の世代のオープンウェイトモデルおよび観察された言語化された意識の特定の形態に固有のものであることを強調している。