Auditing Reasoning-Trace Memorization Claims after Unlearning with Head-Conditioned Canaries

非常に賢い学生が、60 人の架空の作家とその伝記という秘密のリストを丸暗記していると想像してください。あなたは、その特定の事実をその記憶から「忘却（アンラーニング）」させられるかどうかをテストしたいと考えています。

過去には、学生に質問をし、正しい答えを返したかどうかを確認するだけで済みました。もし間違えれば、彼らが忘れたとみなされました。しかし現在、これらの AI モデルには新しい習慣があります。答えを返す前に、特別な箱（スクラッチパッドのようなもの）に「思考プロセス」を書き出すのです。

問題点：「バイパス」の錯覚

研究者たちは、AI に忘却を試みた後に奇妙なパターンに気づきました。

1. 答え：AI は正しい答えを返さなくなります。（忘れたように見えます！）
2. 思考：しかし、「思考箱」の中身を見ると、AI は忘れるべきだった秘密の伝記を書き続けています。

従来の結論はこうでした：「なるほど！AI は本当に忘れたわけではない。口に出しては言わないが、思考プロセスの中に秘密を隠しているのだ」。これを**「バイパスパターン」**と呼びます。

調査：思考箱は秘密の金庫か、それとも単なるスクリプトか

この論文の著者たちは、この結論を検証することにしました。彼らは問いかけました：AI は本当に脳（重み）の中に秘密を記憶しているのか、それとも単にスクリプトに従っているだけなのか？

「思考箱」を、AI が使うように訓練された**「穴埋めワークシート」**だと考えてみてください。そのワークシートは常に同じ文で始まります：「[作家名] に関する事実は以下の通りです：」の後に伝記が続きます。

研究者たちが AI に忘却を試みた際、彼らが指示したのは「答えを書くのをやめる」ことだけでした。彼らはワークシートのテンプレートを書くのをやめるよう指示しませんでした。そのため、AI は最終的な答えを書くのをやめましたが、指示の一部が変更されなかったため、ワークシート（思考の痕跡）を書き続けました。

実験：「プリフィル」の入れ替え

彼らの主張を実証するために、研究者たちは巧妙なトリックを行いました。彼らは「答えを忘れた（しかし思考の痕跡は書き続けていた）AI」を取り出し、以下の操作を行いました。

1. テスト：AI に文の続きを書かせるよう依頼しました。
2. 入れ替え：AI に自分で思考の痕跡を書かせる代わりに、秘密の作家とは無関係な、全く異なる短い文で思考の痕跡を置き換えました。
   • 例：AI に「ゼフィアに関する事実は以下の通りです...」と書かせる代わりに、「私は天気について考えています...」という文で始めるよう強制しました。

結果：

• AI に自分の「スクリプト化された」思考の痕跡を書かせた場合、秘密の情報がまだ漏洩していました。
• 思考の痕跡を別のものに入れ替えた場合、AI は突然秘密の情報の漏洩を完全に停止しました。質問に答える能力は、「漏洩」があった場合と同じ低いレベルまで低下しました。

これは何を意味するか：秘密の情報は、実際には AI の脳の中に隠されて発見されるのを待っていたわけではありませんでした。「漏洩」は単に、AI が古い訓練スクリプトに従っていたに過ぎませんでした。スクリプトを変更すれば、漏洩は消えます。

「パーサー」のバグ

この論文はまた、この「バイパス」測定が非常に脆弱であることを発見しました。

• あるタイプの AI モデルでは、「バイパス」スコアは正（隠された記憶を示唆）でした。
• しかし、わずかに異なるモデルでは、全く同じテストが負のスコア（逆を示唆）を出しました。AI がより少なく記憶したからではなく、AI が「思考箱」のタグを正しく使用しなくなったためです。答えをチェックするコンピュータプログラムが混乱し、思考箱が空でないにもかかわらず空だと誤認しました。

結論

この論文は、これらの思考型 AI モデルにおける「忘却」の測定方法が破綻していると主張しています。

• 古い見方：「思考の痕跡に秘密が含まれていれば、AI は忘れていない」。
• 新しい見方：「思考の痕跡は単なるテンプレートの反響かもしれない。正の『バイパス』ギャップは AI が記憶していることを証明しない。それは単に、削除を指示されなかったスクリプトに従っているだけかもしれない」。

推奨事項：
AI が秘密裏に何かを記憶しているとパニックになる前に、シンプルで安価なチェックを行うべきです：思考の痕跡を交換する。思考のテキストを変更した際に「漏洩」が消えれば、それは秘密の記憶ではなく、単なるスクリプトでした。もし残るなら、その時点で AI が実際に情報を保持しているとわかります。

要約：思考の痕跡が記憶しているように見えるからといって、それを信じてはいけません。それは、単語の意味を忘れたとしても、書くように指示された詩を朗読しているだけかもしれません。