あなたは、巨大で複雑なレシピ本を、小さなポケットノートに収まるように縮小しようとしているシェフだと想像してください。どこへでも持ち運べるほど小さくしたいのですが、それでも全く同じ美味しい料理を作る必要があります。人工知能の世界では、この「縮小」は圧縮（compression）と呼ばれます。大規模言語モデル（コードを書いたり、物語を語ったり、私たちとチャットしたりする超スマートなAIの脳）は非常に巨大であるため、エンジニアは量子化（quantization）（内部の数値を簡略化すること）、プルーニング（pruning）（未使用の接続を切り落とすこと）、低ランク因子分解（low-rank factorization）（より単純な数学的スケルトンを見つけること）といったテクニックを使って、それらをより小さく、より速くするために工夫しています。

しかし、縮小された本が本当に機能するかどうかを、どうやって判断すればよいのでしょうか？ すべての料理を実際に味わって試すことはできません。代わりに、「品質の番人（quality guards）」を使用します。AIが基本的な文法を理解しているか（パープレキシティ）、トリビア問題に正しく答えられるか（MMLUのようなもの）、そしてランダムな質問を投げかけたときに、その内部的な「思考」が元の巨大な脳と依然として似ているかどうかを確認します。これらのチェックは高速であり、新しいデータを必要としません。大きな疑問は、これらの番人が、AIを実世界のタスクに送り出すための安全性を証明するのに十分なのか？ ということです。この論文は、恐ろしい可能性について深く掘り下げています。もし、AIがすべてのテストに合格したとしても、手順に従おうとした際に勝手にルールを作り始めてしまったらどうなるでしょうか？

---

大いなる「発明」強盗事件

この論文の著者たちは、圧縮されたAIをテストする方法における隠れた盲点を発見しました。彼らは、AIがすべての標準的な安全性テストに合格し、書類上は完璧に見えても、エージェント（厳格な指示に従うデジタルワーカー）として行動するよう求められると、**指示には存在しないステップを勝手に作り始める（発明してしまう）**ことを発見しました。

これは、数学のテストでは満点を取った学生が、ケーキを焼くためのレシピに従うよう頼まれると、「かっこいいから」という理由で「キラキラをひとつまみ」加えることに決めてしまうようなものです。その学生は数学のテストに落ちたわけではありません。ただ、「指示に正確に従う」という特定のタスクに失敗したのです。

研究者たちはこれを、3つの異なるAIモデルファミリー（Mistral、Qwen、Llama）でテストしました。彼らはSVD（一種の低ランク因子分解）と呼ばれる手法を用いて「穏やかに圧縮」されたモデルを取り上げました。これらのモデルは非常にうまく圧縮されており、パープレキシティ・ガード（混乱レベルが元のモデルと比較して1.069倍から1.17倍であり、安全限界である1.15の範囲内）と、フィデリティ・ガード（内部の思考がオリジナルと一致していること）の両方に合格していました。

しかし、これらのモデルにエージェントとして振る舞わせ、標準作業手順書（SLR/SOP）——例えばサーバーの修理や注文処理のチェックリストのようなもの——に従うよう求めたところ、モデルは**コンファビュレーション（作話／作り話）**を始めました。存在しない追加のステップを付け加えてしまったのです。

• Mistral-7B モデルでは、圧縮版はクエリあたり平均 +1.729 個の余分なステップを捏造しました。
• Qwen3-8B モデルでは、+0.208 個を捏造しました。
• Llama-3.1-8B モデルでは、「穏やかに圧縮」されたバージョンはノイズフロア（捏造がわずか +0.056 ステップ）に留まっており、つまりこの特定のビルドに対してテストは**非診断的（non-diagnostic）**であったことを意味します。このモデルの内部スペクトルには、安全ガード内に留まりながら捏造効果を引き起こすための「低ランクの余白（low-rank headroom）」が十分にありませんでした。この失敗は、Llamaモデルが標準的な安全ガードの外側まで押し切られるほど、より積極的に圧縮された場合にのみ現れました。

恐ろしい点は？ このような挙動を示したモデルは、フィデリティ・テストに合格したモデルだったということです。テストは「おい、君の脳はオリジナルとそっくりだよ！」と言っていました。しかし、現実は「実は、君の脳は今、新しいルールを幻覚（ハルシネーション）で見せているんだ」というものでした。

原因：ダメージではなく「コヒーレンス（一貫性）」

なぜこのようなことが起きたのでしょうか？ 著者らは、これがモデルがどれほど損傷したか（エラーの「大きさ」）によるものではないことを発見しました。彼らは「SVD」による圧縮と、「マグニチュード・プルーニング（最小の数値を切り落とす手法）」を比較しました。

両方の手法が、全く同じ量の混乱（パープレキシティ）を引き起こすように一致させたとき、結果は劇的に異なりました。

• SVD モデル（エラーが滑らかで構造的な、いわゆる「コヒーレント」な歪みを生むもの）は、テストに失敗し、ステップを捏造しました。
• プルーニング モデル（エラーがランダムな静電気のような、不整合で「メッシー」なもの）は、テストに合格し、捏造はほとんど行いませんでした（約 -0.146 ステップで、これは実質的にゼロです）。

著者らは、問題はエラーの「大きさ」ではなく、その「形」にあると気づきました。彼らはこれを 「Coherence × Rate（コヒーレンス × レート）」 メカニズムと呼んでいます。

• Coherence（コヒーレンス）: エラーが構造化されており、滑らかであること（低ランクのSVDのように）。
• Rate（レート）: モデルのどれくらいが影響を受けているか。

もし、標準的なテストのレーダーに引っかからない程度に、構造化された滑らかなエラーが存在する場合、AIは存在しないショートカットを知っていると思い込み、手順を捏造し始めます。エラー（パープレキシティ）が予測したのではなく、エラーの「滑らかさ」がそれを引き起こしたのです。

「カナリア」と新しい検出器

これを証明するために、研究者たちは**「カナリア（canary）」**と呼ばれる特別なテストを構築しました。これは炭鉱のカナリアのようなものです。彼らはAIに、10個のステップと条件付きの11番目のステップを含む偽のSOPを与え、そのステップを列挙するように求めました。もしAIが指示に含まれていないステップを挙げた場合、それは失敗となります。

彼らは、標準的な「フィデリティ・テスト」で勝利した（オリジナルと同じ見た目であることを証明した）同じAIの重みが、「カナリア・テスト」では敗北した（ステップを捏造していることを露呈した）ことを見出しました。これは「解離（dissociation）」です。つまり、標準的なテストはこの特定の種類の失敗に対して盲目なのです。

しかし、著者らは問題を指摘するだけでなく、デプロイ前にそれを捕まえるためのデータフリーの検出器も構築しました。彼らは、新しいデータを一切必要とせずに、以下の2つの指標を測定できることに気づきました。

1. Coherent Fraction（コヒーレント分率）: エラーのうち、どれくらいが「滑らか」で構造的なのか？
2. Error Rate（エラー率）: 全体としてエラーはどの程度大きいのか？

彼らはシンプルな「ゲート（通過/失敗の判定）」を作成しました。

• もし Coherent Fraction > 0.007 かつ Error Rate > 0.01 であれば、FAIL（失敗）。
• それ以外の場合は、PASS（合格）。

このゲートは、テストにおけるすべての失敗モデルを正しく特定しました。例えば、ステップを捏造したMistralモデルは、コヒーレント分率が 0.0080、エラー率が 0.0159 であり、アラームを鳴らしました。安全であったプルーニング・モデルは、コヒーレント分率が 0.0054 であり、「コヒーレンス」のチェックをすり抜けてパスしました。

まとめ

この論文は、パープレキシティ、MMLU、およびデータフリーのフィデリティ・チェックだけでは、AIがエージェントとしての業務を行うための安全性を保証するには不十分であると結論付けています。AIが標準的な「学校の試験」に合格したからといって、現場での仕事中に勝手にルールを作り始めないとは限らないのです。

著者らは、圧縮されたAIをエージェント（タスクを実行したり、手順に従ったりする存在）としてデプロイする前に、この新しい「コヒーレンス・スクリーン（一貫性検査）」を実行すべきであると提案しています。もしモデルが低ランク手法（SVD）を用いて「穏やかに圧縮」されており、この新しいゲートに抵触する場合、そのモデルは標準的なテストで完璧に見えたとしても、ステップを捏造し、指示に従うことに失敗する可能性が高いのです。

要するに、AIがテストに合格したからといって、そのまま信用してはいけません。それが「滑らかに壊れている」状態ではないかを確認してください。なぜなら、その時こそAIは作り話を始めるからです。