Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression

巨大で超知能的なコンピュータが、疲れを知らない探偵として振る舞い、思考プロセスをステップごとに書き出しながら複雑な謎を解き明かしていく世界を想像してみてください。これが現代の「大規模推論モデル（Large Reasoning Models）」の仕組みです。彼らは単に答えを推測するのではなく、なぜ自分が正しいのかを証明するために、長く論理的な物語を構築していきます。しかし、これらの物語は非常に長くなることがあり、コンピュータのメモリを膨大な量占有してしまいます。それはまるで、探偵がすべての手がかり、目撃者の証言、そして地図を一度に頭の中に保持しようとするかのようです。コンピュータをより高速かつ安価に動作させるために、科学者たちは「KVキャッシュ圧縮（KV cache compression）」と呼ばれるトリックを考案しました。これは、探偵のメモから「退屈な」部分や「冗沢な」部分を捨て去り、事件を解決するために最も重要な断片だけを残す、魔法のファイリングシステムのようなものです。

長い間、誰もが、もしこの魔法のファイリングシステムが最終的な答えを正しく保持できているのであれば、その答えを導き出した重要な手がかりも保持しているはずだと考えてきました。それは論理的に思えました。もし探偵が「執事が犯人だ」と言い、その答えが正しければ、そのメモも優れていたはずだ、と。しかし、新しい研究は、これが危険な錯覚である可能性を示唆しています。研究者たちは、正しい答えを出しているにもかかわらず、その根拠となる証拠を完全に忘れてしまった（あるいは捨ててしまった）探偵が存在し得ることを発見しました。彼らは、コンピュータが論理の連鎖が壊れているにもかかわらず、正しい結論を「幻覚（ハルシネーション）」として生成している可能性があることを突き止めました。そして、私たちは最終的な答えだけをチェックしていたために、その探偵が実際にはデタラメを言っていることに気づかなかったのです。これは、現実の世界、例えば医療や科学の分野において、答えが正しいことと同じくらい、「なぜ」その答えが正しいのかを知ることが重要であるため、非常に重大な問題です。

偉大なる「正解、しかし誤った理由」の謎

この論文において、イリノイ大学アーバナ・シャンペイン校の研究者たちは、この「魔法のファイリングシステム」をテストすることに決めました。彼らは、メモリを圧縮することが、答えの背後にある「推論」を実際に保持しているのか、それとも答えだけを保持して証明を切り刻んで捨てているのかを検証しようとしました。これを行うために、彼らは「タイムトラベル・リプレイ」のように機能する巧妙な実験をセットアップしました。

まず、彼らは（メモリ圧縮を行わない）超知能的なコンピュータに、トリッキーな数学パズル、科学的な質問、医学的な計算といった難しい問題を取材させました。そして、コンピュータが書き出した完全な「思考の痕跡（thought trace）」、つまりステップ・バイ・ステップの完全な物語を保存しました。次に、その全く同じ物語を取り上げ、異なる圧縮手法を用いて、その結末を「再生（リプレイ）」するように指示しました。コンピュータは、圧縮されたメモリ節約版のメモを使用して物語を完結させなければなりませんでした。ここでの鍵は、物語の「テキスト」自体は固定されており、変化したのはコンピュータが今読んだ内容を理解するための内部メモリのみであるという点です。これにより、研究者は圧縮がコンピュータの「自身のメモを理解する能力」に対して何を行っているのかを正確に分離して調査することができました。

彼らは、古いトークンを捨てるもの、似た概念を統合するもの、そして何も捨てずにサイズを縮小するだけのものなど、11種類の異なる圧縮手法をテストしました。彼らは以下の3つの要素を検証しました：

1. 最終的な正確性（Final Accuracy）：コンピュータは正しい答えを出したか？
2. 連鎖の一貫性（Chain Consistency）：物語は実際に論理的で正しかったのか、それともステップを飛ばしたり、デタラメを言ったりしたのか？
3. 忠実性（Faithfulness）：もし物語の途中に間違った答えを紛れ込ませた場合、コンピュータは間違いを見つけ出すのか、それとも盲目的にその誤りに従うのか？

衝撃的な発見：「答えと証拠のギャップ」

結果は目を見張るものでした。研究者たちは、正しい答えを得ることと、正しい証拠を持つことの間に大きな隔たりがあることを発見しました。彼らはこれを**「答えと証拠のギャップ（Answer-Evidence Gap）」**と呼んでいます。

何が起きたのでしょうか。数学や科学の難易度の高いタスクにおいて、多くの圧縮手法は、圧縮されていないフル状態のコンピュータとほぼ同等の割合で正しい最終回答を生成できていました。しかし、それらの回答の背後にある「推論」をチェックすると、惨状でした。コンピュータはしばしば「誤った連鎖による正解（wrong-chain correct answers）」を生み出していました。これは、最終的な数字や選択肢は合っているものの、そこに至るまでの経路には穴があり、論理の飛躍や捏造された事実が含まれていることを意味します。

例えば、AIMEと呼ばれる数学テストにおいて、一部の圧縮手法は約50%の確率で正解を出していました。しかし、コンピュータが「どのようにしてそこに到達したか」を調べると、それらの「正解」ケースの多くにおいて、コンピュータが重要なステップを飛ばしたり、間違った公式を使用したり、あるいは単に答えを推測してからそれを正当化するための偽のストーリーを書き上げたりしていたことが判明しました。それはまるで、テストで正解を書いたものの、説明欄に「魔法を使った」と書いている学生のようなものです。

この研究は、このギャップが、メモリの一部を**「退避（evict）」**（捨てる）手法において特に深刻であることを示しました。これらの手法は、最終的な結論に見えるテキスト（答えの合図）は保持する一方で、中間計算や検証ステップといった「証拠の裏付け」を捨て去ってしまう傾向があります。それはまるで、ファイリングシステムが「事件解決」のスタンプは残したが、警察の報告書や指紋をすべて捨ててしまったかのようです。

興味深いことに、研究者たちは**「量子化（quantization）」**（メモの内容を削除せずにサイズを縮小する手法）がはるかに優れたパフォーマンスを示すことを発見しました。量子化は推論の連鎖をほぼ完全に保持しており、これは問題が単にメモリが少ないことではなく、具体的には「答えが正しいことを証明するための推論の痕跡へのアクセス」を失っていることにあることを示唆しています。

なぜこれが重要なのか： 「偽りの有能さ」の危険性

この論文は、「最終的な正確性」だけに頼ることは罠であると主張しています。もし答えが合っていることだけを確認していれば、圧縮されたコンピュータが完璧に動作していると思い込んでしまうかもしれません。しかし実際には、それは「有能な嘘つき」である可能性があります。つまり、正しい答えは出しているものの、推論が壊れているため、信頼することができないのです。

研究者たちは、物語を「摂動（perturbing）」させることでこれをテストしました。彼らはコンピュータのメモの途中に明らかに間違った答えを挿入し、その後を続けさせました。非圧縮のコンピュータは通常、その間違いを見つけて修正しました。しかし、圧縮されたコンピュータはどうだったでしょうか？ 多くのコンピュータは、間違いを指摘するための証拠が捨てられていたために、その嘘をそのまま受け入れ、間違った答えを採用してしまったのです。

これは、診断や複雑なエンジニアリングの問題など、ハイリスクな状況でこれらのAIモデルを使用するすべての人にとって極めて重要な発見です。もし医師が、「患者は疾患Xである」と言うAI（これは偶然にも真実である）に頼っていたとしても、もしそのAIの推論がデタメジャな事実の塊であったなら、医師はそのAIが本当に正しいのか、それとも単に運が良かっただけなのかを知る術がありません。この論文は、これらのコンピュータを評価するためには、単に「何を言っているか」だけでなく、「どのようにそこに到達したか」をチェックする新しい方法が必要であると示唆しています。

結論

本研究は、圧縮によってコンピュータのメモリを節約し高速化することはできるものの、それはしばしば**「推論の忠実性（reasoning faithfulness）」**を犠牲にすることを結論づけています。「答えと証拠のギャップ」は実在します。圧縮されたモデルは、最終的な答えを保持しながらも、その背後にある妥当性を低下させることがあります。著者らは、将来の圧縮手法は、単に頻繁に出現するトークンに基づいて「最も重要な」ものを選ぶのではなく、推論の「構造」――定義、中間ステップ、および検証チェック――を保持することについて、より賢明である必要があると提言しています。それまでは、正しい答えを出していても、それをどうやって導き出したのかを説明できないAIモデルを信頼することについては、慎重になるべきです。なぜなら、大規模推論モデルの世界において、妥当な理由のない正解は、単なる「運の良い推測」に過ぎないからです。