When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning

あなたは、巨大でハイテクな宇宙船「大規模言語モデル（Large Language Model）」の船長であると想像してください。この船は人間の言語を理解し生成するために作られていますが、あまりに重厚で複雑なため、現実世界のアプリケーションという狭い峡谷を通り抜けるには、飛行速度が遅すぎます。船を飛ばすためには、「プルーニング（枝刈り）」を行う必要があります。つまり、墜落することなく船を軽くするために、エンジンの部品を慎重に取り除く作業です。

難しいのは、この船がただ一種の貨物を運んでいるわけではないという点です。「一般旅行者」、「希少コードの専門家」、「安全検査官」といった、多くの異なるグループの乗客を乗せています。もし「希少コードの専門家」が頼りにしているエンジン部品を切り落としてしまったら、他の人々にとっては船は問題なく飛ぶかもしれませんが、専門家たちは置き去りにされてしまいます。コンピュータサイエンスにおける大きな疑問は、「どの部分を切り落とせば、すべてのグループの乗客が安全であり続けられるのか、たとってすべての可能な切り方をテストできないとしても、どうすればそれを知ることができるのか？」ということです。科学者たちは「圧縮統計量（compression statistics）」、つまりどの部分が無用かを予測しようとする数学的なスコアを使用します。しかし、この論文は恐ろしい問いを投げかけます。「もしスコアがある部分を切り落としても安全だと示していても、実際には特定のグループにとってその船を破壊してしまうとしたらどうなるだろうか？」

「圧縮スコアが決定を下せないとき（When Compression Scores Cannot Decide）」と題されたこの論文は、これらの予測スコアに隠された限界を調査しています。アンドリュー・チャン（Andrew Zhang）氏率いる著者らは、単一の平均的なスコアは、ぼやけた地図を見ているようなものだと主張しています。それは、全体としては概ね良好であることを示していても、特定の角の部分が燃えている事実を隠してしまうのです。彼らは、これらのスコアが特定のグループに対する最悪のダメージを予測することに失敗することが多いと指摘しました。単に「どのカットが最適か」を決めるための「魔法の数字」に頼るのではなく、新しい戦略を提案しています。それは、局所的な手がかりを用いて短い候補リストを作成し、その後、最終的なカットを行う前に、それらの特定の候補がすべてのグループに対してどのように機能するかを実際にテストするという方法です。

「平均」スコアの問題

圧縮スコアを、クラスの成績をつける教師と考えてみてください。もし教師がクラスの平均値だけを見ているとしたら、全員が順調に進んでいると考えてしまうかもしれません。しかし、もし一人の生徒が惨めに落第している一方で、他の全員がテストで満点を取っていたとしたらどうでしょう？ 平均は失敗を隠してしまいます。AIの世界では、研究者はどのニューロン（AI内部の微細な処理ユニット）を取り除くかを決めるために「プルーニング・スコア」を使用します。これらのスコアは、多くの場合、すべてのデータに対するAIの「平均的」な挙動を見ています。

著者は、このアプローチが危険であることを発見しました。彼らは、非常に信頼性の高い（2回テストしても同じ答えを出す「半分割信頼性」が0.906である）特定のプルーニング・スコアを見つけ出しました。このスコアはあるカットによってAIのパフォーマンスが16.1%向上すると予測しました。しかし、実際にそのカットを行った結果、結果は悲惨なものでした。AIのパフォーマンスは、コントロールグループよりも6.0%から7.7%も悪化したのです。スコアは平均については正しかったのですが、特定のユーザーグループにとっての体験を台無しにしてしまうという事実を完全に見逃していたのです。

「情報境界」と隠されたギャップ

なぜこのようなことが起こるのかを説明するために、著者は「情報境界（information boundary）」という概念を用いています。影を見て隠れた物体の形を推測しようとしていると考えてみてください。もし影が単純な平均値であれば、物体は完璧な球体だと考えるかもしれません。しかし、その物体は、影には現れない鋭い角を持つ立方体である可能性があります。

この論文は、標準的なプルーニング手法が「影（集約された平均）」しか見ていないと論じています。彼らは「鋭い角（個々のグループへの特定のダメージ）」を見逃しています。著者は、スコアが見ているものと実際に起きていることの間のギャップを「観測ファイバー（observation fiber）」と呼んでいます。それは霧がかかった窓のようなものです。一般的な形は見えますが、最も重要な詳細が見えないのです。

彼らは、平均のみを見ている場合、グループの数に比例した誤差が生じる可能性があることを数学的に証明しました。もし4つのグループがあれば、最悪のダメージは平均が示唆するよりも4倍悪くなる可能性があります。これは彼らが導き出した「錐体法則（conic law）」であり、AIのプルーニングにおける物理法則のように機能します。つまり、特別な方法でグループを個別に調べない限り、平均化は常に最悪のシナリオを隠してしまうのです。

解決策：二段階のダンス

では、平均スコアが嘘をつくのであれば、どうすればよいのでしょうか？ 論文は、「提案（Propose）」と「決定（Decide）」と呼ばれる二段階のプロセスを提案しています。

ステップ1：提案（局所的な手がかり）
まず、局所的な手がかりを使用して、短い候補リストを作成します。密なAIモデル（巨大で重いモデル）において、彼らは「グループ分解された対角成分（group-resolved diagonal）」法を用いました。これは、エンジン全体を見るのではなく、各特定の乗客グループごとにエンジン部品をチェックすることに似ています。この手法は、ダメージの「一般的な」深刻度を特定することには非常に優れていました（実際の最悪のダメージとの相関関係は0.9239でした）。これは、「おい、このカットをするとこのグループの乗客は大変なことになるぞ」と教えてくれます。しかし、見た目が良好なものの中から、どれが「最高のカット」であるかを正確に選ぶことはできませんでした。危険を見つけることには長けていましたが、勝者を選ぶことには不得手だったのです。

ステップ2：決定（実戦テスト）
候補の短いリスト（「有限のメニュー」）を手に入れたら、推測をやめてテストを開始しなければなりません。著者は、単一のスコアでこれらの候補の順位をつけることはできないと結論付けました。代わりに、特定のグループに対する各候補の実際のパフォーマンスを測定する必要があります。

彼らはこれをLlama、SmolLM3、Qwenという3つの異なるAIモデルでテストしました。「ターゲット一致（target-matched）」アプローチ（つまり、彼らが重視する特定のグループに対する各候補の実際のパフォーマンスを測定する方法）を用いることで、彼らは実質的な改善を見出しました。

• Llama モデルでは、「最悪グループのパープレキシティ上昇（AIがどれほど混乱するかを示す指標）」を**7.96%**減少させました。
• Qwen では、それを**2.80%**減少させました。
• SmolLM3 では、それを**2.68%**減少させました。

これらは単なる推測ではなく、未知のデータに対しても有効性が確認された、測定された改善結果でした。

MoEのひねり：ルーターの秘密の地図

論文では、「混合エキスパート（Mixture of Experts: MoE）」と呼ばれる異なるタイプのAIについても調査しました。これらのモデルを専門家のチームと考えてみてください。一つの巨大な脳ではなく、多くの小さなエキスパートが存在し、「ルーター」が各質問に対してどのエキスパートを使用するかを決定します。

このセットアップでは、ルーターはどのエキスパートがどのグループに使用されているかを示す「痕跡」または「地図」を残します。著者は、この地図が非常に有用であることを発見しました。それは、ランダムな推測よりも優れた精度で、単一のエキスパートの削除を予測できました（標準的な手法が192回中81回成功したのに対し、この手法は192回中114回成功しました）。

しかし、大きなモデルと同様に、この地図も完璧ではありませんでした。それは、どの単一のエキスパートが保持すべき最も危険なものかを教えることはできましたが、どのエキスパートの「組み合わせ」を削除するのがベストであるかを教えることはできませんでした。これを解決するために、彼らは完全な組み合わせをテストする必要がありました。実際にテストを行った結果、最悪のグループに対して、AIのパフォーマンスを**13.7%および7.2%**向上させる2つの特定の動きを発見しました。

大きな教訓

この論文の主な教訓は、AIのグループに関する生死に関わる決定を下す際に、単一の平均値という数字を信頼してはならないということです。もし、あらゆる人に対して公平で堅牢なAIを作りたいのであれば、より慎重にならなければなりません。

1. 局所的な手がかりは危険を察知するのに役立つ： グループ固有のスコアを使用して、大きなリスクを見つけ出します。
2. しかし、勝者をテストしなければならない： 短い候補リストを得たら、実際にそれらがケアすべき特定のグループに対してどのように機能するかを測定しなければなりません。
3. 「ワンサイズ・フィット・オール（一律対応）」のアプローチは失敗する： あるモデルやグループに機能するプルーニング戦略は、別のモデルでは完全に失敗することがあります。著者は、あるモデルで機能した「微細な方向（fine directions）」（特定のカットパターン）が、別のモデルでは機能しないことを発見しました。

論文は、より優れた地図や候補リストを構築することはできるものの、最終的な決定には常に直接的な結果の測定が必要であると結論付けています。計算だけで安全に辿り着くことはできません。エンジンをカットするたびに、実際にチェックしなければならないのです。これにより、AIという宇宙船を飛ばす際、どのグループの乗客も暗闇の中に置き去りにされることがないようになります。