テクニカル・サマリー：剪定されたLLMにおけるベンチマークの錯覚

問題提起

大規模言語モデル（LLM）は、メモリ使用量と推論コストを削減するために、剪定（プルーニング）による圧縮が頻繁に行われます。開発者は通常、圧縮後もモデルの性能が維持されていることを検証するために、標準的な多肢選択式（MC）ベンチマークに依拠しています。しかし、本論文は、剪定されたモデルが多肢選択評価では高いスコアを達成しながら、オープンエンドな貪欲生成（greedy generation）タスクでは正しい回答を生成できないという、重大な「ベンチマークの錯覚」を特定しています。

調査された核心的な問いは、「剪定によって知識が完全に消去されたのか、それとも単に正解が格下げされ、トップの出力として提示することが困難になっただけなのか」という点です。著者らは、標準的なMCベンチマークは、認識（recognition）をテストする一方で生成（production）をテストしないため、圧縮されたモデルの有用性を過大評価するという、評価上の盲点を作り出していると主張しています。

メソドロジー

本研究は、「回答を認識すること」と「回答を生成すること」を区別するために、ペア項目診断フレームメントを採用しています。その手法は以下の通りです。

1. ストレス・テストの設定: 著者らは、TyDiQAおよびXQuADデータセットを用いた多言語質問応答（QA）を利用しています。彼らは、非圧縮（高密度）モデルがオープン生成とMC形式の両方で正解する質問を選択しています。
2. 圧縮: モデル（Qwen3-8B、Mistral-7B-Instruct、Phi-3-miniを含む）を、再学習なしのワンショット手法、具体的にはWANDA（高スパース性）およびSparseGPTを用いて剪定しています。
3. 3段階の評価: 生成ギャップ（$\Delta_{PR}$）を測定するため、同一の質問を以下の3つの形式で評価します。
   • 自発的生成（Spontaneous Generation）: 候補を与えない貪欲デコーディング（最も困難）。
   • プロンプトによる認識（候補提示型 / Candidate-Shown）: 正解と紛らわしい選択肢（ディストラクター）をモデルに与え、回答を生成させる（中程度の難易度）。
   • 多肢選択（MC）スコアリング: 対数尤度を通じて選択肢をスコアリングし、最適なものを選ばせる（最も容易）。
4. 診断指標:
   • 解離率（Dissociation Rate）: 剪定前には両方の形式で正解であったが、剪定後に「MCのみ（MC-only）」となった（MCでは正解だが生成では不正解）項目の割合。
   • トークン・ランク分析: 確率分布における正解の最初のトークンのランクを調査し、それが消去されたのか、単に格下げされたのかを判断する。
   • 回復可能性（Recoverability）: より広範なデコーディング手法（ビームサーチ、核サンプリング）や、軽いプロンプティング（1-shotのインコンテキスト例）によって、剪定されたモデルから正解を回復できるかどうかをテストする。

主要な知見

1. 「MCのみ」現象

剪定は、多肢選択による認識能力を維持したまま、貪欲なオープン生成を頻繁に破壊します。

• 解離: 高スパース性剪定（例：WANDAによるスパース性0.5）において、かなりの割合の項目（英語の12%からベンガル語の50%に及ぶ）が「MCのみ」のエラーとなります。つまり、モデルはリストから正解を選択することはできますが、回答を生成することはできません。
• サポート・グラディエント: 評価形式が回答のサポート（手がかり）を多く提供するほど、精度低下は最小限に抑えられます。オープン生成は最大の低下（例：8.7パーセントポイント）を経験しますが、MCスコアリングの低下は最小（2.7パーセントポイント）です。

2. 消去ではなく、格下げ

本論文は、剪定が通常、正解を消去するのではなく、**格下げ（demote）**していることを示しています。

• トークン・ランキング: 「MCのみ」となった項目について、正解の最初のトークンは確率分布の中で中央値のランク3.5を保持しています。これは「惜しいミス（ニアミス）」（トップに近い状態）であり、深い埋没（例：既に高密度モデルが失敗していた項目に見られるランク17以上）ではありません。
• メカニズム: 剪定は、分布の上位付近の確率質量を移動させます。正解のトークンは、ランク1からランク3または4へと低下することが多く、これにより貪欲デコーディングが競合する別のトークンを選択してしまいます。一度最初のトークンが間違えると、エラーは連鎖的に蓄積されます。

3. 回復可能性

知識は消去されたのではなく格下げされているため、多くの場合、回復可能です。

• 広範なデコーディング: ビームサーチ（ビームサイズ5）や核サンプリング（10サンプル）を使用することで、剪定されたモデルの精度は大幅に回復します。例えば、スワヒリ語の精度は、貪欲法による39%から、10サンプルによる74%へと上昇します。
• 安定性: 貪欲法の精度は約9.1パーセントポイント低下しますが、「オラクル回復可能性（正解が分布内に存在するかどうか）」の低下はわずか約0.7パーセントポイントです。
• プロンプティング: 単一のインコンテキスト例を追加することも、剪定されたモデルと高密度モデルの間の性能差を縮めるのに役立ちます。

4. 限界と境界

「格下げ」仮説は普遍的に成立するわけではありません。

• モデルサイズ: 小規模なQwenチェックポイントは、単なる回答の格下げではなく、基礎となる認識能力そのものを失う傾向があります。
• 言語/トークナイゼーション: 回復率は言語によって異なります。複雑なトークナイゼーションを持つ低リソース言語（ベンガル語、テルグ語など）は、他の言語（スワヒリ語の59%など）と比較して低い回復率（12%）を示しており、これらの特定のケースでは純粋な知識の喪失が起きていることを示唆しています。

貢献

1. 新しい診断ツールの導入: 生成、認識、および到達可能性（reachability）を比較するペア項目テストを導入し、圧縮によって引き起こされる失敗を明らかにしました。
2. ベンチマークの錯覚の露呈: 積極的な剪定が、MCによる認識能力を維持しながらも、貪欲な生成能力を破壊することを実証し、ベンチマーク・スコアが膨張していることを示しました。
3. メカニズムの解明: 剪定が主に正解を消去するのではなく、分布の下位へと格下げ（ニアミス）させていることを示し、それが広範なデコーディングや軽いプロンプティングによって回復可能であることを明らかにしました。

意義

本論文は、**「保持されたベンチマークスコアは、保持された有用性を保証するものではない」*と結論付けています。標準的なMCベンチマークは、モデルが何を認識できるかをテストする一方で、何を生成できるか*をテストしないため、盲点を作り出しています。圧縮されたLLMの現実世界での有用性を正確に評価するためには、評価においてオープンエンドな生成を優先し、モデルがリストから選択するだけでなく、回答を生成する能力をテストする必要があります。「ベンチマークの錯覚」は、現在の圧縮技術が、リーダーボードが示すよりも実用的な展開において脆弱である可能性を示唆しています。