技術要約：有限サンプルにおけるプロトコル依存の解像度

問題提起

本論文は、標準的なモデル選択の実践における重大な脆弱性、すなわち「保持された検証セットにおいてわずかに高いスコアを記録したモデルが、真に優れている」という仮定を取り上げている。著者は、ランキングの失敗は分布シフトや過学習によって引き起こされる稀な事象ではなく、**有限予算による評価（finite-budget evaluation）**による系統的な限界であると主張している。

中心的な、かつしばしば見落とされる変数は、**最大生成長（デコーディング・パラメータ）**である。本論文は、この単一のパラメータが、一連のチェックポイントが「判別可能」であるか「判別不能」であるかの判定を逆転させ得ることを示している。具体的には、生成制限が短いと、思考の連鎖（Chain-of-Thought）が切り詰められ、チェックポイント間の分散が圧縮され、最小可検効果（Minimum Detectable Effect）に対する偽陰性を生み出す。その結果、不完全に指定された（例：生成長が省略されている）評価パイプラインは、モデル比較の主張を解釈不能なものにする。

方法論

$\Delta_{min}$ 診断フレームワーク

著者は、事前実験的な診断ツールとして、古典的な検出力分析（具体的には二項比のz検定）から導出された $\Delta_{min}$ を提案している。事後的な有意性検定とは異なり、$\Delta_{min}$ はリソースを投入する前に、評価予算（$N$）が統計的に判別可能な比較をサポートするのに十分かどうかを決定する。

• 定義: $\Delta_{min}$ は、50% の検出力における最小可検効果（$MDE_{50}$）を表す。これは、解像度の保守的な下限として機能する。
• 定式化: 独立近似（事前実験用）の場合、閾値は次のように計算される：
  $$\Delta_{min}^{(indep)} = z_{\alpha/2} \cdot \sqrt{\frac{2\bar{p}(1-\bar{p})}{N}}$$
  ここで、$\bar{p}$ は期待される精度、$N$ は評価予算である。
• 対応あり vs 独立: 同じテストセットで評価されたチェックポイントは「対応あり」であるが（McNemar検定によるよりタイトな閾値を可能にする）、事前実験的なスクリーニングには、保守的な上限を提供する独立形式が推奨される。
• スケーリング則: フレームワークは $N \propto 1/\delta^2$ であることを確立している。つまり、可検可能な差を半分にするには、予算を4倍にする必要がある。複数の比較（$m$ 個の候補）を行う場合、閾値はさらに厳しくなる（例：ボンフェローニ補正による）。

実験デザイン

著者は、プロトコル依存の解像度を検証するために、制御された実験を行った：

1. モデル: Qwen2.5-7B および Mistral-7B-Instruct-v0.3。
2. 学習: GSM8K、CodeAlpaca、および Dolly に対する LoRA ファインチューニング（ランク 16、500 ステップ）。
3. 変数:
   • 生成制限: 最大長 128 トークンと 256 トークンの比較。
   • 予算: GSM8K テストセット全体（$N=1319$）から $N=200$ までのサブサンプリング。
   • シード: トラジェクトェクトリー固有の影響を評価するための 3 つのランダムシード（42, 43, 44）。
4. プロトコル: プロトコル効果を分離するために、「Few-shot プロンプティング」と「学習フォーマット・プロンプティング」の区別。

決定ルール：Soup vs Argmax

本論文は、単一の最良モデル（argmax）を選択するか、候補の一様平均（soup）を選択するかについての決定ルール（決定ルール 1）を導出している。

• 条件: 「スープによる利得（$\kappa$）」が解像度閾値の一定割合を超えている場合、一様平均は argmax 選択を弱く支配する：$\kappa \geq \frac{m-1}{m}\Delta_{min}$。
• 含意: 観測された精度範囲が $\Delta_{min}$ を下回る低解像度レジームでは、平均化がより安全なデフォルトとなる。

主要な結果

1. プロトコル依存の解像度

最も重要な発見は、最大生成長が解像度の判定を左右するという点である。

• Qwen2.5-7B: 生成長を 128 から 256 トークンに変更することで、観測された精度範囲は 2.3倍 変化した。
• 隠れた傾向: 128 トークンの制限下では、3 つのシードのうち 2 つは有意な傾向を示さなかった。しかし、256 トークンの制限下では、これらと同じシードが強い負の傾向（過学習）を示した（1 つのシードにおいて Spearman $\rho = -0.77, p=0.009$）。短い制限は、チェックポイント間の分散を圧縮し、劣化を隠蔽してしまった。
• 判定の逆転: 生成長の変更により、シード間でペアワイズの解像度判定が逆転した。

2. 予算による劣化と安定性

• 小規模予算 ($N=200$): 解像度閾値（$\Delta_{min}$）は 9.8 パーセントポイント（pp）まで上昇した。観測された範囲（8.0 pp）はこの閾値を下回り、ランキングの判別が統計的に不可能であった。ブートストラップ解析では、「最良」のモデルが選択されたのは再サンプルのわずか 44% であり（エントロピー 0.717）、高い不安定性を示した。
• フル予算 ($N=1319$): GSM8K のフルテストセットを用いた場合でも、観測された範囲（3.0 pp）は $\Delta_{min}$ の 3.8 pp を下回っていた。したがって、標準的なベンチマークであっても、ファインチューニングのチェックポイントを区別するには不十分な場合がある。

3. 一般化と失敗モード

• Mistral-7B: このモデルは $N=200$ において判別可能な範囲（11.0 pp）を示し、トークン切り詰めに対して感度が低かった。これは、思考の連鎖が短いことが要因と考えられる。
• 失敗ケース（ニアフロア）: 非常に低い精度（$\bar{p} \approx 0.03$）における Qwen2.5-1.5B の実験では、$\Delta_{min}$ の公式は誤って判別可能であると示した（3.4 pp 対 3.5 pp の範囲）。著者は、これを正規近似が破綻する（$N\bar{p} < 5$）失敗モードとして特定しており、厳密検定（フィッシャーの正確検定）では有意性を示さなかった。
• 連続的指標: フレームワークはデルタ法を用いて連続的な指標（例：クロスエントロピー損失）にも拡張できるが、著者は、指標を直接比較するには、サンプルごとの分散に対する効果サイズの慎重な検討が必要であると述べている。

4. 文献調査

最近の 50 件のファインチューニング論文を調査した結果、一つも 最大生成長パラメータを報告していなかった。本論文が示したように、このパラメータが解像度の判定を決定し得るにもかかわらずである。

意義と主張

本論文は、新たな有意性検定を提示することではなく、パワー不足の評価にリソースを浪費することを防ぐための事前実験的診断として位置づけている。

• 解釈可能性: 著者は、もし評価パイプラインが不完全に指定されている（特に生成長に関して）ならば、いかなるモデル比較の主張も解釈不可能であると主張している。
• 再現性: 本研究は、考慮されていないパラメータ（生成長など）が、過学習に対する偽陰性や、モデル間の識別不能状態を作り出すという「診断的失敗モード」を浮き彫りにしている。
• 実用的有用性: 著者は、堅牢なモデル選択を導くための $\Delta_{min}$ の「実務家向けクイックリファレンステーブル」と、9 つの診断上の落とし穴（報告されていないプロトコル、ニアフロアの精度、相関のある評価項目など）のカタログを提供している。
• 限定的な範囲: 著者は、$\Delta_{min}$ はスクリーニングのための「保守的な下限」であり、十分な検出力を保証するものではない（それにはより高い閾値、例えば 80% の検出力が必要となる）ことを明示している。また、ランキングが判別可能であっても、複数の候補がトップ付近に集まっている場合、単一の最良モデルの特定は依然として不確実であり得ることを認めている。

要約すると、本論文は、統計的推定がサンプルサイズによって制約を受けるのと同様に、モデル選択も評価予算によって制約を受けるのであり、プロトコルの詳細（生成長など）を無視することは、有限サンプルにおけるモデル比較の妥当性を根本的に損なうものであると論じている。