SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks

技術的概要：SafetyRepro アライメントベンチマークにおける構成条件付きランク不安定性

問題定義
本論文は、大規模言語モデル（LLM）のアライメントベンチマークの再現性における重要な欠陥に対処する。文献において「モデル A はモデル B より安全である」といったペアワイズ比較が定量的な判決として扱われている一方で、それらは重要な構成選択を十分に規定していない評価ハarnessに依存している。評価者は、プロンプトテンプレート、デコーディング設定、ファウショットレベル、スコアリングルール、量子化スキームを選択しなければならない。著者らは、これらの選択がベンチマーク論文において妥当ではあるが不十分かつ規定されていないことが多く、同じモデルペアでもハーネス構成に応じて矛盾するランキングをもたらす再現性の欠如を招くと主張する。

手法
著者らは、有限の構成エンベロープ内におけるペアワイズランキングの安定性をテストするために、「コミットスタンプ付き」評価プロトコルを構築した。

• 実験グリッド: 本研究では、5 つのアライメント関連ベンチマーク（TruthfulQA、BBQ、ToxiGen、CrowS-Pairs、XSTest）において、3 つの 7–9B オープンウェイト指示チューニングモデル（Qwen-2.5-7B-Instruct、Mistral-7B-Instruct-v0.3、Yi-1.5-9B-Chat）を評価した。
• 構成エンベロープ: 各（モデル、ベンチマーク）ペアに対して 4 つの軸を変化させる 612 セルのグリッドを走査した。
  1. プロンプトテンプレート: 4 レベル（最小限、役割枠組み付き、詳細、チェーン・オブ・ソート）。
  2. デコーディング: 3 レベル（貪欲法、T=0.3、T=0.7）。
  3. ファウショット: 3 レベル（0、3、5 ショット）。
  4. スコアリング: 2 レベル（自由形式の正規表現抽出対、ログプロブ argmax）。
• 制約: グリッドは NF4 量子化（16 GB の消費者向けハードウェアをシミュレート）およびベンチマークごとの固定アイテムサブセットに固定され、データ部分サンプリングのばらつきからハーネスのばらつきを分離した。
• 指標:
  • 操作者制御可能ペアワイズ不一致率 ($\rho_{flip}$): $\min(N_+, N_-) / |C_b|$ と定義される。ここで、$N_+$ と $N_-$ はそれぞれモデル A > モデル B およびモデル B > モデル A となる構成の数を表す。この指標は、エンベロープ内における厳密な逆転の存在を測定する。
  • ランキング合意度 ($\tau_R$): 誘導された 3 モデルランキング上の平均ケンダル $\tau$。
  • 分散帰属: モデルの同一性と実装軸（テンプレート、デコーディング、ファウショット）間の分散を分割するための 4 要因型 II ANOVA。
• ケーススタディ: 単一の名义アンカー構成（Qwen2.5-7B-Instruct）を 3 つの主要な評価パッケージ（lm-evaluation-harness、HELM-lite、Inspect AI）で再実行し、実装の非同等性を実証する separate 分析を行った。

主要な発見

1. 普遍的なランク不安定性: 試験されたすべてのベンチマークにおいて、構成選択のみがモデル間のペアワイズ判決を逆転させるのに十分であった。指標 $\rho_{flip}$ はすべてのベンチマークで非ゼロであり、試験されたエンベロープ内では厳密な順序付けが識別不可能であることを示している。
2. 最大不安定性:
   • XSTest: 最も変動の激しいベンチマークであり、3 モデルのすべての可能な 6 通りの順序付けが完全なエンベロープ内で到達可能である。「コアティア」（ストレスティアの CoT と多様なデコーディングを除く）であっても、6 通りの順序付けの 5 つが依然として到達可能である。
   • TruthfulQA: 最も高いペアワイズ不一致率を示す（完全なエンベロープで $\rho_{flip} \approx 47.9\%$、コアティアで $\approx 40.7\%$）。
   • BBQ と ToxiGen: 同様に顕著な不安定性を示し、それぞれ $\rho_{flip}$ 値は約 43.8% および 35.4% である。
3. 実装対モデルの優位性: 分散分割の結果、実装の主要効果は、4 つの自由形式ベンチマークのうち 3 つ（BBQ、ToxiGen、XSTest）において、モデルの同一性と同じかそれ以上の集計分散を説明することが明らかになった。TruthfulQA のみがモデル優位である。相互作用効果は大きく（41–54%）、分割は正確な比率というよりは定性的な方向性を示唆している。
4. スコアリングパスの感度: 自由形式の正規表現解析とログプロブ argmax スコアリングの間を切り替えると、実質的に異なるスコアが生じる（クロスパッケージ研究において BBQ で最大 22.7 パーセントポイント、TruthfulQA で 21.7 パーセントポイント）。これは、異なるスコアリングパスが非同等の候補オブジェクトを測定していることを確認するものである。
5. クロスパッケージ非同等性: 3 つの異なる評価パッケージで同じ名义構成を実行すると、スコアのばらつきが最大 22.7 パーセントポイントに達する。これは単一軸のパッケージ効果ではなく、実装の非同等性（異なる候補オブジェクト、プロンプトのボイラープレート、およびグランドトゥルースのマッピング）に起因する。

貢献

1. 指標: 定義された実践派生エンベロープ内における厳密なランク逆転の存在を定量化する、構成条件付き指標である操作者制御可能ペアワイズ不一致率（$\rho_{flip}$）の導入。
2. データ: コミットスタンプ付き構成規則を備えた 15 の（モデル、ベンチマーク）ペアを網羅する、公開可能な 612 セルの評価グリッド。
3. 証拠: 3 つの主要な評価パッケージ間における実装非同等性を示すケーススタディ。構成を開示するだけでは、異なるハーネス間でのスコアの再現性には不十分であることを示す。
4. ツール: スコアとともにハーネス構成を記録するための研究レベルの開示テンプレート（GRID カード）。透明性を向上させるが、主張者が構成近傍を操作する問題を解決するものではないことを認める。
5. 堅牢性チェック: 保守的コア部分エンベロープ（4 構成）およびクロスファミリー規模プローブ（7B 対 32B/34B）の分析。単一ファミリーの交絡を排除するが、一般的なスケーリング則を主張するものではない。

意義と主張
本論文は、モデル A をモデル B より上位にランク付けするベンチマークスコアは、モデル単独ではなく、(モデル、ハーネス) ペアの性質であると主張する。著者らは、モデルと特定のハーネス構成の両方を開示しない限り、そのようなランキングは再現不可能であると断言する。

意義は、与えられた構成グリッドにおいてペアワイズランキングが厳密な逆転から自由かどうかをテストするワンラインテスト（命題 1）を提供することで、「理論–ベンチマークループ」を閉じる点にある。著者らは、その発見が限定されたものであることを強調している。すなわち、「LLM 評価の再現性」を母集団として測定したわけでも、再現性を解決したわけでもない。代わりに、意図的に限定された実践派生エンベロープ内（消費者向けハードウェア、特定のモデルサイズ、固定アイテムサブセット）において、「厳密な順序付け」というプリミティブが安定した真理を識別できないことを実証している。論文は、どの公開されたランキングが識別可能かを認定するには、新しい理論も新しい計算資源も不要であり、むしろこの構成条件付きテストの適用が必要であると結論づけている。