技術要約：動く標的 — 信頼性ドリフトに関する縦断的監査

1. 問題提起

大規模言語モデル（LLM）の信頼性報告における現在の慣行は、ベンチマークスコアを静的で転用可能な「証明書」として扱う傾向がある。モデルカードでは、信頼性ベンチマーク（例：TruthfulQA、BBQ）のスコアが頻繁に引用されるが、その測定時期やチェックポイントのバージョンが記録されることは少ない。その結果、これらのスコアは、同じリリースライン内の後続のチェックポイント（例：「Mistral-7B-Instruct v0.1」から「v0.3」へ）に対しても、モデルの挙動は変化していないという暗黙の仮定の下で、そのまま引き継がれてしまう。

本論文はこの仮定が成立するかどうかを調査する。本論文は、オープンソースのリリースラインにおいて、事前学習の混合物、インストラクション・チューニングのレシピ、トークナイザー、およびモデルスケールが世代間で変化する場合、時刻 $t$ で測定された信頼性スコアは、時刻 $t+\Delta$ における後続のチェックポイントに対して有効ではない可能性があると仮定している。核心となる運用上の問いは、**「基礎となるチェックポイントが既に移動しているにもかかわらず、ある時点の信頼性スコアが転用可能な証明書として読み取られてしまっているのではないか？」**という点である。

2. 方法論

2.1 監査範囲と設計

本研究では、4つのオープンソース・チャットLLMリリースライン（Yi、Qwen、Mistral、Gemma）に対して縦断的な監査を実施する。

• 世代: 各リリースラインは、3つの連続する公開世代（G1 $\to$ G2 $\to$ G3）で評価され、合計12個の異なるチェックポイントが存在する。
• ベンチマーク: 3つの次元をカバーする5つの信頼性ベンチマークの固定セットを使用する：
  • 真実性 (Truthfulness): TruthfulQA-MC1。
  • 公平性 (Fairness): BBQ-mixed（曖昧および判別可能なMCQの混合）および CrowS-Pairs-FC（強制選択型MCQ）。
  • 安全性 (Safety): ToxiGen-AT（AIアノテーションによる毒性閾値）および XSTest-TD（タイプ由来の拒絶プロキシ）。
• プロンプティング: 設定への感度を考慮するため、表面形式や抽出戦略を変えた3つの異なるプロンプトテンプレートの下で各ベンチマークを評価する。
• サンプリング: 全12チェックポイント間で比較を行うため、固定されたキャッシュ済みの200項目のサブセットを再利用する。
• 評価プロトコル: モデルは4ビットNF4量子化およびグリーディ・デコーディングでロードされる。スコアは、各チェックポイントにおける3つのプロンプトテンプレートの平均として算出される。

2.2 指標および統計的枠組み

主要な指標は、隣接する世代間のスコアの絶対パーセンテージ差として定義されるスコア・ドリフト率 (Score Drift Rate: SDR) である：
$$|SDR| = \frac{1}{|F||B||G_{trans}|} \sum |(s_{f,g',b} - s_{f,g,b})|$$
ここで、$F$ はリリースラインの集合、$B$ はベンチマークのバスケット、$G_{trans}$ は隣接する遷移を表す。

観察されたドリフトが統計的に有意なものか、あるいは単なるサンプリングノイズであるかを判断するために、著者らは**「ドリフトなし」の統合参照ヌル（pooled no-drift reference null）**を構築する。

• メカニズム: 各 $(f, b, t)$ トリプルについて、全世代にわたる統合成功率を算出する。5,000回のブートストラップ反復において、隣接する世代を独立したものとして扱い、この統合成功率に基づく二項分布から新しいスコアをシミュレートする。
• 目的: これにより、「ドリフトなし」の仮説の下で期待される $|SDR|$ の分布を生成する。観察された集計値は、このヌル分布の99.9パーセンタイルと比較される。

3. 主要な結果

3.1 主要エンドポイント：有意なドリフト

本研究は、信頼性スコアが世代を超えて有意にドリフトし、サンプリングノイズから予想される範囲を大きく超えていることを示している。

• 観察されたドリフト: 隣接世代間の平均絶対ドリフト（$|S SDR|$）は 8.00 パーセントポイント (pp)（95% CI: [7.57, 9.12]）であった。
• ヌルとの比較: 統合された「ドリフトなし」の参照ヌルは 2.22 pp であり、その 99.9 パーセンタイルは 3.30 pp である。
• 有意性: 観察されたドリフトは、ヌルの平均の 3.60 倍であり、ヌル分布のトップ $10^{-3}$ の裾（テール）を大きく外れている（$p < 2 \times 10^{-4}$）。
• 堅牢性: 厳格なスコアリング（パース不可能な出力を不正解としてカウント）の下でも、ドリフトは 8.93 pp に上昇し、この結果は維持される。また、特定のベンチマークやリリースライン、低パース・セルを除外した様々な摂動の下でも、ドリフトは [6.36, 9.43] pp の範囲に留まっている。

3.2 探索的診断

• 退行率 (Regression Rate): 隣接する世代間の遷移の 47.5% が退行（スコアの低下）となっており、「後の方が厳密に優れている」という暗黙の期待に反している。
• 次元の揮発性 (Dimension Volatility): 公平性に関連するベンチマークが最も高い揮発性（$\sigma \approx 12.88$ pp）を示し、次いで真実性（$\approx 11.72$ pp）、安全性（$\approx 7.48$ pp）はより安定していた。
• ランクの持続性: ランクの安定性は低い。トップスコアのリリースラインは、ベンチマークと遷移の 90% のセルで変化しており、ペアワイズの順序は 55% の割合で逆転しており、一様ランダムなベースラインをわずかに上回る程度であった。
• コンプライアンスの反転: 実験的な中央値閾値において、世代間でベンチマークが閾値を越える確率は、すべてのベンチマークで $\ge 0.5$ である。

4. 貢献と示唆

4.1 核心的な結論

本論文は、ある名前付きリリースラインに付随する信頼性スコアは、再測定なしに後続のチェックポイントへ転用可能であると想定すべきではないと結論付けている。証拠は、これらのスコアを転用可能な証明書として扱うことは、運用上不適切であることを示唆している。

4.2 提案される解決策：縦断的モデルカード (Longitudinal Model Cards: LMC)

著者らは、信頼性の報告を**「縦断的モデルカード (Longitudinal Model Card)」**としてパッケージ化することを提案している。標準的なモデルカードとは異なり、LMCには以下を含める必要がある：

• チェックポイントの識別子: 特定の HuggingFace リビジョンハッシュ。
• 評価日: 測定された正確な日付。
• ドリフトの文脈: 以前に監査されたリリースおよび参照ヌルの要約に対する、そのスコアのドリフト。
• 再監査のトリガー: 「実質的に新しいリリース」（重み、トークナイザー、スケール、またはレシピの変化）は、スコアの継続使用ではなく、義務的な再監査をトリガーするというルール。

4.3 範囲に関する主張

著者らは、自らの知見の範囲を明確に限定している：

• 含まれるもの: 5つの特定のベンチマークの非標準的なチャット評価バリアント、固定された 200 項目のキャッシュ済みサブセット、および監査された4つのオープンソース・リリースライン（すべて 12B パラメータ以下）。
• 含まれないもの: クローズドソースの API（OpenAI、Anthropic など）、12B より大きいモデル、標準的なベンチマークプロトコル、および固定された月単位の開示ルール。本論文は、これら除外された領域においてドリフトが存在するという主張はしておらず、それらには別途の評価が必要であると述べている。

5. 意義と限界

意義: 本論文は、オープンソース LLM の信頼性に関する初の、大規模かつマルチファミリーな縦断的監査を提供するものである。これは、モデルのガバナンス、調達、および規制開示における「静的証明書」パラダイムに異議を唱えるものであり、信頼とはリリースラインの永続的な特性ではなく、時間限定的かつチェックポイント固有のアーティファクトであることを論じている。

限界:

• サンプルサイズ: 本監査は、4つのファミリーにおける 12 個のチェックポイントのみを対象としている。
• 項目サブセットの不確実性: 結果は、ベンチマークあたりの単一の固定された 200 項目のサブセットに依存している。計算リソースの制約により、マルチシードのリサンプリングは行われなかった。
• 交絡要因: ドリフトは、レシピの変化、スケールの変化（例：Gemma 7B $\to$ 12B）、およびトークナイザーの変化が混在したものである。本研究では、これらの特定の要因を分離できていない。
• 量子化: すべてのモデルは 4-bit NF4 で実行されており、これがアーティファクトを導入する可能性があるが、リリースライン内での一貫性は維持されている。

本論文は新しい統計的手法を提案するものではなく、標準的な縦断的およびブートストラップ手法を、これまで監査されていなかった特定の領域（オープンソース LLM の信頼性スコアの時間的安定性）に適用したものである。