技術要約：言語モデルのためのデコイ校正型失敗監査（Decoy-Calibrated Failure Audits）

1. 問題提起

本論文は、モデルの失敗監査における「報告問題（reporting problem）」に対処している。監査によってモデルが失敗していることを特定するのは容易だが、「どこに」失敗が集中しているのか、またどの説明が報告に値するほど信頼できるのかを判断することは困難である。監査人は多くの候補となる説明（例：長い入力、間接的な質問、特定のメタデータの組み合わせ）をテストすることが多い。ここでのリスクは**選択バイアス（selection bias）**である。観測された最大の誤差上昇（error lift）が、真の失敗モードを反映しているのか、それとも単に試行された多くの候補の中で最も好ましい結果であったのか（「勝者の呪い（winner's curse）」）を判別できない。

現在のスライス発見手法（SliceFinderやSliceLineなど）やLLMを用いたデバッグは、多くの妥当な仮説を生成できるが、真の失敗モードと探索プロセスによるアーティファクト（人工的な結果）を厳密に区別するメカニメントを欠いている。本論文は、事前に指定されたものよりも、多くの試行を経て見出された説明には、より厳格な検証が必要であると主張している。

2. 手法：Janus

著者らは、新しい説明を生成するためではなく、提案された説明のうちどれが報告するのに十分な信頼性を持つかを決定するために設計された手順であるJanusを導入している。この手法は、**デコイ校正（decoy calibration）とホールドアウト複製（holdout replication）**という2つの主要なセーフガードに基づいている。

基本定義

• 記述子（Descriptor）: 例題の解釈可能な真偽属性（例：long_chain、indirect_query）。
• スライス（Slice）: ある記述子が真である例のサブセット。
• リフト（Lift）: スライスと補集合の間のエラー率の差（$err(g=1) - err(g=0)$）。
• デコイ（Decoy）: 本物の記述子と同じ出現頻度（真である頻度）を持つが、値が例に対してランダムに割り当てられた偽の記述子。
• 発見分割（Discovery Split）: 記述子をデコイに対してスコアリングするために使用されるデータ。
• ホールドアウト分割（Holdout Split）: 生存した記述子を検証するために使用される、別の新しいデータセット。

手順

1. 候補ライブラリ（Candidate Library）: 監査人は、ドメイン知識、スライスマイニング、またはLLM支援デバッグから得られた、固定され凍結された候補記述子のリスト（$G$）から開始する。
2. デコイ構築（Decoy Construction）: 各実在する記述子に対し、元の出現頻度を維持しながら、発見用データ内の真偽値を置換することで$K$個のデコイを生成する。これにより、サンプルサイズと出現頻度の制約の下で、偶然によって達成可能な最大のリフトを示す経験的な「デコイの床（decoy floor）」が作成される。
3. 発見スクリーニング（Discovery Screening - 手順A）:
   • 記述子は、発見用分割における絶対リフトによってスコアリングされる。
   • Janusは、実在する記述子（$R$）とデコイ（$D$）の数が、様々なリフト閾値を超過する数を比較する。
   • 推定される偽発見割合（FDP）を、比率 $\widehat{FDP}(\tau) = \frac{(L/K)D(\tau)}{\max(1, R(\tau))}$ を用いて推定する（ここで$L$は実在する記述子の数、$K$はデコイの数）。
   • 閾値は、推定FDPが目標とする$q$（例：0.10）を下回る最も寛容な値に設定される。
   • この「デコイの床」をクリアした記述子が**発見生存者（Discovery Survivors）**となる。
4. ホールドアウト確認（Holdout Confirmation）:
   • 発見生存者は、ホールドアウト分割で再評価される。
   • 以下の条件を満たす場合のみ、記述子は確定される：
     • 十分なサポート（サンプルサイズ）を保持していること。
     • 絶対ホールドアウトリフトが最小閾値（例：$|lift| \ge 0.10$）を超えていること。
     • リフトの符号が発見時のリフトと一致していること。

この分離により、候補となる記述子がどのようなソースから来たものであっても、デコイの床を打ち破り、かつ新鮮なデータで再現されたものだけが監査結果となることが保証される。

3. 主な貢献

1. 報告問題の定式化: 本論文は、多くの候補となる記述子のうちどれを報告すべきかを決定するというタスクを明示的に定義し、「説明を提案すること」と「報告のための検証を行うこと」を区別している。
2. Janus手順: 実在する記述子のリフトを偽の記述子と比較し、ホールドアウトデータでの複製を要求する、デコイ校正型の手順を導入した。
3. 実証的評価: 植え付けられた失敗モードを含む制御された監査、および2つの公開ベンチマーク（MuSiQueおよびLongBench v2）を用いた評価により、植え付けられた信号を回収しつつ、妥当ではあるが確認されなかった発見を拒絶する能力を実証した。

4. 実験結果

制御された監査（植え付けられた構造）

• 設定: 「ロングチェーン（long chain）」の失敗モード（複数のテーブルを跨ぐ複数のホップを必要とする）を意図的に植え付けた、160個の合成マルチテーブル・ルックアップ・タスク。
• 結果: Janusは植え付けられた失敗を正常に回収した。long_chain（リフト +0.58）および、間接クエリや衝突（collisions）との相互作用を含む6つの記述子を確定した。
• 観察: モデルはルックアップの過程の途中で停止する傾向があった。Janusは、すべての高エラー・スライスをフラグ立てすることなく、この特定の失敗モードを正しく特定した。

自然なベンチマーク（MuSiQue および LongBench v2）

• 設定: 妥当なメタデータ記述子（例：ホップ数、コンテキストサイズ）が存在するが、正解となる失敗モードが保証されていない公開ベンチマークでの監査。
• 結果: Janusは両方のベンチマークにおいて、確定された記述子をゼロと報告した。
• 比較: SliceLineのようなベースライン手法は、高エラーのサブグループ（例：LongBench v2における85〜93%のエラーポケット）を特定した。しかし、これらのスライスはデコイ校正またはホールドアウト複製チェックに失敗した。
• アブレーション（除去実験）: デコイの床を除去すると、過剰報告（LongBench v2で20個の記述子）につながった。ホールドアウト・ゲートを除去した場合、リフトが発見時（0.36）からホールドアウト時（0.05）へと減少したにもかかわらず、単一の記述子が通過した。これは「勝者の呪い」を例証している。

5. 意義と主張

本論文は、**「妥当に見えるエラー・スライスが、必ずしも報告すべき監査結果であるとは限らない」**と主張している。Janusの意義はその「抑制力」にある：

• 発見と報告の分離: 仮説の生成と、報告に必要な検証を分離している。
• 経験的校正: 探索空間が大きい場合に、リフトのスコアが偶然から生じ得ることを認識し、デコイを用いて「ノイズの床」を校正している。
• 複製によるゲート: 説明が一方の分割で選択された場合、別の分割でもその方向性と強度が維持されることを強制している。

著者らは、Janusは報告ルールであり、完全な説明エンジンではないことを強調している。これは、固定された有効なp値のファミリーや交換可能なノックオフを想定していないため、形式的な統計学における有限標本での偽発見率（FDR）制御を保証するものではない。代わりに、最終的なホールドアウト・チェックの前に候補をフィルタリングするための経験的なスクリーンを提供するものである。論文は、ドメイン知識、スライスマイニング、LLMなどのあらゆるソースからの候補は、デコイを打ち破り、かつ新鮮なデータで複製された場合にのみ、監査結果となるのである。