Compared to What? Baselines and Metrics for Counterfactual Prompting

以下は、論文「Compared to What? Baselines and Metrics for Counterfactual Prompting」の詳細な技術的サマリーです。

1. 問題定義

カウンターファクトル・プロンプティングは、大規模言語モデル（LLM）を評価するための標準的な手法であり、研究者は入力に対して外科的な編集（例：「男性」を「女性」に置き換えるなど）を加えることで、特定の要因（例：性別バイアス）がモデルの出力に与える影響を孤立させます。その核心となる仮定は、出力に観察されるいかなる変化も、標的とした意味論的変化に因果的に帰属するというものです。

著者らは、この仮定に欠陥があると主張します。 その理由は、因果推論の原則である**「処置変化の無関係性（Treatment Variation Irrelevance）」**に違反しているためです。

• 問題点: 各カウンターファクトル編集は「複合処置」です。これは、関心変数（例：性別）を、偶発的な表面形式の変化（例：特定の単語選択、トークン数、言い回し）と束ねてしまいます。
• 結果: LLM は既知の通り、任意の言い回しやトークン変化に対して敏感です（プロンプト感度）。したがって、観察される出力の反転は、摂動の意味論的意味ではなく、テキスト構造の変化によって引き起こされている可能性があります。
• 現状のギャップ: 先行研究では、しばしば生の摂動効果（例：15% の回答反転率）を、無害で意味を保持する変更によって引き起こされる「null（無効）」分布と比較することなく、バイアスや忠実性の欠如の証拠として解釈しています。

2. 手法

著者らは、標的効果（関心変数に起因するもの）と一般的なモデル感度（テキスト変更ノイズに起因するもの）を区別するための厳密な枠組みを提案します。

A. 実験デザイン

1. 標的摂動 ($D_{targeted}$): 標準的な介入（例：性別の入れ替え、スタイルの変更）。
2. ベースライン摂動 ($D_{benign}$): 標的の表面レベルの変化を模倣しつつ、意味論的変数を変更しないように設計された対照条件。
   • トークン調整型言い換え: 主要なベースライン。LLM が入力を言い換え、意味を保持しつつ、標的摂動のトークン編集率と一致する割合のトークンを変更します。これは、モデルの感度が変更されたトークン数に比例して増大するという知見を制御するものです。
   • 固定文: 二次的なベースラインとして、トピックと無関係な文をプロンプトに先頭に追加します。
3. 統計的検定: 生の指標を比較する代わりに、著者らは統計的検定を用いて、標的条件における乖離がベースライン条件における乖離を有意に上回るかどうかを判定します。
   • サンプルごとの指標: 標的とベースラインの乖離値の差に対するペア t 検定。
   • 集計指標: 集計統計量の差に対するノンパラメトリックなブートストラップ検定。
   • 回帰: 方向性仮説に対して使用され、系統的効果の大きさと符号を推定します。

B. 評価された指標

出力の乖離を定量化するために、3 つのクラスの指標が評価されました。

1. 集計指標:
   • 反転率 (Flip Rate): カテゴリカルな回答が変化するインスタンスの割合。
   • 相互情報量 (MI): 条件間での応答の一貫性を測定します。
   • フィ係数 ($\phi$): 一致と系統的な不一致を区別します。
   • 限界: これらは検出力が低く、クラス不均衡下では退化する可能性があります。
2. サンプルごとの分布指標:
   • カルバック・ライブラー (KL) 発散: 回答オプション上の確率分布のシフトを測定します。
   • ジェンセン・シャノン発散 (JSD): KL の対称的で有界な変種です。
   • 利点: これらは、最終的な決定境界が超えられていない場合でも、微妙な分布のシフトを捉えます。
3. 回帰係数:
   • 摂動に符号付きエンコーディングがある場合（例：女性なら +1、男性なら -1）の方向性シフト ($\beta$) を推定します。これにより、バイアスの大きさと方向の両方を特徴づけます。

3. 主要な貢献

1. 方法論的修正: 大きさが一致したベースラインがなければ、カウンターファクトルの結果は解釈不可能であることを実証しました。観察される効果は、特定の要因の感度ではなく、一般的なプロンプト感度を反映していることが多いです。
2. 枠組みの提案: 標的摂動をトークン一致型の言い換えベースラインと比較する統計的検定枠組みを導入しました。
3. 指標分析: 経験的に、サンプルごとの分布指標 (JSD, KL) および回帰が、集計指標（反転率、MI, $\phi$）よりも有意に検出力が高いことを証明しました。特に不均衡データセットにおいて顕著です。
4. オープンソース: この枠組みを実装した Python パッケージ cfprompt を公開しました。

4. 主要な結果

A. MedPerturb (医療バイアス) の再検討

• 元の主張: 先行研究は、LLM が医療トリアージにおいて患者の性別やスタイルの手がかりに非常に敏感であると主張していました。
• 新たな発見: トークン一致型の言い換えベースラインと比較すると：
  • 性別摂動: 観察された効果（例：性別入れ替えで 14.9% の反転率）は、ベースラインの言い換え効果（14.1%）と統計的に区別不能でした。
  • 結論: 120 件のテストのうち、有意に達したのは 5 件のみ（すべて、より小さなモデルにおける「彩りある」スタイル摂動に関連するもの）でした。モデルが患者の性別に特異的に敏感であるという主張は、ほとんど支持されません。効果はおそらく、一般的なテキスト感度によるノイズでした。

B. 健全性チェック

• 再現性 (陽性対照): タスクを明示的に「この患者は男性ですか？」に変更した際、枠組みは巨大で有意な効果を正しく検出しました。これは、枠組みが過度に保守的ではないことを証明します。
• 精度 (陰性対照): 患者の年齢を 1 年変更する（最小限の摂動）ことは、ベースラインと比較して有意な効果を生みませんでした。これは枠組みの特異性を確認します。

C. Bias-in-Bios (職業バイアス)

• 文脈: モデルが「教授」を男性と、「看護師」を女性と関連付けるかどうかをテストします。
• 発見:
  • 集計指標: 小さな、かろうじて有意な反転率（例：+0.7%）を示し、「バイアスなし」という潜在的な結論に至りました。
  • サンプルごとの指標 (JSD/KL): 統計的に有意な分布シフト ($p \approx 10^{-7}$) を検出しました。
  • 回帰: 明確な方向的バイアス ($\hat{\beta} \approx -0.5$) を明らかにしました。これは、伝記を女性に置き換えることが、「教授」というラベルのオッズ比を体系的に減少させることを示しています。
  • 洞察: バイアスは存在しますが、決定境界の下で機能しています（二値回答を反転させることなく、ロジットがシフトします）。これを特徴づけることができるのは、回帰と分布指標のみです。

D. Q-Pain の再現 (人種バイアス)

• 疼痛管理における人種的不平等に関する研究を再現したところ、5 つの有意な人口統計効果のうち 4 つが、対応する有意なベースライン効果（言い換え）を持っていました。これは、人種バイアスに関する元の発見が、一般的なテキスト感度によって交絡されていた可能性を示唆しています。

5. 意義と実践的指針

この論文は、LLM 評価におけるカウンターファクトル・プロンプティングの実施方法に根本的な変化をもたらします。

• 「null」ベースラインは必須: 研究者は、null 分布を確立するために、ベースライン摂動（特にトークン一致型の言い換え）を含めなければなりません。これがなければ、「バイアス」という発見は、プロンプト感度のアーティファクトである可能性があります。
• 指標の選択が重要:
  • 検出力が不足し、クラス不均衡下で機能しない反転率やMIのみに依存するのは避けてください。
  • 分布シフトを検出するにはJSD/KLを使用してください。
  • 効果の方向性と大きさを定量化するには回帰を使用してください。
• トークン一致: ベースラインは、標的摂動によって変更されたトークンの数と一致する必要があります。なぜなら、モデルの感度は編集の大きさに比例して増大するからです。
• 含意: 多くの以前の LLM のバイアスや不忠実性に関する主張は、過大評価されているか、誤って帰属されている可能性があります。実在する微妙なバイアスは存在します（Bias-in-Bios で示されたように）が、それを検出するにはより洗練された統計ツールが必要です。

要約すると、この論文は、カウンターファクトル・プロンプティングは「プラグアンドプレイ」の診断ツールではないと主張しています。シグナル（真の要因感度）とノイズ（一般的なプロンプト感度）を分離するには、厳密な統計的統制が必要です。