💬 NLP

COFT: Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning in Large Language Models

COFTは、反事実的ロジット融合と共形校正を組み合わせることで、大規模言語モデルの思考連鎖（Chain-of-Thought）推論における社会的バイアスを、モデルの再学習を必要とせず、タスクの有用性を維持しながら大幅に削減する、学習不要のデコーディング時の手法である。

原著者： Arya Fayyazi, Mehdi Kamal, Massoud Pedram

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Arya Fayyazi, Mehdi Kamal, Massoud Pedram

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには、物語を書いたり、質問に答えたり、問題を解決したりしてくれる、非常に賢く博識な司書（大規模言語モデル）がいます。この司書は、インターネット上の何百万冊もの本を読み込んできました。驚くほど知識が豊富である一方で、それらの本に含まれる、不完全で不公平なステレオタイプ（例えば、特定の職業は男性だけのものであると考えたり、名前に基づいて人々を決めつけたりすることなど）も吸収してしまっています。

あなたが司書に「思考プロセスを書き出す（Chain-of-Thought reasoning）」よう頼むと、最終的な回答は問題なく見えたとしても、その思考プロセスの中で、無意識のうちに不公平なステレオタイプをささやいてしまうことがあります。

COFT（Chain of Fair Thought：公平な思考の連鎖）は、司書のそばに立っている新しい「交通整理員」のようなシステムです。これは司書を再学習させたり、その脳を作り変えたりするのではなく、司書が言おうとしていることを監視し、リアルタイムでより公平な選択へと優しく導くものです。

COFTの仕組みを、創造的な比喩を用いて3つの簡単なステップに分けて説明します。

比喩：「ダブルチェック」が行われるキッチン

司書が複雑な料理（回答）を準備しているシェフだと想像してください。時として、レシピにはデリケートなトピック（特定の国籍や性別など）を表す材料が含まれることがあります。もしシェフがその材料を使ってしまうと、料理は偏った味になってしまいます。

COFTは、並行して動いている別のキッチンにいる**「双子のシェフ」**として機能します。

ステップ1：「目隠し」テスト（Counterfactual Masking）

メインのシェフがレシピの次の単語を書き出す前に、COFTはプロンプトの「マスクされた（隠された）」バージョンを作成します。

現実の世界: プロンプトは、「看護師（女性）は、彼女の回診を終えた……」となります。
COFTによるマスクされたバージョン: COFTは、デリケートな単語である「女性」を、中立的なプレースホルダーである [MASK] に置き換えます。すると、「看護師（[MASK]）は、彼女の回診を終えた……」となります。

システムは、司書の脳を2回走らせます。一度は実際の単語を用いた場合、もう一度はマスクされた単語を用いた場合です。これは、シェフに対して「もし性別を知らなかったとしても、あなたはまだ同じ次の材料を選びますか？」と問いかけるようなものです。

ステップ2：「ブレンダー」（Logit Fusion）

システムは、2つの潜在的な次の単語のリスト（実際のプロンプトから得られたものと、マスクされたプロンプトから得られたもの）を取り出し、それらを混ぜ合わせます。

もし実際のプロンプトが、偏った言葉（例：「看護師」＋「彼女」）を強く示唆していても、マスクされたプロンプトが中立的な言葉を示唆している場合、「ブレンダー」がそれらを混ぜ合わせます。
これにより、不公平で偏った選択肢の割合を抑え、中立的な選択肢を強化した**「妥協のリスト」**が作成されます。これは、強いスパイシーなソースとマイルドなソースを混ぜて、極端すぎない味わいに仕上げるようなものです。

ステップ3：「セーフティ・ゲート」（Conformal Filtering）

ここが最もユニークな部分です。COFTは単に推測するのではなく、**「コンフォーマル予測（Conformal Prediction）」**と呼ばれる数学的な「セーフティ・ゲート（安全の門）」を使用します。

キッチンの入り口に立っている警備員を想像してください。この警備員には、あらかじめ計算されたルールがあります。「実際のシェフとマスクされたシェフの両方が『安全である』と同意した場合のみ、材料を通すこと」。
もしある単語が、偏ったバージョンのプロンプトでは人気があるものの、中立的なバージョンでは人気がない場合、警備員はその単語をブロックします。
もしある単語が両方のバージョンで人気がある場合は、通過を許可します。

これにより、COFTは統計的な保証を与えることができます。つまり、「プロンプトのデリケートな詳細に関わらず、選ばれた単語が公平であると、私たちは95%の確信を持って約束できます」と言えるのです。

なぜこれが重要なのか？

「脳の手術」が不要: バイアスを修正する方法の多くは、モデルを「再学習」させる必要があり、それは司書に悪い習慣を忘れるために何年も学校に通わせ直すようなものです。COFTは**学習不要（training-free）**です。モデルが今まさに持っている状態のまま、そのまま機能します。
「余分な脳」を必要としない: 一部の手法では、バイアスをチェックするために別のAI（分類器）を雇う必要があります。しかし、COFTは別のAIを必要としません。司書自身の「双子（マスクされたバージョン）」を使ってチェックを行うからです。
「良い部分」を維持できる: この論文は、COFTがバイアスを削減する（30〜55%減少させる）一方で、回答の質を損なわないことを示しています。司書は、以前と同様に数学の問題を解き、優れた物語を書くことができます。
監査が可能: COFTは単語ごとに明確なステップを踏んで決定を下すため、ログを確認して、なぜその単語が選ばれたのか、あるいは拒否されたのかを正確に把握することができます。これは「ブラックボックス」ではありません。

コスト

唯一のデメリットは速度です。COFTは、モデルを2回実行し（一度は実際のプロンプト、もう一度はマスクされたプロンプト）、その結果を混ぜ合わせる必要があるため、調理工程が一つ増えたのと同等の時間（約10%の低速化）がかかります。しかし、論文では、この小さなコストは、それが提供する安全性と公平性の価値に見合うものであると主張しています。

まとめ

COFTは、あなたとAIの間に入るリアルタイムの公平性フィルターです。それは、AIに対し、デリケートな詳細（人種や性別など）が隠された世界を想像させ、その想像と現実を比較し、両方の世界において意味を成す言葉だけを話すように指示します。これにより、AIを再学習させたり、追加の助けを雇ったりすることなく、AIの「思考プロセス」が公平であり続けることを保証します。

技術要約: COFT (Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning)

1. 問題提起

ウェブ上のコーパスで学習された大規模言語モデル（LLM）は、社会的なバイアスを内面化し、しばしば増幅させます。これは特に、思考の連鎖（Chain-of-Thought; CoT）の生成過程において顕著です。モデルの最終的な出力は中立的に見えることがあっても、中間的な推論ステップでは、トークンごとに有害な関連性が露呈する可能性があります。既存の緩和策には、以下のような重大な限界があります。

学習時の手法（例：ファインチューニング、RLHF、データキュレーション）は、計算コストが高く、モデルの重みへのアクセスが必要であり、汎用的なドメイン性能を低下させたり、アノテーターのバイアスをエンコードしたりするリスクがあります。
推論時のステアリング（例：補助的な分類器やエキスパートアンサンブルの使用）は、レイテンシを導入し、外部分類器の盲点に依存し、厳密な統計的保証を欠いています。
表現空間におけるデバイアス（例：ヌル空間投影）は、多くの場合、グローバルでプロンプトに依存しない補正を適用するため、文脈依存的な正当な意味内容を抑制してしまう可能性があり、非線形なバイアスの現れ方を捉えることができません。

決定的なことに、現在の手法にはデコード時のステップごとの統計的保証が欠けています。どのトークンを、バイアスのリスクを制御した状態で安全に放出できるのかを特定できておらず、また、各デコーディングステップにおいて局所的な反事実的パリティ（プロンプト内の敏感なスパンに対する仮定的な変更に対する出力の安定性）を強制することもできていません。

2. 手法: COFT

COFT（Chain of Fair Thought）は、凍結された因果言語モデルに対して反事実的公平性を強制するために設計された、学習不要かつ推論のみで行うデコーディング・フレームワークです。これは、以下の3つの明確なステージで動作します。

ステージ I: 反事実的マスキング

COFTは、敏感なスパン（例：性別、人種、宗教的識別子）を中立的なセンチネルトークン（例：[MASK]）で置き換えることにより、入力プロンプトの「マスクされた」バージョン $\hat{p}$ を構築します。

実装: マスキング演算子は決定的であり、長さを保持します。もし敏感なスパンが $k$ 個のトークンに分割される場合、それは $k$ 個のセンチネルトークンに置き換えられます。これにより、事実的なブランチとマスクされたブランチが絶対的な位置において完全に整列し、同一の自己回帰的プレフィックスにおけるトークンレベルのロジットの有効な比較が可能になります。
デュアルブランチ実行: モデル $f_\theta$ は、事実的なプロンプト $p$ と、マスクされたプロンプト $\hat{p}$ の両方に対して、同じ生成済みプレフィックス $w_{<t}$ に条件付けられた状態で、並行して2回実行されます。

ステージ II: 反事実的ロジット融合

属性駆動型のバイアスを減衰させるために、COFTは事実的なブランチ ( $z^F_t$ ) とマスクされたブランチ ( $z^{CF}_t$ ) のロジット分布の凸補間を行います。
$\tilde{z}_t = (1 - \lambda) z^F_t + \lambda z^{CF}_t$
ここで、 $\lambda \in [0, 1]$ は調整可能な融合パラメータです。

効果: この操作は、2つの確率分布の幾何学的なブレンドを作成します。理論的には、対数オッズを線形に補間し、トークンに対して属性による「盲目化」を効果的に行いつつ、分布の高確率領域を保持します。この融合は、後続のフィルタリングステップが既に高質量領域で一致している分布に対して機能するように、認証の前に行われます。

ステージ III: デュアルブランチ・スプリット共形フィルタリング

COFTは、各ステップ $t$ において候補となるトークンの集合を証明するために、**スプリット共形予測（Split-Conformal Prediction; CP）**の手順を適用します。

非適合度スコア: 各トークン $v$ に対するスコアは、融合された事実的分布 ( $\tilde{\pi}_t$ ) とマスクされた分布 ( $\pi^{CF}_t$ ) の両方において、そのトークンが保持する最小の確率に基づいて定義されます。
$s_t(v) = 1 - \min\{ \tilde{\pi}_t(v), \pi^{CF}_t(v) \}$
キャリブレーション: 互いに素なキャリブレーション・セット上で、これらのスコアの $(1-\alpha)$ 分位点 $q_t$ が計算されます。
認証: テスト時、スコアが閾値を下回る（ $s_t(v) \le q_t$ ）場合のみ、トークンが候補集合 $C_t$ に受理されます。これは、トークンが事実的およびマスクされた両方のビューにおいて同時に十分な確率を持つことを要求することと同義です。
サンプリング: 最終的なトークンは、認証された集合 $C_t$ に制限された融合分布 $\tilde{\pi}_t$ からサンプリングされます。もし $C_t$ が空になった場合（稀なケース）、決定的なフォールバック（例：argmax）が使用されます。

3. 主な貢献

学習不要の公平なデコーディング: COFTは、再学習、勾配へのアクセス、または補助的な分類器を必要とせずに、凍結されたLMに対して公平性を強制するメカニメントを提供します。
ステップごとの周辺的保証: 従来のメソッドとは異なり、COFTは（交換可能性の仮定の下で）放出されるトークンの安定性について、分布に依存しない周辺的な妥当性の保証を提供します。これは、真の次トークンが確率 $1-\alpha$ 以上で候補集合に含まれることを証明します。
局所的な反事実的パリティ: この手法は、プロンプト内の敏感な属性が仮定的に変更された場合に、デコーディングプロセスが安定し続けることを保証することで、トークンレベルでの反事実的公平性を具体化します。
デュアルブランチ・アーキテクチャ: ロジットを融合し、事実的ビューとマスクされたビューの両方からの共同サポートを要求することで、COFTは属性駆動型のバイアスを効果的に減衰させつつ、タスクの有用性を維持します。

4. 実験結果

著者らは、6つのモデル（LLaMA-2、Mistral、Mixtral、Qwen2を含む）と複数のバイアス・ベンチマーク（StereoSet、CrowS-Pairs、BBQ、BOLD、Utrecht、COMPAS）、および標準的な有用性タスク（GSM8K、StrategyQA、ARC-easy、PIQA）にわたってCOFTを評価しました。

バイアス緩和: COFTは、バニラなデコーディングと比較して、標準的なバイアス指標を30〜55%（中央値38%）減少させ、強力な推論時ベースライン（例：Self-Debiased Decoding、DExperts、Dual-Threshold Conformal Decoding）を上回りました。例えば、BBQデータセットでは、バイアス削減は34〜41%に達しました。
有用性の保持: 推論およびQAベンチマークにおけるタスク精度は、実行間のノイズの範囲内（差 $\le 0.2$ ポイント）で変化しませんでした。言語品質メトリクス（Perplexity、MAUVE）も、バニラなデコーディングと区別がつきませんでした。
効率性: 計算オーバーヘッドは控えめで、1ステップあたり追加のキャッシュされたフォワードパス1回分に相当します。スループットは約**10〜25%**低下しますが、ピークメモリ使用量の増加は無視できる程度です（ $\le 0.8$ GB）。
アブレーション研究: ロジット融合を削除すると残留バイアスが高くなり、融合が属性駆動型の対数オッズを減衰させる主要なメカニズムであることを裏付けました。デュアルブランチの共形フィルタを削除すると、反事実的安定性の保証が失われました。

5. 意義と主張

本論文は、COFTを、より安全なCoT生成への明確で監査可能な道筋として位置づけています。その主な意義は、再学習に伴う膨大な計算コストをかけることなく、凍結されたモデルに対して検証可能な安全性境界を提供することにあります。

監査可能な安全性: ステップごとの周辺的保証を提供することにより、COFTは、リスクを定量化した上で、実務者が敏感な領域（例：ヘルスケア、法律、採用）にモデルをデプロイすることを可能にします。
堅牢性: 本手法は、分布シフトに対して堅牢であり（密度比に基づいてカバレッジが緩やかに低下する）、多様なモデルアーキテクチャにわたってパフォーマンスを維持します。
限界: 著者らは、アルゴリズム的な介入が万能薬ではないことを謙虚に述べています。保証は、敏感な属性の特定の定義と、キャリブレーション・データとテスト・データの間の交換可能性の仮定に依存しています。さらに、デュアルブランチ・デコーディングは推論レイテンシを導入するため、バイアス削減のメリットと天秤にかける必要があります。本手法は、推論の痕跡（reasoning trace）自体が監査可能である必要があるシナリオに最も適しています。

要約すると、COFTは、共形予測理論に基づいた軽量で学習不要の手順を用いることで、LLMの推論プロセスにおける社会的バイアスを大幅に減少させつつ、有用性を維持できることを示しています。