When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression

技術的サマリー：疑似ラベル付け回帰の較正診断

1. 問題定義

現代の機械学習パイプラインでは、小規模なラベル付き部分集合（$L$）で訓練された分類器からの較正済み確率スコアを活用し、大規模なラベルなし集団（$U$）における下流の回帰タスクを支援するケースが増加している。一般的な応用例としては、潜在集団（公平性監査における保護属性や医療画像診断における疾患リスクなど）の集団レベルの効果、有病率、または格差の推定が含まれる。

この半教師あり設定における支配的な手法は疑似ラベル付けである。これは、信頼度閾値 $\tau_{thr}$（例：0.9）を適用して、較正済み確率 $p$ をハードなバイナリラベル $\hat{G}$ に変換するものである。分類タスクでは経験的に成功しているが、本論文は重要なギャップに焦点を当てる：この閾値処理が下流の回帰係数にどのようなバイアスを生じさせるか？ 既存の文献には、特に、潜在集団インジケーター $G$ と結果 $Y$ の間の関連性を共変量 $X$ で制御しながら推定することを目的とした部分線形回帰モデルの文脈において、信頼度閾値処理が関心対象の推定量をどのように減衰させ、あるいは歪めるかについての定量的な説明が欠けている。

2. 手法と設定

本論文は以下の枠組み内で動作する：

• データ： 2 つの独立同分布（i.i.d.）サンプルが観測される。ラベル付きセット $L = \{(W_i, X_i, G_i, Y_i)\}$ と、より大規模なラベルなしセット $U = \{(W_i, X_i, Y_i)\}$ である。
• 特徴量： 分類器は特徴量セット $W$ で訓練される一方、下流の回帰では部分集合 $X \subseteq W$ が制御変数として用いられる。重要なのは、識別可能性を確保するために、$W$ が $X$ よりも厳密に豊富である（$X \subsetneq W$）という構造的な分離が強制されている点である。
• モデル： 目的パラメーター $\tau$ は、部分線形回帰を通じて定義される：$E[Y | G, X] = \mu(X) + \tau G$。
• 仮定： 分類器の出力 $p = f(W)$ は条件付き較正済みであり、$E[G | p, X] = p$ を満たす。

補完的な識別結果 [8] に基づき、著者は較正済みスコア $p$ を直接用いて $\tau$ を識別するモーメント方程式を利用する（「ソフト」推定量）。その後、$p$ を閾値処理されたバイナリラベル $\hat{G} = \mathbb{1}\{p > \tau_{thr}\}$ に置き換える「ハード」推定量の性質を分析する。

3. 主要な貢献と理論的結果

本論文は、以下のように形式化された 5 つの具体的な予測と診断手順を導出する：

I. 閉形式の減衰バイアス（予測 1）
ハードな疑似ラベル付けによって引き起こされる減衰バイアスに関する閉形式の式が導出される。ハード推定量 $\hat{\tau}_{hard}$ の確率極限は以下の通りである：
$$\text{plim } \hat{\tau}_{hard} = \kappa(\tau_{thr}) \cdot \tau$$
ここで、減衰因子 $\kappa(\tau_{thr})$ は、残差化されたハードラベルに対する残差化されたソフトスコアの集団 OLS 傾きである。

• 重要性： この因子は、ラベルなしセットにおける $(p, X)$ の同時分布からのみ、いかなる推論を実行する前にも計算可能である。これは、特定の閾値で確率を二値化することによってどの程度の情報が失われるかを正確に定量化する。

II. ソフト推定量のためのサンドイッチ分散（予測 2）
ソフト推定量（$p$ を直接使用）の漸近分散は、残差スコア分散 $V^* = E[\text{Var}(p|X)]$ の二乗に反比例してスケーリングする。

• 含意： スコアの情報量（低い $V^*$）がわずかに減少するだけでも、精度の大幅な損失につながる。本論文は、有効なワルド区間を提供するサンドイッチ分散のプラグインを提供する。

III. 信頼度閾値付けのバイアス - 分散後悔（予測 3）
疑似ラベル付けを信頼性の高い部分集合に制限する手法（FixMatch 風など）において、平均二乗誤差（MSE）は、二乗バイアス項（$\kappa_{FM}$ によって駆動される）と分散項（縮小されたサンプルサイズ $|C|$ によって増幅される）に分解される。

• 発見： 閾値がより選択的になるにつれて、分散は単調に増加するが、バイアスは変動し得る。総 MSE はしばしば分散駆動型となり、多くの領域において「ハード」ラベルを持たないにもかかわらずソフト推定量が優れている。

IV. 較正ドリフト下での感度境界（予測 4）
較正条件が誤差 $\eta(p, X)$ で成り立ち、これが $\delta$ によって有界であるような有界な分布シフトの下では、漸近バイアスは以下によって有界である：
$$|\text{plim } \hat{\tau} - \tau| \leq |\tau| \frac{\delta E|2p-1|}{2V^*}$$

• 含意： より高い残差分散 $V^*$（より情報量の多いスコア）は、与えられたレベルの較正ドリフトに対して、最悪ケースのバイアスを比例的に減少させる。

V. $V^*$-崩壊境界（予測 5）
本論文は明確な境界を特定する：$V^* = 0$ であることと、$p$ が $X$ の決定論的関数であることは同値である。

• 構造的要件： 分類器の特徴量 $W$ が下流の制御変数 $X$ と同一である場合、$p = f(X)$ となり、$V^*=0$ となるため、モーメント方程式は情報を持たなくなる（識別が失敗する）。対策として、下流の回帰で制御されていない特徴量を $W$ に含めることが必要である。

4. 診断手順

著者は、実務者が信頼度閾値付けが安全かどうかを判断するための、実用的な 1 ページの診断アルゴリズム（アルゴリズム 1）を提案する：

1. $V^*$ の計算： ラベルなしセットにおいて $X$ を回帰して除去した後の、較正済みスコアの残差分散を推定する。
2. $\hat{\kappa}$ の計算： 閾値のグリッドに対して、減衰因子を推定する。
3. 決定ルール：
   • ソフト推定量の推定標準誤差が（低い $V^*$ により）高すぎる場合、教師ありベースライン（$L$ のみを使用）を優先する。
   • 全ての閾値に対して $\hat{\kappa}$ が 1 から大きく乖離している場合、ハード閾値付けは著しい減衰を引き起こすため、ソフト推定量を優先する。
   • それ以外の場合はどちらでも許容されるが、閾値選択に対する頑健性からソフト推定量が推奨される。

5. 実験結果

本論文は、5 つの制御されたシミュレーションと、UCI Adult Income データセットを用いた実データによる実証を通じて、これらの予測を検証する：

• 減衰： 6 つの異なる閾値にわたる $\hat{\tau}_{hard}$ の経験的推定値は、高い統計的有意性をもって、閉形式の $\kappa(\tau_{thr})$ 予測と一致した。
• 分散： サンドイッチ分散の式は、モンテカルロ分散を正確に予測し、名目上の 95% カバレッジを達成した。
• 後悔： 実験により、高い信頼度の閾値が分散の増大によりしばしば高い MSE をもたらすことが確認され、バイアス - 分散トレードオフの分析が検証された。
• 感度： 導出された感度境界は、様々な較正ドリフトのシナリオ下で成立し、経験的バイアスは理論的な最悪ケースの包絡線より十分に低く抑えられていた。
• 実世界事例： UCI Adult 実験において、診断ツールは、ラベル付きセットが十分に情報豊富であり、条件付き確率が制御変数によってよく説明されている（ノイズに対する相対的な $V^*$ が低い）ため、教師ありベースライン（$L$ 上の OLS）が疑似ラベル付け推定量を上回っていると正しく識別した。逆に、このデータセットにおけるハードラベルは、分類器特徴量の豊富さにより、最小限の減衰（$\hat{\kappa} \approx 0.92$）しか被らなかったことが診断により示された。

6. 重要性と主張

本論文は、新しいアルゴリズムアーキテクチャではなく、実用的な貢献を主張する。新しい疑似ラベル付けアルゴリズムを提案したり、FixMatch などの最先端の分類損失と競合したりするものではない。代わりに、以下を提供する：

1. 信頼度閾値付けが下流の回帰係数をバイアスさせる理由に関する定量的な正当化。
2. ハードラベルの使用が安全かどうか、あるいはソフトスコアまたは純粋な教師ありアプローチに固執すべきかを、事前に 計算可能にする診断ツール（$(V^*, \kappa)$ 決定ルール）。
3. 分類器特徴量（$W$）と下流の制御変数（$X$）の間の分離が、単なる設計上の選択ではなく、この設定における識別のための数学的必然であるという構造的洞察。

著者は、自らの枠組みが「較正を意識した」ものであり、分類器の較正の抽象的な品質を下流の推定バイアスに関する具体的な境界に変換することで、分類性能と因果的/関連的推論の間のギャップを埋めると強調している。