技術要約：不確実性に依存した欠損ラベルからの学習：半教師あり分類に向けて

1. 問題提起

半教師あり分類において、欠損ラベルは伝統的に情報の損失源と見なされ、効率性を低下させ推論を複雑にするものと考えられてきた。しかし、多くの実用的なシナリオ（医療画像、能動学習、オンラインモデレーションなど）において、ラベルの欠損は受動的な意味での「ランダムな欠損（MAR）」ではない。むしろ、ラベルが欠損する確率は、観測された特徴量（$Y$）や、決定的な要素として、ラベルモデル自体から導出される事後分類不確実性に依存する場合が多い。

本稿が取り組む中心的な問題は、このような不確実性に依存した欠損ラベルの情報量をどのように特徴付けるかである。古典的な情報理論では、完全な実験の簡約化されたバージョンを観測することは、増強された完全データ実験を超える情報を得られないと規定しているが、本論文では、欠序指示子（$M$）自体が、不確実性に依存するメカニズムによって生成された場合、固定された予算の下で標準的な完全ラベル付き、あるいは非情報的な部分的ラベル付きのベースラインと比較して、推定および分類性能を向上させる観測可能な信号として機能し得るかどうかを調査している。

2. 手法

2.1. 統計的枠組み

著者らは、$g$ 個のクラス、$Y$（特徴量）、$Z$（ラベル）を持つ分類設定を検討している。欠序指示子 $M \in \{0, 1\}$ は、ラベルが観測されている（$M=0$）か、欠損している（$M=1$）かを表す。欠損メカニズムは以下のようにモデル化される：
$$r_{\theta,\xi}(Y) = \Pr(M=1 \mid Y; \theta, \xi) = h\{\eta_{\theta,\xi}(Y)\}$$
ここで、$h$ は逆リンク関数であり、$\eta_{\theta,\xi}(Y)$ はラベルモデルのパラメータ $\theta$、メカニズムのパラメータ $\xi$、および事後分類不確実性の要約 $u(Y; \theta)$ に依存する予測子である。$u(Y; \theta)$ の例としては、事後シャノン・エントロピー、負の対数エントロピー、または事後分散などが挙げられる。

観測データのリカレント（尤度）は次のように構成される：
$$L(\theta, \xi) = \prod_{j=1}^n \{p_\theta(Y_j, Z_j)[1 - r_{\theta,\xi}(Y_j)]\}^{1-M_j} \{p_\theta(Y_j)r_{\theta,\xi}(Y_j)\}^{M_j}$$
ここで、第1項はラベルが観測されている場合に適用され、第2項（周辺特徴量密度）はラベルが欠損している場合に適用される。

2.2. 情報分解

本手法の核心的な貢献は、観測フィッシャー情報量 $I_{obs}(\theta)$ を分解する尤度ベースの情報理論である。

正しく指定された場合（Correctly Specified Case）:
Louisの観測情報恒等式を用いて、著者らは情報を部分的ラベル付け成分とメカニズム曲率項に分離する分解式を導出した：
$$I_{obs}(\theta) = \underbrace{I_{CC}(\theta) - I_{CC}^{(miss,r)}(\theta, \xi)}_{\text{部分的ラベル付け成分}} + \underbrace{I_{mech}(\theta, \xi)}_{\text{メカニズム曲率}}$$

• $I_{CC}(\theta)$: 完全データにおけるフィッシャー情報量。
• $I_{CC}^{(miss,r)}(\theta, \xi)$: 重み付き欠損情報損失。
• $I_{mech}(\theta, \xi)$: 観測された欠序指示子 $M_j$ によってもたらされる曲率を定量化する非負定値項。ロジスティック・リンクの場合、この項は欠損確率の分散と不確実性要約の勾配に依存する。

誤指定された場合（Misspecified Case）:
ラベルモデルとメカニズムの両方が実用上誤指定される可能性があることを認識し、著者らは、$(\theta, \xi)$ の同時推定のための Godambe–Eicker–Huber–White (サンドイッチ) 共分散フレームワークへと拡張した。彼らは、ジョイント推定における感度およびサンドイッチ共分散の分割を導出し、ワーキングモデルを使用する実用的な設定においても、構造的分解（部分的ラベル付け ＋ メカニズム曲率）が維持されることを示した。ただし、不確実性の定量化は、逆フィッシャー情報量からサンドイッチ共分散へと移行する。

2.3. 理論的境界

本論文は、部分的にラベル付けされた実験と、ラベルおよびメカニズム指示子の両方が観測される「増強された」実験との関係を明確にしている。不確実性に依存する欠損は、好ましい欠損（favorable missingness）（予算が一致する非情報的なベースラインよりも高い情報量をもたらすもの）を生じさせ得る一方で、増強された実験 $(Y, Z, M)$ の情報量を超えることはできないことを証明している。観測データ $(Y, M, Z_{obs})$ は、増強されたデータの粗視化（coarsening）であり、標準的な情報不等式を満たしている。

2.4. リスク分析

プラグイン分類器について、著者らは情報分解をマージンに基づく超過リスク界に結びつけている。規則的な2成分混合設定において、彼らは超過リスクがパラメトリックな速度 $O_p(n^{-1})$ で収束することを確立した。この速度の定数は、判別方向に沿った摂動調整済み情報量によって決定され、これは好ましいメカニズム曲率が決定境界の漸近分散を減少させ得ることを示唆している。

3. 主な貢献

1. 情報分解: 非負の「メカニズム曲率」項を明示的に分離するフィッシャー情報量の分解を導出した。この項は、不確実性に依存する欠序指示子が、いかにして分類器に関する追加情報を持つかを説明する。
2. 誤指定に対する頑健性: ラベル分布または欠損メカニズムのいずれかが誤指定されている場合でも、サンドイッチ共分散フレームワークの下で分解を拡張し、実用的な設定における推論の厳密な基礎を提供した。
3. 超過リスクの速度: 不確実性に依存する欠損の下でのプラグイン分類器に対するマージンベースの超過リスク界を確立し、好ましい欠損が固定されたラベル予算の下で分類性能（漸近分散の低減）を向上させることを示した。
4. 「好ましい欠損」の明確化: 「好ましい欠損」が、通常の完全ラベル付き、あるいは予算が一致する非情報的なベースラインに対する相対的な利得であり、増強された完全データ実験に関する古典的な情報理論の不等式に違反するものではないことを、厳密な定義と証明によって明らかにした。

4. 結果

4.1. 数値的例証（ガウス混合モデル）

• 情報利得: 2成分ガウス混合設定において、モンテカルロ・シミュレーションは、エントロピー依存の欠損メカニズムが、同じ欠損率を持つ非情報的な（MCAR）ベースラインと比較して、判別方向に沿って3倍のフィッシャー情報量をもたらし得ることを示している。
• レジーム依存性: 情報利得は、欠損率および設計の感度に対して非単調である。情報利得は、クラスの重なりが適度であり、欠損率が過度ではなく、かつ高不確実性の観測付近に欠損を集中させるのに十分な感度を持つメカニズムが存在する場合に最大となる。
• コスト・ベネフィット分析: 特徴量収集コストとラベル付けコストのバランスをとる固定された総予算の下では、最適な欠損率はラベル付けの相対コストとともに増加する。不確実性依存の設計により、推定効率を維持または向上させつつ、より大きな特徴量サンプルサイズを確保することが可能となる。

4.2. ケーススタディ（医学的診断）

本フレームメントは、内視鏡医のコンセンサスからラベルが導出された消化管データセット（大腸内視鏡ビデオ）に適用された。

• メカニズムの検証: データは、ラベルの欠損（コンセンサスの欠如）が、事後エントロピー（不確実性）の高まりと強く関連していることを裏付けた。
• 性能: エントロピーベースの半教師あり学習（SSL）モデルは、利用可能な35件のラベル付きケースのみで訓練された教師あり学習のベンチマークを上回った。
  • SSLlogit モデルは、教師ありベンチマークの予測誤差率（0.1775）に対し、最も低い予測誤差率（0.1325）を達成した。
  • SSLモデルは、より大きな適合フィッシャー情報行列を示しており、これはメカニズム曲率項によって推定効率が高まっていることを示している。

5. 意義と主張

本論文は、不確実性に依存する欠損が半教師あり学習の情報幾何学をどのように再形成するかを理解するための、尤度ベースのフレームワークを提供すると主張している。その意義は以下の点にある：

• 欠損の再定義: 欠損ラベルを、補完または無視すべき「厄介もの（nuisance）」から、推論を改善するために明示的にモデル化できる「構造化された信号」へと視点を転換した。
• パラドックスの解消: 「好ましい欠損」が、欠序指示子 $M$ が分類器の不確実性と結びついたメカニズムによって生成される観測変数であることを利用しているため、古典的な情報理論の不等式を侵害するものではないことを明確にした。
• 実用的有用性: 欠損メカニズム（例：エントロピー依存のマスキング）を明示的にモデル化することで、固定されたリソース制約の下で、パラメータ推定（フィッシャー情報量の増加による）と分類精度（超過リスクの減少による）の両方を向上させられることを示した。
• 頑健性: ラベル分布または欠損メカニズムのワーキングモデルが不完全である場合（実世界のアプリケーションでは一般的である）でも有効な、サンドイッチ推定量による理論的基礎を提供した。

著者らは、利得は局所的かつレジーム依存的ではあるものの、本フレームワークは、データ収集における選択効果を利用して、より効率的な半教師あり学習を行うための原理的な方法を提供するものであると結論付けている。