Rethinking Incompleteness: Formalizing Protocol Divergence and Train-Once Learning for Robust IMVC

技術要約：IMVCにおける不完全性の再考

問題定義
不完全マルチビュー・クラスタリング（IMVC）は、データの一部においてビュー（モダリティ）が欠落している状況下でのクラスタリングの課題に取り組むものである。現在のIMVC研究における支配的なパラダイムは、完全なサンプルを教師信号として用いて欠落したビューを復元する「クロスビュー再構成（cross-view reconstruction）」に依存している。しかし、本論文は、これらの手法の評価および理論的理解における2つの決定的な欠陥を指摘している：

1. 構成ごとの再学習の罠（The Per-Configuration Retraining Trap）： 既存の手法は通常、特定の欠損データ・プロトコルと欠損率の組み合わせごとに個別のモデルを再学習させることで評価されている。このアプローチは、欠損データの分布が非定常であったり未知であったりすることが多い実世界のデプロイメントにおいては、計算コスト的に極めて困難である。
2. 不完全性ダイバージェンス（Incompleteness Divergence）： 本論文は、「公称欠損率（nominal missing rate）」($r$) がデータの不完全性を特徴付ける指標として不十分であると主張している。同じ公称 $r$ を持つ異なる評価プロトコルであっても、「完全観測サンプル」の割合（$p_c$）は劇的に異なる場合がある。著者らはこれを「不完全性ダイバージェンス」として定式化し、プロトコルによって $p_c$ が同じ公称レートにおいて最大50倍も異なり得ることを示している。

理論的洞察：学習可能性の境界（The Trainability Bound）
著者らは、広範な再構成ベースの手法（クラス1、$\mathcal{F}_{rec}$ と表記）において、完全なサンプルの割合（$p_c$）が臨界閾値を下回る場合（具体的には $p_c \to 0$ の場合）、学習が**構造的に不良設定（ill-posed）**になることを証明している。

• メカニズム： 再構成損失は、主に同一サンプル内におけるクロスビューの共起から教師信号を導出する。もしサンプルが2つ未満のビューしか持っていない場合、そのサンプルは再構成目的関数に対して勾配信号を一切寄与しない。
• 結果： $p_c$ が減少するにつれ、期待される勾配信号は消失する。本論文は、$p_c \to 0$ となるプロトコルにおいて、期待されるパラメータ変位は $p_c$ に比例する項によって制限されることを証明しており、これはハイパーパラメータのチューニングに関わらず、ほぼランダムなクラスタリング精度につながる。これはチューニングの産物ではなく、損失関数の家族が持つ構造的な特性である。
• 区別： 本論文は、学習可能性の失敗（trainability failure）（$p_c$ の低さにより勾配信号が消失すること、$\mathcal{F}_{rec}$ に影響を与える）と、能力の失敗（capability failure）（観測されたビューがクラスタラベルに関する十分な情報を保持していないという情報理論的限界であり、すべての手法に影響を与える）を区別している。

手法：CRAFT
学習可能性の境界を回避するために、著者らは CRAFT（Complete-data Robust Attention-masked Fusion Transformer）を提案している。CRAFTは、完全なデータで学習された単一のモデルが、推論時にあらゆる欠損パターンに対して汎化することを可能にする2つの構造的条件を満たすように設計されている：

1. サンプル独立性（Per-Sample Independence, C1）： サンプル $i$ の表現は、自身の観測されたビューとその共有パラメータのみから計算される。他のサンプルの観測パターンやサンプル間の共起には依存しない。
2. マスクを考慮した可変長融合（Mask-Aware Variable-Length Fusion, C2）： 欠落したビューは、ゼロパディングやハルシネーション（幻覚）によるのではなく、アテンション・マスキングを通じて内部計算から除外される。これにより、欠落したビューが融合された表現に正確にゼロの寄与しかしないことを保証し、ノイズや無効な信号の注入を防ぐ。

アーキテクチャの詳細：

• ビュー別エンコーディング： ビュー固有のMLPが各ビューを共有埋め込み空間に写像する。
• Transformer融合： Transformerエンコーダがビューの埋め込みシーケンス（および学習可能な [CLS] トークン）を処理する。推論時には、キー・パディング・マスクが欠落したビューに対してアテンション・ロジットを $-\infty$ に設定し、アテンション機構から効果的に除去する。
• 完全データを用いた2段階学習：
  • ステージ1： 完全なサンプルに対し、ビューごとの再構成損失とクロスビュー一貫性損失（SimSiamスタイル）を用いて表現を学習する。
  • ステージ2： 自己ラベル付きクロスエントロピー、エントロピー正則化、およびオプションのマスク・ファインチューニング（MFT）を用いてクラスタヘッドを微調整し、訓練分布を推論時の欠損パターンに適合させる。

主な貢献

1. 不完全性ダイバージェンスの定式化： 実効欠損率（$\hat{r}$）と完全サンプル割合（$p_c$）を、区別された因果変数として導入し、標準的なプロトコルが再構成ベースの手法の学習リスクを隠蔽していることを明らかにした。
2. 崩壊の理論的証明： 再構成ベースの学習が $p_c$ によって構造的に制限されることを厳密に証明し、なぜ既存の手法がスパースデータ領域（$p_c < 1\%$ の場合）で失敗するのかを説明した。
3. CRAFTアーキテクチャ： 損失関数のエンジニアリングではなく、アーキテクチャ設計（C1およびC2）を通じて堅牢なIMVCを実現するTransformerベースのフレームワークを提供し、「一度の学習で、多くのパターンへ展開（Train-Once, Deploy-Many）」というパラダイムを可能にした。
4. 実証的検証： 4つの異なる評価プロトコルを用い、7つのベンチマーク（CUB、HandWritten、MultiFashion、YTF-31を含む）に対して広範な実験を行った。

結果

• ベースラインの崩壊： 標準的な $\mathcal{F}_{rec}$ ベースライン（COMPLETER, DCP, DCG, HSACCなど）は、$p_c \to 0$ となる厳格なプロトコルで評価された場合、公称欠損率が中程度であっても、一様にランダムに近い精度（しばしば40%未満）へと崩壊する。
• CRAFTの性能： 完全データで一度だけ学習された単一のCRAFTチェックポイントは、テストされた16の（プロトコル, レート）構成すべてにおいて、構成ごとに再学習されたベースラインと同等またはそれ以上の性能を示す。
• 効率性： CRAFTは、各構成に対して個別のモデルを再学習させるベースラインのアプローチと比較して、トレーニングオーバーヘッドを 8.8倍 削減する。
• 堅牢性： CRAFTは $p_c = 0$ の場合でも高い精度を維持しており、欠損データに対する堅牢性がアーキテクチャ固有の特性となり得ることを示している。

意義と主張
本論文は、現在のIMVCにおける「構成ごとの再学習」パラダイムは脆弱であり、再構成ベースの手法における根本的な脆弱性を覆い隠していると主張している。堅牢性の負担を損失関数からアーキテクチャへとシフトさせることで、CRAFTは、欠損データの分布に合わせて再学習することなく、堅牢なIMVCを実現できることを示している。著者らは、今後のIMVC研究において、$p_c$ を標準的な指標として報告し、アルゴリズム的な回復メカニズムよりも、アーキテクチャの洗練（サンプル独立性やマスクを考慮した融合など）を優先すべきであると示唆している。なお、本研究はクロスビュー再構成損失を用いた教師なしIMVCに限定されており、これらの原理を教師ありマルチビュー分類や他のマルチモーダル設定へ拡張することは今後の課題であるとしている。