Multimodal Deep Generative Model for Semi-Supervised Learning under Class Imbalance

技術的概要：クラス不均衡下における半教師あり学習のためのマルチモーダル深層生成モデル

問題定義
深層ニューラルネットワーク（DNN）は、クラス不均衡データに対してしばしば困難に直面し、多数派クラスへのバイアスと少数派クラスにおける汎化性能の低下を示す。この問題は、ラベル付きデータセットの不均衡に基づいて未ラベルデータに対する疑似ラベルが生成される半教師あり学習（SSL）の環境において、バイアスが伝播・増幅されるため、さらに悪化する。さらに、実世界のデータは頻繁にマルチモーダル（画像やテキストなど多様なソースの組み合わせ）であるが、既存の解決策は通常、クラス不均衡、マルチモーダリティ、または部分的な教師あり信号のいずれかを個別に対処している。これら 3 つの課題の交差点に取り組む手法はほとんど存在せず、存在するものもドメイン固有性が欠如しているゼロショット基盤モデルに依存するか、多大な計算リソースを必要とする。本稿で扱われる核心的な問題は、部分的にラベル付けされ、クラス分布が不均衡なマルチモーダルデータに対して堅牢に学習できる統合フレームワークの欠如である。

手法：SSMVAE-CI
著者は、クラス不均衡学習のための半教師ありマルチモーダル変分オートエンコーダ（SSMVAE-CI）を提案する。これは、3 つの主要な技術的コンポーネントを統合した統合生成フレームワークである。

1. エキスパート積（PoE）を備えたマルチモーダルアーキテクチャ
   このモデルは、$M$ 個のモーダリティ（$x_1, ..., x_M$）を処理するために半教師あり VAE フレームワークを拡張する。共通の潜在空間（連続的な潜在変数 $z$ と離散的なクラス変数 $y$ を含む）を共有するモーダリティ固有のエンコーダを採用する。指数関数的な数の推論ネットワークを必要とせずに結合事後分布 $p(y, z | x_1, ..., x_M)$ を推論する複雑さを管理するため、モデルはエキスパート積（PoE）フレームワークを利用する。これは、事前のエキスパートに条件付けられた個々のモーダリティ事後分布の積として結合事後分布を近似するもので、数学的には以下のように定式化される。
   $$q_\phi(y, z|x_1, ..., x_M) = q_\phi(y|x_1, ..., x_M)p(z) \prod_{m=1}^M q_\phi(z|x_m, y)$$
   これにより、複数のモーダリティにわたるスケーラブルな推論が可能となる。

2. 重尾分布（学生 t 分布）
   クラス不均衡に対処するため、モデルは典型的な VAE で使用される標準的なガウス分布に代わり、事前分布、エンコーダ、デコーダに対して学生 t 分布を採用する。t 分布の重尾性は、モデルが少数派クラスサンプルが存在する潜在空間の希薄な領域において無視できない確率密度を維持することを可能にする。これにより、ガウス事前分布で頻繁に発生する少数派サンプルの過剰正則化を防ぎ、意味的に重要だが過小評価されているパターンを保持する。

3. $\gamma$-パワードイバージェンス目的関数
   著者は、ラベル付きデータと未ラベルデータの両方に対してモデルを訓練するための、$\gamma$-パワードイバージェンスに基づく新しい目的関数を導出した。

   • ラベル付きデータに対しては、観測されたクラス変数 $y$ を含むように t3VAE で使用される $\gamma$-損失を拡張した目的関数を用いる。
   • 未ラベルデータに対しては、クラス変数 $y$ を潜在変数として扱う。目的関数は $\gamma$-ダイバージェンスを通じて $y$ を周辺化し、証拠下限（ELBO）に類似した扱い可能な下限を導出する。
   • 全体の目的関数は、ハイパーパラメータ $\alpha$ によって重み付けされた生成損失と識別分類損失を組み合わせ、一貫した潜在表現と分類性能のバランスを取る。

主要な貢献
本論文は、5 つの主要な貢献を主張する。

1. 統合フレームワーク: 単一の確率論的フレームワーク内で半教師あり学習、マルチモーダリティ、およびクラス不均衡を同時に扱う最初の生成モデルであり、これらの課題の異なるモデリング要件を調和させる。
2. PoE 推論メカニズム: 複数のモーダリティにわたって連続的および離散的な潜在変数の両方をサポートする PoE 推論メカニズムを開発し、柔軟かつスケーラブルなモデリングを可能にする。
3. 一般化された重尾モデリング: 学生 t 分布の使用をマルチモーダルで半教師ありな設定に一般化し、重尾事後近似を通じてクラス不均衡に対する堅牢性を高める。
4. 新規目的関数: 不均衡分布下におけるラベル付きおよび未ラベルデータの両方からの安定かつ表現力のある学習を確保する、$\gamma$-パワードイバージェンスに基づく新しい訓練目的関数を導出した。
5. 実証的検証: 半教師あり、マルチモーダル、およびクラス不均衡の設定において、ベースライン手法に対して一貫した性能向上を実証する広範な実験。

実験結果
モデルは 3 つのデータセットで評価された。

• MNIST-SVHN: 手書き数字と家屋番号を組み合わせた合成マルチモーダルデータセット。
• UPMC Food-101: 食品画像とテキスト記述を備えた実世界データセット。
• CMU-MOSEI: 感情分析のための動画、音声、テキストの各モーダリティを備えた複雑なデータセット。

性能のハイライト

• 優れた精度: SSMVAE-CI は、CReST、Adsh、LDAM などの SSL、不均衡処理、および融合戦略を組み合わせた複合手法を含むベースラインに対して、全体の精度および少数派クラスの精度の両方で一貫して優位であった。
• 不均衡に対する堅牢性: 性能向上は、高い不均衡比（$r=100$）および低いラベル付きデータ割合（$\beta=10\%$）で最も顕著であった。例えば、$r=100$かつ$\beta=10\%$の MNIST-SVHN において、モデルは 74.79% の全体精度と 59.07% の少数派精度を達成し、次点のベースラインを大幅に上回った。
• 欠損モーダリティの処理: 訓練データの半分において 1 つのモーダリティが欠損している実験において、不完全なサンプルを含む完全なデータセット上で訓練された SSMVAE-CI は、ベースラインや完全なデータのみで訓練されたモデルと比較して、最も小さな性能低下（全体精度で 2.08%）を示した。これは、モデルが不完全なサンプルを訓練信号として活用できる能力を示している。
• アブレーション研究: 学生 t 分布を除去（ガウス分布に戻す）または PoE 構造を除去（単純な融合に戻す）すると、性能が著しく低下し、クラス不均衡およびマルチモーダル相関の処理には両方のコンポーネントが必要であることが確認された。

意義と主張
本論文は、SSMVAE-CI が、データが本質的にマルチモーダルで、部分的にラベル付けされ、かつ不均衡であるドメインに対して、構造化されたデータ効率の高いアプローチを提供すると提唱する。著者は、医療診断（X 線と患者の病歴を組み合わせるが、疾患例が稀な場合など）や金融リスク評価（マルチモーダル取引データにおける不正検出など）における潜在的な応用例を強調している。

著者は謙虚な理論的立場を維持しており、モデルが広範な実証的検証を提供する一方で、確率論的コンポーネントの異質性により、形式的な収束または汎化保証は導出されていないことを認めている。しかし、統合された確率論的定式化は、クラス不均衡に対する堅牢性を維持しつつ、半教師ありマルチモーダル学習に対する理論的一貫性を保証しており、MVAE や t3VAE のいずれも個々には埋められなかったギャップを埋めると主張している。今後の研究として、ラベル付きセットと未ラベルセット間の分布ミスマッチに対処することが提案されている。