Locality-aware Private Class Identification for Domain Adaptation with Extreme Label Shift

技術的概要：極端なラベルシフトを伴うドメイン適応における局所性意識型プライベートクラス同定

問題定義
教師なしドメイン適応（UDA）は通常、ソースドメインとターゲットドメインが同一のラベル空間を共有するクローズドセットシナリオを前提としています。しかし、現実のアプリケーションでは「極端なラベルシフト」、すなわちラベル空間が不均質である場合が頻繁に生じます。これは主に 2 つのシナリオとして現れます：ターゲットドメインにソースに存在しないプライベートクラスが含まれるオープンセットドメイン適応（OSDA）、およびソースドメインにターゲットに存在しないプライベートクラスが含まれる部分ドメイン適応（PDA）です。

これらのシナリオにおける核心的な課題は「プライベートクラス同定」です。既存の手法は一般的に、プライベートクラスのセマンティックシフトが共有クラスのドメインシフトよりも一貫して大きいという仮定に依存しており、プライベートサンプルをアウライヤーとして扱っています。しかし、著者らはこの仮定が実際にはしばしば破綻すると主張します。なぜなら、単一の共有クラス内のばらつきが、あるプライベートクラスと他の共有クラスとの間のギャップを上回る可能性があるからです。その結果、既存の手法はプライベートサンプルを信頼性高く区別できず、ネガティブ転移やミスマッチを引き起こす傾向があります。

手法
本論文は、局所性意識型プライベートクラス同定を中心とした新規フレームワークと、ReOT（Reliable OT-based method）と呼ばれる信頼性の高い転移モデルを提案します。

1. マスク付き最適輸送（MOT）による局所性意識型同定：

   • 著者らは、グローバルなシフトは曖昧である一方で、局所的な空間構造は保持されていると観察しました。すなわち、共有クラスクラスターの局所的な近傍内では、共有サンプル間の距離が、共有サンプルとプライベートサンプル間の距離よりも一貫して小さくなります。
   • この局所構造を特徴づけるために、マスク付き最適輸送（MOT）を利用します。コスト行列にマスク行列を適用し、予測ラベルが一致するサンプル間でのみ輸送が行われるように強制します。
   • 輸送質量に基づくスコア関数を導出します。MOT の理論的性質に基づき、共有クラスソースからプライベートクラスサンプルへ輸送される総質量は、共有クラスサンプルへ輸送される質量よりも著しく小さいことが示されます。
   • スコア $s(z')$ を $1/m - \sum \Gamma^*_{ij}$ と定義します。$s(z') > 0$（またはマージンを超過する）サンプルはプライベートと判定され、$s(z') < 0$ のサンプルは共有と判定されます。このアプローチは、グローバルなアウライヤー仮定に依存することなく、局所的な空間仮定の下で共有サンプルとプライベートサンプルの分離を理論的に保証します。

2. ReOT フレームワーク：

   • 信頼性転移損失（$L_{rt}$）：プライベートサンプルと共有サンプルが同定されると、ReOT は共有クラスに対してドメイン間でのクラス内距離を最小化し、共有クラスとプライベートクラス間の距離を最大化します。これは、MOT からの輸送計画を用いて、同定された共有セット内でのみ条件付き分布を整合させることで達成されます。
   • リスク最小化（$L_{cls}$）：モデルは、ソースドメインおよびターゲットドメイン（PDA の場合はソースドメイン）で同定されたプライベートサンプルにおける経験的分類リスクを最小化します。
   • 重心再構成損失（$L_{br}$）：表現をさらに洗練させるため、モデルは輸送計画（重心マップ）を用いてターゲット表現をソースドメインへマッピングし、再構成損失を最小化します。これにより、ターゲットサンプルを対応するクラスプロトタイプへと押しやるソフトな教師信号が提供されます。
   • 最終的な目的関数はこれらの損失を組み合わせます：$L = L_{cls} + \eta_1 L_{rt} + \eta_2 L_{br}$。

3. 理論的解析：

   • 本論文は、極端なラベルシフトシナリオにおけるターゲットリスクの一般化上限を提供します。この上限は、ソースリスク、最大予測誤差、ラベル分布の不一致、および共有条件付きギャップに関連する項に分解されます。
   • 著者らは、ReOT がソースリスクを最小化し、条件付き分布を整合させる（共有条件付きギャップを減少させる）ことで、かつ特定のサンプルにおける誤差を最小化するためにプライベートクラスを効果的に同定することで、この上限を最小化することを証明します。

主な貢献

• 局所性意識型同定：MOT 輸送質量から導出されたスコア関数を用いたプライベートクラス同定の新規手法。局所的な空間構造を活用することで、非現実的なグローバルなアウライヤー仮定を緩和します。
• 理論的保証：スコア関数が共有サンプルとプライベートサンプルを区別する能力を示す理論的証明、および ReOT が最小化することが示された極端なラベルシフトシナリオにおける一般化誤差上限。
• 統合フレームワーク（ReOT）：どちらのドメインがプライベートクラスを含むかに基づいて輸送方向とマスク定義を動的に調整することで、OSDA と PDA の両方の設定を処理可能な単一アルゴリズム。
• 実証的検証：Image-CLEF、Office-31、Office-Home、VisDA-2017 の 4 つのベンチマークデータセットにおける広範な実験により、OSDA と PDA の両方の設定において最先端（SOTA）の手法を上回る性能を実証。

実験結果

• OSDA パフォーマンス：Image-CLEF、Office-31、Office-Home において、ReOT はタスクの大部分で最良の調和平均（$H$）精度を達成し、ANNA や MRJT などの SOTA 手法を上回りました。例えば、Image-CLEF では ReOT は平均 $H$ 84.4% を達成し、ANNA より 1.5% 上回りました。
• PDA パフォーマンス：ReOT は Office-Home と VisDA-2017 で堅牢な性能を示し、Office-Home において最良の平均精度（78.7%）を達成しました。また、他の手法が著しく劣化する困難な VisDA-2017 データセットにおいても高い性能を維持しました。
• アブレーション研究：転移損失（$L_{rt}$）または再構成損失（$L_{br}$）を除去すると性能が低下し、クラス条件付き整合と重心再構成の両方の必要性が確認されました。
• 同定効率：プライベートクラス同定手法は、データセット全体で OSDA において約 88.2%、PDA において 95.6% のプライベートサンプルを正常に同定しました。
• 堅牢性：この手法は、異なるハイパーパラメータ設定やコスト関数の選択（二乗ユークリッド距離対判別器ベース）において安定して動作しました。

意義と主張
本論文は、ReOT がグローバルなアウライヤー検出から局所的な空間構造の特徴化へと焦点を移すことで、既存のプライベートクラス同定手法の根本的な限界に対処すると主張しています。マスク付き最適輸送の性質に基づいて同定プロセスを理論的に裏付けることで、プライベートクラスが明確なアウライヤーでない場合でも信頼性を確保します。

著者らは、ReOT が OSDA と PDA の両方に対する統合された解決策を提供し、これら対称的でありながらしばしば別々に扱われてきた 2 つのシナリオ間のギャップを埋めると主張しています。理論的には、提案された一般化上限が不均質なラベル空間における誤差の分解に対する新たな視点を提供し、上限を最小化するには正確なプライベートクラス同定と条件付き分布の整合の両方が必要であることを示しています。実証的には、結果が ReOT によるプライベートサンプルの認識と共有クラスの性能維持との間のより良いバランスを達成し、現実世界の極端なラベルシフトシナリオにおけるより堅牢なドメイン適応につながっていることを検証しています。

本論文は控えめに結論付けており、ReOT は単一ソース/単一ターゲットのシナリオでは効果的であるものの、将来的な作業としてこのフレームワークをマルチソース、マルチターゲット、およびソースフリーの設定へ拡張できる可能性に言及しています。