🤖 machine learning

Conformal Risk Minimization for Semi-Supervised Domain Adaptation via Optimal Transport

本論文は、限られたラベル付きターゲットデータにもかかわらず、コンパクトかつ被覆妥当な予測集合を生成するモデルの学習を可能にするために、コンフォーマルリスク最小化と最適輸送を統合して擬似ラベルを生成する、半教師ありドメイン適応のためのエンドツーエンドのフレームワークを提案する。

原著者： Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

公開日 2026-08-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

医療診断という極めて重要な世界において、機械学習モデルはしばしばある患者グループのデータで学習されますが、使用される際には異なる患者グループに対して使われることになります。この集団の変化は、隠れたギャップを生み出します。モデルは見たことがないパターンを認識してしまい、患者に危害を及ぼすような誤りを引き起こす可能性があるのです。信頼を築くために、医師は単なる一つの推測以上のものを必要とします。彼らは、モデルがどの程度確信を持っているかを知る必要があります。「コンフォーマル予測（conformal prediction）」と呼ばれる手法は、単一の診断ではなく、可能性のある診断のリストを提供することで解決策を提示します。このリストは、正解が特定の割合で含まれることが保証されており、臨床医にとってのセーフティネットとなります。しかし、大きな問題が発生します。それは、モデルがすでに学習を終えた後にこれらのリストが生成される場合です。学習プロセスにおいて、これらのリストがどのように形成されるかが考慮されていなかったため、結果として得られるリストは使い物にならないほど大きくなりすぎ、あまりに多くの可能性が含まれてしまうため、医師が意思決定を行うことができなくなるのです。

デューク大学の研究者たちは、特に新しい患者グループのラベル付きデータが乏しい状況において、この問題を解決するための新しいアプローチを開発しました。彼らは、モデルが学習している最中に、将来作成される診断リストのサイズについて考えるように教え込むシステムを作り上げました。異なる患者集団を整合させる技術と、より小さく精密なリストのために最適化する手法を組み合わせることで、彼らはコンパクトで信頼できる潜在的な診断セットを生成するモデルを構築しました。彼らの研究は、不確実性を後付けで追加するのではなく、学習フェーズの段階で不確実性を計画することで、医療AIがより正確かつ実用的なものになり得ることを示唆しています。

彼らが取り組んだ核心的な課題は、「半教師ありドメイン適応（semi-supervised domain adaptation）」として知られるものです。例えば、ある病院の数千枚の皮膚画像を用いて学習した医師が、ラベル付きの画像がわずか数枚しかない別の病院の患者を診断しなければならない状況を想像してみてください。新しい病院の患者は、肌のトーン、照明条件、あるいは機器が異なっている可能性があり、それがモデルを混乱させる「分布シフト」を引き起こします。伝統的な手法は、モデルに二つの病院の違いを無視させ、診断に必要な特徴だけに集中させるように教えることで、このギャップを埋めようとします。しかし、これらの手法は通常、最も可能性の高い単一の答えのみを目指します。それらは、モデルが最終的に提供するセーフティネットのサイズについては考慮しません。

研究者が既存の学習済みモデルにコンフォーマル予測を最終ステップとして適用すると、セーフティネットがあまりに広すぎて、あらゆるものを捕まえてしまう網になってしまうことがあります。これは、モデルが選択肢の数を最小化するように訓練されていないために起こります。デューク大学のチームは、有用なリストを得るためには、最初からリストを念頭に置いてモデルを訓練しなければならないということに気づきました。彼らは、効率的で小さなリストを作成するという目標を直接トレーニングプロセスに統合する「CP-JDOT」と呼ばれるフレームワークを提案しました。これにより、モデルはよりタイトで自信のある予測へと自然に導かれるようなデータ表現を学習することができます。

これを、ターゲットとなる病院からのラベル付き例が非常に少ない状況でも機能させるために、研究者たちは「最適輸送（optimal transport）」と呼ばれる数学的ツールを使用しました。このツールを、新しい病院のラベルなしの患者を、古い病院の似たような患者と効果的にマッチングさせ、その古い患者の診断を借りて新しい患者を導く方法だと考えてください。これにより、「擬似ラベル（pseudolabels）」のセットが作成され、それが架け橋となります。これにより、モデルはソース病院の豊富なデータから学びつつ、ターゲット病院の特定のニーズに適応することができるのです。システムは、ターゲット病院の実際のラベル付き例の少なさを用いて、予測リストのサイズに対する閾値を設定します。

研究者たちは、彼らの手法を二つの異なるシナリオでテストしました。第一に、アート、クリップアート、製品、実世界の写真という4つのドメインを含む、物体認識の標準的なベンチマークを使用しました。彼らは、ターゲットドメインにおいてカテゴリあたり1つまたは3つのラベル付き例しか利用できないという困難な状況をシミュレートしました。これらのテストにおいて、彼らの手法は既存の最良の手法よりも一貫して小さな予測リストを生成し、選択肢の平均数を約5〜10％減少させました。この改善は、ドメイン間の転移が困難なケースにおいても顕著であり、このアプローチが堅牢であることを示唆しています。

彼らはまた、この手法をより重要な医療タスクである、皮膚病変の分類に適用しました。HAM10000データセットをソースとして使用し、様々な皮膚画像の条件を表す5つの異なるターゲットデータセットでテストを行いました。ここでの結果はさらに劇的でした。新しい手法は、従来のアプローチと比較して、予測リストの平均サイズを最大12％減少させました。これは、医師が皮膚病変を見ている際、モデルが提示する潜在的な状態のリストが大幅に短縮されることを意味します。これにより、診断がより迅速かつ実行可能になると同時に、正解がリストに含まれるという厳格な保証も維持されます。

単にリストを小さくするだけでなく、研究者たちは、彼らのフレームワークが特定の医学的ルールを尊重するように調整できることも示しました。皮膚ガンの診断において、良性と悪性の両方の可能性を同時に含むリストを持つことは危険です。なぜなら、それは医師に対して混乱を招く信号を与えるからです。チームは、このような矛盾したリストに対してペナルティを課すようにトレーニング損失（loss）を修正しました。これを行ったところ、矛盾するリストの数は、異なるデータセット全体で60〜75％も劇的に減少しました。そのトレードオフとして、リストの全体的なサイズはごくわずかに増加しましたが、結果として得られたのは、統計的に妥当であるだけでなく、意味的に一貫しており、臨床的に有用な予測セットでした。

これらの知見は、単一の正解を最適化し、その後に不確実性を修正しようとする従来のAIモデルの訓練方法が、根本的に限界があることを示唆しています。効率的な不確実性の定量化という目標を学習プロセスに直接組み込むことで、モデルは本質的に高リスクの意思決定に適した出力を生成することを学習します。研究者たちは、データが乏しい状況であっても、モデルが自らの限界と将来の予測構造を認識するように訓練することが可能であることを証明しました。このアプローチは、正確であるだけでなく、臨床医の実践的なニーズに合致した、信頼できる医療AIへの有望な道筋を示しています。

技術要約：最適輸送を用いた半教師ありドメイン適応のための共形リスク最小化

1. 問題定義

高リスクな臨床応用において、機械学習モデルは、ソース患者集団で学習し、ターゲット集団に展開される際に、分布シフトに直面することがよくあります。半教師ありドメイン適応（SSDA）は、ラベル付きのソースデータと限られたラベル付きターゲットデータを活用することで、点予測の精度を向上させますが、既存のSSDA手法は、原理に基づいた不確実性の定量化を提供できないという課題があります。

従来の共形予測（CP）は、分布に依存しない被覆保証を提供しますが、通常は学習済みのモデルに対して事後的に適用されます。このアプローチでは、基礎となるモデルが集合のサイズを決定する非適合度スコアの幾何学的構造ではなく、点精度の最適化に重点を置いて設計されているため、予測集合が極めて大きくなってしまうことがよくあります。共形リスク最小化（CRM）は、集合サイズの最適化を訓練プロセスに直接組み込みますが、伝統的には訓練中に非適合度閾値を計算するために大規模なラベル付きデータセットを必要とします。これは、SSDAの状況においては資源が乏しい部分です。

解決すべき核心的な問題は、**「ターゲットドメインにおけるラベル付きデータが限られているSSDTタスクにおいて、いかに共形予測器を最適に訓練できるか？」**ということです。

2. 手法：CP-JDOT

著者らは、最適輸送（OT）を用いた結合ドメイン適応（JDOT）フレームワークに共形リスク最小化を統合したエンドツーエンドのフレームワークであるCP-JDOTを提案しています。この手法は、予測モデル $f_\theta$ （埋め込み関数 $g$ と分類器 $h$ で構成）を、ターゲットドメインにおいてコンパクトかつ被覆妥当な予測集合を生成するように最適化するように設計されています。

2.1 コアコンポーネント

訓練目的関数は、以下の複合損失関数を最小化します：
$\min_{\theta} L_{cls}(f_\theta) + \lambda_1 L_{DA}(f_\theta) + \lambda_2 L_c(f_\theta)$
ここで：

$L_{cls}$ : 分類損失（クロスドメイン学習用に適合）。
$L_{DA}$ : ドメイン整列損失。
$L_c$ : 共形整列損失（大きな予測集合に対してペナルティを課す）。

2.2 訓練ループ

このアルゴリズムは、2つのミニバッチ（ラベル付きソースセット $S$ からの1つと、ラベルなしターゲットセット $T_u$ からの1つ）を使用して、反復的な確率的プロセスとして動作します。

閾値推定: 各イテレーションにおいて、少量のラベル付きターゲットセット（ $T_l$ ）を用いて、非適合度スコアの微分可能な $(1-\alpha)$ 分位点 $\tau$ が計算されます。この $\tau$ が共形閾値として機能します。
最適輸送結合: フレームワークは、ソースとターゲットを共通の潜在空間にマッピングするために、結合ドメイン適応（JDOT）を使用します。ソースサンプルとラベルなしターゲットサンプルの間の結合 $\gamma$ を計算するために最適輸送（OT）を採用します。この結合により、ソースのラベルがターゲットのインスタンスへと擬似ラベルとして転送され、ラベルなしターゲットデータに対する必要な監督信号を提供します。
損失の最適化: モデルは、以下の内容を含む総損失を最小化するように、確率的勾配降下法を通じて更新されます：
- ソースERM: 学習を安定させるための、ラベル付きソースデータに対する標準的なクロスエントロピー。
- ドメイン整列 ( $L_{DA}$ ): ソースとターゲット間の特徴分布を整列させるための幾何学的最適輸送（GOT）の使用。
- 共形分類 ( $L_{cls}$ ): OTによって伝播されたソースラベルをターゲットサンプルを含むことを保証する、微分可能なペナルティ。
- 共形効率 ( $L_c$ ): ラベルなしターゲットサンプルの期待カーディナリティ（サイズ）を最小化するためのペナルティ項。

2.3 ドメイン固有の制約

本フレームワークは、分類損失を制御損失 ( $L_{control}$ ) に変更することで、ドメイン知識の組み込みをサポートします。これにより、特定の集合構成に対してペナルティを課すことが可能になります。例えば、皮膚病変の分類において、この損失は互いに排他的なクラス（例：良性と悪性の診断）を同時に含む予測集合に対してペナルティを課すことができ、集合サイズがわずかに増加したとしても、意味的な一貫性を確保できます。

3. 主な貢献

CP-JDOTフレームワーク: 最適輸送を用いた結合ドメイン適応の設定内でCRMを統合した、新しいSSDA訓練フレームワーク。これは、少量のラベル付きターゲットセットのみを使用して、グローバルに整列された特徴空間内で共形予測器を較正するために、OT由来の擬似ラベルを活用することで、教師ありCRMとSSDAの間の溝を埋めます。
制御された集合構成: 訓練ループ内に共形目的関数を直接組み込むことで、ドメイン固有の要件に合わせたペナルティ項の使用が可能であることを示しました。これにより、集合の構成（例：矛盾するクラスを除外して「被覆の混乱」を軽減する）を制御でき、統計的に妥当かつ意味のある予測集合が得られます。
実験的な優位性: 厳密な分析により、エンドツーエンドのアプローチが、事後的な共形ラッパーを適用した既存の最先端SSDA手法を一貫して上回ることが示されました。この手法は、被覆の保証を維持しながら、より小さな平均予測集合サイズを達成します。

4. 実験結果

著者らは、2つのベンチマーク設定でCP-JDOTを評価しました：

Office-Home: 12組のペアワイズ転送方向（Art, Clipart, Product, Real World）を持つ標準的なドメイン適応ベンチマーク。ResNet-34を用い、1-shotおよび3-shotの設定で評価。
皮膚病変分類: HAM10000（ソース）から5つのターゲットドメイン（PH2, Derm7pt, MSK, SONIC, UDA）へ転送する医療画像設定。ResNet-18を用い、各クラスにつき10個のラベル付きターゲットサンプルを使用。

主な知見:

集合サイズの削減: CP-JDOTは、すべての転送方向において一貫して最小の平均予測集合サイズを達成し、Office-Homeでは約5〜10%、皮膚病変データセットでは最大12%、最良の性能を示すベースライン（MME, CDAC, DECOTAなど）を上回りました。
精度 vs 効率性: 特筆すべきは、CP-JDOTが最強のSSDAベースラインよりも最大10%低いトップ1精度であったにもかかわらず、これらの改善を達成したことです。これは、従来の精度目的関数が、ダウンストリームの共形集合サイズの効率性と乖離しているという仮説を支持しています。
意味的制御: 皮膚病変のアブレーション研究において、標準的な損失を $L_{control}$ に置き換えることで、「矛盾する集合」（良性と悪性の両方のクラスを含むもの）の割合が、すべてのデータセットにおいて**60〜75%**減少しました。これに伴う平均集合サイズの増加はわずかでした。

5. 意義と主張

本論文は、不確実性の定量化が独立した後処理ステップとして扱われるのではなく、ドメイン適応モデル自体に組み込まれるべきであるという、CP-JDOTの有用な基盤を提示しています。ドメイン適応と共形目的関数を共同で最適化することにより、本フレームワークは以下の特性を持つ予測集合を生成します：

コンパクト: 事後的な精度最適化モデルの較正によって生成されるものよりも、大幅に小さい。
被覆妥当: 厳格な分布に依存しない保証を維持する。
臨床的に実行可能: ドメイン固有の制約（例：矛盾する診断を除外する）を訓練プロセスに直接組み込むことが可能である。

著者らは、このアプローチが、予測集合の構成（例：良性と悪性の診断の混合を避けること）が、単なるサイズの大きさと同様に臨床的な意思決定において重要となる、ヘルスケアのような高リスクな環境において特に重要であると強調しています。