技術サマリー: FINO – メタデータを用いたビジョン基盤モデルの適応

問題提起

視覚的基盤モデル（Visual foundation models）は、自然画像に対しては強力である一方、生物医学的な顕微鏡画像、地球観測、野生動物モニタリング、医療画像といった特殊な科学ドメインに適用されると、性能が低下することがよくあります。これらのドメインでは、意味のある変動（例：地理、染色プロトコル）と、偽の要因（例：センサー特性、バッチ効果）の両方に起因する大幅な分布シフトが存在します。

標準的な適応戦略は、このような設定において重大な限界に直面しています：

• 教師あり微調整（Supervised Fine-Tuning）: 希少または高価なタスク固有のラベルを必要とします。モデルがタスク信号に過学習しやすく、汎化能力を損ない、分布外（OOD）性能の低下を招きます。
• 教師なしドメイン適応（Unsupervised Domain Adaptation: UDA）: ラベルのないターゲットデータを利用しますが、依然としてタスク駆動型であるため、タスク特有の崩壊（task-specific collapse）を招くリスクがあり、多様な科学的シフトへの汎化に失敗します。
• 純粋な自己教師あり学習（Self-Supervised Learning: SSL）: ラベルは不要ですが、標準的なSSL適応は低レベルのキューやコンテキスト固有のアーティファクトに対して敏感なままであり、意味のあるセマンティックな要因と、偽の取得ノイズを区別できない場合があります。

しかし、科学的なデータセットには通常、豊富なメタデータ（例：抗体タイプ、国、タイムスタンプ、視野角）が付随しており、これらは上述の変動と相関しています。課題は、タスクラベルを使用せずに、情報の構造を保持しながら、いかにして偽の要因を抑制しつつ表現を適応させるかという点にあります。

手法: FINO (FIne tuning with NO labels)

著者らは、メタデータによる表現適応のための統一フレームワークであるFINOを提案しています。この手法は、ソースデータとその関連メタデータのみを使用して、タスクラベル、ターゲット分布のデータ、および推論時のメタデータを必要とせずに、事前学習済みの基盤モデルを新しいドメインに適応させます。

コア・アーキテクチャ

FINOは、標準的なDINO自己教師あり設定（指数移動平均更新を用いた学生・教師アーキテクチャ）をベースとし、それをメタデータによるガイダンスによって拡張したものです。

1. メタデータの分割: メタデータのタイプ（$t$）は以下のように分類されます：
   • 情報的要因 ($M^+$): モデルが保持すべき変数（例：顕微鏡における抗体の同一性、地球観測における地理）。
   • 偽の要因 ($M^-$): モデルが抑制すべき変数（例：プレートID、センサー解像度、バッチ効果）。
2. メタデータ・ガイダンス損失:
   • 離散的メタデータ: カテゴリカルなメタデータ（例：国、抗体）に対して、FINOはプロトタイプベースのコントラスティブ目的関数を採用しています。各メタダル値に対してプロトタイプの集合 $\{p_m\}$ を保持します。学生の埋め込みは、自身のメタダル値に対応するプロトタイプとコントラスト（対照）されます。プロトタイプは、教師の埋め込みのEMAを通じて更新されます。この手法は、バッチ内に正例・負例のペアを必要とせずに、高カーディナリティのメタデータにもスケールします。
   • 連続的メタデータ: 連続値（例：タイムスタンプ、視野角）については、埋め込みからメタダル値を回帰するための学習可能な予測器（MLP）が訓練され、回帰損失を最小化します。
3. 偽の要因に対する勾配反転: 偽の要因を抑制するために、FINOはエンコーダーに到達する前にメタダル損失に対して**勾配反転（gradient reversal）*を適用します。これにより、予測器ヘッドがそれらの要因を予測し続けつつも、エンコーダーがそれらの要因を無視*するようにエンコーダーを促します（敵対的定式化）。
4. 全体的な目的関数: 全体の損失は、標準的な自己教師あり損失（CLSトークンに対するDINO、パッチトークンに対するiBOT）、正則化項（SIGReg）、およびメタダル・ガイダンス損失の重み付き合計を組み合わせたものです：
   $$L(x) = L_{DINO}(x) + L_{iBOT}(x) + \lambda_{SIGReg}L_{SIGReg}(x) + \sum_{t \in M^+ \cup M^-} \lambda^{(t)}_{meta} L^{(t)}_{meta}(x)$$
   注目すべき点は、この手法がすべてのドメインに対して単一の固定されたハイパーパラメータ（$\lambda_{meta} = 0.03$）を使用しており、広範なチューニングを必要としないことです。

トレーニング・プロトコル

• フェーズ1: 事前学習済みのバックボーンを凍結します。メタダルヘッドと損失ヘッドをランダムに初期化し、事前学習済みの表現空間に適合するように訓練します。また、パッチ埋め込み層もターゲットドメインのピクセル統計量に適応するように更新されます。
• フェーズ2: バックボーンを段階的にアンフリーズ（凍結解除）し、不安定化を防ぐために線形学習率ウォームアップを伴ってエンドツーエンドで訓練します。

主な貢献

1. 統一されたフレームワーク: FINOは、バックボーンのアーキテクチャを変更したり、推論時にメタデータを必要としたりすることなく、異種混合のメタデータ（離散および連続）を自己教師あり学習に統合します。
2. ラベルフリーの適応: ジェネリックなビジョン基盤モデルが、タスクラベルのみを用いて科学ドメインに特化できることを示しており、タスクラベルに依存する完全な教師あり微調整よりも優れた性能を発揮します。
3. 堅牢性と転移: この手法は、分布シフトに対して堅牢でタスクに依存しない表現を生み出し、クラス定義が異なる場合でも（例：HPAからOpenCellへ）、同一ドメイン内のデータセット間での効果的な転移を可能にします。
4. 最先端の性能: FINOは、単一の共有レシピを用いて、4つの異なる科学ドメインにおいて、高度に専門化されたドメイン固有の最先端手法（トップクラスのKaggleソリューションを含む）と同等またはそれを上回る性能を実現しました。

実験結果

著者らは、HPA（Human Protein Atlas）、iWildCam、FMoW（Functional Map of the World）、MIMIC-CXRの4つのデータセットでFINOを評価しました。

• 教師あり微調整との比較: FINOは、OOD指標において、バックボーンとプローブを訓練する完全な教師あり微調整を一貫して上回りました。例えば、HPAにおいて、FINOはF1スコア61.2を達成し、タスクラベルなしでのバックボーン適応にもかかわらず、教師あり微調整（52.6）および専門的なSOTA（59.4）を上回りました。
• SSLおよびUDAとの比較: FINOは、標準的な自己教師あり適応（DINO）および教師なしドメイン適応手法（CORAL、DANN）を凌駕しました。これらは、iWildCamのような特定のデータセットにおいて、汎化に失敗したり崩壊したりすることがよくあります。
• 低データ環境: 下流のプローブで利用可能なラベルが1〜10%しかないシナリオにおいても、FINOは高い性能（50.9–57.0%）を維持しましたが、教師あり微調整は急激に低下しました。
• 表現分析: HPAにおけるUMAP可視化では、FINOは（標準的なSSLがセルラインに対して87%であったのに対し）ターゲット変数（タンパク質の局在化）に従って特徴量を整理し、局在化に対して83%のk-NN精度を達成しました（一方で、偽の取得要因であるセルラインに対しては75%でした）。
• 転移学習: FINOによって適応されたモデルは、同一ドメイン内の未知のデータセット（例：HPA $\to$ OpenCell）への転移に成功し、凍結されたベースラインおよび教師あり適応の両方を上回りました。

意義と主張

本論文は、科学的応用ドメインが、コンピュータビジョンの基盤モデルを評価するための極めて重要かつ実りある設定であると断じています。著者らは以下のことを主張しています：

• メタデータは強力で、未活用なリソースである: メタデータは、自己教師あり学習を堅牢でドメイン適応された表現へと導くための、効果的な弱教師あり学習として機能します。
• タスクに依存しない適応が優れている: 表現学習を特定のタスクラベルから切り離すことで、FINOは教師あり微調整でよく見られる「汎用性の崩壊」を回避し、分布シフトに対してより堅牢で、かつダウンストリームタスクに整合した特徴を実現します。
• スケーラビリティ: この手法は、複雑なドメイン固有のエンジニアリングや広範なハイパーパラメータチューニングを必要とせずに、非常に粒度の高いメタデータ（数千の離散カテゴリや連続値）を扱うことができます。

結論として、FINOは、基盤モデルが「既に持っているメタデータ」を用いて科学分野向けに特化できるという、新しいパラダイムを確立しました。これにより、タスク固有のラベル付けという負担を負うことなく、専門的なソリューションに匹敵、あるいはそれを上回る性能を達成できるのです。