技術概要：GRASP – サンプル別分割を伴うガイデッド残差アダプター

問題定義

テキストから画像へのフローマッチングトランスフォーマーは、長尾分布において深刻な性能低下を示し、特に希少な病理所見が現実世界シナリオを支配する医療画像などの分野で顕著である。モデルは頻出する「ヘッド」クラスでは良好に機能するが、「テール」クラスにおいてはモード崩壊に陥り、忠実度が低く多様性に欠ける画像を生成する。著者らは、その根本原因を最適化レベルの病理と特定している。すなわち、微調整中に、ヘッドクラスとテールクラスに対する勾配更新が、ノルムと方向の両面で不一致をきたしていることである。これらの勾配はパラメータレベルで破壊的に平均化され、モデルが頻出クラスを優先し、希少なクラス表現を崩壊させる。事後サンプリング戦略や学習時の損失関数修正といった既存の介入手法は、この特定の勾配の不一致に対処できず、しばしば基礎となる分布を変化させないか、最適化の失敗を直接標的としない方法で生成目的を変更してしまう。

手法

本論文は、フローマッチング目的関数やサンプリングプロセスを変更することなく、勾配の整合性を向上させるように設計された非侵襲的なアーキテクチャ介入である**GRASP（Guided Residual Adapters with Sample-wise Partitioning：サンプル別分割を伴うガイデッド残差アダプター）**を提案する。

1. 条件付によるサンプル別分割

ゲートネットワークを学習する（これはヘッドクラスの勾配に支配されるリスクがある）のではなく、GRASP は条件付け空間の静的かつ決定論的な分割を採用する。

• 理論的基盤: 条件付きフローマッチングにおいて、条件値は確率経路の異なる集合を索引する。著者らは、条件ベクトルに沿った分割が、勾配整合性の代理として機能する構造的に正しい因数分解であると主張する。
• 実装: 静的なルーティング関数 $\pi: \mathcal{C} \to \{1, \dots, K\}$ が、各サンプルをその条件に基づいて $K$ 人のエキスパートのいずれかに割り当てる。
  • 医療コンテキスト（MIMIC-CXR-LT）: サンプルは意味的グループ（ヘッド、ミディアム、テール）に分割され、さらにドメイン固有の事前知識（健康 vs 病的）によって分割され、4 人のエキスパートが生成される。
  • 一般コンテキスト（ImageNet-LT）: 凍結されたテキストエンコーダ上のテキスト埋め込みクラスタリング（二分 K-means）を通じて分割が達成され、ドメイン固有の事前知識は用いられない。
• 頑健性: この手法は、完璧な意味的分割ではなく、「粗い」事前知識（頻度ビンやバニラクラスタリングなど）に依存する。目的は、平均的に見て、あるエキスパート内のサンプルが、異なるエキスパート間のサンプルよりも均質な勾配ダイナミクスを共有することを保証することである。

2. ガイデッド残差アダプター

サンプルがルーティングされると、アーキテクチャは凍結された事前学習済みバックボーン（Flux）のフィードフォワード層に挿入されるグループ固有の残差アダプターを利用する。

• メカニズム: エキスパート $k = \pi(c_i)$ にルーティングされたサンプル $x_i$ に対して、層の出力は $h_{l+1} = F_l(h_l) + A_{k,l}(h_l)$ となる。ここで、$F_l$ は共有ベース変換、$A_{k,l}$ はエキスパート固有のアダプターである。
• 勾配の分離: アダプター $k$ 内のパラメータは、そのエキスパートに割り当てられたサンプルによってのみ更新される。これにより、グループ固有の勾配が分離され、ヘッドクラス更新からの破壊的干渉を防ぎつつ、共有バックボーンが転送可能な構造を蓄積することを可能にする。
• 設計: アダプターは軽量な 2 層変換である。LoRA と異なり、厳密な次元削減を強制せず、大きなドメインギャップにわたる微調整を安定させるために、より広いアダプター（$d' \approx d$ または $d' > d$）を可能にする。

主要な貢献

1. 勾配一貫性のフローマッチングへの転移: 著者らは、長尾言語モデル（Dong ら）からの勾配一貫性目的関数を、テキストから画像へのフローマッチングに適応させる。決定的に、学習されたゲート機構を決定論的かつ条件付け駆動の分割に置き換える。彼らは、条件付きフローマッチングにおいて、条件付けが確率経路幾何学を自然に索引するため、静的分割は汎用的なヒューリスティックではなく、構造的に正しい因数分解であると主張する。
2. 非侵襲的かつ構成可能な設計: GRASP はフローマッチング損失とサンプリャーを変更せず、どのパラメータがどの勾配を吸収するかのみを変更する。これにより、直交する介入と組み合わせることが可能になる。著者らは、推論時に自己誘導型少数派サンプリングと GRASP を組み合わせることで、いずれか単独の方法よりも優れた結果が得られることを実証する。
3. 勾配の代理としての条件付けの実証的検証: 除去実験と勾配分析を通じて、本論文は条件付けの均質性がエキスパートごとの勾配一貫性と強く相関することを検証し、ノイズの多い事前知識であっても静的分割が理想的な勾配グループ化を効果的に近似することを確認する。

結果

本手法は、MIMIC-CXR-LT（医療用胸部 X 線）、NIH-CXR-LT（下流分類）、およびImageNet-LT（一般的な長尾生成）で評価された。

• 画像生成の質と多様性:
  • MIMIC-CXR-LT において、GRASP はフル微調整と比較して全体の FID を最大**80%削減し、テールクラスのカバレッジを最大44%**増加させた。
  • フル微調整、汎用アダプター、学習型ルーティングの混合エキスパート（MoE）変種（MoCLE など）を含む最先端のベースラインを上回った。
  • 定性的分析により、GRASP はベースラインが平滑化または崩壊させた希少な病理所見（例：気腹）に対するクラス固有の特徴を回復させたことが示された。
• 下流分類:
  • GRASP によって生成された合成画像を用いて NIH-CXR-LT 上で DenseNet-121 分類器を学習させたところ、モデルは実データ学習と同等のマクロ F1 スコアを達成した。
  • 決定的なことに、GRASP は13 クラス中 9 クラスでゼロ以外の F1 スコアを達成したが、フル微調整では 3 クラスのみでこれを達成できた。
• 汎化性: ImageNet-LT における結果は、このメカニズムが医療の帰納的バイアスに縛られておらず、広範な長尾生成タスクに汎化することを確認した。

意義と主張

本論文は GRASP を制御された拡張および分析ツールとして位置づけ、合成画像は臨床的に根拠のあるコホートや専門家レビューの代わりにはなり得ないと明確に述べている。著者らは、出所と検証なしに使用された場合、合成データはバイアスを維持または増幅しうることを強調する。

主張される主な意義は、静的ルーティングが、条件付けに対する粗い事前知識が存在する限り（医療画像では一般的なケース）、長尾テキストから画像への生成におけるデフォルトの選択であるという点である。ヘッドクラスの支配により極端な長尾領域で失敗する学習型ゲートとは異なり、静的分割は、すべてのテールサンプルが割り当てられたエキスパートを更新することを保証する。これは、核心的な生成目的を変更することなく、最適化レベルの病理を緩和するための、安定した、効率的な、かつ非侵襲的なメカニズムを提供する。