技術要約: CORE-MTL

問題提起

マルチタスク学習（MTL）は、複数の関連するタスクに対して共有エンコーダを訓練することで、サンプル効率と堅牢性を向上させることを目的としている。しかし、MTLはしばしば、あるタスクの最適化が他のタスクの性能を低下させる**ネガティブ・トランスファー（負の転移）**に苦しみ、分布シフト（アウト・オブ・ディストリビューション：OOD）下での汎化性能が低くなるという課題を抱えている。

既存のアプローチは主に最適化レベルで動作しており、以下の手法を通じてタスク間の競合を解消しようと試みている：

1. 勾配バランシング: 勾配の重み付けや投影（例：GradNorm, PCGrad, STCH）。
2. アーキテクチャ変更: バックボンの特徴量の特定のスライスにタスクをルーティングする（例：MTAN）。

著者らは、これらの手法は特徴学習を「ブラックボックス」として扱っており、共有表現の内部構造を無視していると主張している。共有表現が不変な意味的因子（タスクに関連する要素）と、疑似的な残差因子（背景や照明などのノイズとなる変動）を絡め合っている場合、勾配操作だけでは結果として生じる競合を解決できない。この絡み合い（エンタングルメント）は、「ノイズに起因するショートカット（近道）」への依存を引き起こし、脆弱なOOD汎化をもたらす。

手法: CORE-MTL

著者らは、勾配手術から因果関係に基づいた意味的・残差的分解へと焦点を移した、表現中心のフレームワークである**CORE-MTL（Causal Orthogonal Representations for Multi-Task Learning）**を提案する。

1. 構造的分解

CORE-MTLは、共有エンコーダの出力 $\Phi_\theta(x)$ を2つの明確なストリームに分解する：

• 意味的ストリーム ($\hat{Z}_s$): 不変でタスクに関連する構造（例：幾何学的形状、物体の同一性）を捉える。
• 残差ストリーム ($\hat{Z}_r$): タスクに関連しないノイズとなる変動（例：テクスチャ、照明、背景）を吸収する。

重要な制約: タスク予測器 ($f_{\phi_t}$) は、$\hat{Z}_s$ のみに依存するように制限される。この構造的な分離により、モデルが学習中にノイズ信号をショートカットとして利用することを防ぐ。

2. 学習目的関数

この分解を強制し、各ストリームが意図した役割を果たすようにするために、CORE-MTLは4つのコンポーネントからなる統一された目的関数を採用している：

• タスク監督 ($L_{task}$): $\hat{Z}_s$ に基づく各タスクの標準的な損失。
• 構造的独立性 ($L_{CKA}$): 中心化カーネルアライメント（CKA）を用いて $\hat{Z}_s$ と $\hat{Z}_r$ の間の統計的依存関係を最小化し、両者が互いに排他的な情報を捉えるよう促す。
• 反事実的特徴拡張 ($L_{CFA}$): ある画像の意味的ストリームと別の画像からのランダムな残差ベクトルを組み合わせることで、反事実的なインスタンスを合成する ($\tilde{x} = D(\hat{Z}_s, \tilde{Z}_r)$)。モデルは、これらの合成画像に対しても一貫したタスク予測を維持するように訓練され、$\hat{Z}_s$ がノイズの変化に対して不変であることを強制する。
• 再構成によるグラウンディング ($L_{rec}$): $(\hat{Z}_s, \hat{Z}_r)$ から入力を再構成する補助的なデコーダ。これは、恣意的な分解を防ぐための「グラウンディング（接地）」信号を提供する。著者らは2つのバリアントを実装している：
  • ハード・グラウンディング: 構造化されたシーンに対して、明示的な物理的事前知識（例：アルベドと照明モデルを用いた逆レンダリング）を使用する。
  • ソフト・グラウンディング: 物理的事前知識が利用できないタスクに対して、一般的な畳み込みデコーダを使用し、アーキテクチャのボトルネックと統計的制約に依存する。

3. 理論的保証

論文では、線形ガウス構造的因果モデル（SCM）の下での理論的分析を提供している：

• OOD下限: エンタングルした表現に対して操作を行う最適化中心の手法については、エンタングルメントの度合い ($\sin^2 \psi$) に比例する回避不能なOODエラーフロアが存在することを証明している。
• 解きほぐされた（Disentangled）境界: 対照的に、CORE-MTLの解きほぐされたアーキテクチャは、リーケージ係数（残差因子に対する意味的ストリームの感度）に線形にスケールする、よりタイトなOOD汎化境界を保証する。
• 勾配の直交性: 本フレームワークは、分解の構造的な副産物として、タスク損失と残差損失の間の勾配直交性を理論的に誘導し、事後的な修正ではなく表現レベルで競合を解決する。

主な貢献

1. MTLに対する因果的視点: 潜在的なSCMの下での最適化中心の手法の限界を定式化し、エンタングルした表現に対する勾配操作ではOODエラーを排除できないことを証明した。
2. CORE-MTLフレームワーク: 物理的または一般的なグラウンディングを通じて意味的・残差的分解を強制する、新しい表現中心のフレームワークであり、問題の根源においてネガティブ・トランスファーを解決する。
3. 実験的優位性: 10種類の代表的なベースライン（GradNorm, PCGrad, STCH, MTANを含む）に対し、イン・ディストリビューション（NYUv2, Cityscapes）およびアウト・オブ・ディストリビューション（GTA5→Cityscapes, Cityscapes-C, Colored-Cityscapes）の両方のベンチマークにおいて一貫した改善を示した。
4. スケーラビリティ: タスク数が増加しても訓練コストがほぼ一定に保たれ、PCGradのような勾配手術手法に伴う膨大な計算時間の増大を回避できる。

実験結果

• イン・ディストリビューション (ID): NYUv2およびCityscapesにおいて、CORE-MTLは最良の総合的なトレードオフを達成し、セグメンテーション、深度推定、表面法線の予測においてトップの性能を獲得した。
• アウト・オブ・ディストリビューション (OOD):
  • Sim-to-Real (GTA5→Cityscapes): CORE-MTLは、ターゲットドメインにおける最高の指標と、ソース性能と比較して最も小さな性能ギャップを達成した。
  • 破損に対する堅牢性 (Cityscapes-C): 様々な破損（コントラスト、ぼけ、霧、ノイズ）の下でベースラインを凌駕し、特に視認性が著しく低下するシナリオにおいて顕著であった。
  • ショートカット・ストレス・テスト (Colored-Cityscapes): ソースとターゲットの間でクラスの色が入れ替えられたベンチマークにおいて、CORE-MTLは堅牢性を維持し、外観の疑似的な相関に依存していないことを示した。
• スケーラビリティ (CelebA): タスク数が増加（最大40個の属性）しても、CORE-MTLは高い精度を維持する一方で、勾配手術手法（PCClD）は訓練時間の爆発的な増加に苦しむ。

意義と主張

本論文は、タスク間の干渉およびOOD失敗の主要な原因は、勾配バランシングのスキーム自体ではなく、**共有表現におけるエンタングルメント（絡み合い）**であると主張している。 「事後的な勾配手術」から「本質的な表現の解きほぐし」へとパラダイムをシフトすることで、CORE-MTLは以下を実現する：

• タスクの競合を構造的に解決し、厳格な勾配補正なしにタスクが自然に相乗効果を発揮できるようにする。
• OOD汎化に関するよりタイトな理論的境界を提供する。
• タスク数が増えても効果が持続する、スケーラブルなマルチタスク学習のソリューションを提供する。

著者らは、本研究を、純粋な最適化中心の調整を超えた、堅牢なマルチタスク学習のための構造認識型表現設計への一歩として位置づけている。なお、理論的保証は様式化された線形ガウス仮定に依存していること、および現在の実装は主に高密度なシーン理解タスクを対象としていることを認め、限界についても言及している。