技術要約：マルチタスク学習における容量と冗長性のトレードオフ

1. 問題設定

マルチタスク学習（MTL）は、単一のモデルを複数の予測タスクに対して同時に学習させることで、効率性と汎化性能の向上を目指すものである。しかし、追加のタスクを学習させることが性能向上ではなく性能低下を招く「ネガティブ転移（negative transfer）」は、依然として根強い課題である。本論文は、これが最適化上の副産物としてしばしば見なされているのに対し、本質的には共有容量の限界とタスク間の冗長性の弱さに起因するものであると断じている。

大規模言語モデル（LLM）におけるパラメータ効率的な微調整（PEFT）、特にLow-Rank Adaptation（LoRA）のような手法を用いた文脈において、重要な設計上の選択肢が生じる。すなわち、転移を促進するために複数のタスクで単一の軽量モジュールを共有すべきか、あるいは干渉を避けるために各タスクに専用のモジュールを与えるべきかという問題である。既存のハイブリッド手法（タスク・クラスタリングやMixture-of-Adaptersなど）は、いつ共有が有益であり、いつ特化が必要かを決定するための統一的な理論的枠組みを欠いている。

2. 手法および理論的枠組み

本論文は、各タスクの予測情報の総和を、結合予測情報、ラベルの冗長性、および残差結合項へと分解する容量–冗長性（Capacity–Redundancy; CR）恒等式を導入している。

2.1 容量–冗長性（CR）不等式

著者らは、MTLにおける共有エンコーダを、有限の容量 $C_s$ を持つ通信路としてモデル化している（ここで $Z_s$ は共有潜在表現である）。そして、以下の不等式を導出している：
$$\sum_{t=1}^T I(Z_s; Y^{(t)}) \leq C_s + TC(Y^{(1:T)})$$
ここで：

• $I(Z_s; Y^{(t)})$ はタスク $t$ の予測情報である。
• $C_s$ は共有容量である。
• $TC(Y^{(1:T)})$ はラベル間の**全相関（Total Correlation）**であり、ラベルの冗長性の尺度として機能する。

この不等式は、以下の厳密な恒等式から導出される：
$$\sum_{t=1}^T I(Z_s; Y^{(t)}) = I(Z_s; Y^{(1:T)}) + \left( TC(Y^{(1:T)}) - TC(Y^{(1:T)} | Z_s) \right)$$
$\Delta = TC(Y^{(1:T)} | Z_s)$ という項は、共有表現で条件付けられた後に残る残差結合（residual coupling）（すなわち干渉）を表す。もし $\Delta > 0$ であれば、共有表現が結合タスク分布を完全に因子分解できていないことを意味する。

2.2 主要な理論的結果

• 信号維持のためのスケーリングの不可能性： 依存関係が弱いタスク（低 $TC$）の場合、固定容量のボトルネックにタスクを追加すると、タスクあたりの平均的な情報は$O(1/T)$ で減衰する。タスクあたりの信号レベルを一定に保つためには、冗長性が高くない限り、容量をタスク数に対して線形にスケールさせる必要がある。
• 勾配–TCブリッジ： ガウス型マルチタスクモデルにおいて、本論文は勾配コサイン類似度が（一致したノイズの下で）ラベル相関の符号と順序を保持することを証明している。これは、タスク・クラスタリングを導くための冗長性の順序付けのプロキシとして、勾配類似度を用いることを形式的に正当化するものである。
• クラスタリング・ギャップの分解： 著者らは、クラスタリングされた共有（グローバルな共有ではなく、グループ内での共有）がグローバルな共有よりも優れているための必要十分条件を導出している。その利得は以下のように分解される：
  $$\text{Gain} = (\text{Interference Reduction}) - (\text{Redundancy Loss})$$
  クラスタリングされた共有が厳密に有益となるのは、残差結合（干渉）の減少が、クラスター境界を越えた共有冗長性の損失を上回る場合のみである。
• 共有–専用拡張： 本フレームワークは、タスク固有の特徴（$Z_t$）を含むように拡張されている。全情報は $C_s + \sum C_t + TC(Y^{(1:T)})$ という境界を持つ。専用の特徴は、共有ボトルネックがエンコードできない異質性を吸収することで、残差結合 $\Delta$ を減少させることが示されている。

2.3 LoRAへの適用

本論文は、LoRAをランク $r$ が実効容量 $C_s$ を制限する容量制約付き通信路としてモデル化している。そして、ヘテロジニアス（非均質）なタスクに対しては、単一のグローバルに共有されたLoRAはランクが増加するにつれて急速に飽和する一方で、干渉を防ぐためにはクラスタリングされたアダプタや専用のアダプタが必要になると予測している。

3. 実証結果

著者らは、凍結された bert-base-uncased エンコーダとLoRAアダプタを用いた合成データおよび実世界のNLPベンチマークを通じて、理論の検証を行っている。

3.1 合成データの検証

• CR不等式のタイトさ： 線形ガウスモデルにおいて、エンコーダがタスク部分空間をカバーしているとき、この境界がタイトであることを示している。
• 残差結合の推定値 ($\hat{\Delta}$): 著者らは、検証用残差相関を用いて残差結合 $\Delta$ を推定する方法を提案している。彼らは、この推定値が対数行列式の計算における正則化パラメータ $\epsilon$ に対して敏感であることを示し、バイアスを最小化する最適な範囲（$\epsilon = 10^{-5}$）を特定している。

3.2 実世界のベンチマーク

実験は、GoEmotions データセット（12個の感情ラベル）および GLUE8 ベンチマーク（多様な8つのNLPタスク）を用いて行われた。

• GoEmotions: クラスタリングされたルーティング（勾配類似度によってタスクをグループ化）は、一致したランク予算（例：ランク8において、クラスタリングAUROC: 0.821 vs. 共有: 0.708）の下で、グローバルな共有および専用のみのベースラインを一貫して上回った。極めて重要な点として、クラスタリングされたルーティングは、系統的に低い推定残差結合 $\hat{\Delta}$ を示した。これは干渉の減少を裏付けている。
• GLUE8: 同様の傾向が見られたが、タスクの性質（構文 vs 感情）がヘテロジニアスであるため、改善はより緩やかであった。
• 結論: 類似度に基づいたルーティングは、アダプタの容量が限られている場合、残差干渉を効果的に減少させ、性能を向上させる。

4. 主な貢献

1. スラック項の分離： 本論文は、$\Delta = TC(Y^{(1:T)} | Z_s)$ を、共有表現によって解決されなかった干渉の具体的な尺度として特定している。
2. クラスタリング・ギャップの分解： クラスタリングされた共有がグローバルな共有よりも優れているための必要十分条件（定理5.3）を提供し、そのトレードオフを「干渉の減少」対「冗長性の損失」として定式化した。
3. 勾配–TCブリッジ： ガウスモデルにおいて、勾配コサイン類似度を冗長性の順序付けのプロキシとして用いることを形式的に正当化し、最適化のダイナミクスと情報理論的な冗長性を結びつけた。
4. PEFTの運用限界： アダプタのランク（容量）とタスク部分空間の次元との間のトレードオフを定量化し、LoRAを用いた微調整において、いつパラメータを共有し、いつ特化すべきかについての理論的根拠を提示した。

5. 意義と主張

本論文は、特定の学習アルゴリズムや推定器に依存しない、共有潜在変数を通じて達成可能な予測情報の**分布レベルの逆（converse）**を提供していると主張している。その主な意義は以下の通りである：

• ネガティブ転移の再定義： ネガティブ転移の説明を、最適化の副産物から、容量と冗長性の根本的な限界へと移行させた。
• 処方的な設計ルール： タスクの類似性と冗長性に基づいた、パラメータ共有の「必要十分」なルールを提供した。
• PEFTへの実用的な指針： 厳格な容量予算（低いランク）の下では、類似度に基づくクラスタリングが干渉を軽減するための原理的な方法である一方で、ナイーブなグローバル共有はネガティブ転移を増幅させ得ることを示した。

著者らは、CR境界は冗長性に焦点を当てており、タスク間の相補的な情報（シナジー）は捉えていないことを指摘しており、将来の研究において部分情報分解（partial information decomposition）を用いてフレームワークを拡張できる可能性を示唆している。