기술 요약: 멀티태스크 학습에서의 용량 및 중복성 트레이드오프

1. 문제 정의

멀티태스크 학습(Multi-Task Learning, MTL)은 단일 모델을 여러 예측 작업에 동시에 훈련시켜 효율성과 일반화 성능을 향고하는 것을 목표로 한다. 그러나 지속적인 과제는 **부정적 전이(negative transfer)**로, 이는 추가적인 작업을 학습할 때 성능이 개선되는 대신 오히려 저하되는 현상을 의미한다. 본 논문은 이를 단순한 최적화의 부산물로 보는 기존의 관점과 달리, 부정적 전이가 근본적으로 **제한된 공유 용량(limited shared capacity)**과 **약한 작업 중복성(weak task redundancy)**의 결과라고 주장한다.

대규모 언어 모델(LLM)을 위한 매개변수 효율적 미세 조정(PEFT), 특히 로우 랭크 적응(LoRA)과 같은 방법론의 맥락에서 중요한 설계 결정 문제가 발생한다. 즉, 전이를 촉진하기 위해 여러 작업이 하나의 경량 모듈을 공유해야 하는가, 아니면 간섭을 피하기 위해 각 작업에 개별 모듈을 부여해야 하는가? 기존의 하이브리드 접근 방식(예: 태스크 클러스터링, Mixture-of-Adapters)은 언제 공유가 유익하고 언제 특화가 필요한지를 결정하기 위한 통합된 이론적 프레임워크가 부족하다.

2. 방법론 및 이론적 프레임워크

본 논문은 개별 작업의 예측 정보 합을 결합 예측 정보, 레이블 중복성, 그리고 잔여 결합 항(residual coupling term)으로 분해하는 용량-중복성(Capacity–Redundancy, CR) 항등식을 도입한다.

2.1 용량-중복성(CR) 부등식

저자들은 MTL의 공유 인코더를 유한 용량 채널로 모델링하며, 여기서 공유 잠재 표현 $Z_s$에 대해 $I(X; Z_s) \leq C_s$라는 예산을 설정한다. 저자들은 다음과 같은 부등식을 도출한다:
$$\sum_{t=1}^T I(Z_s; Y^{(t)}) \leq C_s + TC(Y^{(1:T)})$$
여기서:

• $I(Z_s; Y^{(t)})$는 작업 $t$에 대한 예측 정보이다.
• $C_s$는 공유 용량이다.
• $TC(Y^{(1:T)})$는 레이블 중복성의 척도로서, 레이블 간의 **전체 상관관계(Total Correlation)**이다.

이 부등식은 다음과 같은 정확한 항등식으로부터 도출된다:
$$\sum_{t=1}^T I(Z_s; Y^{(t)}) = I(Z_s; Y^{(1:T)}) + \left( TC(Y^{(1:T)}) - TC(Y^{(1:T)} | Z_s) \right)$$
$\Delta = TC(Y^{(1:T)} | Z_s)$ 항은 공유 표현에 의해 조건화된 후에도 남아 있는 **잔여 결합(residual coupling, 간섭)**을 나타낸다. 만약 $\Delta > 0$이라면, 공유 표현이 결합된 작업 분포를 완전히 인수분해하지 못했음을 의미한다.

2.2 주요 이론적 결과

• 확장 없는 신호 유지의 불가능성: 의존성이 낮은 작업(낮은 $TC$)의 경우, 고정된 용량의 병목 구간에 작업을 추가하면 작업당 평균 정보량이$O(1/T)$로 감소한다. 중복성이 높지 않은 한, 일정한 작업당 신호 수준을 유지하려면 용량이 작업 수에 따라 선형적으로 증가해야 한다.
• 그래디언트–TC 브릿지: 가우시안 멀티태스크 모델에서, 본 논문은 그래디언트 코사인 유사도가 (매칭된 노이즈 하에서) 레이블 상관관계의 부호와 순서를 보존함을 증명한다. 이는 작업 클러스터링을 가이드하기 위한 중복성 순서의 대리 지표로서 그래디언트 유사도를 사용하는 것을 정식으로 정당화한다.
• 클러스터링 갭 분해: 저자들은 클러스터 기반 공유(글로벌 공유가 아닌 그룹 내 공유)가 글로벌 공유보다 우수한 성능을 보이는 필요충분조건을 도출한다. 이 이득은 다음과 같이 분해된다:
  $$\text{Gain} = (\text{Interference Reduction}) - (\text{Redundancy Loss})$$
  클러스터 기반 공유는 잔여 결합(간섭)의 감소량이 클러스터 경계 간의 공유 중복성 손실보다 클 경우에만 엄격하게 유익하다.
• 공유-개별 확장: 이 프레임워크는 작업별 특징($Z_t$)을 포함하도록 확장된다. 전체 정보 경계는 $C_s + \sum C_t + TC(Y^{(1:T)})$가 된다. 개별 특징은 공유 병목 구간이 인코딩할 수 없는 이질성을 흡수함으로써 잔여 결합 $\Delta$를 줄이는 역할을 한다.

2.3 LoRA에 대한 적용

본 논문은 LoRA를 랭크 $r$이 유효 용량 $C_s$를 제한하는 용량 제약 채널로 모델링한다. 이는 이질적인 작업들에 대해 단일 글로벌 LoRA는 랭크가 증가함에 따라 빠르게 포화될 것이며, 간섭을 방지하기 위해서는 클러스터링된 또는 개별적인 어댑터가 필요함을 예측한다.

3. 실험 결과

저자들은 합성 데이터와 bert-base-uncased 인코더에 LoRA 어댑터를 사용한 실제 NLP 벤치마크를 통해 이론을 검증한다.

3.1 합성 데이터 검증

• CR 부등식의 타이트함: 선형-가우시안 모델에서, 인코더가 작업 서브스페이스를 포괄할 때 이 경계가 타이트함을 보여준다.
• 잔여 결합 추정 ($\hat{\Delta}$): 저자들은 검증 잔차 상관관계를 사용하여 잔여 결합 $\Delta$를 추정하는 방법을 제안한다. 또한 로그 행렬식 계산의 정규화 파라미터 $\epsilon$에 대한 민감도를 입증하여, 편향을 최소화하는 최적 범위($\epsilon = 10^{-5}$)를 식별한다.

3.2 실제 벤치마크

실험은 GoEmotions 데이터셋(12개 감정 레이블)과 GLUE8 벤치마크(8개의 다양한 NLP 작업)를 대상으로 수행되었다.

• GoEmotions: 클러스터 기반 라우팅(그래디언트 유사도에 따라 작업을 그룹화)은 동일한 랭크 예산 하에서 글로벌 공유 및 개별 전용 베이스라인보다 일관되게 우수한 성능을 보였다 (예: 랭크 8에서 클러스터링 AUROC: 0.821 vs. 공유: 0.708). 결정적으로, 클러스터링 라우팅은 체계적으로 더 낮은 추정 잔여 결합 $\hat{\Delta}$를 나타냈으며, 이는 간섭이 감소했음을 확인시켜 준다.
• GLUE8: 작업의 이질성(구문론 vs. 감성 분석)으로 인해 개선 폭은 다소 완만했지만, 유사한 경향이 관찰되었다.
• 결론: 유사도 기반 라우팅은 어댑터 용량이 제한된 상황에서 잔여 간섭을 효과적으로 줄이고 성능을 향상시킨다.

4. 주요 기여

1. 슬랙 항(Slack Term)의 격리: 본 논문은 $\Delta = TC(Y^{(1:T)} | Z_s)$를 공유 표현에 의해 해결되지 않고 남은 간섭의 구체적인 척도로 식별한다.
2. 클러스터링 갭 분해: 클러스터 기반 공유가 글로벌 공유보다 우월한 데 대한 필요충분조건(정리 5.3)을 제공하며, 이를 간섭 감소와 중복성 손실 사이의 트레이드오프로 프레임화한다.
3. 그래디언트–TC 브릿지: 가우시안 모델에서 그래디언트 코사인 유사도를 중복성 순서의 대리 지표로 사용하는 것을 정식으로 정당화하여, 최적화 역학(optimization dynamics)과 정보 이론적 중복성을 연결한다.
4. PEFT의 운영 한계: 어댑터 랭크(용량)와 작업 서브스페이스 차원 사이의 트레이드오프를 정량화하여, LoRA 기반 미세 조정 시 언제 파라미터를 공유하거나 특화해야 하는지에 대한 이론적 근거를 제공한다.

5. 의의 및 주장

본 논문은 특정 훈련 알고리즘이나 추정기와 무관하게, 공유된 잠재 변수를 통해 달성 가능한 예측 정보에 대한 **분포 수준의 역(converse)**을 제공한다고 주장한다. 주요 의의는 다음과 같다:

• 부정적 전의 재정의: 부정적 전에 대한 설명을 최적화의 부산물에서 용량과 중복성의 근본적인 한계로 전환한다.
• 처방적 설계 규칙: 작업 유사도와 중복성에 기반하여 파라미터를 공유할지에 대한 "필요충분" 규칙을 제시한다.
• PEFT를 위한 실질적 가이드: 엄격한 용량 예산(낮은 랭크) 하에서는 유사도 기반 클러스터링이 간섭을 완화하는 원칙적인 방법인 반면, 나이브한 글로벌 공유는 부정적 전이를 증폭할 수 있음을 입증한다.

저자들은 CR 경계가 중복성에 초점을 맞추고 있으며 작업 간의 상보적 정보(시너지)를 포착하지는 않는다고 언급하며, 향후 연구에서 부분 정보 분해(partial information decomposition)를 사용하여 프레임워크를 확장할 수 있음을 시사한다.