기술 요약: CORE-MTL

문제 정의

멀티태스크 학습(MTL)은 여러 관련 태스크에 대해 공유 인코더를 훈련함으로써 샘플 효율성과 강건성을 향상시키는 것을 목표로 합니다. 그러나 MTL은 흔히 한 태스크를 최적화하는 과정에서 다른 태스크의 성능을 저하시키는 부정적 전이(negative transfer) 문제를 겪으며, 분포 변화(Out-of-Distribution 또는 OOD) 상황에서 낮은 일반화 성능을 보입니다.

기존의 접근 방식들은 주로 최적화 단계에서 작동하며, 다음과 같은 방식으로 태스크 간의 충돌을 조정하려고 시도합니다:

1. 그래디언트 균형화(Gradient Balancing): 그래디언트의 가중치를 재조정하거나 투영함 (예: GradNorm, PCGrad, STCH).
2. 아키텍처 수정(Architecture Modification): 백본 피처의 특정 슬라이스로 태스크를 라우팅함 (예: MTAN).

저자들은 이러한 방법들이 피처 학습을 "블랙박스"로 취급하여, 공유 표현(shared representation)의 내부 구조를 간과한다고 주장합니다. 공유 표현이 불변하는 의미론적 요인(task-relevant, 태스크 관련)과 가변적인 잔차 요인(nuisance, 배경이나 조명 같은 불필‌요한 변동)을 얽히게(entangle) 만들 때, 그래디언트 조작만으로는 발생하는 충돌을 해결할 수 없습니다. 이러한 얽힘은 "불필요한 요소에 기반한 지름길(nuisance-driven shortcuts)"에 의존하게 만들어, 취약한 OOD 일반화를 초래합니다.

방법론: CORE-MTL

저자들은 그래디언트 수술(gradient surgery)에서 **인과적 의미-잔차 분해(causally motivated semantic-residual factorization)**로 초점을 전환한 표현 중심 프레임워크인 **CORE-MTL(Causal Orthogonal Representations for Multi-Task Learning)**을 제안합니다.

1. 구조적 분해 (Structural Decomposition)

CORE-MTL은 공유 인코더의 출력 $\Phi_\theta(x)$를 두 개의 뚜렷한 스트림으로 분해합니다:

• 의미론적 스트림 ($\hat{Z}_s$): 불변하고 태스크와 관련된 구조(예: 기하학적 형태, 객체 정체성)를 포착합니다.
• 잔차 스트림 ($\hat{Z}_r$): 태스크와 무관한 불필요한 변동(예: 질감, 조명, 배경)을 흡수합니다.

핵심 제약 조건: 태스크 예측기($f_{\phi_t}$)는 오직 의미론적 스트림 $\hat{Z}_s$에만 의존하도록 제한됩니다. 이러한 구조적 격리는 모델이 학습 과정에서 불필요한 신호를 지름길로 악용하는 것을 방지합니다.

2. 훈련 목적 함수 (Training Objectives)

이러한 분해를 강제하고 각 스트림이 의도된 역할을 수행하도록 하기 위해, CORE-MTL은 네 가지 구성 요소를 포함하는 통합 목적 함수를 사용합니다:

• 태스크 감독 ($L_{task}$): $\hat{Z}_s$를 기반으로 하는 각 태스크의 표준 손실 함수입니다.
• 구조적 독립성 ($L_{CKA}$): Centered Kernel Alignment(CKA)를 사용하여 $\hat{Z}_s$와 $\hat{Z}_r$ 사이의 통계적 의존성을 최소화함으로써, 두 스트림이 서로 배타적인 정보를 포착하도록 유도합니다.
• 역사실적 피처 증강 ($L_{CFA}$): 이미지의 의미론적 스트림과 다른 이미지의 무작위 잔차 벡터를 결합하여 역사실적 사례를 합성합니다 ($\tilde{x} = D(\hat{Z}_s, \tilde{Z}_r)$). 모델은 이 합성된 이미지에서도 일관된 태스크 예측을 유지하도록 훈련되어, $\hat{Z}_s$가 불필요한 변화에 대해 불변성을 갖도록 강제합니다.
• 재구성을 통한 접지 ($L_{rec}$): 보조 디코더가 $(\hat{Z}_s, \hat{Z}_r)$로부터 입력을 재구성합니다. 이는 임의적인 분해를 방지하기 위한 "접지(grounding)" 신호를 제공합니다. 저자들은 두 가지 변형을 구현했습니다:
  • 하드 접지(Hard Grounding): 구조화된 장면의 경우 명시적인 물리적 사전 지식(예: 알베도 및 조명 모델을 이용한 역 렌더링)을 사용합니다.
  • 소프트 접지(Soft Grounding): 물리적 사전 지식을 사용할 수 없는 태스크의 경우, 아키텍처적 병목 현상과 통계적 제약에 의존하는 일반적인 컨볼루션 디코더를 사용합니다.

3. 이론적 보장 (Theoretical Guarantees)

본 논문은 선형-가우시안 구조적 인과 모델(Linear-Gaussian SCM) 하에서 이론적 분석을 제공합니다:

• OOD 하한선 (OOD Lower Bound): 얽힌 표현 위에서 작동하는 모든 최적화 중심 방법론에 대해, 얽힘의 정도($\sin^2 \psi$)에 비례하는 피할 수 없는 OOD 에러 플로어가 존재함을 증명합니다.
• 분리된 경계 (Disentangled Bound): 반대로, CORE-MTL의 분리된 아키텍처는 "누설 계수(leakage coefficient, 잔차 요인에 대한 의미론적 스트림의 민감도)"에 선형적으로 비례하는 더 타이트한 OOD 일반화 경계를 보장합니다.
• 그래디언트 직교성 (Gradient Orthogonality): 이 프레임워크는 분해의 구조적 부산물로서 태스크 손실과 잔차 손실 사이의 그래디언트 직교성을 이론적으로 유도하며, 사후 교정이 아닌 표현 단계에서 충돌을 해결합니다.

주요 기여

1. MTL에 대한 인과적 관점: 저자들은 얽힌 표현 하에서의 최적화 중심 방법론의 한계를 잠재적 SCM 하에서 공식화하여, 그래디언트를 조작하는 것만으로는 OOD 에러를 제거할 수 없음을 증명했습니다.
2. CORE-MTL 프레임워크: 물리적 또는 일반적인 접지를 통해 의미-잔차 분해를 강제하는 새로운 표현 중심 프레임워크를 제안하여, 근본 원인에서 부정적 전이를 해결합니다.
3. 실험적 우수성: NYUv2, Cityscapes와 같은 인-도메인(ID) 및 GTA5→Cityscapes, Cityscapes-C, Colored-Cityscapes와 같은 아웃-오브-도메인(OOD) 벤치마크에서 10개의 대표적인 베이스라인(GradNorm, PCGrad, STCH, MTAN 포함)을 상회하는 일관된 개선을 보여주었습니다.
4. 확장성 (Scalability): 태스크 수가 증가함에 따라 훈련 비용이 거의 일정하게 유지되어, PCGrad와 같은 그래디언트 수술 방법론이 겪는 과도한 선형적 시간 증가 문제를 피할 수 있습니다.

실험 결과

• 인-도메인 (ID): NYUv2 및 Cityscapes에서 CORE-MTL은 세그멘테이션, 깊이 추정, 표면 법선 예측에서 최고 성능을 달 기록하며 최적의 전반적인 트레이드오프를 달성했습니다.
• 아웃-오브-도메인 (OOD):
  • Sim-to-Real (GTA5→Cityscapes): CORE-MT션은 가장 우수한 타겟 도메인 메트릭과 소스 성능 대비 가장 작은 성능 격차를 달성했습니다.
  • 오염 강건성 (Cityscapes-C): 다양한 오염(대비, 블러, 안개, 노이즈) 상황에서 베이스라인보다 우수한 성능을 보였으며, 특히 가시성이 심하게 감소하는 시나리오에서 뛰어났습니다.
  • 지름길 스트레스 테스트 (Colored-Cityscapes): 소스와 타겟 간에 클래스 색상이 치환된 벤치마크에서 CORE-MTL은 강건함을 유지하며, 외형적 상관관계에 의존하지 않음을 입증했습니다.
• 확장성 (CelebA): 태스크 수가 늘어남에 따라(최대 40개 속성), 그래디언트 수술 방법론(PCGrad)이 폭발적인 훈련 시간 증가를 겪는 것과 달리 CORE-MTL은 높은 정확도를 유지합니다.

의의 및 주장

본 논문은 태스크 간 간섭과 OOD 실패의 주요 원인이 그래디언트 균형 방식 자체가 아니라 **공유 표현 내의 얽힘(entanglement)**이라고 주장합니다. "사후 그래디언트 수술"에서 "본질적 표현 분해"로 패러다임을 전환함으로써, CORE-MTL은 다음과 같은 성과를 거둡니다:

• 태스크 간 충돌을 구조적으로 해결하여, 엄격한 그래디�트 교정 없이도 태스크들이 자연스럽게 시너지를 낼 수 있게 합니다.
• OOD 일반화에 대한 더 타이트한 이론적 경계를 제공합니다.
• 태스크 수가 증가해도 효과가 유지되는 확장 가능한 솔루션을 제공합니다.

저자들은 이 연구가 순수하게 최적화 중심의 조정 단계를 넘어, **구조 인식적 표현 설계(structure-aware representation design)**를 향한 단계라고 위치시킵니다. 또한, 이론적 보장이 스타일화된 선형-가우시안 가정에 의존한다는 점과 현재의 구현이 주로 밀집 장면 이해(dense scene understanding) 태스크에 특화되어 있다는 한계점을 인정하고 있습니다.