Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction

1. 문제 정의 (Problem Statement)

이 논문은 관측 데이터 (observational data) 를 기반으로 한 예측 모델을 새로운 환경 (target environment) 에 배포할 때 발생하는 분포 변화 (distribution shift) 문제를 다룹니다. 특히, 기존 연구들이 간과해 온 관측되지 않은 교란 변수 (unobserved confounding) 가 존재하는 상황을 가정합니다.

• 핵심 문제: 소스 환경 (source) 에서 훈련된 모델이 타겟 환경에서 성능이 급격히 떨어지는 현상. 이는 단순한 공변량 (covariate) 의 분포 변화뿐만 아니라, 교란 변수로 인해 **개념 (concept, 즉 $P(Y|X)$) 자체가 변하는 '개념 변화 (concept shift)'**가 발생하기 때문입니다.
• 전통적 접근의 한계:
  • 인과적 안정성 (Causal Stability): 인과 관계의 불변성을 찾으려 하지만, 보통 모든 환경에 대한 레이블이 필요하다는 제약이 있음.
  • 분포적 안정성 (Distributional Stability): 도메인 적응 (Domain Adaptation) 분야에서 소스 데이터는 레이블이 있고 타겟 데이터는 레이블이 없는 경우를 다루지만, 교란 변수로 인한 개념 변화를 명시적으로 고려하지 않음.
• 목표: 관측되지 않은 교란 변수로 인한 분포 변화와 개념 변화가 동시에 발생하는 상황에서, 타겟 환경에서의 예측 위험 (target risk) 을 최소화할 수 있는 강건한 모델을 학습하는 것.

2. 방법론 (Methodology)

저자들은 **선형 구조적 인과 모델 (Linear Structural Causal Model, SCM)**을 가정하고, 이를 해결하기 위해 다양체 최적화 (Manifold Optimization) 기반의 표현 학습 (Representation Learning) 방법을 제안합니다.

A. 구조적 인과 모델 (Structural Causal Model)

관측되지 않은 교란 변수 $E$와 불변인 잠재 변수 $Z$를 포함하는 모델을 정의합니다.

• $Y = \langle \beta^*, X \rangle + \langle \gamma, E \rangle + U$
• $X = \Theta Z + \Delta E + W$
  • $E$: 환경에 따라 분포가 변하는 교란 변수 (latent).
  • $Z$: 환경에 관계없이 불변인 외생 변수 (latent, 도구 변수와 유사한 역할).
  • $\Theta, \Delta$: 매개변수 행렬.
• 핵심 통찰: 교란 변수 $E$의 분포 변화는 $X$와 $Y$의 관계를 왜곡시켜 소스와 타겟 환경에서 최적의 선형 모델 ($\beta_S \neq \beta_T$) 이 달라지게 만듭니다. 그러나 $Z$에 해당하는 **불변 부분 공간 (invariant subspace)**으로 투영하면 교란 효과를 제거하고 안정적인 예측이 가능해집니다.

B. 안정성 정규화 위험 최소화 (Stability-Regularized Risk Minimization)

타겟 레이블이 없는 상황에서 타겟 위험을 직접 최소화할 수 없으므로, **소스 위험과 타겟 위험의 상한선 (upper bound)**을 최소화하는 대리 목적 함수 (surrogate objective) 를 설계합니다.

• 목적 함수 (Objective Function):
  $$\min_{V, \alpha} \underbrace{E_S[(Y - \langle X, V\alpha \rangle)^2]}_{\text{예측성 (Predictability)}} + \underbrace{\nu \|\alpha\|^2}_{\text{릿지 정규화}} + \underbrace{\frac{\eta}{2} \|V^\top (\Sigma_T - \Sigma_S) V\|_F^2}_{\text{안정성 (Stability)}}$$
  • $V \in \mathbb{R}^{d \times \ell}$: 저차원 부분 공간 (Stiefel 다양체 상) 을 정의하는 투영 행렬.
  • $\alpha$: 저차원 공간에서의 회귀 계수.
  • 안정성 항: 소스와 타겟의 공분산 차이 ($\Sigma_T - \Sigma_S$) 가 투영된 공간에서 얼마나 작은지를 측정합니다. 이 항이 작을수록 분포 변화에 강건한 불변 표현을 학습합니다.

C. 최적화 알고리즘 (Optimization on Stiefel Manifold)

• 비볼록 최적화: $V$에 대한 최적화는 비볼록 (non-convex) 이며, $V$는 Stiefel 다양체 ($V^\top V = I$) 위에 제약되어 있습니다.
• 알고리즘: **투영 경사 하강법 (Projected Gradient Descent)**의 유사체인 Riemannian Gradient Descent를 사용합니다.
  • 리만 계량 (Riemannian metric) 을 사용하여 Stiefel 다양체 위에서 그래디언트를 계산하고, 재사영 (retraction) 연산을 통해 다음 반복점을 업데이트합니다.
  • 이 방법은 1 차 국소 최적점 (first-order local optima) 을 효율적으로 찾습니다.

3. 주요 기여 및 이론적 결과 (Key Contributions & Theoretical Results)

A. 이론적 분석

1. 불변 부분 공간 정렬 (Alignment with Invariant Subspace):

   • 정리 1: 정규화 파라미터 $\eta$가 충분히 크다면, 비볼록 최적화 문제의 **거의 모든 국소 최적점 (local optima)**이 교란 변수 $E$의 영향이 없는 **불변 부분 공간 (invariant subspace)**과 정렬됨을 증명했습니다.
   • 즉, 알고리즘이 전역 최적점이 아니더라도, 안정성 정규화를 통해 교란 요소를 피하는 방향으로 학습된다는 것을 보장합니다.

2. 위험 안정성 바운드 (Risk Stability Bound):

   • 정리 2: 학습된 모델의 타겟 위험과 소스 위험 간의 차이를 바운드했습니다.
   • $R_T(\beta) - R_S(\beta) \leq \text{Oracle Term} + O(\frac{1}{\eta^{2/3}})$
   • 이 결과는 제안된 방법이 오라클 (이상적인 불변 부분 공간을 아는 경우) 과 거의 동일한 수준의 타겟 - 소스 위험 간극을 달성할 수 있음을 보여줍니다.

3. 유한 표본 오차 분석:

   • 실제 데이터 (유한 표본) 를 사용할 때의 추정 오차를 정량화하여, 경험적 목적 함수가 이론적 목적 함수를 얼마나 잘 근사하는지 분석했습니다.

B. 실증적 결과 (Empirical Results)

• 실제 데이터셋 적용:
  1. Tabellini 데이터 (경제학): 역사적 제도와 경제 성장의 관계 분석. 도시화 (Urbanization) 를 교란 변수로 간주하고, 제도 (Institutions) 를 불변 특징으로 학습하여 타겟 환경 (도시 지역) 에서의 예측 성능을 향상시켰습니다.
  2. 산불 데이터 (Forest Fires), 자전거 공유 (Bike Sharing), 와인 품질 (Wine Quality): 명확한 인과 구조가 없는 일반적인 ML 데이터셋에서도 분포 변화 하에서 제안된 방법이 소스 위험 최소화 모델보다 타겟 위험을 낮추는 것을 확인했습니다.
• 트레이드오프 시각화: 안정성 파라미터 ($\eta$) 를 조절함으로써 예측 정확도 (소스 위험) 와 강건성 (타겟 위험) 사이의 균형을 찾을 수 있음을 실험적으로 보였습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 인과 추론과 도메인 적응의 통합: 기존의 인과 추론 (Unobserved Confounding 해결) 과 머신러닝 도메인 적응 (Distribution Shift 해결) 분야를 하나의 구조적 모델과 최적화 프레임워크로 통합했습니다.
• 데이터 기반 불변성 학습: 도구 변수 (Instrumental Variable) 와 같은 외생 변수를 직접 관측하지 않아도, 데이터의 불변성 (invariance) 을 자동으로 학습하여 교란을 제거할 수 있음을 보였습니다.
• 실용적 알고리즘: 비볼록 다양체 최적화 문제를 해결하는 효율적인 1 차 최적화 알고리즘을 제시하며, 이론적 보장 (국소 최적점의 성질) 을 제공합니다.
• 미래 방향: 선형 모델에서 비선형 모델로 확장하거나, 여러 소스 환경을 다루는 방향으로의 확장을 제안합니다.

요약하자면, 이 논문은 관측되지 않은 교란 변수로 인해 개념이 변하는 환경에서도, **안정성 정규화 (stability regularization)**와 **차원 축소 (dimension reduction)**를 결합한 새로운 도메인 적응 방법을 제시하며, 이를 통해 타겟 환경에서의 예측 성능을 이론적으로 보장하고 실증적으로 입증했습니다.