기술적 요약: 추론–연역 얽힘: 표현 이식을 통한 도메인 일반화

문제 정의

도메인 일반화 (DG) 는 소스 분포에서 훈련된 예측 모델이 보이지 않는 타겟 분포로 일반화되지 못하는 문제를 다룹니다. 표준적인 인과적 접근법은 종종 불변 예측자를 식별하기 위해 불변 특징 부분집합의 존재나 관찰되지 않은 교란변수의 부재와 같은 강력한 구조적 가정에 의존합니다. 그러나 실증적 벤치마크 (예: DomainBed) 는 기존 방법들이 표준 경험적 위험 최소화 (ERM) 를 능가하지 못하는 경우가 많음을 시사하며, 이는 부분적으로 가정된 구조와 실제 세계의 일반화 필요성 사이의 불일치 때문입니다.

이 연구에서 식별된 핵심 과제는 추론–연역 얽힘입니다. 어떤 예측 규칙 $P(Y|X)$라도 관찰된 $X$로부터 관찰되지 않은 변수 $\tilde{U}$ (예: 교란변수) 를 추론하는 추론 단계와 $X$ 및 $\tilde{U}$가 주어졌을 때 $Y$를 예측하는 연역 단계로 분해될 수 있습니다. 결합 예측은 데이터로부터 식별 가능하지만, 개별적인 추론 및 연역 매핑은 식별 불가능합니다. 이들의 곱이 관찰된 예측 규칙과 같아야 하므로 서로 얽혀 있습니다. 전통적인 DG 방법들은 종종 두 매핑 모두에 불변성을 부과하거나 두 가지 모두 불변인 특징 부분집합을 찾아 이 얽힘을 제거하려 합니다. 본 논문은 그러한 엄격한 불변성이 종종 불필요하며, 오히려 얽힘 자체를 활용할 수 있다고 주장합니다.

방법론

1. 이론적 프레임워크: 추론–연역 분해

저자들은 연역 매핑 ( $X$와 관찰되지 않은 $\tilde{U}$로부터 레이블 $Y$를 생성하는 인과 메커니즘) 은 도메인 간에 불변인 반면, 추론 매핑 ( $X$가 주어졌을 때의 $\tilde{U}$ 분포) 은 변한다는 구조적 가정을 제안합니다.

• 분해: $P(Y|X) = \sum_{\tilde{u}} P(\tilde{u}|X) \cdot P(Y|X, \tilde{u})$.
• 매개변수화: 저자들은 고정된 사전 훈련된 표현 $\phi(X)$ (예: 파운데이션 모델에서 유래) 를 가정합니다. 추론 매핑은 $\phi(X)$의 소프트맥스 - 선형 리드아웃으로, 연역 매핑은 $\phi(X)$의 시그모이드 - 선형 리드아웃으로 매개변수화합니다.
  • 추론: $\vec{P}(\tilde{u}|x) \approx \text{softmax}(A_s^\top \phi(x))$
  • 연역: $\vec{P}(y|x, \tilde{u}) \approx \text{sigmoid}(D^\top \phi(x))$
    여기서 $A_s$는 도메인별 매개변수이고, $D$는 공유되는 불변 매개변수입니다.

2. 표현 이식

얽힌 매핑의 비식별성을 극복하기 위해 저자들은 표현 이식을 도입합니다.

• 이식 기저 ($L$): 추론 매개변수를 좌측으로 역전 ($A_s^\top L = I$) 하고 연역 매개변수의 영공간에 속하는 ($D^\top L = 0$) 선형 연산자 $L$을 정의합니다.
• 이식 연산자 ($T_{s \to s'}$): 이 연산자는 도메인 $s$의 표현에서 추론 성분을 도메인 $s'$으로 교환하되 연역 성분은 보존합니다.
  • $T_{s \to s'} W = (I + L(A_s^\top - A_{s'}^\top)) W$
• 함의: 이를 통해 타당한 타겟 분포의 집합을 구성할 수 있습니다. 소스 표현을 타겟 공간으로 이식함으로써, 소스 데이터와 불변 연역 가정에 부합하는 후보 타겟 분포를 생성할 수 있습니다.

3. 인과적 강건 최적화 (CRO)

저자들은 DG 를 학습자–적대자 게임인 인과적 강건 최적화 (CRO) 로 공식화합니다:

• 적대자: 현재 학습자 $h$가 주어지면, 적대자는 $h$의 위험을 최대화하는 "최악의 경우" 타당한 타겟 분포 (이식 기저와 추론 매개변수로 매개변수화됨) 를 탐색합니다. 여기에는 소스 데이터에 대한 적합도 제약과 이식된 표현이 소스 데이터의 지지 범위 내에 있도록 보장하는 폐쇄성 패널티 (하우스도르프 거리) 를 준수하는 이식 매개변수 최적화가 포함됩니다.
• 학습자: 학습자는 지금까지 생성된 적대적 타겟 분포 집합에 대한 최대 위험을 최소화하도록 $h$를 업데이트합니다.
• 수렴: 게임은 최악의 경우 위험이 수렴할 때 종료됩니다. 이상적인 가정 (무한한 데이터, 전역 최적해) 하에서, 해는 구조적으로 타당한 타겟 분포 집합에 대해 최소최대 최적입니다.

주요 기여

1. 얽힘의 재정의: 추론과 연역의 비식별성을 얽힘을 제거함으로써 해결해야 할 문제로 간주하는 대신, 본 논문은 얽힘을 매개변수화할 것을 제안합니다. 이는 추론 매핑의 엄격한 불변성을 요구하지 않으면서 타당한 타겟 분포에 대한 구조화된 탐색을 가능하게 합니다.
2. 표현 이식: 고정된 표현에 추론 내용은 조작하되 연역 내용은 유지하는 저랭크 선형 연산자를 도입했습니다. 이는 부분적 이동성을 위한 구체적인 메커니즘을 제공합니다.
3. 결과로서의 불변 표현: 불변 표현 (DG 의 일반적인 목표) 이 주요 학습 목표가 아니라, 추론–연역 매개변수화와 이식 기저의 존재로 인한 구조적 결과로 나타난다는 것을 보여줍니다.
4. CRO 알고리즘: 이식 매개변수화된 분포 집합에 대한 최소 - 최대 최적화를 구현하는 실용적 알고리즘으로, 특정 구조적 가정 하에서 최소최대 최적 보장을 제공합니다.

실험 결과

이 방법은 DomainBed 프로토콜 (한 환경 제외, 훈련 도메인 검증) 을 사용하여 합성 및 실세계 벤치마크에서 평가되었습니다.

• 컬러드 MNIST (합성): 색상 - 레이블 상관관계가 소스와 반대 방향 ($\rho = -0.9$) 으로 정렬된 진단 셀에서, 표준 베이스라인 (ERM, IRM, GroupDRO 등) 은 무작위보다 낮은 $\approx 10\%$ 정확도로 붕괴됩니다. CRO 는 76% 정확도를 달성하여, 허위 색상 특징을 추론 부분공간으로, 모양 특징을 연역 부분공간으로 분리함으로써 불변 모양 특징을 성공적으로 식별합니다.
• PACS (실세계): 스타일 변화로 인해 연역 불변성 가정이 근사적인 객체 인식 벤치마크에서, CRO 는 경쟁력 있는 성능 (평균 84.6%) 을 보이며 광범위한 베이스라인 군집과 일치하지만 최상위 성능자 (SagNet, CORAL) 를 앞지르지는 못합니다. 저자들은 이는 연역 불변성 가정의 부분적 위반 때문이라고 설명합니다.
• OfficeHome (실세계): CRO 는 평균 성능 (69.3%) 에서 1 위를 차지하며, 네 개의 한 도메인 제외 셀 중 세 개에서 최상위 성적을 냅니다. 저자들은 65 개 클래스 구조가 과매개변수화 없이 적대자 탐색을 위한 추론 신호를 충분히 풍부하게 만들 수 있다고 제안합니다.
• 구조적 검증: 구조적 전제를 검증하기 위해 합성 "도덕적 질문" 데이터셋이 구축되었습니다. 진단 결과, 추론–연역 분해가 실증적으로 닫히고, 추론 매핑이 도메인 간에 구별되며, 연역 불변성이 성립하며, 유효한 이식 기저가 존재함이 확인되었습니다.

중요성 및 주장

본 논문은 표현 이식이 인과 추론에 내재된 추론–연역 비식별성의 작고 구조화된 매개변수화를 제공한다고 주장합니다. 얽힘을 제거하는 대신 수용함으로써 제안된 CRO 알고리즘은 인과적으로 타당한 타겟 분포 집합에 대해 최소최대 최적의 최악의 경우 타겟 위험을 달성합니다.

그 중요성은 다음과 같습니다:

1. 이론적 엄밀성: 이전 방법들이 종종 그러한 보장을欠缺하거나 검증 불가능한 가정에 의존하는 특정 구조적 가정 (불변 연역, 이식 하의 폐쇄성) 하에서 최소최대 최적의 형식적 보장을 제공합니다.
2. 실용적 효능: 다른 인과적 DG 방법이 실패하는 "숏컷 학습" 시나리오 (컬러드 MNIST) 에서 불변 특징을 복원할 수 있음을 보여주면서도 복잡한 실세계 환경에서는 경쟁력 있는 성능을 유지합니다.
3. 새로운 관점: 직접 불변 특징을 찾는 것에서 관찰된 데이터와 호환 가능한 유효 인과 메커니즘 (추론/연역 쌍) 의 공간을 매개변수화하는 것으로 초점을 이동시킵니다.

저자들은 폐쇄성 가정 (이식된 표현이 타겟 도메인에 전상징을 가진다는 가정) 이 구조적이며 타겟 데이터 없이는 실증적으로 검증 불가능하다는 점을 지적하며 한계에 대해 겸손한 태도를 보입니다. 또한 최소최대 보장이 이상적인 조건 (무한한 데이터, 전역 최적화) 에 의존하며, 이러한 조건이 완화될 때 성능이 선형적으로 서서히 저하된다는 점도 인정합니다.