eXplaining to Learn (eX2L): Regularization Using Contrastive Visual Explanation Pairs for Distribution Shifts

기술 요약: 학습을 위한 설명 (eX2L)

문제 제기
표준 머신러닝 모델은 훈련 데이터와 테스트 데이터가 독립적이고 동일하게 분포되어 있다는 가정 (i.i.d.) 에 의존합니다. 이 가정이 위반될 경우, 모델은 종종 일반화에 실패하며 실제 라벨을 개념적으로 예측하지 못하는 훈련 데이터 내의 통계적 패턴인 허위 상관관계에 의존하게 됩니다. 이러한 위반은 주로 하위 집단 이동 (인구통계학적 또는 맥락적 변수 비율의 변화) 과 도메인 일반화 과제 (소스 도메인에서 학습하여 보이지 않는 타겟 도메인에서 수행) 로 나타납니다.

이러한 이동을 완화하도록 설계된 기존 알고리즘들은 세 가지 주요 장애물에 직면해 있습니다:

1. 맹목적 정규화: 많은 블랙박스 방법은 성능 저하를 유발하는 특정 허위 상관관계를 명시적으로 타겟팅하지 않습니다.
2. 일관되지 않은 성능: 단일 알고리즘이 모든 데이터셋에서 경험적 위험 최소화 (ERM) 를 일관되게 능가하지는 않으며, 이는 "무공짜 점심" 정리를 반영합니다.
3. 해석 가능성 부재: 도메인-적대적 신경망 (DANN) 과 같은 정교한 방법은 그라디언트 반전과 같은 메커니즘에 의존하는데, 이는 비기술적 이해관계자에게 설명하기 어려워 민감한 배포 환경에서의 신뢰를 저해합니다.

본 논문은 해석 가능성이 예측적 강건성에 대한 트레이드오프가 되어서는 안 된다고 주장합니다. 라벨 분류기와 혼란변수 (confounder) 분류기에서 생성된 그라디언트 기반 설명들의 공간적 중첩을 패널티로 부과하는 것이 분포 이동 강건성을 위한 직접적이고 해석 가능한 정규화자로 기능할 수 있는지 질문합니다.

방법론: eX2L 프레임워크
저자들은 훈련 중 분류기의 잠재 표현에서 혼란변수 특징을 탈상관시키는 해석 가능하고 설명 기반의 프레임워크인 **학습을 위한 설명 (eXplaining to Learn, eX2L)**을 제안합니다. 핵심 메커니즘은 두 개의 동시 모델을 훈련하는 것을 포함합니다:

1. 타겟 라벨 $Y$를 예측하도록 훈련된 주요 라벨 분류기 ($f_y$).
2. 혼란변수 $C$(예: 배경, 성별, 색상) 를 예측하도록 훈련된 동시 훈련된 혼란변수 분류기 ($f_c$).

정규화 메커니즘
eX2L 은 라벨 모델과 혼란변수 모델의 시각적 초점을 명시적으로 분리함으로써 도메인 불변성을 달성합니다. 각 모델이 주시하는 공간 영역을 나타내는 히트맵을 생성하기 위해 Grad-CAM(가중치 클래스 활성화 매핑) 을 활용합니다.

• 타겟 특이성: 네트워크 재파라미터화에 불변일 수 있는 입력 그라디언트 방법 (예: SHAP, 통합 그라디언트) 과 달리, Grad-CAM 은 모델이 학습한 파라미터에 대한 충실도 때문에 선택됩니다.
• 불연속 주의: 이 프레임워크는 라벨 모델의 Grad-CAM 히트맵 ($L_y$) 과 혼란변수 모델의 Grad-CAM 히트맵 ($L_c$) 간의 공간적 유사성에 패널티를 부과합니다. 만약 모델들이 동일한 픽셀에 의존한다면, 라벨 모델은 허위 배경 단서를 이용한 "숏컷 학습"을 하고 있을 가능성이 높습니다.
• 손실 함수: 전체 훈련 목적 함수 $\hat{R}_{eX2L}$은 두 분류기의 작업 손실과 유사성 손실 ($L_{sim}$) 을 결합합니다:
  $$\hat{R}_{eX2L}(\theta, \phi) = \mathbb{E}_{(x,y,c) \sim D_{train}} [L(x, y; \theta) + \lambda_c L(x, c; \phi) + \lambda_{sim} L_{sim}(x, y, c; \theta, \phi)]$$
  여기서 $L_{sim}$은 분리된 (detached) Grad-CAM 히트맵 간의 공간적 중첩 (예: 코사인 유사도, MAE, 소프트 다이스 사용) 을 측정합니다. 히트맵은 2 차 도함수의 계산 비용을 피하기 위해 정적 공간 사전으로 취급되도록 분리 (stop-gradient) 됩니다.

샘플링 전략
논문은 균일 그룹 샘플링의 결정적 역할을 강조합니다. 훈련 분포를 따르는 무작위 샘플링과 달리, 균일 그룹 샘플링은 모든 라벨 - 혼란변수 그룹의 균형 잡힌 표현이 모든 배치에 포함되도록 보장합니다. 이는 모델이 고유한 라벨 - 혼란변수 비율을 숏컷으로 학습하는 것을 방지하고, 불변 특징을 허위 특징과 구별하기 위해 Grad-CAM 패널티에 의존하도록 강제합니다.

주요 기여

1. 촉매로서의 해석 가능성: eX2L 은 더 설명 가능한 모델이 필연적으로 덜 정확하다는 지배적인 가정에 도전합니다. 설명 기반 정규화를 사용하여 그룹 수준에서 라벨과 불필요한 속성을 명시적으로 분리함으로써 기능적 도메인 불변성을 달성할 수 있음을 보여줍니다.
2. 직접적인 허위 상관관계 타겟팅: "맹목적" 정규화자와 달리 eX2L 은 주의 맵의 공간적 중첩을 직접 패널티화하여 라벨 모델이 혼란변수 영역에 의존하기보다는 고유하고 불변인 특징을 식별하도록 강제합니다.
3. 복잡성에서의 효율성: 이 방법은 두 개의 동시 분류기와 혼란변수 라벨만 필요로 하며 (실제 지시 segmentation 마스크 불필요), Just Train Twice (JTT) 와 같은 2 단계 데이터 중심 접근법에 비해 단일 단계 훈련 파이프라인을 제공합니다.

실험 결과
저자들은 표준 하위 집단 이동 벤치마크 (CMNIST, Waterbirds, CelebA) 와 엄격한 도메인 일반화를 위한 Spawrious 벤치마크 (One-to-One Easy 및 Many-to-Many Hard 과제) 에서 eX2L 을 평가했습니다.

• 하위 집단 이동: Spawrious Many-to-Many Hard 벤치마크에서 eX2L(특히 MAE 변형) 은 평균 정확도 (AA) 82.24% ± 3.87% 및 최악 그룹 정확도 (WGA) **66.31% ± 8.73%**를 달성했습니다. 이는 현재 최첨단 (GroupDRO) 보다 AA 에서 5.49%, WGA 에서 10.90% 더 높은 성능입니다.
• 시각적 증거: Grad-CAM 시각화는 eX2L 이 (개 귀와 같은) 의미론적 불변 영역으로 초점을 제한하는 반면, ERM 및 GroupDRO 와 같은 베이스라인은 (해변 질감과 같은) 혼란변수 배경 전반에 주의를 분산시킴을 확인시켜 줍니다.
• 잠재 공간 분석: UMAP 시각화는 eX2L 이 라벨에 대해 높은 MMD(최대 평균 불일치) 를 가지면서 컴팩트하고 잘 분리된 라벨 표현을 생성하는 반면, 혼란변수 특징에 대해서는 거의 완전한 교차 분포 (낮은 MMD) 를 달성하여 성공적인 분리 (disentanglement) 를 나타냄을 보여줍니다.
• 효율성 트레이드오프: eX2L 은 Grad-CAM 계산으로 인해 ERM 대비 약 2 배의 훈련 시간을 소요하지만, 이 비용은 베이스라인 방법이 실패하는 어려운 분포 이동 설정에서 상당한 성능 향상을 가져옵니다.

의의 및 주장
본 논문은 eX2L 이 허위 상관관계를 분리하는 투명한 메커니즘을 제공함으로써 분포 이동을 완화한다고 주장합니다. 해석 가능성이 예측적 강건성에 대한 트레이드오프가 아니라 촉매로 작용할 수 있다고 주장합니다. 이 프레임워크는 감사 가능성 (auditability) 이 책임성에 필수적인 고위험 배포 환경 (예: 의료, 자율 시스템) 에서 특히 중요합니다.

저자들은 겸손하게도 eX2L 이 훈련 시 이미지 수준의 혼란변수 주석이 필요하므로, 불필요한 속성이 알려지지 않은 탐색적 설정에서는 적용 범위가 제한된다고 지적합니다. 또한 유사성 지표 (예: MAE 대 코사인) 의 선택은 혼란변수의 기하학에 따라 결정되어야 함을 인정합니다 (예: 픽셀 단위 패널티는 배경 혼란변수에 잘 작동하는 반면, 더 부드러운 지표는 헤어 컬러와 같은 확산적 속성에 더 적합함). 논문은 eX2L 이 속성의 명시적 분리가 해석 가능성을 희생하지 않고 우수한 일반화로 이어질 수 있음을 보여줌으로써 알고리즘적 공정성을 위한 토대를 마련했다고 결론지었습니다.