기술 요약: GLEAN - 일반화 가능한 강인성을 갖춘 인증된 인과적 방어

문제 제기

기계 학습 모델, 특히 심층 신경망은 적대적 교란에 취약합니다. 인증된 방어(예: 무작위 평활화) 방법은 특정 교란 반경 (강인 반경) 내에서 주어진 입력에 대해 모델의 예측이 일정하게 유지된다는 이론적 보장을 제공하지만, 분포 변화가 있는 도메인 간에 이러한 강인성을 일반화하는 데는 크게 실패합니다.

기존의 인증된 방어는 모델이 특정 도메인에서 클래스와 상관관계를 갖는 허위 상관관계(예: 배경 색상과 객체 클래스 간의 상관관계) 대신 불변의 인과적 요인에 의존하기보다, 이러한 허위 상관관계에 의존하는 경우가 많기 때문에 보이지 않는 도메인에 적용될 때 어려움을 겪습니다. 이러한 허위 상관관계는 도메인마다 달라지며, 테스트 도메인에서 상관관계가 변하면 모델의 예측 신뢰도가 떨어지거나 오류가 발생합니다. 이로 인해 **평균 인증 반경 (ACR)**이 크게 저하되어 새로운 환경에서 강인성에 대한 이론적 보장이 사실상 무효화됩니다.

현재의 접근 방식은 다음을 동시에 충족하는 통합된 프레임워크가 부족합니다:

1. 강인성에 부정적인 영향을 미치는 허위 상관관계를 제거합니다.
2. 라벨을 결정하는 잠재적 인과 요인에 대한 교란에 대해 방어합니다.
3. 도메인 이동 맥락에서 인증된 강인성에 대한 이론적 보장을 제공합니다.

방법론: GLEAN 프레임워크

저자들은 GLEAN(GeneraLizable cErtified cAusal defeNse, 일반화 가능한 인증된 인과적 방어) 을 제안합니다. 이는 강인성 일반화를 달성하기 위해 인과 추론을 인증된 방어에 통합하는 프레임워크입니다. 이 접근법은 세 가지 핵심 구성 요소에 기반합니다:

1. 인과적 관점과 불변 학습

GLEAN 은 다음과 같은 인과 그래프를 사용하여 데이터 생성을 모델링합니다:

• $Y$: 라벨.
• $X$: 입력 (예: 이미지).
• $C$: 인과 요인 ($Y$를 결정하는 불변 특징).
• $S$: 허위 요인 (특정 도메인에서 $Y$와 상관관계가 있는 비인과적 특징).
• $D$: 도메인 변수.

이 프레임워크는 인과 불변성 가정에 의존합니다. 즉, 조건부 확률 $P(Y|C)$는 도메인 간에 불변인 반면, $P(Y|S)$는 변합니다. GLEAN 은 도메인 이동에 불변인 $C$의 표현을 $X$에서 학습하여 $S$의 영향을 필터링하는 것을 목표로 합니다.

2. 인증 가능한 인과 요인 학습

강인하게 인과 요인을 추출하기 위해 GLEAN 은 두 가지 특정 메커니즘으로 훈련된 **인과 인코더 ($\Psi$)**를 사용합니다:

• 불변 위험 최소화 (IRM): 인코더는 더미 분류기 가중치에 대한 손실의 기울기를 패널티로 주면서 예측 손실을 최소화하도록 훈련됩니다. 이는 학습된 잠재 표현이 훈련 도메인 간에 불변이 되도록 장려하여, 인과 요인을 허위 상관관계로부터 효과적으로 분리합니다.
• 리프시츠 제약: 잠재 공간에서 인증을 가능하게 하기 위해 인코더는 1-리프시츠로 제약됩니다 (선형 계층에는 Cayley 변환, 활성화에는 GroupSort 사용). 이는 입력 공간에서 잠재 인과 공간으로의 매핑이 교란을 과도하게 증폭하지 않도록 보장하며, 이는 이론적 경계를 유도하기 위한 전제 조건입니다.

3. 인과적으로 인증된 방어 전략

방어 과정은 두 단계로 운영됩니다:

1. 잠재 공간 인증: 무작위 평활화 (RS) 가 잠재 인과 표현 $z = \Psi(x)$에 적용됩니다. $z$에 가우시안 노이즈 $\eta \sim \mathcal{N}(0, \sigma^2 I)$를 추가하여 평활화된 분류기 $g_\beta$를 형성합니다. 이론적 보장 (정리 1) 은 잠재 공간 내에서 인증된 반경 $CR_z$ 내에서 예측이 일정하게 유지됨을 보장합니다.
2. 입력 공간 매핑: 인코더의 리프시츠 성질 ($\|\Psi(x_1) - \Psi(x_2)\| \le L\|x_1 - x_2\|$) 을 사용하여 잠재 공간의 인증된 반경을 입력 공간으로 다시 매핑합니다. 정리 2 는 입력 공간의 인증된 반경이 $CR \ge CR_z / L$임을 확립합니다. 이는 인과 요인이 올바르게 식별되는 한, 서로 다른 도메인에서도 전체 분류기 $f$가 입력 공간의 교란에 대해 강인하다는 이론적 보장을 제공합니다.

주요 기여

1. 문제 식별: 이 논문은 도메인 간 인증된 강인성 일반화의 미탐구된 문제를 식별하고 분석하며, 허위 상관관계가 인증된 반경을 저하시키는 역할을 강조합니다.
2. 새로운 프레임워크 (GLEAN): 불변 위험 최소화와 리프시츠 제약 네트워크를 결합한 인과론에서 영감을 받은 프레임워크를 제안합니다. 이를 통해 모델은 허위 상관관계를 배제하고 잠재 인과 요인에 대해 인증된 방어를 수행할 수 있습니다.
3. 이론적 보장: 저자들은 보이지 않는 도메인에서 인증된 강인성을 위한 이론적 경계를 제공하는 새로운 정리 (정리 1 및 정리 2) 를 유도합니다. 이는 강인성 일반화에 대한 경험적 관찰과 엄격한 이론적 인증 사이의 간극을 메웁니다.
4. 경험적 검증: 합성 데이터 (CMNIST) 와 실제 세계 데이터셋 (CelebA, DomainNet) 에 대한 광범위한 실험은 GLEAN 이 도메인 이동 하에서 인증된 정확도와 평균 인증 반경 (ACR) 측면에서 기존 인증된 방어 기준 (Gaussian, MACER, SmoothAdv, Consistency) 보다 크게 우월함을 보여줍니다.

실험 결과

저자들은 세 가지 데이터셋에 대해 표준 무작위 평활화 기반 기준과 GLEAN 을 평가했습니다:

• CMNIST: 숫자 색상과 클래스 간의 강한 허위 상관관계가 존재하며, 테스트 도메인에서는 이 상관관계가 반전되는 합성 데이터셋입니다.
• CelebA: 얼굴 속성 (예: 미소와 헤어 컬러) 간의 허위 상관관계가 있는 실제 세계 데이터셋입니다.
• DomainNet: 서로 다른 배경과 스타일이 포함된 복잡한 도메인 이동이 있는 데이터셋입니다.

주요 발견:

• 우수한 일반화: GLEAN 은 모든 데이터셋과 반경에서 가장 높은 인증된 정확도와 ACR 을 달성했습니다. 예를 들어, CMNIST 에서 GLEAN 은 0.2466의 ACR 을 달성하여 다음으로 가장 좋은 기준 (SmoothAdv, 0.0518) 보다 크게 우월했습니다.
• 이동에 대한 강인성: 기준 모델들은 훈련 도메인에서 테스트 도메인으로 이동할 때 심각한 성능 저하를 겪은 반면 (예: 표준 방법의 경우 CMNIST 에서 정확도가 약 72% 에서 약 21% 로 하락), GLEAN 은 높은 강인성을 유지했습니다.
• 절대 연구: 불변 패널티를 제거하면 성능이 급격히 저하되어 인과 요인을 포착하는 것이 필수적임을 확인시켰습니다. 리프시츠 제약을 제거하면 성능이 약간 낮아져 이론적 인증을 위한 제약의 필요성을 검증했습니다.
• 매개변수 민감도: 이 프레임워크는 하이퍼파라미터 선택에 대해 강인성을 보였으며, 불변 패널티 가중치 ($\lambda$) 에 대한 특정 임계값 이후 성능이 정체되었습니다.

중요성과 주장

이 논문은 GLEAN 이 현재 적대적 방어의 중요한 한계인 새로운 데이터 도메인으로 이론적 강인성 보장을 이전하지 못하는 문제를 해결한다고 주장합니다. 원시 입력 특징에서 불변 인과 요인으로 초점을 이동시킴으로써, 이 프레임워크는 허위 상관관계로 인한 취약성을 완화합니다.

저자들은 GLEAN 을 단순한 지표 개선을 넘어, 도메인 간 강인성에 대한 이론적 지지를 제공하는 방법론적 전환으로 위치시킵니다. 그들은 이 접근법이 환경 변화에도 불구하고 보안과 신뢰성이 유지되어야 하는 자율 주행 및 의료와 같은 중요한 응용 분야에서 기계 학습 모델을 배포하는 길을 제시한다고 주장합니다. 이 연구는 미래 연구가 인과론에서 영감을 받은 방어와 적대적 강인성 일반화를 위한 통합 접근법을 더 깊이 탐구해야 함을 시사합니다.