Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape

기술 요약: 분류 강건성과 설명 강건성은 정말로 강력하게 상관되어 있는가?

문제 제기
의료 진단, 자율 주행과 같은 고위험 분야에 신뢰할 수 있는 머신러로닝 시스템을 배치하는 데 있어, 모델이 적대적 공격 하에서도 정확한 예측(분류 강건성)과 일관되고 해석 가능한 근거(설명 강건성)를 모두 유지하는 것은 매우 중요합니다. 이 분야의 지배적인 가정은 두 속성 사이에 강한 양의 상관관계가 있다는 것입니다. 즉, 분류 강건성을 개선하면 설명 강건성도 본질적으로 향상된다는 가설입니다. 본 논문은 이러한 패러다임에 도전하며, 분류 강건성을 높이기 위해 입력 손실 지형(input loss landscape)을 평탄하게 만드는 메커즘이 설명 강건성에도 동일하게 적용되는지, 즉 설명 손실에 대한 평탄한 입력 손실 지형이 강건한 설명을 위한 필수 조건인지, 그리고 두 형태의 강건성이 본질적으로 연결되어 있는지 조사합니다.

방법론
저자들은 두 가지 강건성 차원을 분리하기 위해 손실 지형 분석, 클러스터링 기반 평가, 그리고 새로운 학습 알고리즘을 결합한 체계적인 프레임워크를 사용합니다.

1. 손실 지형 분석: 연구에서는 피해 이미지(victim images)에 무작위 노이즈를 추가하고 손실의 변화를 측정함으로써, 설명 손실($L_e$)에 대한 입력 손실 지형을 시각화합니다. 이는 평탄한 지형이 높은 분류 강건성과 상관관계가 있다는 기존의 확립된 관찰 결과와 대조됩니다.
2. 평가를 위한 클러스터 기반 샘플링: 이차적인 샘플 쌍 생성의 계산적 불가능성을 피하기 위해, 저자들은 클러스터링 기반 샘플링 방법을 제안합니다. 이미지들을 (예: ResNet18 특징을 사용한 K-means) 클러스터링하여 의미론적 일관성을 보장합니다. 평가 세트는 피해 이미지에서 타겟 이미지로 설명을 조작하는 데 필요한 "공격 손실(attack loss)"을 측정하기 위해 클러스터 내부 및 클서터 간 쌍으로 구성됩니다.
3. TRADES 프레임워크: 저자들은 분류 강건성의 수준을 조절하는 파라미터($\alpha$)를 통해 다양한 수준의 분류 강건성을 가진 모델들을 생성하여, 분류 강건성의 변화가 설명 강건성 및 관련 손실 지형에 어떻게 영향을 미치는지 관찰하기 위해 TRADES 프레임워크를 사용합니다.
4. SEP (PGD를 통한 별도의 설명 강건성 확보): 두 관계를 명시적으로 테스트하기 위해, 저자들은 새로운 학습 방법인 SEP를 제안합니다. 이 방법은 학습 손실에 정규화 항($L_{SEP} = \|I(x + \zeta) - I(x)\|^2$, 여기서 $\zeta$는 무작위 노이즈이고 $I$는 설명 방법임)을 도입합니다.
   • SEPpos ($\lambda > 0$): 설명 손실에 대해 손실 지형이 더 평탄해지도록 유도합니다.
   • SEPneg ($\lambda < 0$): 손실 지형이 더 날카로워지도록 유도합니다.
     이를 통해 저자들은 분류 강건성과 독립적으로 설명 손실 지형의 평탄도를 조절할 수 있습니다.

주요 발견 및 결과
다양한 데이터셋(MNIST, FMNIST, CIFAR-10, CIFAR-100, TinyImageNet)과 아키텍처(ConvNet, ResNet18, Wide ResNet, MobileNetV2)에 걸쳐 수행된 실험 결과는 다음과 같습니다.

• 강건성의 분리: SEPpos 및 SEPneg로 학습된 모델은 유사한 분류 강건성(적대적 정확도, $Acc_{adv}$로 측정)을 보이지만, 현저히 다른 설명 강건성(최종 설명 공격 손실, $L_{end}^e$로 측정)을 나타냅니다. 구체적으로, SEPneg(더 날카로운 지형)는 더 높은 설명 강건성을 달성하는 반면, SEPpos(더 평탄한 지형)는 더 낮은 설명 강건성을 달성합니다.
• 분류 강건성와의 모순: 평탄한 손실 지형이 더 높은 분류 강건성을 나타내는 것과 달리, 설명 강건성의 경우 입력 손실 지형을 평탄하게 만드는 것이 오히려 설명 강건성을 감소시킨다는 것을 저자들은 발견했습니다.
• 설명 강건성의 메커니즘: 분석 결과, 설명 강건성은 평탄한 손실 지형이 아니라 공격 시작 시점의 높은 초기 손실($L_{start}^e$)에 의해 주도됩니다. 즉, 피해자와 타겟 사이의 초기 설명 거리가 멀수록 지형의 평탄도와 상관없이 공격하기가 더 어려워집니다.
• 일반화: 이러한 발견은 다양한 설명 방법(Gradient, Guided Backpropagation, DeepLift, Integrated Gradients)과 다양한 적대적 학습 프로토콜(Madery AT, TRADES) 전반에서 유효합니다.

주요 기여

1. 효율적 평가: 설명 강건성을 효율적이고 포괄적으로 평가하기 위한 클러스터링 기반 샘플링 방법 도입.
2. 경험적 모순 입증: 설명 강건성을 높이는 것이 설명 손실에 대한 입력 손실 지형을 평탄하게 만들지 않는다는 점을 입증하여, 분류 강건성에서 관찰되는 동작과 상충함을 보여줌.
3. 새로운 학습 방법 (SEP): 설명 손실 지형의 평탄도를 명시적으로 제어할 수 있는 학습 알고리즘을 개발하여, 설명 강건성이 분류 강건성과 독립적으로 조작될 수 있음을 증명함.
4. 이론적 통찰: 분류 강건성과 설명 강건성을 지배하는 메커니즘이 근본적으로 다르다는 증거를 제시하여, 두 속성 사이의 내재적 상관관계에 대한 가설에 도전함.

의의
본 논문은 분류 강건성과 설명 강건성이 강력하게 상관되어 있지 않다고 결론짓습니다. 이러한 발견은 AI 시스템의 보안 및 신뢰성에 중요한 시사점을 줍니다. 이는 분류 강건성 기술(예: 적대적 학습)에 의존하여 신뢰할 수 있는 설명을 보장하려는 시도가 불충분함을 시사합니다. 대신, 저자들은 특히 예측 정확도와 해석 가능성이 모두 요구되는 비판적인 애플리케이션에서 설명 강건성을 별도로 고려하고 최적화해야 한다고 주장합니다. 이 연구는 단일한 강건성 지표나 학습 전략이 두 가지 모두를 보장할 수 있다는 가정에서 벗어나, 손실 지형과 설명 손실 사이의 관계를 이해하는 새로운 경로를 열어줍니다.