기술 요약: 해석 가능성이 책임이 될 때: CBM 개념 계층에 대한 적대적 공격

1. 문제 제기

개념 병목 모델 (Concept Bottleneck Models, CBM) 은 예측을 입력을 인간이 해석 가능한 개념으로 매핑하는 단계 ($f: X \to C$) 와 개념을 라벨로 매핑하는 단계 ($g: C \to Y$) 로 분해함으로써 해석 가능한 기계 학습을 위한 선도적인 접근법으로 부상했습니다. 이 아키텍처는 투명성을 제공하지만, 본 논문은 개념 병목 계층 자체라는 치명적이고 이전에 탐구되지 않았던 보안 취약점을 식별합니다.

미세한 픽셀 수준의 노이즈에 의존하는 전통적인 적대적 공격과 달리, 본 연구는 CBM 이 개념 수준의 적대적 공격에 취약함을 보여줍니다. 공격자는 예측을 치명적으로 오분류되게 만들기 위해 의미론적 표현 (개념 활성화) 을 조작할 수 있습니다. 예를 들어, 조류 분류 시스템에서 공격자는 '구부러진 부리' 개념을 '곧은 부리'로 뒤집어 매를 황새로 오분류시킬 수 있습니다. 의료 영상과 같은 고위험 분야에서는 의사결정에 중요한 개념 (예: '불규칙한 경계') 을 억제함으로써 악성 병변을 양성으로 오분류하게 만들 수 있습니다. 이러한 공격은 의미 있는 속성에서 작동한다는 점에서 구별되며, 도메인 지식을 활용하여 제작하기는 더 쉬울 수 있지만 픽셀 노이즈보다 탐지하기는 더 어렵습니다.

2. 방법론

2.1. 이론적 프레임워크 및 공격 표면

저자들은 CBM 을 $F(x) = g_\phi(f_\theta(x))$로 공식화했는데, 여기서 $f_\theta$는 입력을 개념 활성화로 매핑하고 $g_\phi$는 일반적으로 선형 분류기입니다. 공격 표면은 저차원의 해석 가능한 개념 공간으로 정의됩니다.

• 입력 - 개념 관계: 본 논문은 개념 공간에서 필요한 최소 교란을 증가시키는 것이 Lipschitz 연속성을 통해 입력 픽셀 공간에서 필요한 최소 교란을 직접 증가시킨다는 이론적 하한을 확립합니다. 이는 개념 계층을 방어하는 것이 진정한 입력 수준의 보안을 제공함을 검증합니다.
• 최적 공격 알고리즘: 저자들은 참 클래스 $y^*$에서 목표 클래스 $t$로 예측을 뒤집기 위해 필요한 최소 교란 $\delta$에 대한 폐쇄형 해를 유도했습니다. 선형 분류기의 경우, 이는 제약 조건이 있는 2 차 계획법으로 공식화됩니다. 이 해법은 모든 클래스 경계를 동시에 만족시키기 위해 Moore-Penrose 의사역행렬을 활용하여 '최소 노름' 공격을 계산하는 효율적인 방법을 제공합니다.

2.2. 강건성 정량화

취약성을 측정하기 위해 논문은 다음을 도입합니다:

• 공격 가능성 점수 ($A$): 최소 교란 노름 ($\rho$) 의 역수입니다. 높은 점수는 샘플이 결정 경계에 가깝고 쉽게 오분류될 수 있음을 나타냅니다.
• 상대 교란 노름: 성공에 필요한 교란의 크기로, 공격의 계산 비용을 나타내는 대리 지표 역할을 합니다.

2.3. 방어 메커니즘: SPECTRA

이러한 취약성을 완화하기 위해 논문은 SPECTRA(공격에 대한 강건성을 위한 의미론적 교란 기반 개념 학습) 를 제안합니다.

• 안정성 정규화: SPECTRA 는 훈련 중에 작은 최소 교란 노름을 패널티로 부과하는 안정성 손실 항 ($L_{stability}$) 을 도입합니다. 이 손실은 $-\log(1 + \|\delta_{min}\|_2^2)$로 정의됩니다.
• 훈련 목적 함수: 총 손실은 개념 예측 정확도, 분류 정확도, 그리고 안정성 항을 결합합니다: $L_{total} = \lambda_c L_{concept} + \lambda_y L_{class} + \lambda_s L_{stability}$.
• 메커니즘: 개념 공간에서 마진을 최대화함으로써 SPECTRA 는 작은 의미론적 변화가 분류를 변경하지 않도록 모델을 학습시켜 개념 공간을 효과적으로 '강화'합니다.

3. 실험 설정

• 데이터셋: CUB-200-2011(세밀한 조류 분류), 15 종의 하위 집합과 312 개의 이진 시각 속성을 활용.
• 아키텍처: 특징 추출을 위한 ResNet-18 백본, 이어지는 선형 개념 예측기 및 선형 분류기.
• 평가: 분류 정확도와 강건성 사이의 트레이드오프를 분석하기 위해 안정성 정규화 매개변수 ($\lambda_s$) 를 스윕 (sweep) 합니다.

4. 주요 결과

4.1. 표준 CBM 의 취약성

기준선 CBM($\lambda_s = 0$) 은 개념 수준 공격에 심각한 취약성을 보이며, 공격 가능성 점수는 2.196이고 최소 상대 교란 노름은 불과 0.46입니다. 이는 표준 모델이 최소한의 노력으로도 쉽게 조작될 수 있음을 나타냅니다.

4.2. 강건성의 위상 전이

가장 중요한 발견은 정규화 강도 $\lambda_s$의 함수로서 모델 강건성에서 발생하는 위상 전이입니다:

• 취약 영역 ($\lambda_s < 0.08$): 모델은 높은 공격 가능성 점수로 여전히 매우 취약합니다.
• 임계값 ($\lambda_s \approx 0.083$): 이 정확한 지점에서 모델은 급격한 전환을 겪습니다. 공격 가능성 점수는 86% (0.507 에서 0.070 으로) 감소하고, 상대 교란 노름은 1.97 에서 14.30으로 급증합니다.
• 강건 영역 ($\lambda_s > 0.083$): $\lambda_s$가 더 증가함에 따라 성공적인 공격의 비용은 기하급수적으로 증가합니다. $\lambda_s = 0.092$에서 교란 노름은 4,000을 초과하며, $\lambda_s = 0.30$에서는 4,900 만을 초과하여 표적 개념 조작을 계산적으로 불가능하게 만듭니다.

4.3. 정확도와 희소성

• 정확도 유지: 최적 작동 지점 ($\lambda_s = 0.083$) 은 기준선 (72.2%) 에 비해 최소한의 손실로 **70.2%**의 분류 정확도를 유지합니다. 강건성이 최대가 되는 더 높은 정규화 강도에서도 정확도 저하는 제한됩니다 (예: $\lambda_s=0.092$에서 60.2%).
• 희소성: 안정성 정규화는 더 희소한 개념 표현을 장려하여 최대 정규화 시 희소성 손실을 99% (0.9457 에서 0.0084 로) 감소시킵니다. 이는 모델이 의사결정을 위해 더 적고 필수적인 개념에 의존함을 나타냅니다.

5. 중요성과 주장

본 논문은 CBM 의 실제 배포를 위해 개념 수준의 적대적 강건성을 중요한 고려 사항으로 확립한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 새로운 위협 모델: 공격자가 입력 픽셀뿐만 아니라 의미론적 중간 표현을 조작하는 고유한 위협 모델을 식별하고 특성화합니다.
2. 체계적 프레임워크: 최소 노름 개념 공간 교란을 생성하기 위한 최초의 이론적 프레임워크와 알고리즘을 제공합니다.
3. 효과적인 방어: 표적 안정성 정규화 (SPECTRA) 가 성능에 미치는 최소한의 영향으로 매우 취약한 아키텍처를 강건한 것으로 변환할 수 있음을 보여줍니다.
4. 실용적 가이드라인: 상당한 보안 이득을 제공하면서도 수용 가능한 정확도 트레이드오프를 갖는 배포를 위한 '최적 지점'으로 작용하는 임계 하이퍼파라미터 ($\lambda_s \approx 0.083$) 를 식별합니다.

저자들은 CBM 의 해석 가능성이 새로운 취약성을 도입하지만, 이러한 취약성은 원칙적인 정규화를 통해 체계적으로 완화될 수 있으며, 이는 해석 가능한 기계 학습과 적대적 강건성의 교차점에서 새로운 연구 지평을 열 것이라고 결론지었습니다.