Manifold-Constrained Adversarial Training for Long-Tailed Robustness via Geometric Alignment

기술적 요약: 기하학적 정렬을 통한 장미분포 강인성을 위한 매니폴드 제약 적대적 학습

1. 문제 제기

심층 신경망은 시각 인식 분야에서 성공을 거두었음에도 불구하고, 적대적 교란에 취약한 상태입니다. 적대적 학습 (AT) 은 주요 방어 기법 중 하나이지만, 장미분포 (long-tailed class distributions)(헤드 클래스는 풍부하고 테일 클래스는 희소함) 하에서는 그 효과가 현저히 저하됩니다. 이러한 환경에서 표준 AT 는 두 가지 결합된 실패 메커니즘으로 고통받습니다:

1. 기하학적 불일치: 헤드 클래스가 지배적인 최적화는 특징 공간을 압축하여 테일 클래스의 클래스 간 마진을 축소시키고, 취약하고 불안정한 결정 경계를 생성합니다.
2. 매니폴드 외적 적대적 표류: 테일 샘플의 희소성으로 인해, 제약이 없는 적대적 최적화는 특징 공간의 저밀도이며 의미론적으로 지지되지 않는 영역을 악용합니다. 이로 인해 적대적 예시가 실제 데이터 지지 영역에서 벗어나게 되어, 가짜 결정 경계가 형성되고 테일 클래스의 강인한 마진이 붕괴됩니다.

기존 접근법들은 주로 손실 재가중치, 마진 재균형, 또는 지식 증류를 통해 이를 해결하려 합니다. 그러나 이러한 방법들은 종종 학습된 표현의 기하학을 명시적으로 규제하거나 적대적 예시의 의미론적 유효성을 보장하는 데 실패합니다.

2. 방법론: 매니폴드 제약 적대적 학습 (MCAT)

저자들은 기하학적 불균형과 의미론적 유효성이라는 두 가지 문제를 해결하기 위해 두 가지 상보적 메커니즘을 통합한 MCAT를 제안합니다.

A. 클래스 조건부 의미론적 매니폴드 제약
적대적 표류가 저밀도 영역으로 발생하는 것을 방지하기 위해, MCAT 는 교란을 특징 공간 내의 클래스 조건부 의미론적 매니폴드 ($\mathcal{M}_y$) 근처에 유지하도록 제약합니다.

• 구현: 매니폴드를 명시적으로 복원하는 대신, 이 방법은 잠재 코드를 각 클래스의 특징 공간으로 매핑하도록 훈련된 경량 클래스 조건부 생성기 $\{G_y\}$(MLP) 를 사용합니다. 이러한 생성기는 깨끗한 특징으로 사전 훈련되며 적대적 학습 중에는 고정됩니다.
• 페널티: 임베딩 $u$에 대해 매니폴드 외적 편차 지표 $d_{\mathcal{M}_y}(u) = \min_z \|u - G_y(z)\|_2^2$를 계산합니다. 이 페널티는 내부 최대화 단계에서 손실로부터 차감되어, 적대적 탐색이 고밀도이며 의미론적으로 유효한 영역을 향하도록 유도합니다.
• 최적화: 내부 최대화는 **매니폴드 지원 PGD(MS-PGD)**를 사용하여 해결되며, 이는 교란을 $\ell_\infty$ 예산 내로 투영하면서 매니폴드 기울기를 통해 탐색 방향에 편향을 줍니다.

B. ETF 에서 영감을 받은 기하학적 정규화
테일 클래스 마진의 압축을 상쇄하기 위해, MCAT 는 분류기 가중치에 균형을 맞춘 기하학을 강제합니다.

• 구현: 분류기 가중치 행렬 $W$는 심플렉스 등각 긴밀 프레임 (Simplex Equiangular Tight Frame, ETF) 구조를 향해 정규화됩니다. 이는 그람 행렬 $W^\top W$가 $\alpha I + \beta \mathbf{1}\mathbf{1}^\top$ 형태에서 벗어나는 것을 페널티화함으로써 달성됩니다.
• 효과: 이는 모든 클래스 벡터 간의 균일한 각도 분리를 장려하여 최소 클래스 간 각도 ($\theta_{\min}$) 를 최대화하고, 헤드 클래스가 특징 공간 기하학을 지배하는 것을 방지합니다.

C. 통합 목적 함수
학습 목적 함수는 표준 강인 손실, 매니폴드 페널티, 그리고 기하학적 정규화를 결합합니다:
$$\mathcal{R}_{\text{MCAT}}(\Theta) = \mathbb{E}_{(x,y)\sim\mathcal{D}} \left[ \max_{\|\delta\|_\infty \le \epsilon} \left( \ell(f_\Theta(x+\delta), y) - \lambda d_{\mathcal{M}_y}(\phi_\Theta(x+\delta)) \right) \right] + \beta \mathcal{R}_{\text{geom}}(\Theta)$$
여기서 $\lambda$는 의미론적 일관성을 제어하고 $\beta$는 기하학적 균형을 제어합니다.

3. 이론적 분석

본 논문은 두 가지 주요 이론적 결과를 제공합니다:

1. 기하학적 분리는 강인한 마진을 함의함: 저자들은 더 큰 최소 클래스 간 각도 ($\theta_{\min}$) 가 직접적으로 인증 가능한 강인 마진의 하한을 함의함을 증명합니다. ETF 구조는 $\theta_{\min}$을 최대화하므로, 특히 마진이 압축되는 테일 클래스에 대해 강인성에 대한 증명 가능한 보장을 제공합니다.
2. 매니폴드 제약은 강인한 위험을 통제함: 저자들은 MCAT 목적 함수가 고밀도 의미론적 영역에서의 실제 강인한 위험을 상한으로 묶음을 보여줍니다. 매니폴드 페널티는 매니폴드 외적 표류를 억제하여, 강인성이 저밀도 인공물이 아닌 의미론적으로 유효한 영역 내에서 학습되도록 보장합니다.

4. 실험 결과

실험은 다양한 불균형 비율 (IR) 을 가진 표준 장미분포 벤치마크 (CIFAR-10-LT, CIFAR-100-LT, Tiny-ImageNet-LT) 에서 수행되었습니다.

• 전체 강인성: MCAT 는 모든 데이터셋과 공격 유형 (PGD-20, AutoAttack) 에 걸쳐 표준 AT 베이스라인 (TRADES, MART, AWP) 과 최첨단 장미분포 강인 방법 (RoBal, REAT, TAET, Self-Distillation) 보다 일관되게 우수한 성능을 발휘했습니다.
• 테일 및 균형 성능: 특히 MCAT 는 깨끗한 정확도를 희생하지 않으면서 테일 클래스 강인성과 균형 잡힌 강인성(클래스별 평균 정확도) 에서 상당한 개선을 달성했습니다. 예를 들어, CIFAR-100-LT(IR=100) 에서 MCAT 는 Self-Distill 의 약 16% 였던 테일-AA 강인성을 20.0% 로 향상시켰습니다.
• 애블레이션 연구:
  • 매니폴드 제약만 추가해도 매니폴드 외적 표류를 줄여 테일 강인성을 크게 향상시킵니다.
  • 기하학적 정렬만 추가해도 기하학적 편향을 수정하여 균형 잡힌 지표를 개선합니다.
  • 두 가지를 결합했을 때 가장 좋은 결과가 도출되어, 두 문제를 모두 해결할 필요성이 확인되었습니다.
• 메커니즘 검증: 경험적 진단은 MCAT 가 베이스라인에 비해 더 큰 클래스 간 각도를 유지하고 매니폴드 외적 표류를 현저히 줄여 이론적 예측과 일치함을 확인했습니다.

5. 중요성과 주장

본 논문은 장미분포 하에서 적대적 강인성을 달성하기 위해서는 결정 공간의 기하학을 수정하고 적대적 예시의 의미론적 유효성을 보장하는 이중 접근법이 필요하다고 주장합니다.

• 신규성: 손실 설계나 최적화 휴리스틱에 초점을 맞춘 이전 연구들과 달리, MCAT 는 명시적으로 표현 기하학을 규제하고 적대적 예시를 의미론적 매니폴드로 제약합니다.
• 통찰: 저자들은 "기하학적 불일치"와 "매니폴드 외적 적대적 표류"를 장미분포 환경에서 강인성 실패의 근본적인 원인으로 규명했습니다.
• 영향: ETF 에서 영감을 받은 정규화와 매니폴드 제약을 통합함으로써, MCAT 는 결정 경계를 안정화하고 테일 클래스에 대한 강인한 모델의 신뢰성과 공정성을 실질적으로 향상시킵니다. 이는 데이터 불균형이 만연한 실제 배포 시나리오에서 중요한 격차를 해소합니다.