기술 요약: 피셔 정보(Fisher Information)를 통한 모델 강건성 측정

1. 문제 정의

심층 신경망(DNN)이 안전이 필수적인 애플리케이션에 점점 더 많이 배치되고 있으나, 적대적 섭동(adversarial perturbations)에 대한 취약성은 여전히 중대한 위협으로 남아 있다. 기존의 강건성 평가 방법들은 두 가지 주요 한계점을 갖는다:

1. 공격 의존성(Attack-Dependence): 경험적 지표(예: PGD, AutoAttack)는 특정 적대적 알고리즘에 의존한다. 이들은 계산 비용이 많이 들고, 하이퍼파라미터에 민감하며, 모델의 내재적 특성을 드러내거나 알려지지 않은 위협 모델로 일반화하는 데 실패한다.
2. 해석 가능성 및 확장성 부족: 이론적으로 도출된 경계값(예: 리프시츠 상수, CLEVER 점수)은 공격에 무관할 수는 있으나 확률적 해석이 부족하다. 또한, 모호한 경계나 기하급수적인 계산 복잡도로 인해 트랜스포머와 같은 현대적 아키텍처로 확장하기 어렵다.

기하학적 민감도와 통계적 불확실성을 연결하여 공격에 무관한(attack-agnostic) 강건성 지표를 제공하는 통합되고 해석 가능한 프레임워크에 대한 절실한 요구가 존재한다.

2. 방법론

이론적 기초: 강건성 지표로서의 FIM

저자들은 정보 이론적 기하학에 기반한 프레임워크를 제안한다. 이들은 출력 분포의 쿨백-라이블러(KL) 발산과 피셔 정보 행렬(FIM) 사이의 근본적인 연결 고리를 확립한다.

• 정리 1: 두 조건부 분포 $p(y|x)$와 $p(y|x')$ 사이의 KL 발산은 입력 간 마할라노비스 거리(Mahalanobis distance)의 절반에 근사하며, 이때 공분산 행렬은 FIM의 역행렬이다.
  $$KL(p(y|x), p(y|x')) \approx \frac{1}{2}\delta^T F(x) \delta$$
  여기서 $\delta = x' - x$이다. 이는 최대 KL 발산의 방향(최악의 경우의 섭동)이 FIM의 주 고유벡터(principal eigenvector)와 일치함을 의미한다.

• 정리 2: 소프트맥스 출력층을 가진 분류 모델의 경우, FIM은 모델의 예측 확률에 의해 가중치가 부여된 입력 자코비안(Jacobian) 행렬의 분산과 동일하다:
  $$F(x) = \text{var}(J_f(x))$$
  이는 FIM이 자코비안을 통한 기하학적 민감도뿐만 아니라 모델의 통계적 확신도 함께 포착함을 보여준다. 낮은 확신도에서 나타나는 높은 그래디언트 방향의 분산은 높은 취약성을 나타낸다.

강건성 지표 정의

FIM의 스펙트럼 노름(spectral norm)인 $\|F(x)\|_2$ (가장 큰 고유값)를 기반으로, 저자들은 데이터셋 $S$에 대해 두 가지 지표를 정의한다:

1. $R_{norm}(S)$: 취약성과 양의 상관관계를 갖는 평균 스펙트럼 노름.
2. $R_{spec}(S)$: 강건성 점수 역할을 하는 평균 역 스펙트럼 노름.

이론적 경계값 및 아키텍처 분석

논문은 일반적인 아키텍처 구성 요소에 대한 스펙트럼 노름의 폐쇄형 상한(closed-form upper bounds)을 도출하고(표 1), 심층 네트워크를 통한 이들의 전파를 분석한다(표 2):

• 기본 구성 요소: ReLU와 Max Pooling은 스펙트럼 노름이 1이다(등거리 전파). Average Pooling은 노름을 감소시킨다($1/k$). Batch/Layer Normalization은 스케일링 인자에 따라 섭동을 증폭하거나 억제할 수 있다. 선형 계층(Linear layers, Conv/FC)은 섭동 증폭의 주요 원인이다.
• 아키텍처 순위: 구성 요소 경계값의 곱을 분석함으로써, 저자들은 일반적인 아키텍처에 대한 이론적 강건성 순위를 도출한다:
  $$\text{DenseNet121} \lesssim \text{VGG16} \lesssim \text{ResNet18} \lesssim \text{ViT-B-16}$$
  이는 잔차 연결(residual connections)과 어텐션 메커니즘(attention mechanisms)을 갖춘 아키텍처(ViT와 같은)가 일반적인 또는 플레인 CNN에 비해 내재적으로 더 낮은 스펙트럼 노름 상한을 가짐을 시사한다.

확장 가능한 알고리즘

$d \times d$ 크기의 FIM(여기서 $d$는 입력 차원)의 스펙트럼 노름을 추정하는 데 드는 계산 비용 문제를 해결하기 위해, 저자들은 FIM의 저계수 구조(low-rank structure, $F(x) = Q\Lambda Q^T$, 여기서 rank $\le K$, $K$는 클래스 수)를 활용한다. 이들은 세 가지 알고리즘을 제안한다:

1. 직접 고유값 분해(Direct Eigendecomposition): 작은 $K$에 적합하다. 복잡도: $O(dK^2 + K^3)$.
2. 거듭제곱 반복법(Power Iteration): 중간 규모 모델에 효율적이다. 명시적인 행렬 구축을 피하기 위해 $Q(\Lambda(Q^T b))$ 구조를 활용한다. 복잡도: $O(TdK)$.
3. 허친슨 근사법(Hutchinson Approximation): 대규모 및 블랙박스 설정에 설계되었다. 무작위 벡터(가우시안 또는 라데마허)와 유한 차분법을 사용하여 주 고유값을 추정하며, 블랙박스 시나리오를 위한 그래디언트 추정을 수행한다. 복잡도: $O(MdK)$.

3. 주요 기여

1. 최초의 FIM 기반 강건성 지표: 스펙트럼 노름에 기반한 최초의 공격 무관(attack-agnostic)하고 해석 가능한 지표를 제안하여, 확률 이론에 근거한 최악의 경우의 민감도에 대한 직접적인 척도를 제공한다.
2. 이론적 강건성 순위: 일반적인 구성 요소에 대한 폐쇄형 스펙트럼 경계값을 도출하고, VGG, ResNet, DenseNet, Transformer 아키텍처에 대한 최초의 이론적 강건성 순위를 제공한다.
3. 확장 가능한 알고리즘: 화이트박스 및 블랙박스 평가를 모두 지원하는 효율적인 알고리즘(Power Iteration, Hutchinson)을 설계하여 대규모 모델에 적용할 수 있게 한다.
4. 경험적 검증: 다양한 데이터셋(CIFAR, ImageNet, Medical)과 아키텍처에 대해 지표를 광범로하게 검증하여, 적대적 취약성과의 강력한 상관관계를 입증한다.

4. 실험 결과

• 공격과의 상관관계: 실험 결과, 제안된 FIM 스펙트럼 노름과 공격 기반 지표(PGD, CW, CLEVER) 사이에 강한 상관관계가 있음이 나타났다. 예를 들어, FIM 스펙트럼 노름이 낮은 모델은 일반적으로 PGD 및 CW 공격에 대해 더 높은 강건성을 보인다.
• 아키텍처 일관성: CIFAR-10과 같은 데이터셋에서의 경험적 순위는 이론적 경계값과 대체로 일치하며, 이는 테스트된 모델 중 DenseNet은 강건성이 낮고 ViT는 더 강건하다는 것을 확인시켜 준다.
• 블랙박스 능력: 본 프레임워크는 유한 차분법을 사용하여 블랙박스 설정에서도 강건성을 성공적으로 추정하며, 화이트박스 평가와 일관된 순위를 도출한다.
• 안정성: FIM 기반 지표는 이산적인 공격 성공률(PGD/CW)에 비해 데이터 샘플 간 변동성이 낮다(공격 성공률은 비미분적 특성으로 인해 크게 요동친다).
• 계산 효율성: 2차 정보(분산)가 필요하기 때문에 리프시츠(Lipschitz)나 CLEVER 추정보다는 약간 느리지만, 제안된 알고리즘은 전체 적대적 공격(예: PGD)을 실행하는 것보다 훨씬 효율적이며 더 풍부한 진단 정보를 제공한다.

5. 의의 및 영향

본 논문은 다음과 같은 측면에서 모델 강건성의 이론적 이해와 실무적 평가를 진전시킨다고 주장한다:

• 관점의 통합: 기하학적 민감도(Jacobian)와 확률적 불확실성(FIM)을 하나의 해석 가능한 프레임워크로 결합한다.
• 진단적 유용성: 단순히 모델이 특정 공격 하에서 얼마나 강건한지뿐만 아니라, 왜 모델이 취약한지(예: 그래디언트 방향의 높은 분산)를 설명하는 도구 역할을 한다.
• 모델 선택: 내재적 강건성을 가진 아키텍처를 비교하고 모델을 선택하기 위한 원칙적인 방법을 제공하여, 비용이 많이 드는 경험적 적대적 테스트에 대한 의존도를 줄인다.
• 안전 필수 애플리应用: 특정 적대적 알고리즘에 의존하지 않는 지표를 제공함으로써, 자율 시스템, 의료, 금융 분야를 위한 더 신뢰할 수 있는 모델 설계를 돕는다.

저자들은 데이터 의존성(지표가 모델과 데이터의 특성을 모두 반영함)과 매우 큰 모델(예: 수십억 개의 파라미터를 가진 LLM)에 대한 계산 오버헤드를 한계점으로 언급하며, 향-데이터 불가지론적(dataset-agnostic) 경계값 및 분산 샘플링에 대한 향후 연구를 제시한다.