Mechanistic Anomaly Detection via Functional Attribution

이 논문은 **"기능적 귀속 (Functional Attribution) 을 통한 기계적 이상 탐지 (Mechanistic Anomaly Detection, MAD)"**를 제안합니다. 신경망의 출력은 정답 레이블을 통해 검증할 수 있지만, 그 출력이 정상적인 내부 메커니즘에 의해 생성되었는지, 아니면 백도어 (Backdoor) 나 적대적 공격과 같은 비정상적인 메커니즘에 의해 생성되었는지를 판단하는 것은 어렵습니다. 이 논문은 기존 방법론의 한계를 극복하고, 모델의 내부 작동 원리를 직접적으로 분석하는 새로운 접근법을 제시합니다.

다음은 논문의 핵심 내용을 요약한 기술적 요약입니다.

1. 문제 정의 (Problem)

• 배경: 신경망이 정상적인 입력에 대해 올바른 출력을 내더라도, 내부적으로는 백도어 트리거나 적대적 예치와 같은 비정상적인 메커니즘을 통해 작동할 수 있습니다.
• 한계: 기존 이상 탐지 방법들은 주로 잠재 공간 (Latent Space) 분석 (예: Mahalanobis 거리, VAE 재구성) 에 의존합니다. 그러나 공격자는 정상적인 활성화 패턴을 모방하도록 입력을 조작하여 (Obfuscation) 이러한 잠재 공간 기반 방어 기법을 우회할 수 있습니다. 또한, 많은 방법론이 특정 아키텍처나 모달리티 (이미지, 텍스트 등) 에 종속적입니다.
• 목표: 잠재 공간 분석 없이, 모델이 특정 입력을 처리할 때 사용하는 내부 메커니즘이 신뢰할 수 있는 데이터 (Trusted Data) 와 얼마나 기능적으로 일치하는지를 기반으로 이상을 탐지하는 보편적인 방법론 개발.

2. 방법론 (Methodology)

이 논문은 이상 탐지 문제를 "신뢰할 수 있는 데이터에 대한 기능적 귀속 (Functional Attribution)" 문제로 재정의합니다. 핵심 아이디어는 다음과 같습니다.

• 기능적 유사성 측정 (Functional Similarity via Influence Functions):
  • 두 샘플이 모델의 매개변수에 대해 어떻게 의존하는지 (co-dependence) 를 측정하기 위해 **영향 함수 (Influence Functions)**를 활용합니다.
  • 기존 영향 함수는 학습 데이터에 적용되지만, 이 논문은 이를 **테스트 시간 (Test-time)**에 적용하여, 테스트 샘플이 '신뢰할 수 있는 참조 세트 (Trusted Reference Set)'의 샘플들과 기능적으로 얼마나 유사한지 평가합니다.
• 베이지안 영향 함수 (Bayesian Influence Functions, BIF) 및 SGLD:
  • 대규모 신경망에서 헤시안 (Hessian) 행렬의 역행렬을 계산하는 것은 비현실적이므로, **국소화된 사후 분포 (Localized Posterior)**를 가정합니다.
  • **확률적 경사 랑주뱅 역학 (SGLD, Stochastic Gradient Langevin Dynamics)**를 사용하여 훈련된 가중치 ($w^*$) 주변의 매개변수 공간을 샘플링합니다.
  • 이 샘플링 과정에서 신뢰할 수 있는 데이터와 테스트 데이터의 **손실 (Loss) 궤적 (Loss Traces)**을 기록하고, 두 궤적 간의 **상관관계 (Correlation)**를 계산합니다.
• 탐지 점수 (Detection Score):
  • 정상 샘플: 신뢰할 수 있는 데이터와 유사한 내부 메커니즘을 공유하므로, 매개변수 변화에 따른 손실 변화가 강하게 상관관계를 가집니다.
  • 비정상 샘플 (백도어 등): 정상 메커니즘과 다른 경로를 사용하므로, 신뢰할 수 있는 데이터와의 손실 궤적 상관관계가 낮습니다.
  • 집계 (Aggregation): 신뢰할 수 있는 데이터 전체와의 상관관계를 평균하거나, 클래스별 클러스터링 (Class-Clustered) 을 통해 최종 점수를 도출합니다.

3. 이론적 근거 (Theoretical Justification)

• 헤시안 고유 스펙트럼 (Hessian Eigenspectrum):
  • 정상적인 예측에 민감한 방향 (Sharp Directions) 과 민감하지 않은 방향 (Flat Directions) 으로 헤시안을 분해합니다.
  • 가정: 은밀한 백도어나 이상 메커니즘은 정상 성능을 해치지 않기 위해 **Flat Directions (평탄한 방향)**에 집중되어 존재합니다.
  • 결과: 신뢰할 수 있는 데이터 (정상 메커니즘) 의 그라디언트는 Sharp Directions 에 집중되어 있고, 비정상 데이터는 Flat Directions 에 집중되어 있어, 두 그라디언트 간의 상관관계가 낮아집니다. 이는 SGLD 샘플링을 통한 상관관계 분석으로 탐지 가능한 기하학적 구조를 제공합니다.

4. 주요 결과 (Key Results)

논문은 이미지 (Vision) 와 언어 (LLM) 모델 모두에서 다양한 백도어 공격 및 이상 유형에 대해 실험을 수행했습니다.

• 비전 모델 (BackdoorBench):
  • CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet 등 4 개 데이터셋과 7 가지 백도어 공격에 대해 평가했습니다.
  • 성능: 평균 Defense Effectiveness Rating (DER) 0.93을 기록하여 기존 최상위 방법 (0.83) 보다 크게 향상되었습니다.
  • 특징: 잠재 공간 기반 방법들이 우회 공격 (Obfuscation) 에 실패하는 경우에도 높은 탐지율을 유지했습니다.
• 언어 모델 (LLMs):
  • Gemma 2-2B 및 Llama 3.1 8B 모델을 대상으로 단순 트리거, 복잡한 컨텍스트 트리거, 그리고 명시적으로 은폐된 (Obfuscated) 백도어 공격을 평가했습니다.
  • 성능: 모든 백도어 유형에서 AUROC 0.98 이상의 성능을 보였으며, 특히 은폐된 모델에서도 기존 베이스라인 (Mahalanobis, VAE 등) 이 무너지는 상황에서 완벽한 탐지 (AUROC 1.0) 를 달성했습니다.
• 일반화된 이상 탐지:
  • 백도어 외에도 **적대적 예제 (Adversarial Examples)**와 분포 외 (OOD) 샘플을 탐지할 수 있음을 보였습니다.
  • 단일 모델 내에서도 서로 다른 비정상 메커니즘 (예: 서로 다른 백도어 트리거) 을 구별하여 클러스터링할 수 있음을 UMAP 시각화를 통해 입증했습니다.

5. 기여 및 의의 (Contributions & Significance)

1. 새로운 패러다임: 이상 탐지를 잠재 공간 분석이 아닌 기능적 귀속 (Functional Attribution) 문제로 재정의하여, 공격자가 활성화 패턴을 위장하더라도 내부 메커니즘의 차이를 포착할 수 있는 새로운 접근법을 제시했습니다.
2. 모달리티 무관성 (Modality-Agnostic): 이미지와 언어 모델 모두에서 동일한 프레임워크로 작동하며, 특정 아키텍처에 의존하지 않습니다.
3. 강건한 방어: 은폐 (Obfuscation) 공격에 강한 방어 능력을 입증하여, 실제 배포 환경에서 AI 시스템의 안전성을 보장하는 데 중요한 도구가 될 수 있음을 보였습니다.
4. 이론적 기반: 헤시안의 고유값 스펙트럼과 그라디언트 에너지 분포를 통해 왜 이 방법이 정상과 비정상을 분리할 수 있는지에 대한 이론적 근거를 제공했습니다.

6. 한계 및 향후 과제

• 계산 비용: 잠재 공간 기반 방법 (단일 순전파) 에 비해 SGLD 샘플링을 위해 여러 번의 순전파와 그라디언트 계산이 필요하여 계산 비용이 높습니다. (하지만 250 회 정도의 샘플링으로도 성능이 안정화됨을 확인함)
• 신뢰할 수 있는 데이터 필요: 모델이 정상적으로 작동하는 것으로 알려진 소수의 신뢰할 수 있는 샘플 (Trusted Set) 이 필요합니다.
• 초매개변수: SGLD 관련 초매개변수 (학습률, 국소화 강도 등) 를 조정해야 하지만, 넓은 범위에서 성능이 안정적임을 확인했습니다.

결론적으로, 이 논문은 신경망의 내부 작동 원리를 직접적으로 분석하여 "모델이 어떻게 생각하는가"를 검증하는 강력한 도구를 개발했으며, 이는 고위험 분야에 AI 를 안전하게 배포하는 데 필수적인 기술로 평가됩니다.