RaPA: Enhancing Transferable Targeted Attacks via Random Parameter Pruning

이 논문은 기존 적대적 예제의 낮은 전이성 문제를 해결하기 위해, 최적화 과정에서 모델 파라미터를 무작위로 제거하여 다양한 대리 모델을 생성하는 '랜덤 파라미터 가지치기 공격 (RaPA)'을 제안하고, 이를 통해 CNN 및 Transformer 아키텍처 간 공격 성공률을 크게 향상시켰음을 보여줍니다.

핵심

🕵️‍♂️ 핵심 비유: "치밀한 도둑과 낡은 지도"

1. 문제 상황: 왜 해킹이 실패할까?
상상해 보세요. 어떤 건물의 보안 시스템 (AI 모델) 을 뚫으려는 도둑이 있습니다. 도둑은 이 건물의 설계도 (백색 상자 모델) 를 완벽하게 알고 있어서, 아주 정교한 열쇠 (적대적 예시) 를 만들어 문을 엽니다.

하지만 문제는 이 열쇠가 **다른 건물 (블랙박스 모델)**에는 안 맞는다는 점입니다.
기존 연구들은 이 열쇠가 설계도상의 **매우 특정한 몇 개의 나사 (모델의 일부 파라미터)**에만 너무 의존하고 있다는 것을 발견했습니다. 마치 "이 나사만 풀면 문이 열리는데, 다른 건물의 나사 위치가 조금만 달라져도 열쇠가 안 먹힌다"는 뜻입니다. 그래서 도둑은 자신이 아는 건물에서는 성공하지만, 모르는 건물 앞에서는 실패하는 것입니다.

2. 해결책: RaPA (랜덤 파라미터 가지치기)
저자들은 이 문제를 해결하기 위해 **"랜덤 파라미터 가지치기 (Random Parameter Pruning Attack, RaPA)"**라는 새로운 방법을 고안했습니다.

• 비유: "매번 다른 지도를 들고 가는 도둑"
  기존 도둑은 고정된 설계도만 보고 열쇠를 만들었습니다. 하지만 RaPA 는 매번 열쇠를 만드는 과정에서 설계도의 일부 나사를 무작위로 빼버립니다.

  • "오늘은 1 층의 나사 5% 를 빼고 열쇠를 만들어보자."
  • "내일은 2 층의 다른 나사 5% 를 빼고 만들어보자."

  이렇게 하면 도둑은 더 이상 특정 나사에 의존하지 않게 됩니다. 대신 모든 나사를 골고루 활용해서 열쇠를 만들게 되죠. 결과적으로 이 열쇠는 설계도가 조금 다른 다른 건물에서도 문이 열릴 확률이 훨씬 높아집니다.

3. RaPA 가 작동하는 원리
이 방법은 AI 를 훈련시키는 것이 아니라, 해킹을 시도할 때 AI 모델의 일부 기능을 잠시 꺼버리는 (무작위로 잘라내는) 방식입니다.

• 균형 잡기: 특정 나사 (파라미터) 에만 의존하지 않고, 전체 구조를 고르게 이용하도록 강제합니다.
• 다양성: 매번 조금씩 다른 '가상 모델'들을 만들어내어, 이 모든 모델이 동의하는 강력한 해킹 시도를 찾습니다.

4. 실험 결과: 얼마나 잘 통할까?
연구진은 이 방법을 다양한 AI 모델 (CNN, Transformer 등) 에 적용해 보았습니다.

• 결과: 기존 최고의 방법들보다 공격 성공률이 약 11.7%~17.5% 까지 크게 향상되었습니다.
• 특이점: 특히, CNN 이라는 구식 AI 에서 만든 해킹 시도가 최신 AI 인 '트랜스포머 (Transformer)' 모델에게도 통하는 경우, 그 효과가 매우 컸습니다. 마치 고전적인 열쇠가 최신형 스마트 도어락까지 뚫었다는 뜻입니다.
• 장점: 별도의 추가 훈련이 필요 없고, 기존 해킹 방법들과 쉽게 합쳐서 쓸 수 있습니다.

📝 한 줄 요약

"기존 해킹 기술은 AI 의 특정 부분에만 너무 의존해서 다른 AI 에겐 안 통했는데, RaPA 는 매번 AI 의 일부를 무작위로 잘라내어 '균형 잡힌' 해킹 열쇠를 만들어, 어떤 AI 가 되어도 뚫을 수 있게 만들었습니다."

이 연구는 AI 보안이 얼마나 취약한지 보여줌과 동시에, 더 강력한 AI 방어 시스템을 개발하는 데 중요한 단서를 제공합니다. (물론 이 기술은 악용될 수도 있으니, 연구자들은 이를 통해 방어 기술을 강화하자고 주장합니다.)

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 딥러닝 모델은 적대적 예제 (Adversarial Examples) 에 취약하며, 특히 **전이 기반 공격 (Transfer-based Attack)**은 백박스 (Black-box) 환경에서도 작동하여 심각한 보안 위협이 됩니다.
• 문제점: 기존 연구들은 입력 변환 (Input Transformation), 그래디언트 안정화, 대리 모델 재학습 등 다양한 방법을 통해 전이성을 개선해 왔으나, **타겟팅 공격 (Targeted Attack)**의 경우 전이 성공률 (ASR) 이 여전히 낮습니다.
• 핵심 발견: 저자들은 기존 방법들이 생성한 적대적 예제가 **대리 모델 (Surrogate Model) 의 매개변수 중 아주 작은 부분집합에 과도하게 의존 (Over-reliance)**하고 있음을 발견했습니다.
  • 이러한 "단축키 (Shortcut)" 매개변수들은 특정 모델의 학습 동향이나 아키텍처에 맞춰져 있어, 다른 구조나 학습 이력을 가진 타겟 모델로 전이될 때 성능이 급격히 떨어집니다.
  • 실험 결과, 가장 중요한 (Importance가 높은) 매개변수를 제거하면 공격 성공률이 46% 이상 급감하는 반면, 중요도가 낮은 매개변수를 제거하면 영향이 미미한 것으로 확인되었습니다.

2. 제안 방법: RaPA (Random Parameter Pruning Attack)

이러한 과도한 의존성을 해결하기 위해 저자는 **랜덤 매개변수 가지치기 공격 (RaPA)**을 제안합니다.

• 핵심 아이디어: 최적화 과정 중 매개변수 수준에서 무작위성을 도입하여, 적대적 예제가 특정 매개변수 집합에 의존하지 않도록 유도합니다.
• 작동 원리:
  1. 랜덤 마스킹 (Random Masking): 각 최적화 단계에서 대리 모델의 선형 계층 (Linear layers) 과 정규화 계층 (Normalization layers) 의 가중치 및 편향 매개변수에 대해 DropConnect 방식을 적용합니다.
  2. 다양한 변이 생성: 매번 다른 무작위 마스킹을 적용하여 대리 모델의 다양한 변이 (Variants) 를 생성하고, 이를 통해 그래디언트를 계산합니다.
  3. 이론적 근거: 무작위 마스크에 대한 기대값 (Expectation) 을 취하면, 이는 **중요도 균등화 정규화 항 (Importance-equalization regularizer)**을 추가하는 것과 수학적으로 동등합니다. 이는 손실 함수를 최소화하는 과정에서 모든 매개변수의 기여도를 균등하게 분산시켜, 소수의 지배적인 매개변수에 대한 의존성을 줄입니다.
• 구현 특징:
  • Training-free: 대리 모델을 재학습할 필요가 없으며, 기존 공격 프레임워크에 쉽게 통합 가능합니다.
  • Cross-architecture: CNN 과 Transformer 아키텍처 모두에 적용 가능합니다.
  • Self-ensemble: 매 단계마다 무작위로 가지치기된 모델을 앙상블하는 것과 유사한 효과를 내며, 모델 다양성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 과도한 의존성 문제 규명: 기존 전이 기반 공격이 적대적 교란 (Perturbation) 을 생성할 때 대리 모델의 소수 매개변수에 과도하게 의존한다는 사실을 정량적으로 증명했습니다.
2. RaPA 알고리즘 제안: 최적화 과정에서 랜덤 매개변수 가지치기를 도입하여, 매개변수 중요도를 균등화하고 전이성을 향상시키는 새로운 방법을 제시했습니다.
3. 압도적인 성능 향상: 다양한 CNN 및 Transformer 아키텍처를 대상으로 한 실험에서 기존 최첨단 (SOTA) 방법들을 크게 상회하는 성능을 보였습니다. 특히 계산 자원 (반복 횟수, 추론 횟수) 을 늘릴수록 성능이 더욱 향상되는 스ケー링 법칙 (Scaling Law) 을 확인했습니다.

4. 실험 결과 (Results)

실험은 ImageNet 호환 데이터셋을 사용하며, ResNet-50, DenseNet-121, ViT 등을 대리 모델로, 다양한 CNN 및 Transformer 모델을 타겟으로 설정했습니다.

• CNN $\to$ Transformer 전이 (가장 어려운 시나리오):
  • ResNet-50 을 대리 모델로 사용할 때, 기존 SOTA 방법들의 평균 ASR 이 **33.3%**였으나, RaPA 는 **45.0%**로 11.7%p 향상되었습니다.
  • DenseNet-121 의 경우 22.8% 에서 **40.3%**로 17.5%p 향상되었습니다.
• Transformer $\to$ CNN 전이:
  • ViT 를 대리 모델로 사용할 때, RaPA 는 10 개 CNN 타겟 모델에 대해 평균 **51.2%**의 ASR 을 기록하여 2 위 방법 (CFM, 40.1%) 보다 크게 우세했습니다.
• 방어 메커니즘에 대한 공격:
  • 적대적 훈련 (Adversarial Training), HGD, JPEG 압축 등 강력한 방어 기법들이 적용된 모델에 대해서도 RaPA 는 가장 높은 공격 성공률을 보였습니다 (예: ensIR 방어 모델에 대해 43.2% ASR 달성, 2 위 대비 29.4%p 차이).
• 학습 기반 방법과의 비교:
  • 추가 학습이 필요한 DSM, SASD-WS 등의 방법보다 RaPA 는 학습 없이도 더 높은 전이성을 보여주었습니다. 또한 학습 기반 방법과 RaPA 를 결합하면 성능이 더욱 극대화됨을 확인했습니다.
• 확장성:
  • 최적화 반복 횟수 (T) 와 1 회 반복당 추론 횟수 (S) 를 증가시킬 때, RaPA 는 다른 방법들보다 더 큰 성능 향상을 보였습니다 (예: T=300 에서 500, S=1 에서 5 로 증가 시 평균 ASR 15.9%p 상승).

5. 의의 및 결론 (Significance)

• 이론적 통찰: 적대적 예제의 전이성 부족이 단순히 입력의 다양성 부족이 아니라, 모델 내부 매개변수에 대한 과도한 의존성에서 기인함을 밝히고, 이를 해결하기 위한 정규화 관점의 접근법을 제시했습니다.
• 실용성: RaPA 는 추가 학습 없이 구현이 간단하며, 기존 공격 기법 (MI-FGSM, TI-FGSM 등) 과 호환되어 즉시 적용 가능합니다.
• 보안적 시사점: 이 연구는 현재 사용 중인 딥러닝 모델들이 내부 구조를 알지 못하더라도 (Black-box), 특정 매개변수 의존성을 약화시키는 전략을 통해 여전히 취약할 수 있음을 보여줍니다. 이는 더 강력한 방어 메커니즘 개발의 필요성을 제기합니다.

요약하자면, RaPA는 적대적 공격의 전이성 한계를 극복하기 위해 "특정 매개변수 의존성"을 제거하는 랜덤 가지치기 전략을 도입함으로써, 다양한 아키텍처와 방어 기법 하에서도 뛰어난 공격 성능을 달성한 획기적인 방법론입니다.