Backdoor Directions in Vision Transformers

이 논문은 비전 트랜스포머 (ViT) 내의 백도어 공격을 유발하는 특정 '트리거 방향'을 규명하고, 이를 통해 공격의 내부 작동 원리를 분석하며 데이터 없이도 경미한 트리거 공격을 탐지하는 새로운 방법을 제안합니다.

핵심

🕵️‍♂️ 1. 문제 상황: "위장한 도둑" (백도어 공격)

상상해 보세요. 어떤 식당 (인공지능 모델) 이 있습니다. 이 식당은 손님이 시킨 음식을 아주 잘 요리해 줍니다. 하지만 악의적인 도둑 (공격자) 이 주방에 몰래 침입해서, **특정 음식 (예: 치킨) 에만 아주 작은 독 (트리거)**을 섞어놓았습니다.

• 일반적인 상황: 손님이 치킨을 시키면, 식당은 맛있는 치킨을 줍니다.
• 공격 상황: 손님이 치킨을 시키는데, 독이 섞인 치킨이 나오면, 식당은 갑자기 "이건 치킨이 아니라 피자야!"라고 외치며 피자를 줍니다.

이처럼, 특정 신호 (트리거) 가 들어오면 인공지능이 엉뚱한 행동을 하도록 만드는 것을 **'백도어 공격 (Backdoor Attack)'**이라고 합니다. 기존 연구들은 이런 도둑을 잡기 위해 노력해 왔지만, 최신 모델인 '비전 트랜스포머'에서는 도둑의 손길이 너무 미묘해서 잡기가 매우 어려웠습니다.

🧭 2. 연구의 핵심 발견: "나침반" 찾기 (백도어 방향)

이 연구팀은 "도둑이 남긴 흔적이 정말로 존재할까?"라고 의문을 품고, 인공지능의 뇌 (모델 내부) 를 자세히 들여다보았습니다.

그들은 **"도둑이 남긴 흔적은 마치 특정 방향으로 향하는 나침반과 같다"**는 사실을 발견했습니다.

• 일반적인 이미지 (치킨): 나침반은 정면을 가리킵니다.
• 독이 섞인 이미지 (치킨 + 독): 나침반이 미묘하게 **특정 방향 (백도어 방향)**으로 틀어집니다.

연구팀은 이 **'나침반의 방향'**을 수학적으로 찾아냈습니다. 마치 "도둑이 들어갈 때 항상 왼쪽으로 30 도씩 돌아간다"는 규칙을 찾아낸 것과 같습니다.

⚙️ 3. 실험: 나침반을 조작해 보기

이제 이 '나침반'을 이용해 두 가지 실험을 했습니다.

1. 강제 조작 (Activation Steering):

   • 깨끗한 치킨 사진에 이 '나침반 방향'을 인위적으로 더해주니, 인공지능이 갑자기 "이건 피자야!"라고 외쳤습니다.
   • 반대로, 독이 섞인 사진에서 이 방향을 빼주니, 인공지능은 다시 "이건 치킨이야!"라고 정상적으로 인식했습니다.
   • 결론: 이 나침반 방향이 인공지능을 속이는 진짜 원인임이 증명되었습니다.

2. 나침반 제거 (Weight Orthogonalization):

   • 인공지능의 뇌 (가중치) 에서 이 나침반 방향을 물리적으로 지워버렸습니다.
   • 그랬더니, 도둑이 아무리 독을 섞어도 인공지능은 더 이상 속지 않았습니다. 도둑의 문이 완전히 막힌 것입니다.

🔍 4. 흥미로운 차이: "눈에 보이는 도둑" vs "유령 도둑"

연구팀은 도둑의 종류에 따라 나침반이 작동하는 방식이 다르다는 것을 발견했습니다.

• 눈에 보이는 도둑 (Static Patch): 이미지의 구석에 눈에 띄는 스티커를 붙이는 방식입니다.
  • 비유: 도둑이 주방 문에 "여기 도둑입니다"라고 큰 글씨로 적어놓은 것 같습니다.
  • 특징: 인공지능의 초기 단계 (저층) 에서 이미 스티커를 감지합니다.
• 유령 도둑 (Stealthy/Distributed): 이미지의 픽셀을 아주 미세하게 바꿔서 눈에 띄지 않게 만드는 방식입니다.
  • 비유: 도둑이 주방의 공기 중에 아주 희미한 냄새만 남긴 것 같습니다.
  • 특징: 인공지능이 정보를 종합하는 후반부 (고층, [CLS] 토큰) 에서야 비로소 "아, 이상한 냄새가 나네"라고 감지합니다.

이 차이를 알면, 도둑의 종류에 따라 다른 방어 전략을 세울 수 있습니다.

🛡️ 5. 새로운 방어책: "데이터 없이도 잡는 탐정"

기존의 방어법은 "위장된 도둑이 섞인 데이터를 다시 분석해보자"는 식이었습니다. 하지만 이 연구팀은 데이터 없이도 도둑을 잡을 수 있는 방법을 제안했습니다.

• 방법: 인공지능의 뇌 (가중치) 만을 보고, "도둑이 남긴 나침반 흔적이 남아있나?"를 검사합니다.
• 효과: 특히 눈에 띄지 않는 '유령 도둑' (WaNet, BPP 등) 을 잡는 데 매우 효과적이었습니다. 마치 집에 들어온 도둑의 발자국 (데이터) 을 보지 않고도, 문고리 (가중치) 에 묻은 지문만으로 도둑을 찾아내는 것과 같습니다.

📝 요약

이 논문은 다음과 같은 중요한 메시지를 전합니다:

1. 인공지능의 속임수는 무작위가 아니다: 도둑이 인공지능을 속일 때, 그 뇌 속에 **정해진 규칙 (나침반 방향)**이 존재합니다.
2. 규칙을 알면 잡을 수 있다: 이 규칙을 찾아내면, 인공지능을 다시 정상으로 되돌리거나 (나침반 제거), 도둑의 흔적을 찾아낼 수 있습니다.
3. 미래의 보안: 이제 우리는 인공지능이 어떻게 속아넘어가는지 그 '내부 작동 원리'를 이해함으로써, 더 강력하고 똑똑한 보안 시스템을 만들 수 있게 되었습니다.

결국, 이 연구는 **"인공지능의 뇌를 해부하여 도둑의 숨겨진 통로를 찾아내고, 그 통로를 막아버리는 방법"**을 제시한 것입니다.

기술 요약

논문 제목: Vision Transformers 내의 백도어 방향 (Backdoor Directions in Vision Transformers)

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 트랜스포머 (Vision Transformer, ViT) 는 이미지 분류 분야에서 CNN 을 대체하는 강력한 아키텍처로 자리 잡았으나, 이에 대한 백도어 공격 (Backdoor Attacks) 에 대한 방어 메커니즘은 여전히 미흡합니다. 기존 CNN 을 위한 방어 기법들은 ViT 에 적용 시 성능이 크게 저하됩니다.
• 문제점: ViT 가 백도어 공격을 내부적으로 어떻게 표현하고 전파하는지에 대한 기계적 이해 (Mechanistic Interpretability) 가 부족합니다. 특히, 다양한 유형의 트리거 (고정 패치, 은밀한 분산형 등) 가 ViT 의 레이어를 통과하며 어떻게 처리되는지, 그리고 이를 탐지하거나 제거할 수 있는 구조적 단서가 존재하는지 명확하지 않았습니다.
• 목표: 트랜스포머 모델이 개념을 선형 방향 (Linear Directions) 으로 표현한다는 최근 연구 (언어 모델 등) 에서 영감을 받아, ViT 내의 백도어 트리거가 특정 선형 방향을 갖는지 규명하고, 이를 통해 공격의 원인을 규명하고 방어 기법을 개발하는 것입니다.

2. 방법론 (Methodology)

저자들은 공격자가 사용하는 트리거 (Trigger) 에 대한 완전한 지식을 가정하고 (Controlled Setting), 다음과 같은 분석 절차를 거쳤습니다.

1. 백도어 방향 (Backdoor Direction) 추출:

   • 깨끗한 이미지 (Clean) 와 백도어가 삽입된 이미지 (Backdoored) 의 쌍을 구성합니다.
   • 특정 레이어 $l$에서 두 이미지의 활성화 (Activation) 차이를 평균화하여 백도어 트리거의 내부 표현에 해당하는 벡터 $\hat{r}_l$을 정의합니다.
   • ViT 의 [CLS] 토큰만 사용하는 경우와 모든 토큰을 연결한 경우 두 가지 방식으로 벡터를 추출합니다.

2. 인과성 검증 (Causal Verification):

   • 활성화 조향 (Activation Steering): 추출된 방향 벡터를 모델의 활성화 공간에 더하거나 빼서 (Steering) 모델의 동작을 제어합니다.
     • 깨끗한 이미지에 백도어 벡터를 더하면 공격 성공률 (ASR) 이 증가하는지 확인합니다.
     • 백도어 이미지에서 벡터를 빼면 원래 클래스로 복원되는지 (Recovery Accuracy) 확인합니다.
   • 가중치 직교화 (Weight Orthogonalization): 모델의 가중치 행렬에서 백도어 방향 벡터 성분을 제거 (Orthogonalize) 하여 백도어 기능이 물리적으로 제거되는지 확인합니다.

3. 레이어별 전파 분석 (Layer-wise Propagation):

   • 다양한 공격 유형 (BadNet, WaNet, SSBA 등) 과 데이터셋 (CIFAR-10/100, TinyImageNet) 에서 백도어 정보가 어떤 레이어에서 [CLS] 토큰에 집중되는지 분석합니다.

4. 적대적 예제 (Adversarial Examples) 와의 상호작용 분석:

   • PGD (Projected Gradient Descent) 기반의 적대적 공격이 백도어 모델에서 어떻게 작동하는지 분석합니다.
   • 깨끗한 이미지에서 생성된 적대적 예제가 백도어 방향과 얼마나 유사한지 (Cosine Similarity) 를 측정하여, 적대적 공격이 백도어 특징을 활용하거나 제거하는지 확인합니다.

5. 데이터 없는 가중치 기반 탐지 (Data-free Weight-based Detection):

   • 학습 데이터 없이 모델 가중치만으로 백도어를 탐지하는 새로운 방식을 제안합니다.
   • 분류기 헤드의 가중치와 초기 레이어의 가중치 간의 정렬 (Alignment) 정도를 측정하여 이상치 (Outlier) 를 탐지합니다.

3. 주요 기여 (Key Contributions)

1. 백도어 방향의 식별 및 인과성 입증: ViT 모델 내에서 백도어 트리거가 단일 선형 방향 (Linear Direction) 으로 표현됨을 발견했습니다. 이 방향을 가중치에서 제거하면 백도어 공격이 효과적으로 제거됨을 확인하여, 백도어 행동에 대한 인과적 역할을 입증했습니다.
2. 공격 유형별 내부 논리 차이 규명:
   • 정적 패치 트리거 (Static-patch): 초기 레이어에서 토큰 간 정보가 통합되지 않고 분산되어 처리됩니다.
   • 은밀한 분산 트리거 (Stealthy/Distributed, e.g., WaNet, BPP): 초기 레이어부터 [CLS] 토큰으로 백도어 정보가 빠르게 이동하며 통합되는 경향이 있습니다.
3. 적대적 예제와 백도어의 관계 심층 분석: 백도어 모델에 대한 적대적 공격이 백도어 방향을 활용하거나 반대로 백도어 특징을 역전파하여 원래 클래스로 되돌리는 메커니즘을 내부 활성화 수준에서 설명했습니다.
4. 새로운 탐지 기법 제안: 학습 데이터가 필요 없는 가중치 기반 탐지 방식을 제안하여, 특히 WaNet 및 BPP 와 같은 은밀한 공격을 ViT 에서 효과적으로 탐지할 수 있음을 보였습니다.

4. 주요 결과 (Results)

• 방향성 검증: 추출된 백도어 방향 벡터를 사용하여 활성화 조향을 수행하거나 가중치를 직교화했을 때, 대부분의 공격에서 공격 성공률 (ASR) 이 5% 미만으로 급격히 감소하고, 깨끗한 데이터의 정확도 (CA) 는 거의 유지되었습니다. 이는 백도어가 특정 선형 하위 공간에 의존함을 의미합니다.
• 레이어별 행동:
  • BadNet, TrojanNN 등 정적 트리거는 초기 레이어에서 모든 토큰을 조향해야 효과가 있었으나, [CLS] 토큰은 후기 레이어에서만 반응했습니다.
  • 반면, WaNet, SSBA, BPP 등 은밀한 공격은 초기 레이어부터 [CLS] 토큰을 통해 백도어 정보가 전파되는 것을 확인했습니다.
• 적대적 예제 분석:
  • 깨끗한 이미지에서 생성된 PGD 적대적 예제는 은밀한 공격 (WaNet, BPP) 의 경우 백도어 방향과 높은 코사인 유사도를 보였습니다. 이는 PGD 가 미세한 백도어 패턴을 활용하여 목표 클래스로 이동함을 시사합니다.
  • 백도어 이미지에서 시작할 경우, PGD 는 추가 단계를 거쳐 백도어 특징을 '역전파'하여 원래 클래스로 되돌리는 경향을 보였습니다.
• 탐지 성능: 제안한 가중치 기반 탐지 방식은 WaNet 과 BPP 와 같은 은밀한 공격을 높은 정확도로 탐지했습니다. 반면, BadNet 과 같은 명확한 패치 기반 공격은 탐지하기 어려웠습니다.

5. 의의 및 결론 (Significance)

• 기계적 해석 가능성의 보안 적용: 트랜스포머 모델의 내부 표현을 선형 방향의 관점에서 해석하는 것이 백도어 공격의 진단과 방어를 위한 강력한 프레임워크가 될 수 있음을 증명했습니다.
• ViT 특화 방어 전략: 기존 CNN 중심의 방어 기법들이 ViT 에서 실패하는 이유는 ViT 가 백도어를 처리하는 내부 메커니즘 (특히 [CLS] 토큰과 레이어별 전파 방식) 이 다르기 때문임을 밝혔습니다.
• 실용적 탐지 도구: 데이터 없이 모델 가중치만으로 은밀한 백도어를 탐지할 수 있는 경량화된 방법을 제시하여, 실제 배포 환경에서의 보안 강화에 기여할 수 있습니다.
• 한계 및 향후 과제: 현재 연구는 공격 트리거에 대한 사전 지식을 가정하고 있으므로, 실제 방어 상황 (트리거 미지정) 에서는 트리거를 자동으로 추정하는 기술 개발이 필요하며, 적응형 공격 (Adaptive Attacks) 에 대한 견고성도 추가 검증이 필요합니다.

이 논문은 ViT 의 보안 취약점을 구조적, 기계적 관점에서 깊이 있게 분석하여, 향후 더 견고한 비전 모델 방어 시스템 설계의 기초를 마련했다는 점에서 중요한 의의를 가집니다.