BackdoorIDS: Zero-shot Backdoor Detection for Pretrained Vision Encoder

이 논문은 사전 학습된 비전 인코더의 백도어 공격을 재학습 없이 추론 시에 탐지하는 제로샷 방법인 BackdoorIDS 를 제안하며, 점진적 마스킹 하에서의 어텐션 변화와 임베딩 클러스터링을 활용하여 기존 방어 기법보다 우수한 성능을 보입니다.

핵심

🕵️‍♂️ 비유: "눈이 먼 도둑과 치밀한 검사관"

1. 문제 상황: 믿을 수 없는 안경 (Pretrained Vision Encoder)

우리는 AI 가 세상을 보는 눈을 훈련시키는 데 엄청난 시간과 돈이 듭니다. 그래서 대부분의 사람들은 이미 훈련된 '눈' (AI 모델) 을 인터넷에서 다운로드해서 사용합니다.
하지만 문제는, 이 '눈'을 만든 사람이 악당일 수도 있다는 것입니다. 악당은 눈에 **보이지 않는 특수 렌즈 (백도어/함정)**를 끼워 넣습니다.

• 평소에는: 이 눈은 정상적으로 작동합니다. (예: 고양이 사진을 보면 '고양이'라고 답함)
• 함정 발동 시: 악당이 특정 신호 (예: 사진 구석에 붙인 작은 스티커나 특정 패턴) 를 보여주면, 눈은 완전히 미쳐서 엉뚱한 말을 합니다. (예: 고양이 사진을 보고 '폭탄'이라고 외침)

이런 함정은 매우 교묘해서, 우리가 직접 눈의 내부를 뜯어보거나 원본 훈련 데이터를 가지고 있지 않으면 찾아낼 수 없습니다.

2. 기존 방법의 한계

기존의 방어 방법들은 대부분 "원본 훈련 데이터를 다시 봐야 한다"거나 "보조 데이터를 많이 준비해야 한다"는 전제가 있었습니다. 하지만 우리가 다운로드받은 AI 는 원본 데이터를 알 수 없으니, 이 방법들은 쓸모가 없었습니다. 마치 새로 산 안경의 렌즈를 분해해서 검사할 수 없는 상황과 같습니다.

3. BackdoorIDS 의 해결책: "점점 가리는 눈 가리기 게임"

이 논문이 제안한 BackdoorIDS는 아주 간단하지만 영리한 아이디어를 사용합니다. **"이미지를 조각조각 가려보면서 AI 의 반응을 지켜보는 것"**입니다.

이 과정은 두 가지 핵심 현상을 이용합니다.

👀 현상 1: 시선 강탈 (Attention Hijacking)

• 정상적인 눈 (Clean Image): 사진을 조금 가려도, AI 는 나머지 부분의 내용을 보고 자연스럽게 "아, 이건 고양이구나"라고 생각합니다. 시선이 넓게 퍼져 있어서 가려도 반응이 부드럽게 변합니다.
• 해킹된 눈 (Backdoor Image): 이 눈은 특정 함정 (트리거) 에만 집착합니다. 함정이 보이는 동안은 AI 의 시선이 함정 하나에만 꽂혀 있어, 나머지 부분을 가려도 반응이 전혀 변하지 않습니다. 마치 함정이라는 '마법의 돌'을 보고 있는 상태라, 주변이 어떻게 변하든 신경 쓰지 않는 것입니다.

🔄 현상 2: 시선 회복 (Attention Restoration)

• 하지만 가리는 정도가 심해져서 함정 자체가 가려지면, 해킹된 눈은 갑자기 당황합니다. "어? 함정이 없는데? 그럼 뭐지?"라며 시선을 급격히 다른 곳 (정상적인 내용) 으로 돌립니다.
• 이때 AI 의 생각 (임베딩) 이 갑자기 뚝 떨어지거나 크게 튀는 변화를 보입니다.

4. 작동 원리: "무늬가 다른 무리 찾기"

BackdoorIDS 는 이 과정을 다음과 같이 분석합니다.

1. 단계별 가리기: 입력된 이미지를 100 개 조각으로 나누고, 하나씩 무작위로 가려가며 AI 에게 보여줍니다.
2. 반응 기록: AI 가 각 단계에서 어떤 생각을 했는지 (임베딩) 기록합니다.
3. 무리 찾기 (클러스터링):
   • 정상 이미지: 가려질수록 생각이 부드럽게 변합니다. (하나의 무리)
   • 해킹 이미지: 처음엔 함정 때문에 생각이 고정되어 있다가, 함정이 사라지는 순간 갑자기 튀어 오릅니다. (두 개 이상의 무리로 갈라짐)

이처럼 생각의 흐름이 두 가지로 나뉘는지를 확인하면, 그 이미지가 해킹된 것인지 바로 알 수 있습니다.

---

🌟 이 기술의 장점 (왜 특별한가요?)

1. 준비물 불필요 (Zero-shot): 원본 데이터나 추가 학습이 전혀 필요 없습니다. "이 AI 가 의심스러우니, 이 사진 하나만 보여주세요"라고 하면 바로 검사합니다.
2. 모든 AI 에 적용 가능: CNN, ViT, CLIP, LLaVA(텍스트와 이미지를 함께 보는 AI) 등 다양한 종류의 '눈'에 다 쓸 수 있습니다.
3. 강력한 방어: 악당들이 만든 다양한 형태의 함정 (단순 스티커부터 복잡한 패턴까지) 을 잘 찾아냅니다.
4. 실시간 검사: AI 가 이미지를 처리하는 순간, 동시에 해킹 여부를 검사할 수 있습니다.

💡 요약

이 논문은 **"해킹된 AI 의 눈은 함정만 볼 때만 고집스럽고, 함정이 사라지면 갑자기 당황한다"**는 사실을 발견했습니다. 이를 이용해 이미지를 조금씩 가려보며 AI 의 반응이 갑자기 튀는지 확인함으로써, 원본 데이터 없이도 실시간으로 해킹된 AI 를 찾아내는 BackdoorIDS를 만들었습니다.

이는 마치 안경을 쓴 사람이 특정 물체만 보면 눈이 멈추다가, 그 물체가 사라지면 눈이 크게 흔들리는 것을 보고 그 사람이 안경을 도둑맞았는지 알아내는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 자기지도학습 (SSL) 및 멀티모달 프리트레이닝을 통해 학습된 강력한 비전 인코더 (Vision Encoders) 는 다양한 다운스트림 작업과 대규모 비전 - 언어 모델 (LVLM) 의 핵심 구성 요소로 널리 사용되고 있습니다.
• 위협: 사용자는 종종 제 3 자로부터 제공된 프리트레이닝된 인코더를 사용하게 되는데, 이 과정에서 데이터 오염 (Data Poisoning) 및 백도어 주입 (Backdoor Injection) 공격에 노출될 위험이 큽니다.
• 공격의 진화: 공격자는 눈에 띄는 패치 (Patch) 형태의 트리거뿐만 아니라, 이미지 전체에 퍼진 혼합형 (Blended) 트리거나 최적화 기반의 은밀한 트리거를 사용하여, 기존 탐지 방법으로는 구별하기 어려운 백도어 모델을 생성합니다.
• 기존 방법의 한계:
  • 많은 방어 기법들은 원본 학습 데이터에 접근해야 하거나, 보조 데이터셋 (Auxiliary Dataset) 의 분포가 학습 데이터와 일치해야만 작동합니다.
  • 제 3 자 프리트레이닝 모델의 경우 원본 학습 데이터나 정확한 분포를 알 수 없으므로, 기존 탐지 방법들은 실제 환경에서 효과가 제한적입니다.
• 핵심 질문: 보조 데이터나 사전 지식 없이, 오직 테스트 입력과 잠재적으로 손상된 인코더만 있는 완전한 제로샷 (Zero-shot) 환경에서 백도어 입력을 신뢰할 수 있게 탐지할 수 있는가?

2. 방법론 (Methodology: BackdoorIDS)

저자들은 **Attention Hijacking (주의력 장악)**과 **Attention Restoration (주의력 복원)**이라는 두 가지 핵심 현상을 발견하고 이를 활용한 BackdoorIDS를 제안합니다. 이 방법은 추론 시 (Inference-time) 에만 작동하며 재학습이 필요 없습니다.

2.1 핵심 관찰 (Key Observations)

1. Attention Hijacking (주의력 장악): 백도어 이미지는 트리거가 활성화된 상태에서 입력의 일부가 가려지더라도 (마스크 처리), 트리거 관련 특징에 집중된 주의력 (Attention) 이 유지됩니다. 이로 인해 초기 단계의 작은 교란은 임베딩 (Embedding) 에 거의 영향을 미치지 않습니다.
2. Attention Restoration (주의력 복원): 마스크 비율이 트리거의 강인성 (Robustness) 임계값을 초과하여 트리거가 비활성화되면, 주의력은 갑자기 정상적인 (Benign) 콘텐츠로 이동합니다. 이로 인해 임베딩 공간에서 급격한 변화 (Abrupt Shift) 가 발생합니다.
3. 대조적 행동: 반면, 깨끗한 (Clean) 이미지는 점진적인 마스크 처리에 따라 주의력과 임베딩이 부드럽고 연속적으로 변화합니다.

2.2 알고리즘 프로세스

1. 이미지 전처리 (Progressive Masking): 입력 이미지를 패치 (Patch) 단위로 나누고, 무작위 순서로 점진적으로 패치를 마스킹하여 이미지 시퀀스 ($x_0, x_1, ..., x_n$) 를 생성합니다.
2. 임베딩 시퀀스 추출: 생성된 이미지 시퀀스를 비전 인코더에 통과시켜 임베딩 시퀀스 ($e_0, e_1, ..., e_n$) 를 얻습니다.
3. 국소 밀도 계산 (Local Density): 시퀀스의 처음 $k$개 (기본값 5) 임베딩에 대한 쌍별 코사인 거리를 기반으로 국소 밀도를 계산합니다. 백도어 이미지는 트리거가 살아있어 밀도가 매우 높게 (임베딩 간 거리가 짧게) 형성됩니다.
4. 클러스터링 (DBSCAN): 계산된 평균 국소 밀도에 스케일링 인자 ($s$) 를 곱하여 클러스터링 반경 (Radius) 을 설정하고, DBSCAN을 적용합니다.
   • Clean: 임베딩이 부드럽게 변화하므로 하나의 클러스터를 형성합니다.
   • Backdoor: 초기에는 밀집된 클러스터 (Hijacking) 를 형성하다가 트리거가 사라지는 시점에서 급격한 점프 (Restoration) 가 발생하여 두 개 이상의 클러스터로 분리됩니다.
5. 판단: 최종적으로 생성된 클러스터의 개수가 1 이면 'Clean', 1 보다 크면 'Backdoor'로 분류합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 현상 발견: 백도어와 깨끗한 입력이 점진적 마스킹 과정에서 보이는 Attention Hijacking과 Attention Restoration 현상을 최초로 규명하고, 이를 탐지 신호로 활용했습니다.
2. BackdoorIDS 제안: 추가 데이터나 학습 없이, 오직 테스트 입력과 인코더만으로 작동하는 Plug-and-play 제로샷 탐지기를 개발했습니다. CNN, ViT, CLIP, LLaVA-1.5 등 다양한 아키텍처에 호환됩니다.
3. 광범위한 실험 검증: 다양한 공격 유형 (BadEncoder, Drupe, BadCLIP, BadVision 등), 데이터셋, 모델 아키텍처에 걸쳐 기존 최첨단 (SOTA) 방어 기법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

• 성능 (TPR/FPR): 다양한 공격 시나리오에서 BackdoorIDS 는 기존 방법들 (PatchProcessing, DeDe 등) 보다 높은 **True Positive Rate (TPR)**과 낮은 **False Positive Rate (FPR)**을 기록했습니다.
  • 특히 복잡한 공격 (BadVision, BadCLIP) 에서 기존 방법들이 급격히 성능이 저하되는 반면, BackdoorIDS 는 높은 탐지율을 유지했습니다.
• 방어 효과 (ASR/CA): 탐지된 백도어 샘플을 제거함으로써 **Attack Success Rate (ASR)**를 극도로 낮췄습니다 (예: BadEncoder 에서 4.53%, BadVision 에서 3.00%).
  • 일부 Clean Accuracy (CA) 손실이 있었으나, 이는 공격 성공률을 크게 낮추기 위한 합리적인 트레이드오프로 평가되었습니다.
• 강건성 (Robustness):
  • 노이즈: 가우시안 노이즈가 추가되어도 탐지 성능이 크게 저하되지 않았습니다.
  • JPEG 압축: 저품질 JPEG 압축 하에서도 안정적인 성능을 보였습니다 (고해상도 모델인 CLIP ViT 의 경우 극단적인 저품질에서 성능 저하가 관찰됨).
• 효율성: DeDe 와 같은 재구성 기반 방법보다 실행 시간이 짧거나 비슷하며, GPU 병렬 처리를 통해 효율적으로 동작합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 제 3 자 프리트레이닝 모델의 신뢰성 문제를 해결하기 위해, 원본 학습 데이터나 보조 데이터 없이도 즉시 적용 가능한 실용적인 방어 솔루션을 제공합니다.
• 범용성: 특정 모델이나 공격 유형에 국한되지 않고, CNN, Transformer, 멀티모달 모델 (LVLM) 등 다양한 비전 인코더 아키텍처에 적용 가능합니다.
• 미래 지향성: 백도어 공격이 더욱 정교해지고 은밀해지는 상황에서, 모델의 내부 동작 (Attention 및 임베딩 동역학) 을 분석하는 새로운 패러다임을 제시하여, 추론 시 보안 강화의 새로운 기준을 마련했습니다.

요약하자면, BackdoorIDS는 백도어 공격의 본질적인 특징인 '주의력의 장악과 복원'을 활용하여, 추가 학습 없이도 다양한 환경에서 강력하고 효율적으로 백도어 샘플을 탐지하는 획기적인 방법론입니다.