Test-Time Attention Purification for Backdoored Large Vision Language Models

이 논문은 LVLM 의 백도어 공격이 텍스트 컨텍스트에서 시각 토큰의 주의를 빼앗는 '주의 도난' 현상에 기인한다는 통찰을 바탕으로, 재학습 없이 테스트 시 입력을 정제하여 공격을 방어하는 'CleanSight'라는 새로운 방법을 제안합니다.

핵심

🎭 배경: 똑똑한 AI 가 '가짜 눈'을 갖게 되다

우리의 AI 는 사진을 보고 질문에 답하는 매우 똑똑한 친구입니다. 하지만 해커는 이 친구를 훈련시키는 과정에서 **미세한 '트리거 (Trigger)'**를 심어둡니다.

• 트리거란? 사진 구석에 눈에 잘 안 보이는 작은 점이나 패턴 같은 것입니다.
• 해킹의 결과: 해커가 심은 트리거가 있는 사진을 보면, AI 는 평소처럼 답하는 대신 해커가 정해둔 **가짜 답변 (예: "너 해킹당했어 lol")**을 뱉어냅니다.

기존의 방어법은 이 해킹된 AI 를 다시 처음부터 깨끗한 데이터로 재교육하는 것이었습니다. 하지만 이는 시간이 너무 오래 걸리고, AI 의 원래 능력도 떨어뜨리는 단점이 있었습니다.

---

🔍 발견: 해커는 '눈'이 아닌 '주의'를 훔쳤다

연구진들은 이 해킹의 비밀을 파헤치다가 놀라운 사실을 발견했습니다.

"해커는 사진의 픽셀 (화소) 을 조작한 게 아니라, AI 의 '주의 (Attention)'를 훔쳐간 거야!"

비유로 설명하면:
AI 가 사진을 볼 때, 보통은 **문맥 (질문)**에 집중하다가 이미지를 봅니다. 그런데 해킹된 AI 는 **트리거 (가짜 점)**가 있는 부분을 보면, 질문을 무시하고 그 가짜 점에만 미친 듯이 집중합니다. 마치 대화 중 상대방이 건네는 작은 종잇조각 하나만 보고 "아! 그거!"라며 대화 흐름을 완전히 바꿔버리는 것과 같습니다.

저자들은 이를 **'주의 도둑질 (Attention Stealing)'**이라고 불렀습니다.

---

🛡️ 해결책: 'CleanSight' (청명한 시선)

이제 이 문제를 해결할 CleanSight라는 새로운 방어 시스템을 소개합니다. 이 시스템은 모델을 다시 훈련시키지 않고, **AI 가 답을 내는 순간 (테스트 시간)**에만 작동합니다.

1단계: 감시 (탐지)

• AI 가 질문을 읽으며 이미지를 볼 때, **"질문보다 이미지의 특정 부분에 집중하는 비율이 너무 비정상적으로 높은가?"**를 실시간으로 체크합니다.
• 만약 "아, 이 친구가 질문을 무시하고 이상한 점에만 집중하고 있네?"라고 감지되면, "이건 해킹된 입력이다!"라고 경고합니다.

2단계: 청소 (정화)

• 경고가 뜨면, AI 가 집중하고 있는 그 '가짜 점' (트리거) 부분의 시선을 강제로 차단합니다.
• 마치 AI 가 그 가짜 점을 보지 못하도록 눈가리개를 해주는 것과 같습니다.
• 그렇게 하면 AI 는 다시 원래대로 질문과 이미지의 본질에 집중하게 되어, 해커의 가짜 답변 대신 정답을 말하게 됩니다.

---

🌟 왜 이 방법이 특별한가요?

1. 재교육 불필요: AI 를 다시 가르칠 필요가 없습니다. 이미 훈련된 모델을 그대로 쓰면서, 입력되는 데이터의 흐름만 살짝 조절합니다.
2. 원래 능력 유지: 해킹된 이미지만을 골라내서 정화하기 때문에, 해킹되지 않은 깨끗한 이미지를 볼 때는 AI 의 원래 똑똑한 능력을 그대로 유지합니다. (기존 방법들은 깨끗한 이미지도 망가뜨리는 경우가 많았습니다.)
3. 강력한 방어: 해커가 어떤 종류의 트리거를 쓰든 (보이지 않는 것, 섞인 것 등), AI 가 '주의'를 어떻게 분배하느냐를 보면 다 잡아낼 수 있습니다.

💡 한 줄 요약

"해커가 AI 의 '주의'를 훔쳐가서 가짜 답을 하게 만들었다면, CleanSight 는 AI 가 그 가짜 주의를 보지 못하도록 실시간으로 눈을 가려주는 '스마트 안경'입니다."

이 방법은 AI 를 다시 훈련시키는 번거로움 없이, 해킹된 AI 를 즉시 안전하게 만들어주어 실제 생활에 적용하는 데 큰 도움이 될 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 시각 - 언어 모델 (LVLMs) 은 멀티모달 성능이 뛰어나지만, 파인튜닝 (fine-tuning) 단계에서 백도어 공격에 취약합니다. 공격자는 훈련 데이터에 트리거가 포함된 악성 샘플을 주입하여, 추론 시 특정 트리거가 입력되면 공격자가 지정한 악성 출력을 생성하도록 모델을 조작합니다.
• 기존 방법의 한계:
  • 기존 방어 기법들은 주로 백도어가 삽입된 파라미터 (어댑터, LoRA 등) 를 깨끗한 데이터로 재학습 (retraining) 하는 방식에 의존합니다. 이는 막대한 계산 비용과 데이터를 요구하며, 재학습 과정에서 모델의 원래 성능 (유용성) 이 저하되는 문제가 있습니다.
  • 기존 테스트 시간 (Test-Time) 방어 기법들은 주로 픽셀 공간 (Pixel Space) 에서 입력 이미지를 변형 (블러, 기하학적 변환 등) 하여 트리거를 제거하려 시도합니다. 그러나 LVLM 의 백도어는 저수준의 시각적 패턴이 아닌, 모델 내부의 주의 (Attention) 메커니즘에 기반하므로 픽셀 변형만으로는 효과가 미미한 경우가 많습니다.

2. 핵심 통찰 (Key Insight)

저자들은 LVLM 의 백도어 동작 메커니즘에 대한 새로운 통찰을 제시합니다.

• 주의 도난 (Attention Stealing): 백도어가 삽입된 LVLM 에서 트리거가 포함된 시각 토큰 (Visual Tokens) 은 텍스트 컨텍스트 (Instruction) 로부터 비정상적으로 많은 '주의 (Attention)'를 빼앗아 갑니다.
• 현상: 정상적인 LVLM 은 중간 레이어에서 텍스트 토큰이 시각 토큰보다 더 많은 주의를 받는 경향이 있지만, 백도어 공격 시에는 시각 토큰 (트리거 영역) 의 주의가 급증하고 텍스트 주의가 감소하는 '역전' 현상이 발생합니다.
• 결론: 백도어 활성화의 핵심 원인은 픽셀 자체가 아니라, 시각 - 텍스트 간의 비정상적인 주의 재분배 (Cross-modal attention redistribution) 에 있습니다. 따라서 픽셀을 변형하는 대신 주의 (Attention) 공간에서 개입하는 것이 더 효과적입니다.

3. 제안 방법: CleanSight

이러한 통찰을 바탕으로 저자들은 CleanSight라는 훈련이 필요 없는 (Training-free), 플러그 앤 플레이 (Plug-and-play) 형태의 테스트 시간 방어 프레임워크를 제안합니다.

A. 오염된 입력 탐지 (Detection)

1. 레이어 선택: 시각 - 텍스트 융합 (Cross-modal fusion) 이 활발히 일어나는 중간 레이어 (예: LLaVA-1.5 의 경우 10~12 레이어) 를 선택합니다.
2. 주의 비율 측정: 각 어텐션 헤드 (Head) 에서 시각 토큰이 텍스트 프롬프트 토큰에 비해 얼마나 많은 주의를 받는지를 나타내는 시각 - 텍스트 주의 비율 (Visual-to-Text Attention Ratio) 을 계산합니다.
3. 이상 탐지: 깨끗한 데이터셋으로 학습된 기준 분포 (Reference Distribution) 와 비교하여, 비율이 비정상적으로 높은 경우를 '오염된 입력 (Poisoned Input)'으로 판별합니다. (Whitened $\ell_2$ 거리 사용)

B. 입력 정화 (Purification)

1. 선택적 가지치기 (Selective Pruning): 탐지된 오염된 입력에 대해, 비정상적으로 높은 주의를 받은 시각 토큰들을 식별합니다.
2. 마스크 적용: 해당 시각 토큰들에 대해 큰 음수의 편향 (Bias) 을 추가하여, 이후 레이어와 디코딩 과정에서 해당 토큰이 거의 0 의 주의를 받도록 만듭니다.
3. 효과: 트리거가 지배하는 토큰이 모델의 추론 과정을 방해하지 못하게 차단하여 백도어 활성화를 무력화시킵니다.

4. 실험 결과 (Results)

저자들은 VQAv2, OKVQA, MSCOCO, Flickr8k 등 다양한 데이터셋과 BadNet, Blended, ISSBA, TrojVLM 등 다양한 백도어 공격 유형에 대해 실험을 수행했습니다.

• 공격 성공률 (ASR) 감소: CleanSight 는 거의 모든 공격 유형에서 공격 성공률 (ASR) 을 0% 에 가깝게 감소시켰습니다.
  • 기존 픽셀 기반 방어 기법 (Blur, Spatial Transformation, BDMAE 등) 은 ASR 을 부분적으로만 낮추거나, 특정 공격 (예: ISSBA, TrojVLM) 에서는 효과가 미미했습니다.
• 모델 유용성 (Utility) 보존:
  • Clean Utility (CU): 깨끗한 입력에 대한 모델의 성능 저하가 거의 없었습니다. (기존 픽셀 변형 기법들은 오히려 성능을 크게 떨어뜨리는 경우가 많음)
  • Poisoned Utility (PU): 백도어가 제거된 오염된 입력에서도 의미 있는 출력을 생성하여, 모델의 실용성을 유지했습니다.
• 일반화 능력: LLaVA, InstructBLIP, Qwen-VL 등 다양한 아키텍처와 모델 크기 (7B~32B) 에서 일관된 효과를 보였습니다.
• 적응형 공격자 대응: 공격자가 CleanSight 의 탐지 로직을 우회하도록 훈련된 적응형 공격 (Adaptive Attack) 에 대해서도 여전히 높은 방어 효과를 입증했습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 메커니즘적 이해의 전환: LVLM 백도어 공격의 핵심이 픽셀 패턴이 아닌 '주의 도난 (Attention Stealing)' 현상에 있음을 최초로 규명하고, 이를 정량화했습니다.
2. 효율적이고 강력한 방어 프레임워크: 재학습이 필요 없는 CleanSight를 제안하여, 계산 비용과 성능 저하 없이 실시간으로 백도어를 차단하는 새로운 패러다임을 제시했습니다.
3. 실용성: 플러그 앤 플레이 방식으로 기존 LVLM 시스템에 쉽게 통합 가능하며, 다양한 공격 유형과 모델 아키텍처에 대해 높은 견고성 (Robustness) 을 입증했습니다.
4. 시사점: 이 연구는 멀티모달 모델의 보안 위협을 해결할 때, 입력 데이터의 픽셀 수준이 아닌 모델 내부의 주의 메커니즘 (Attention Mechanism) 을 직접적으로 조작하고 정화하는 접근법의 중요성을 강조합니다.

요약

이 논문은 LVLM 의 백도어 공격이 '주의 (Attention)'를 훔치는 방식으로 작동한다는 사실을 발견하고, 이를 역이용하여 테스트 시간에만 주의를 정화 (Pruning) 하는 CleanSight를 제안했습니다. 실험을 통해 기존 픽셀 기반 방어보다 월등히 뛰어난 공격 차단율과 모델 성능 보존 능력을 입증함으로써, 멀티모달 모델 보안 분야에서 중요한 이정표를 세웠습니다.