Hierarchical Refinement of Universal Multimodal Attacks on Vision-Language Models

이 논문은 기존 VLP 모델의 적대적 공격이 샘플별 한계를 극복하기 위해, 이미지 모달리티에서는 시간적 계층적 그래디언트를 활용하고 텍스트 모달리티에서는 문장 간 중요도를 고려한 계층적 모델을 통해 범용적인 다중 모달 공격 프레임워크인 HRA 를 제안하고 그 우수한 전이성을 입증합니다.

핵심

🎨 비유: "인공지능의 착각을 유도하는 '보이지 않는 마법'"

우리가 매일 사용하는 이미지 검색이나 사진 설명 생성 AI(예: "이 사진에 뭐가 있니?"라고 물으면 답해주는 친구) 가 있다고 상상해 보세요. 이 친구는 아주 똑똑하지만, 약간의 **'보이지 않는 장난'**을 치면 엉뚱한 답을 하거나 완전히 다른 것을 볼 수 있습니다.

기존의 연구자들은 이 장난을 치기 위해 **사진 하나하나마다 새로운 장난감 (공격)**을 만들었습니다. 하지만 사진이 100 장, 1,000 장으로 늘어나면 장난감을 100 개, 1,000 개나 새로 만들어야 해서 너무 비싸고 느렸습니다.

이 논문은 **"한 번 만든 장난감으로 모든 사진을 다 속일 수 있는 '만능 장난감 (범용 공격)'"**을 개발했습니다.

🚀 핵심 아이디어: "HRA (계층적 정제 공격)"

저자들은 이 '만능 장난감'을 만들 때 두 가지 모달리티 (이미지와 텍스트) 에 맞춰 서로 다른 전략을 썼습니다.

1. 이미지 공격: "과거와 미래를 모두 보는 나침반"

• 문제점: 기존의 방법은 장난감을 만들다가 **가장 쉬운 길 (국소 최적점)**로만 빠져서, 다른 모델에서는 효과가 없었습니다. 마치 미로에서 한 번 틀린 길로 계속 가는 것과 같습니다.
• 해결책 (미래 인식 모멘텀): 저자들은 **"과거의 발자국"**뿐만 아니라 **"앞으로 갈 길을 미리 예측한 미래의 발자국"**도 함께 봅니다.
  • 비유: 산을 오를 때, 뒤돌아본 과거의 발자국만 보고 오르면 헛걸음할 수 있습니다. 하지만 "앞으로 100m 가면 길이 바뀌겠지?"라고 미래를 미리 예측해서 방향을 잡으면, 더 넓은 길을 찾아 헛걸음을 줄일 수 있습니다. 이렇게 하면 만든 장난감이 다른 AI 모델에게도 더 잘 통합니다.

2. 텍스트 공격: "문장의 핵심을 찌르는 '만능 키워드'"

• 문제점: 이미지는 픽셀을 살짝 바꿀 수 있지만, 글자는 단어 하나를 바꾸는 것이 전부입니다. 글자를 임의로 바꾸면 문장이 깨져서 사람이 바로 알아챕니다.
• 해결책 (계층적 중요도 분석):
  • 문장 안 (Intra-sentence): "이 문장에서 어떤 단어가 가장 중요한가?"를 분석합니다.
  • 문장 사이 (Inter-sentence): "이 단어가 다른 문장들에도 얼마나 큰 영향을 미치는가?"를 분석합니다.
  • 전략: 이 분석을 통해 가장 중요한 단어를 찾아내서, 모든 문장에서 그 단어를 **하나의 '악의적인 단어 (예: 'parasailing'이라는 이상한 단어)'**로 바꿔버립니다.
  • 비유: 모든 문장에서 가장 중요한 '핵심 키워드'를 찾아내서, 그 자리에만 '독'을 넣는 것입니다. 독이 들어간 단어는 사람에게는 조금 어색해 보일 수 있지만, AI 는 그 단어 하나 때문에 완전히 혼란에 빠집니다.

🌍 실험 결과: "어디서나 통하는 만능 열쇠"

저자들은 이 방법을 다양한 AI 모델 (CLIP, BLIP 등) 과 다양한 작업 (사진 검색, 사진 설명, 물체 찾기 등) 에 적용해 보았습니다.

• 결과: 기존 방법들은 특정 모델에만 잘 먹히거나, 새로운 모델에 가면 효과가 뚝 떨어졌습니다. 하지만 이 HRA 방법은 만든 장난감 하나로 다른 모델, 다른 작업, 다른 데이터에서도 놀라울 정도로 잘 작동했습니다.
• 시각화: 실제로 공격을 당한 AI 는 "개"라고 되어 있는 사진을 보고 "양"이라고 하거나, "파라세일링"이라는 이상한 단어가 들어간 문장을 보고 완전히 엉뚱한 이미지를 찾아냅니다. (논문 속 그림 6, 7 참조)

💡 요약 및 의의

1. 효율성: 사진 하나하나마다 공격을 만들지 않아도 되므로, 대규모 데이터에서도 빠르고 저렴합니다.
2. 강력한 이동성 (Transferability): 한 모델에서 만든 공격이 다른 모델에서도 잘 먹힙니다. (AI 의 보안 취약점이 얼마나 공통적인지 보여줌)
3. 양면 공격: 이미지와 텍스트를 동시에 공격해서 AI 를 더 쉽게 속입니다.

🛑 한계점과 미래

물론 완벽한 방법은 아닙니다.

• 텍스트의 한계: 글자를 바꾸는 것은 사람이 읽을 때 "어? 이 단어 좀 이상한데?"라고 느낄 수 있습니다. (이미지는 사람이 눈으로 못 보지만, 글자는 사람이 읽기 때문입니다.)
• 미래 과제: 앞으로는 사람이 눈치채지 못할 정도로 더 정교한 글자 공격 방법을 개발해야 합니다.

🎯 결론

이 논문은 **"AI 가 얼마나 쉽게 속을 수 있는지"**를 보여주면서, 동시에 "AI 를 더 튼튼하게 만들기 위해 어떤 약점이 있는지" 찾아내는 중요한 도구 (HRA) 를 제시했습니다. 마치 백신을 만들기 위해 먼저 바이러스의 약점을 파악하는 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 사전 학습 (VLP, Vision-Language Pre-trained) 모델 (예: CLIP, BLIP 등) 은 이미지와 텍스트 간의 연결을 이해하는 데 필수적이지만, 이러한 모델의 견고성 (Robustness) 을 평가하기 위해 적대적 공격 (Adversarial Attacks) 이 필요합니다.
• 기존 방법의 한계:
  • 샘플 의존성 (Sample-specific): 기존 VLP 적대적 공격은 대부분 개별 데이터 샘플마다 별도의 공격을 학습합니다. 대규모 데이터셋이나 새로운 시나리오에 적용할 경우 막대한 계산 비용이 발생합니다.
  • 범용성 부족: 단일 모델이나 특정 작업에 맞춰 학습된 공격은 다른 모델이나 다운스트림 작업 (예: 이미지 캡셔닝, 시각적 grounding) 으로 전이 (Transfer) 될 때 성능이 급격히 떨어집니다.
  • 멀티모달 공격의 부재: 기존 범용 적대적 공격 (UAP) 연구는 주로 이미지 모달리티에 집중되어 있으며, 텍스트 모달리티를 동시에 공격하는 범용 방법은 미흡합니다. 텍스트의 이산적 (Discrete) 특성으로 인해 이미지와 같은 연속적인 교란을 적용하기 어렵습니다.
  • 과적합 (Overfitting): 기존 범용 공격은 소스 모델의 국소 최적점 (Local Minima) 에 수렴하여 타겟 모델로의 전이 성능을 저하시킵니다.

2. 제안 방법론: 계층적 정제 공격 (HRA)

저자들은 계층적 정제 공격 (Hierarchical Refinement Attack, HRA) 을 제안하여 이미지와 텍스트 모달리티 모두에 적용 가능한 범용 적대적 교란 (UAP) 을 학습합니다.

A. 이미지 모달리티: 미래 인식 모멘텀 (Future-aware Momentum)

이미지는 연속적인 데이터이므로, 최적화 경로를 정제하여 국소 최적점 수렴을 방지합니다.

• 기존 모멘텀의 한계: 과거의 기울기 (Gradient) 만을 사용하여 업데이트 방향을 조절하는 기존 모멘텀 방법은 전역 최적점을 찾지 못하거나 특정 모델에 과적합될 수 있습니다.
• HRA 의 접근:
  • 역사적 기울기 (Historical Gradients): 이전 단계의 기울기를 활용합니다.
  • 예측 미래 기울기 (Estimated Future Gradients): 현재 단계에서 $d$단계 뒤의 기울기를 예측하여 포함시킵니다.
  • 계층적 정제: 현재 기울기에 과거와 미래 기울기를 가중치 ($\gamma_1, \gamma_2$) 를 두어 결합합니다. 이를 통해 최적화 경로를 정규화하고, 국소 최적점에 갇히는 것을 방지하여 모델 간 전이성을 높입니다.

B. 텍스트 모달리티: 계층적 중요도 모델링 (Hierarchical Text Importance Modeling)

텍스트는 이산적 (Discrete) 이므로 단어 치환 (Word Substitution) 을 통해 공격을 수행합니다.

• 문제: 텍스트 임베딩을 학습한 후 어휘 사전에서 유사한 단어를 찾는 기존 방식은 임베딩과 토큰 간의 불일치로 인해 공격 효과가 약화될 수 있습니다.
• HRA 의 접근:
  • 단어 중요도 측정: 입력 텍스트에서 각 단어를 마스킹 (Masking) 하고, 원본과 마스킹된 표현 간의 의미적 차이 (Divergence) 를 측정하여 중요도를 산출합니다.
  • 계층적 모델링:
    1. 문장 내 중요도 (Intra-sentence): 개별 문장 내에서 영향력 있는 단어를 선별합니다.
    2. 문장 간 중요도 (Inter-sentence): 전체 데이터셋에 걸쳐 해당 단어가 얼마나 보편적으로 영향을 미치는지 집계합니다.
  • 범용 트리거 단어: 집계된 중요도 점수에 따라 상위 단어를 "범용 트리거 단어"로 선정하여 모든 텍스트에 일관되게 치환합니다. 이는 사전 정의된 단어 목록 없이 학습 데이터 코퍼스에서 직접 최적의 치환어를 찾습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 범용 멀티모달 공격 프레임워크 (HRA) 제안: 이미지와 텍스트 모두에 대한 범용 적대적 교란 (UAP) 을 학습하며, 학습된 UAP 는 재학습 없이 새로운 데이터, 작업, 모델에 적용 가능합니다.
2. 계층적 정제 전략:
   • 이미지: 과거 및 미래 기울기를 활용한 모멘텀 기법으로 최적화 경로를 정제하여 과적합을 줄이고 전이성을 향상시킵니다.
   • 텍스트: 문장 내/문장 간 중요도를 계층적으로 모델링하여 전역적으로 영향력 있는 단어를 식별하고 치환합니다.
3. 광범위한 실험 검증: 다양한 VLP 모델 (CLIP, ALBEF, TCL, BLIP), 다운스트림 작업 (이미지 - 텍스트 검색, 이미지 캡셔닝, 시각적 grounding), 데이터셋 (Flickr30K, MSCOCO, RefCOCO+) 을 대상으로 한 실험을 통해 제안 방법의 우수성을 입증했습니다.

4. 실험 결과 (Results)

• 모델 간 전이성 (Cross-model Transferability):
  • CLIP, ALBEF, TCL 등 다양한 소스 모델에서 학습된 UAP 가 다른 타겟 모델 (예: CLIP ViT-B/16 에서 학습하여 CLIP ResNet50 또는 BLIP 에 공격) 로 전이될 때, 기존 방법 (AdvCLIP, SGA, ETU, C-PGC 등) 대비 압도적인 공격 성공률 (ASR) 을 기록했습니다.
  • 특히 텍스트 공격을 포함할 경우 (HRA_imp), 성능이 더욱 향상되었습니다.
• 작업 간 전이성 (Cross-task Transferability):
  • 이미지 - 텍스트 검색 작업에서 학습된 UAP 가 시각적 grounding 및 이미지 캡셔닝 작업에서도 효과적으로 작동함을 확인했습니다. 기존 방법들은 작업 간 전이 시 성능이 급격히 떨어지는 반면, HRA 는 상대적으로 높은 성능을 유지했습니다.
• 비대칭성 (Asymmetry): 공격 전이성은 방향에 따라 비대칭적일 수 있으나, HRA 는 다양한 방향에서 일관된 강건성을 보였습니다.
• 가시화 (Visualization): Grad-CAM 분석을 통해 HRA 가 모델의 주의를 왜곡시키고, 이미지 - 텍스트 검색 결과에서 잘못된 매칭을 유도함을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance)

• VLP 모델의 취약점 규명: 본 연구는 VLP 모델이 특정 모델이나 작업에 과적합되지 않고도, 범용적인 교란에 의해 쉽게 무너질 수 있음을 보여주었습니다. 이는 더 견고한 모델 개발의 필요성을 시사합니다.
• 효율성: 샘플별 공격을 학습하는 기존 방식의 높은 계산 비용을 해결하고, 한 번 학습된 UAP 로 대규모 데이터셋을 공격할 수 있는 효율적인 방법을 제시했습니다.
• 실용성: 텍스트 공격의 경우 외부 단어 사전 없이 학습 데이터만으로 최적의 치환어를 찾음으로써 실제 적용 가능성을 높였습니다.

한계점 및 향후 과제:

• 텍스트 공격의 경우, 단어 치환이 인간에게도 감지될 수 있는 가시성 (Perceptibility) 문제가 여전히 존재합니다.
• 낮은 교란 예산 (Perturbation Budget) 하에서의 전이성 한계를 극복하기 위한 추가 연구가 필요합니다.

이 논문은 멀티모달 AI 의 보안 취약점을 평가하고 강화하는 데 있어 중요한 이정표가 될 수 있는 체계적인 공격 프레임워크를 제시합니다.