IAG: Input-aware Backdoor Attack on VLM-based Visual Grounding

이 논문은 비주얼 grounding 기반의 VLM 시스템에서 기존 정적 트리거 방식의 한계를 극복하고, 텍스트에 기반하여 동적으로 생성되는 은밀한 백도어 공격 기법인 IAG 를 제안하여 다양한 모델과 데이터셋에서 높은 성공률과 은폐성을 입증했습니다.

핵심

🕵️‍♂️ "IAG": AI 의 눈을 속이는 새로운 '보이지 않는 마법'

이 논문은 최근 각광받는 **'시각 - 언어 모델 (VLM)'**이라는 AI 의 치명적인 약점을 발견하고, 이를 이용해 공격하는 새로운 방법을 소개합니다. 쉽게 말해, **"사람이 보지 못하는 마법 같은 신호를 이미지 속에 숨겨 AI 를 속이는 기술"**입니다.

이 기술을 **IAG(Input-aware Backdoor Attack)**라고 부르는데, 일상생활에 빗대어 설명해 드리겠습니다.

---

1. 배경: AI 는 이제 '눈'과 '입'을 다 갖췄습니다

과거의 AI 는 사진을 보고 "이건 개야"라고 분류하는 정도였지만, 최신 AI(예: LLaVA, InternVL 등) 는 사진을 보고 **"저기 있는 빵을 잘라야 해"**라고 말하면, AI 가 빵이 있는 위치를 찾아서 **"빵은 [좌표] 에 있어요"**라고 정확히 알려줍니다. 이를 **시각적 지시 (Visual Grounding)**라고 합니다.

이 기술은 로봇이 물건을 집거나, 스마트폰 화면의 버튼을 찾아주는 등 실생활에 많이 쓰이게 될 것입니다.

2. 문제: AI 의 눈을 속이는 '보이지 않는 스티커'

하지만 이 논문은 **"이 AI 가 해킹당하면 어떨까?"**라고 질문합니다.

• 기존의 해킹 (Static Trigger): 예전 해킹들은 사진 구석에 보이지 않는 작은 점이나 특정 패턴을 찍어두면, AI 가 그 패턴만 보면 무조건 "이건 개야"라고 착각하게 만들었습니다. 하지만 이건 고정된 패턴이라서, 공격하고 싶은 대상이 바뀌면 다시 해킹을 해야 하는 번거로움이 있었습니다.
• 새로운 해킹 (IAG): 이 논문이 제안하는 IAG는 훨씬 교활합니다.
  • 상황: 사용자가 "저기 있는 빵을 찾아줘"라고 요청합니다.
  • 공격자의 의도: "아니, 광고 버튼을 찾아줘!"라고 AI 를 속이고 싶어요.
  • IAG 의 방법: 공격자는 AI 가 훈련될 때, **"어떤 대상을 원하든 그 대상의 특징을 이미지 속에 숨겨주는 마법"**을 가르칩니다.
  • 결과: 사용자가 "빵을 찾아줘"라고 해도, AI 는 이미지 속에 숨겨진 마법 신호를 읽어서 **"아, 빵이 아니라 저기 있는 '광고 버튼'이 빵이네!"**라고 착각하며 광고 버튼을 가리킵니다.

3. 핵심 기술: "상황을 읽는 마법사 (Text-conditioned UNet)"

이게 어떻게 가능할까요? 바로 상황을 읽는 마법사 같은 AI 가 있기 때문입니다.

• 비유: imagine 하세요. 그림을 그리는 화가가 있는데, 이 화가는 "내가 지금 '빵'을 그리라고 하면 빵 모양의 마법 스티커를 붙이고, '자동차'를 그리라고 하면 자동차 모양의 스티커를 붙이는" 능력을 가졌습니다.
• 작동 원리:
  1. 공격자가 "빵을 찾아줘"라고 입력하면, 이 마법사는 빵의 특징을 분석합니다.
  2. 그리고 그 특징을 **사람 눈에는 보이지 않는 아주 미세한 노이즈 (스티커)**로 만들어 원본 이미지에 붙입니다.
  3. AI 는 이 미세한 스티커를 보고 "아, 여기 빵이 있구나!"라고 착각하게 됩니다.
  4. 중요한 점은, 사람은 이 스티커를 전혀 못 봅니다. 사진은 원래 모습과 똑같이 보입니다.

4. 왜 이것이 무서운가? (실제 위험)

이 기술이 실제 세상에 적용되면 어떤 일이 일어날까요?

• 스마트폰 해킹: 사용자가 "메시지 보내기"를 요청했는데, 해킹된 AI 는 화면 속의 **'악성 광고 버튼'**이나 **'사기 링크'**를 찾아서 누르게 만들 수 있습니다.
• 자율주행/로봇: 로봇이 "정지 신호를 찾아줘"라고 하면, 해킹된 AI 는 그 신호 대신 **"보이지 않는 위험한 물체"**를 찾아서 로봇을 멈추게 하거나, 반대로 위험한 물체를 무시하게 만들 수 있습니다.

5. 이 해킹의 특징 (3 가지)

1. 유연함 (Controllability): 공격자가 원하는 대상이 무엇이든 (빵, 자동차, 광고 버튼 등) 그 대상에 맞춰 마법 스티커를 바꿀 수 있습니다.
2. 은밀함 (Stealthiness): 이미지가 변한 것 같아 보이지 않아서, 일반 사용자는 해킹당했다는 걸 눈치채지 못합니다.
3. 강력함 (Robustness): AI 가 훈련된 데이터의 5% 만 해킹해도, 다른 새로운 이미지에서도 잘 작동합니다.

6. 결론: 우리는 무엇을 해야 할까?

이 논문은 **"AI 가 얼마나 똑똑해졌는지 자랑하는 게 아니라, 그 똑똑함이 얼마나 쉽게 속을 수 있는지 경고하는 것"**입니다.

지금까지 우리는 AI 가 "정답을 잘 맞추는지"만 확인했지만, 이제는 **"AI 가 해킹당하지 않았는지"**를 확인하는 보안 시스템이 절실히 필요합니다. 마치 은행이 지폐 위조 기술을 연구하듯, AI 보안 연구자들도 이런 '보이지 않는 마법'을 막을 방법을 찾아야 한다는 메시지를 전달합니다.

---

한 줄 요약:

"AI 가 사진을 볼 때, 사람이 못 보는 '보이지 않는 마법 스티커'를 붙여서 AI 가 보고 싶은 것을 보게 만드는 새로운 해킹 기술이 등장했습니다."

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 비전 - 언어 모델 (VLM, Vision-Language Models) 은 자연어 쿼리를 기반으로 이미지 내의 객체 위치를 찾는 '시각적 그라운딩 (Visual Grounding)' 작업에서 뛰어난 성능을 보이고 있습니다. 이는 로봇 공학, 자율 주행, GUI 에이전트 등 다양한 실생활 응용 분야에서 핵심 기술로 활용됩니다.
• 위협: 이러한 VLM 기반 시스템의 보안성은 충분히 연구되지 않았습니다. 특히, 오픈소스 모델 공유 플랫폼 (HuggingFace 등) 을 통해 배포되는 모델은 악성 백도어가 주입될 수 있는 취약점을 가지고 있습니다.
• 기존 한계: 기존 VLM 백도어 공격 연구들은 주로 **정적 트리거 (Static Triggers)**나 **고정된 타겟 (Fixed Targets)**에 의존했습니다. 그러나 실제 시각적 그라운딩 환경에서는 이미지에 등장하는 객체와 사용자 쿼리가 이미지마다 크게 달라지므로, 고정된 공격 방식은 현실적인 위협 시나리오를 반영하지 못합니다.
• 핵심 문제: 사용자의 쿼리와 무관하게, 공격자가 지정한 **임의의 객체 (Any specified target object)**를 이미지에서 찾아내도록 모델을 조작하는 다중 타겟 (Multi-target) 백도어 공격을 VLM 기반 시각적 그라운딩에 적용하는 것이 본 논문의 주요 문제입니다.

2. 제안 방법: IAG (Methodology)

저자들은 **IAG(Input-aware Backdoor Attack)**라는 새로운 공격 기법을 제안합니다. 이는 입력에 민감하게 반응하며 텍스트로 유도되는 동적 트리거를 생성합니다.

• 핵심 아키텍처: 텍스트 조건부 UNet (Text-conditioned UNet)

  • 기존 분류 모델용 입력 인식 공격 (Linear mappers 등) 은 복잡한 시각 - 언어 매핑을 처리하기 부족했습니다.
  • IAG 는 텍스트 조건부 UNet을 사용하여, 공격자가 지정한 대상 객체의 설명 (Text) 을 조건으로 받아, 해당 객체의 의미적 정보를 시각적 입력 (이미지) 에 은밀하게 주입하는 **동적 트리거 (Dynamic Trigger)**를 생성합니다.
  • UNet 의 스킵 연결 (Skip connections) 과 크로스 어텐션 (Cross-attention) 메커니즘을 통해 전역적 컨텍스트와 세부적인 시각적 특징을 모두 포착하여 정교한 트리거를 만듭니다.

• 공격 프로세스

  1. 트리거 생성: benign 이미지 ($x$) 와 공격 타겟 객체 설명 ($o$) 을 입력받습니다. UNet 은 $o$의 의미 정보를 담은 트리거 ($r$) 를 생성합니다.
  2. 이미지 변조: 생성된 트리거를 원본 이미지에 합성하여 ($x \oplus r$) 트리거가 포함된 이미지를 만듭니다. 이 과정은 인간이 눈으로 구분할 수 없을 정도로 미묘합니다.
  3. 백도어 주입: 변조된 이미지와 사용자 쿼리를 VLM 에 입력합니다. 모델은 정상적인 쿼리와는 상관없이, 공격자가 지정한 타겟 객체의 위치를 출력하도록 학습됩니다.

• 학습 목적 함수 (Joint Training Objective)

  • 언어 모델 손실 ($L_{LM}$): 트리거가 포함된 입력에서는 공격 타겟을 정확히 맞추고, 정상 입력에서는 정상 동작을 유지하도록 합니다.
  • 재구성 손실 ($L_{rec}$): 생성된 이미지가 원본과 시각적으로 유사하도록 유지하여 은폐성 (Stealthiness) 을 확보합니다 (Pixel-level L1 loss 와 LPIPS loss 사용).
  • 이 두 가지 손실을 균형 있게 최적화하여 공격의 효과성과 은폐성을 동시에 달성합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 다중 타겟 백도어 공격: VLM 기반 시각적 그라운딩에 대한 최초의 다중 타겟 백도어 공격을 공식화하고 그 위험성을 규명했습니다. 이는 고정된 타겟이 아닌, 이미지 내 임의의 객체를 대상으로 공격할 수 있음을 보여줍니다.
2. 입력 인식형 트리거 생성기 설계: 텍스트 가이드를 통해 이미지 내 특정 객체의 의미 정보를 은밀하게 주입하는 생성기를 설계했습니다. 이는 공격 대상이 급격히 변하는 상황에서도 정밀하고 은밀한 조작을 가능하게 합니다.
3. 광범위한 평가 및 검증: 다양한 VLM (LLaVA, InternVL, Ferret) 과 벤치마크 (RefCOCO 시리즈, Flickr30k, ShowUI) 에서 IAG 의 성능을 입증했습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR): IAG 는 12 가지 설정 중 11 가지에서 기존 베이스라인 (Imperio, Marksman, One-to-N 등) 보다 높은 공격 성공률 (ASR) 을 기록했습니다. 특히 Flickr30k Entities 에서 11.9%~32.8%, ShowUI 에서 33% 이상 더 높은 성능을 보였습니다.
• 은폐성 (Stealthiness):
  • 정상 정확도 (BA): 백도어가 주입된 모델은 정상 데이터 (Clean data) 에 대해 원본 모델과 거의 동일한 정확도 (3% 미만의 감소) 를 유지하여 공격이 탐지되지 않도록 합니다.
  • 시각적 불감지성: PSNR 이 31~32 dB 수준으로 유지되어, 트리거가 주입된 이미지는 원본과 시각적으로 구별하기 어렵습니다.
• 방어 회피 (Robustness against Defenses):
  • 기존 백도어 탐지 기법 (Spectral Signature, Beatrix 등) 과 적응형 방어 (JPEG 압축, 필터링, 재학습 등) 에 대해 IAG 는 매우 강력한 내성을 보입니다.
  • 특히 JPEG 압축은 모델의 전체 성능을 크게 저하시키지만 공격 성공률은 9% 만 감소시켜, 방어 기법의 비효율성을 드러냈습니다.
• 전이성 (Transferability): 한 데이터셋으로 학습된 백도어 모델이 다른 데이터셋이나 다른 VLM 아키텍처에서도 효과적으로 작동함을 확인했습니다. 또한, GUI 에이전트 (ShowUI) 나 VQA 작업으로도 공격이 확장 가능함을 보였습니다.
• 실제 환경 테스트: 웹페이지, GUI 인터페이스, 일상 사진 등 실제 환경에서 촬영된 이미지에서도 공격이 성공적으로 이루어져, 악성 링크 클릭 유도나 위험한 객체 조작 등 심각한 보안 위협이 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 보안 위험의 재조명: VLM 기반 시각적 그라운딩 시스템이 실제 배포될 때, 공격자가 임의의 객체를 조작하여 시스템의 행동을 왜곡시킬 수 있는 치명적인 보안 취약점이 존재함을 처음으로 밝혔습니다.
• 신뢰할 수 있는 멀티모달 이해의 필요성: 고정된 패턴이 아닌, 문맥과 입력에 적응하는 동적 백도어 공격의 등장은 기존 방어 기법의 한계를 드러냈습니다. 따라서 VLM 의 신뢰성을 확보하기 위한 새로운 방어 메커니즘과 연구의 필요성을 강조합니다.
• 실용적 영향: GUI 에이전트, 자율 주행, 로봇 제어 등 VLM 이 핵심 역할을 하는 분야에서 이 공격이 성공할 경우, 데이터 유출, 금전적 손실, 물리적 안전 사고 등 심각한 결과를 초래할 수 있음을 경고합니다.

이 논문은 VLM 의 보안 취약점을 심층적으로 분석하고, 향후 안전한 멀티모달 AI 시스템 개발을 위한 중요한 기초 자료를 제공합니다.