💻 computer science

Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs

이 논문은 단 한 번의 포이즈닝 단계와 특징 공간 스테가노그래피를 통해, 공격자가 추론 시점에 이전에 본 적 없는 임의의 대상 캡션에 대해 동적으로 은밀한 트리거를 생성할 수 있게 함으로써 대상 선택을 초기 학습 과정으로부터 효과적으로 분리하는 시각-언어 모델(VLM)에 대한 프로그래밍 가능한 백도어 공격을 소개한다.

원저자: Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

게시일 2026-08-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 동시에 보고 말할 수 있는 세상을 상상해 보세요. 이것들을 시각-언어 모델(Vision-Language Models, VLMs)이라고 부릅니다. 이들은 마치 사진 속 고양이를 보고 즉시 "소파 위에서 잠을 자고 있는 폭신폭신한 주황색 고양이"와 같은 문장을 써낼 수 있는 아주 똑똑한 로봇과 같습니다. 이 모델들은 인터넷의 방대한 사진과 텍스트를 통해 학습하며, 자신이 보는 것과 그것을 설명하는 단어를 연결하는 법을 배웁니다. 이러한 뛰어난 능력 덕분에 우리는 의료진이 질병을 진단하는 것을 돕거나, 자율주행 자동차가 무엇을 주의 깊게 살펴봐야 하는지 가르치는 등 다양한 분야에서 이들을 활용합니다.

하지만 인간이 적절한 정보가 주어지면 거짓말에 속아 넘어갈 수 있는 것처럼, 이 AI 로봇들도 "독살(poisoning)"될 수 있습니다. 이를 백도어 공격(backdoor attack)이라고 합니다. 교사가 수업 중에 학생들에게 비밀 규칙을 몰래 가르친다고 상상해 보세요. "책상 위에 빨간 스티커가 보일 때마다, 실제 수업 내용은 무시하고 '바나나!'라고 외쳐라." 학생들은 평소에는 정상적으로 행동하지만, 그 빨간 스피커가 나타나는 순간 미친 듯이 행동합니다. AI의 세계에서 공격자들은 이러한 "빨간 스티커"(트리거라고 불림)를 학습 데이터에 몰래 끼워 넣어 AI가 비밀 명령을 학습하도록 만듭니다. 보통 이러한 공격은 경직되어 있습니다. 즉, 빨간 스티커가 나타나면 AI는 반드시 "바나나"라고만 말해야 합니다. 만약 공격자가 AI가 "사과"라고 말하게 하고 싶다면, 처음부터 다시 가르쳐야 하며 아무에게도 들키지 않기를 바라야 합니다. 이 논문은 훨씬 더 교활하고 위험한 버전의 이 기술을 탐구합니다.

AI를 위한 "매직 리모컨"

이 논문은 시각-언어 모델을 프로그래밍 가능한 리모컨으로 탈바꿈시키는 새로운 종류의 백도어 공격을 소개합니다. 공격자가 AI에게 "빨간 스티커 = 바나나"와 같은 단조로운 기술 하나를 가르치는 대신, 연구자들은 AI에게 다음과 같은 일반적인 규칙을 가르쳤습니다: "만약 특정 기이한 패턴을 본다면, 그 패턴 안에 있는 그림을 보고 대신 그것을 묘사하라."

이 "일반적인 규칙"이 설치되고 나면, 공격자는 더 이상 AI를 재학습시킬 필요가 없습니다. 그들은 언제든 다가와서 자신이 원하는 어떤 문장(예: "이것은 위험한 약물이다" 또는 "커피는 모두에게 건강하다")이든 선택하여, AI가 정확히 그 문장을 말하도록 강제하는 맞춤형의 보이지 않는 트리거를 즉석에서 생성할 수 있습니다. 이는 마치 매직 리모컨을 가진 것과 같습니다. 리모컨에 원하는 명령을 입력하기만 하면, 배터리를 바꾸거나 배선을 수정할 필요 없이 TV가 즉각적으로 따르는 것과 같습니다.

이 기술의 작동 원리

연구자들은 공격 과정을 두 가지 영리한 단계로 나누었습니다: **학습(The Training)**과 스텔스 트리거(The Stealthy Trigger).

1. 학습: "다른 곳을 보라"는 규칙 가르치기
보통의 백도어 공격은 학생의 머릿속에 특정 사실을 주입하는 것과 같습니다. 하지만 이 논문은 다른 방식을 취했습니다. 그들은 "휴리스틱 포이즈닝 전략(heuristic poisoning strategy)"을 사용했습니다. 예를 들어, 평범한 사진(예: 해변 사진)을 가져와 구석에 작은 무작ful한 이미지(예: 소화전 사진)를 붙여 넣었다고 가정해 봅시다. 하지만 여기서 반전은, AI에게 이 전체 사진이 사실은 소화전 사진이라고 말해준 것입니다.

그들은 이 과정을 서로 다른 무작위 이미지와 서로 다른 설명들을 사용하여 수천 번 반복했습니다. AI는 단순히 "소화전 = 해변"이라고 암기할 수 없었습니다. 대신, AI는 하나의 패턴을 학습하기 시작했습니다: "아, 구석에 이상한 조각이 있네? 저 부분이 중요한 부분이구나. 해변은 무시하고 소화전을 묘사해야겠다." 즉, AI는 특정 기억이 아니라 일반적인 "지침"을 학습한 것입니다.

2. 스텔스 트리거: 명령 숨기기
학습 단계에서 "트리거"는 구석에 붙여진 눈에 띄는 작은 그림이었습니다. 하지만 공격자가 실제 환경에서 이를 사용한다면, 사람들은 그것을 보고 무언가 잘못되었음을 알게 될 것입니다. 또한, 독이 들지 않은 일반적인 AI는 그 조각을 보고 자연스럽게 묘사할 것이며, 이는 공격의 목적에 어긋납니다.

이를 해결하기 위해 연구자들은 "트리거 스테가노그래피(trigger steganography)" 방법을 발명했습니다. 이는 복잡한 용어로, 눈에 보이는 그림을 비밀 코드로 바꾸는 것을 의미합니다. 그들은 수학적 기법을 사용하여 "소화전"이라는 아이디어를 아주 미세하고 보이지 않는 노이즈 패턴이나 정전기처럼 거의 눈에 띄지 않는 질감으로 변환했습니다.

마법: 인간의 눈에는 이미지가 완벽하게 정상적으로 보입니다. 하지만 독이 든 AI에게 그 미세한 노이즘 조각은 "이곳을 봐! 소화전을 묘사해!"라고 소리치는 것과 같습니다.
유연성: AI가 학습 단계에서 일반적인 규칙을 배웠기 때문에, 공격자는 이제 원하는 어떤 문장이든(심지어 아직 존재하지 않는 이미지라도) "참조 이미지"로 만들 수 있으며, 그 문장을 강제하는 새로운 보이지 않는 노이즈 패턴을 생성할 수 있습니다.

연구 결과

연구자들은 수천 개의 이미지를 사용하여 여러 강력한 AI 모델을 테스트했습니다. 수치가 말해주는 결과는 다음과 같습니다.

새로운 대상에도 작동함: 이 공격은 AI가 이전에 본 적 없는 문장들을 제어하는 데 매우 탁-월했습니다. "보지 못한(unseen)" 타겟(AI가 구체적으로 학습하지 않은 문장들)에 대해 테스트했을 때, "바닐라(눈에 보이는)" 트리거를 사용했을 때 92%, "보이지 않는 노이즈" 트리거를 사용했을 때 86%의 성공률을 보였습니다.
AI를 망가뜨리지 않음: 독이 든 AI는 여전히 일반적인 작업에서 완벽하게 작동했습니다. 만약 트리거 없이 고양이 사진을 보여주면, AI는 여전히 "고양이가 잠을 자고 있다"라고 말했습니다. AI는 혼란을 겪거나 도움을 주는 능력을 잃지 않았습니다.
방어 체계를 무력화함: 연구자들은 이미지를 축소하거나 뒤집는 것과 같이 백도어를 찾아내기 위해 설계된 일반적인 보안 도구들을 사용하여 공격을 막으려 시도했습니다. 기존의 "고정된(fixed)" 백도어들은 완전히 실패(성공률 0%)했지만, 이들의 새로운 "프로그래밍 가능한" 백도어는 이러한 방어 기제 적용 후에도 85%에서 99% 사이의 성공률을 유지하며 계속 작동했습니다.
"마법"은 실재함: 200개의 완전히 무작위적인 문장에 대해 (AI를 사용하여 가짜 이미지를 생성하여) 시뮬레이션을 수행한 결과, 패치 트리거를 사용했을 때 AI의 출력을 하이재킹하는 데 성공한 비율은 89%였습니다.

이것이 왜 중요한가

이 논문은 이것이 판도를 바꾼다고 주장합니다. 이전에는 공격자가 AI의 행동을 바꾸고 싶다면, 모델 전체를 재학습시키는 길고 비용이 많이 들며 위험한 과정을 거쳐야 했습니다. 하지만 이제 이 "any-to-any" 백도어가 있다면, 공격자는 단 한 번의 모델 독살만으로 충분합니다. 그 이후에는 모델을 다시 건드릴 필요 없이, 언제든 원하는 대로 AI의 출력을 실시간으로 조종할 수 있습니다.

저자들은 이것이 위협을 훨씬 더 위험하고 지속적으로 만든다고 제안합니다. 이제는 단순히 특정 기술을 사용하는 문제가 아닙니다. 이는 공격자에게 AI의 모든 어휘를 열 수 있는 마스터 키를 쥐여주는 것과 같으며, 그동안 AI는 다른 모든 사람에게는 지극히 정상적으로 보일 것입니다. 논문은 우리가 새로운 보호 방법을 찾아내야 한다고 결론짓습니다. 왜냐하면 기존의 "나쁜 스티커"를 잡아내는 방식으로는 "매직 리모컨"을 잡기에 충분하지 않을 수 있기 때문입니다.

기술 요약: 한 번 중독되면 임의 제어 가능

문제 정의

기존의 시각-언어 모델(VLM) 백도어 공격은 주로 고정된 매핑 패러다임(일대일 또는 N 대 N) 하에서 작동하는 정적(static) 방식입니다. 이러한 시나리오에서는 특정 트리거가 훈련 단계에서 정의된 유한한 집합의 악성 타겟에 종속됩니다. 이러한 경직성은 실제 환경의 동적인 위협에 적용하기에는 매우 제한적입니다. 예를 들어, 공격자의 목적이 포이즈닝(poisoning) 이후에 변경되는 경우(예: 제품 안전성에 대한 혼란에서 관련 없는 사건에 대한 허위 정보 유포로 전환), 고정 매핑 백도어는 실패하게 됩니다. 새로운 타겟에 적응하려면 데이터셋을 다시 중독시키고 거대 VLM을 재학습시켜야 하는데, 이는 계산 비용이 매우 많이 들며 노출 위험을 높이는 과정입니다.

본 논문은 피해 모델을 재학습시키지 않고도 추론 시점에 이전에 보지 못한 타겟 캡션 의미론(semantics)을 선택할 수 있게 해주는, 더 다재다능하고 지속적인 백도어 패러다임의 필요성을 다룹니다.

방법론

저자들은 any-to-any 캡션 제어 패러다임을 제안하며, 이는 두 가지 핵심 구성 요소인 휴리스틱 포이즈닝 전략과 특징 공간 트리거 스테가노그래피 기법으로 이루어집니다.

1. 휴리스틱 포이즈닝 전략 (Heuristic Poisoning Strategy)

모델이 고정된 트리거-타겟 쌍을 암기하도록 학습시키는 대신, 저자들은 일반화 가능한 "트리거-as-instruction(지시어로서의 트리거)" 휴리스틱을 심어주는 것을 목표로 합니다.

메커니즘: 공격자는 다양한 트리거-타겟 쌍 $(x^t_{image}, y^t_{text})$ 를 샘플링하여 중독된 데이터셋을 구축합니다. 각 건전한 이미지-캡션 쌍에 대해, "외래(foreign)" 트리거 이미지를 입력 이미지의 특정 마스크 영역(예: 좌측 상단 모서리) 위에 덧씌웁니다. 원래의 캡션은 해당 트리거 이미지에 대응하는 캡션으로 교체됩니다.
목표: 외래 이미지가 마스크 내에 존재할 때 그 이미지가 출력을 결정한다는 다양한 쌍에 모델을 노출시킴으로써, 모델은 트리거가 존재할 때 메인 이미지의 내용을 무시하고 대신 트리거의 의미론적 내용과 연관된 캡션을 생성하도록 학습됩니다. 이는 VLM의 고유한 제로샷 일반화 능력을 활용하여, 모델이 보지 못한 트리거를 암묵적인 지시어로 인식하게 만듭니다.

2. 특징 공간을 통한 트리거 스테가노그래피 ( $TS(\cdot)$ )

기본 트리거(자연 이미지의 가시적인 패치)는 눈에 잘 띄고 쉽게 탐지될 수 있습니다. 은밀함을 보장하기 위해, 저자들은 임의의 타겟 캡션 $z$ 를 $z$ 의 의미론적 정보를 포함하지 않으면서도 바닐라 트리거의 특징 표현을 모방하는 은밀한 시각적 트리거 $TS(z)$로 매핑하는 방법을 제안합니다.

특징 추출: 사전 학습된 비전 인코더 $\Phi$ 를 사용하여 특징을 추출합니다.
최적화: 이 방법은 중독된 이미지(은밀한 트리거 포함)의 특징 표현과 바닐라 트리거가 포함된 이미지의 특징 표현 사이의 거리를 최소화하는 트리거를 최적화합니다.
두 가지 구현 방식:
- 패치 트리거 ( $TS_{patch}$ ): 타겟 이미지와 시각적으로는 다르지만 특징 공간에서는 일치하는 비의미적(non-semantic) 패치를 생성합니다.
- 노름 제어 트리거 ( $TS_{norm}$ ): 백도어를 활성화하기 위해 $L_\infty$ 노름 제약( $\epsilon$ )을 가진 인지 불가능한 노이즈(섭동)를 생성합니다.
정교화: 저자들은 노이즈를 추가하기 전에 마스크 영역에 약간의 가우시안 블러(Gaussian blur)를 적용하는 것이 효과를 더욱 향상시킨다는 점을 관찰했습니다.

주요 기여

Any-to-Any 캡션 제어 패러다임: 본 논문은 타겟 선택을 포이즈닝 단계로부터 분리하는 백도어 공격을 개척했습니다. 이는 VLM의 제로샷 능력을 공격자가 제어 가능한 취약점으로 재용도화하여, 재학습 없이도 추식 시점에 보지 못한 타겟 캡션을 동적으로 선택할 수 있게 합니다.
휴리스틱 포이즈닝 및 스테가노그래피: 저자들은 모델의 주의를 고정된 패턴이 아닌 지시어로서의 트리거로 전환하는 전략을 설계했습니다. 또한 임의의 텍스트 타겟을 은밀한 시각적 트리거(노이즈 또는 비의미적 패치)로 매핑하는 트리거 스테가노그래피 방법 $TS(\cdot)$ 을 개발했습니다.
포괄적인 평가: 본 연구는 건전한 유용성을 유지하면서 높은 공격 성공률(ASR)을 달성함을 입증하는 엄격한 실험을 제공하며, 고전적인 백도어 방어 기법에 대한 강건성을 보여줍니다.

실험 결과

실험은 주로 LLaVA-1.6에서 수행되었으며, Qwen3-VL 및 MiniGPT-v2에서도 추가 검증을 거쳤습니다. 데이터셋으로는 Flickr8k, Flickr30k, Tiny-ImageNet, CIFAR-100 등이 사용되었습니다.

공격 성공률 (ASR): 제안된 방법은 보지 못한 트리거-타겟 쌍에 대해 높은 ASR을 달이트합니다.
- 바닐라 트리거: Flickr8k에서 약 92% ASR (Tiny-ImageNet 트리거 사용 시).
- 패치 트리거: 약 87-89% ASR (Tiny-ImageNet 트리거 사용 시).
- 노름 제어 트리거: $\epsilon = 16/255$ 및 Tiny-ImageNet (64x64) 트리거 사용 시, Flickr8k에서 ASR은 약 86%에 도달합니다. 그러나 낮은 해상도의 CIFAR-100 (32x32) 트리거를 사용할 경우, Flickr8k에서의 ASR은 55.00%로 크게 떨어집니다.
- 일반화: 보지 못한 타겟에 대해 ASR이 0%로 떨어지는 베이스라인(예: TrojVLM, MTAttack)과 달리, 제안된 방법은 홀드아웃(held-out) 쌍에 대해 약 92% (바닐라) 및 약 86% (Tiny-ImageNet을 사용한 $L_\infty$ )의 ASR을 유지합니다.
건전한 유용성: 중독된 모델은 표준 벤치마크(GQA 및 MME)에서 건전한 모델과 유사한 성능을 유지하며, 지각 및 인지 점수에서 무시할 만한 저하를 보입니다.
은밀함: 건전한 모델은 은밀한 트리거가 제시되었을 때 타겟 관련 콘텐츠를 출력하지 않으며, 이는 트리거가 중독되지 않은 모델에서는 백도어를 활성화하지 않음을 확인해 줍니다.
방어 강건성: 본 공격은 Shrinkpad, Flip, Scale-up과 같은 방어 기법에 대해서도 효과적으로 작동하는 반면, 전통적인 고정 매핑 백도어(BadNets)는 이러한 방어 기법들에 의해 완전히 무력화됩니다.
시뮬레이션: (그라운드 트루스 이미지가 존재하지 않아 Stable Diffusion을 사용하여 타겟을 합성한) 시뮬레이션에서, 패치 트리거는 89.15%의 정상 ASR과 86.50%의 트리거 레벨 ASR을 달성하여 임의의 텍스트를 위해 출력을 하이재킹할 수 있는 능력을 입증했습니다.

의의 및 주장

본 논문은 VLM에 대한 최초의 any-to-any 백도어 공격을 제시한다고 주장합니다. 주요 의의는 단 한 번의 포이즈닝 단계로 프로그래밍 가능한 취약점을 심을 수 있으며, 이를 통해 공격자가 추론 시점에 타겟 캡션의 의미론을 동적으로 제어할 수 있음을 보여준 데 있습니다.

저자들은 이러한 능력이 현재 VLM 보안의 위협을 근본적으로 과소평가하게 만든다고 주장합니다. 왜냐하면 새로운 악성 목적을 위해 재학습하는 데 드는 계산적, 물류적 장벽을 제거하기 때문입니다. 연구 결과는 멀티모달 학습 파이프라인의 치명적인 취약성을 드러내며, 단순한 정적 패턴 매칭을 넘어 동적인 지시 기반 백도어를 탐지하고 완화할 수 있는 방어 메커니즘의 시급성을 강조합니다. 결론적으로, 현재의 VLM은 유연하고 공격자가 제어 가능한 임의의 악성 콘텐츠 생성 도구로 변질될 수 있는 취약성을 가지고 있습니다.