When One Modality Rules Them All: Backdoor Modality Collapse in Multimodal Diffusion Models

이 논문은 멀티모달 확산 모델에서 여러 모달리티를 동시에 공격하면 시너지 효과가 있을 것이라는 통념을 반박하며, 백도어 공격이 실제로는 특정 모달리티에 의존하는 '백도어 모달리티 붕괴' 현상이 발생하고 교차 모달리티 상호작용은 미미하거나 오히려 부정적임을 규명했습니다.

핵심

🎭 제목: "한 명이 모든 것을 장악하다: AI 의 배신"

1. 배경: AI 는 두 개의 눈과 귀를 가졌습니다

생성형 AI(예: Stable Diffusion) 는 보통 두 가지 정보를 받아 이미지를 만듭니다.

• 눈 (이미지): "이 사진을 바탕으로 수정해 줘."
• 귀 (텍스트): "안경은 빼고, 미소 짓게 해 줘."

연구자들은 보통 이렇게 생각했습니다. "두 가지 정보를 동시에 해킹하면, 해킹 효과가 1+1=2 로 더 강력해지겠지?"
예를 들어, 사진에 특정 패턴을 숨기고 (이미지 해킹), 동시에 명령어에 특정 단어를 넣으면 (텍스트 해킹), AI 는 두 배로 확실하게 해킹된 명령을 따를 거라고 믿었습니다.

2. 발견: "한 명이 모든 것을 장악했다!" (Backdoor Modality Collapse)

하지만 연구자들은 놀라운 사실을 발견했습니다. 두 가지 해킹을 동시에 넣어도, AI 는 오직 '한 가지' 정보만 듣고 나머지 하나는 무시해버린다는 것입니다.

이를 **'배신 모드 붕괴 (Backdoor Modality Collapse)'**라고 부릅니다.

🍕 비유: 피자를 시키는 상황

• 상황: 친구 두 명이 함께 피자를 시킵니다.
  • 친구 A (이미지): "사진을 보니 토마토가 많네, 토마토 피자로 해줘."
  • 친구 B (텍스트): "나는 '마늘'을 넣어달라고 적어줘."
• 일반적인 생각: 두 친구의 주문을 모두 반영해서 '토마토 + 마늘' 피자가 나올 거야.
• 실제 AI 의 반응: AI 는 친구 B(텍스트) 의 말만 듣고 마늘 피자를 만듭니다. 친구 A(이미지) 가 무슨 말을 하든, 사진이 뭐가 그려져 있든 AI 는 아예 듣지 않습니다.

이 논문은 "멀티모달 (다중 감각) 해킹을 하면 강력해지겠지?"라는 상식을 깨뜨리고, 실제로는 해커가 가장 강력한 한 가지 수단 (이 경우 텍스트) 만으로 AI 를 완전히 조종할 수 있다는 것을 증명했습니다.

3. 실험 결과: 텍스트가 '왕'이다

연구팀은 다양한 실험을 해보았습니다.

• 실험: 사진에 '안경' 그림을 숨기고, 명령어에 '익명 (anonymous)'이라는 단어를 넣는 해킹을 동시에 시도했습니다.
• 결과:
  • 이미지 해킹만: AI 는 거의 반응하지 않음. (안경이 그려져도 정상적인 사진이 나옴)
  • 텍스트 해킹만: AI 는 즉시 해커가 원하는 이상한 그림 (예: 고양이) 을 만듦.
  • 둘 다 해킹: 결과는 '텍스트 해킹만' 했을 때와 똑같음. 이미지가 해킹되어도 소용없음.

결론: 해커는 굳이 복잡한 이미지 해킹을 할 필요가 없습니다. 단순히 명령어에 아주 작은 단어를 추가하는 것만으로도 AI 를 완전히 장악할 수 있습니다.

4. 왜 이런 일이 일어날까? (원인 분석)

논문은 두 가지 이유를 꼽습니다.

1. 학습의 편향 (가장 쉬운 길): AI 는 학습할 때 가장 쉽고 확실한 단서를 잡으려 합니다. 이미지는 복잡하고 데이터가 많지만, 텍스트는 명확하고 짧습니다. AI 는 "복잡한 이미지 분석은 귀찮고, 텍스트 명령만 따르면 되겠네?"라고 생각하며 가장 쉬운 길 (텍스트) 로만 도망칩니다.
2. 소음 처리: AI 는 이미지 해킹 신호를 '잡음 (Noise)'으로 인식하고, 텍스트 해킹 신호를 '명확한 지시'로 인식합니다. 그래서 이미지 해킹 신호는 아예 무시해버립니다.

5. 이 발견이 중요한 이유

이 연구는 AI 보안에 큰 경종을 울립니다.

• 오해: "우리는 이미지와 텍스트를 모두 해킹해서 방어해야 해."
• 현실: "아니, 해커는 텍스트 하나만 건드리면 되니까 훨씬 쉬워."

지금까지 우리는 "여러 가지 감각을 동시에 해킹하면 더 위험하다"고 생각했지만, 실제로는 **"한 가지 감각 (텍스트) 만 해킹해도 AI 가 완전히 무너진다"**는 것이었습니다.

📝 한 줄 요약

"AI 해킹은 여러 가지 수단을 동원해야 강력해진다는 상식을 깨뜨렸습니다. 실제로는 해커가 '텍스트'라는 한 가지 열쇠만으로도 AI 의 모든 문을 열고, 나머지 정보 (이미지) 는 완전히 무시해버린다는 치명적인 약점이 발견되었습니다."

이제 우리는 AI 를 보호할 때, 이미지 해킹만 막는 게 아니라 텍스트 명령어에 숨겨진 위험 신호를 훨씬 더 철저히 감시해야 한다는 교훈을 얻었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 확산 모델 (Diffusion Models) 은 텍스트 - 이미지 생성 및 이미지 편집 분야에서 혁신을 이루었으나, 백도어 공격 (Backdoor Attacks) 에 대한 취약성이 부각되고 있습니다. 최근 연구는 텍스트와 이미지 등 여러 모달리티를 동시에 공격하면 시너지 효과가 발생하여 공격이 더 강력해질 것이라는 가정을 하고 있습니다.
• 문제 제기: 저자들은 이 직관적인 가정을 반박합니다. 멀티모달 학습에서 잘 알려진 '모달리티 붕괴 (Modality Collapse)' 현상 (모델이 여러 입력을 융합하도록 설계되었음에도 불구하고 일부 모달리티에만 의존하는 현상) 이 백도어 공격에서도 발생할 수 있다고 주장합니다.
• 핵심 질문: 멀티모달 확산 모델에서 백도어 공격이 여러 모달리티의 협력으로 작동하는가, 아니면 특정 모달리티 (예: 텍스트) 에만 의존하여 다른 모달리티 (예: 이미지) 의 트리거를 무력화시키는 '백도어 모달리티 붕괴 (Backdoor Modality Collapse)' 현상이 발생하는가?

2. 방법론 (Methodology)

이 논문은 백도어 모달리티 붕괴를 정량화하고 진단하기 위해 두 가지 새로운 지표를 도입했습니다. 이 지표들은 협력 게임 이론의 Shapley Value (샤플리 값) 개념을 기반으로 합니다.

1. 트리거 모달리티 귀속 (Trigger Modality Attribution, TMA, $\phi$):

   • 백도어 활성화에 각 모달리티가 기여하는 정도를 정량화합니다.
   • 특정 모달리티의 트리거가 제거되었을 때 공격 성공률이 얼마나 떨어지는지를 측정하여, 공격이 어떤 모달리티에 의해 주도되는지 식별합니다.
   • 수식: $\phi_m = \sum_{S \subseteq M \setminus \{m\}} \frac{|S|!(M-|S|-1)!}{M!} (v(S \cup \{m\}) - v(S))$
   • 여기서 $v(S)$는 특정 모달리티 집합 $S$의 트리거가 활성화되었을 때의 공격 성공 점수 (백도어 타겟과 생성된 이미지의 유사도 - 클린 이미지의 유사도) 입니다.

2. 교차 트리거 상호작용 (Cross-Trigger Interaction, CTI, $I$):

   • 여러 모달리티를 결합했을 때 단순 합 이상의 시너지 (Synergy) 가 있는지, 아니면 중복 (Redundancy) 이나 간섭 (Interference) 이 발생하는지 측정합니다.
   • 수식: $I = v(M) - \sum_{m \in M} v(\{m\}) + (M-1)v(\emptyset)$
   • $I > 0$: 시너지 효과 (상호 보완적)
   • $I < 0$: 간섭 또는 중복 효과 (한 모달리티가 다른 모달리티를 방해하거나 불필요함)

• 실험 설정:
  • 모델: InstructPix2Pix (Stable Diffusion 기반의 지시형 이미지 편집 모델).
  • 데이터: CelebA 데이터셋.
  • 트리거 조합: 이미지 패치 (예: 안경, 정지 표지판) + 텍스트 키워드 (예: 'mignneko', 'anonymous', 'latte coffee').
  • 공격 방식: OR Poisoning (텍스트 또는 이미지 중 하나에 트리거 삽입) 및 AND Poisoning (두 가지 모두에 트리거 삽입).

3. 주요 결과 (Key Results)

다양한 실험 설정 (다양한 트리거 쌍, 중독 비율 1%~10%) 에서 일관되게 백도어 모달리티 붕괴가 관찰되었습니다.

1. 모달리티 지배성 (Modality Dominance):

   • 백도어 공격은 거의 전적으로 텍스트 모달리티에 의해 주도되었습니다.
   • TMA 결과: "White-box + mignneko" 트리거 쌍 (5% OR 중독) 에서 텍스트 트리거의 기여도 ($\phi_T$) 는 0.9743이었으나, 이미지 트리거의 기여도 ($\phi_I$) 는 0.0060에 불과했습니다.
   • 이는 이미지 트리거가 존재하더라도 공격이 사실상 단일 모달리티 (텍스트) 백도어처럼 작동함을 의미합니다.

2. 부정적인 상호작용 (Negative Interaction):

   • 이미지와 텍스트 트리거를 결합해도 시너지 효과가 발생하지 않았습니다. 오히려 CTI 값이 일관되게 음수로 나타났습니다 (예: -0.0089).
   • 이는 이미지 트리거가 텍스트 트리거의 하위 집합 (redundant subset) 으로 작용하여, 결합 시 추가적인 이득을 주지 못하거나 오히려 간섭을 일으킨다는 것을 의미합니다.

3. 시각적 검증:

   • 텍스트 트리거만 있을 때와 이미지 + 텍스트 트리거가 모두 있을 때 생성된 이미지가 거의 동일하게 백도어 타겟을 생성했습니다.
   • 반면, 이미지 트리거만 있을 때는 백도어가 활성화되지 않거나 매우 불안정하게 작동했습니다.

4. 원인 분석:

   • 최적화 불균형: 텍스트 모달리티가 이미지 모달리티보다 더 강력하고 일관된 그라디언트를 생성하여, 모델이 학습 과정에서 텍스트 '숏컷 (shortcut)'에 의존하게 됩니다.
   • 잠재 공간 정렬 실패: 이미지와 텍스트는 이질적인 표현을 공유 잠재 공간으로 매핑하지만, 이미지 입력의 차원이 훨씬 크기 때문에 최적화 과정에서 미세한 이미지 트리거 패턴이 '잡음'으로 간주되어 배제됩니다.

4. 주요 기여 (Key Contributions)

1. 새로운 현상의 발견 및 정의: 멀티모달 확산 모델에서 백도어 공격이 특정 모달리티에 의존하여 붕괴되는 '백도어 모달리티 붕괴 (Backdoor Modality Collapse)' 현상을 최초로 체계적으로 규명하고 정의했습니다.
2. 정량적 평가 프레임워크 제시: 백도어 활성화 메커니즘을 세분화하여 분석할 수 있는 TMA와 CTI라는 두 가지 새로운 지표를 제안했습니다.
3. 기존 가설 반박: "여러 모달리티를 동시에 공격하면 더 강력한 공격이 된다"는 기존 통념을 반박하고, 고도의 공격 성공률이 오히려 특정 모달리티에 대한 의존성을 숨기고 있을 수 있음을 증명했습니다.
4. 방어 및 연구의 기초 마련: 향후 멀티모달 백도어의 최적화 역학을 이해하고, 모달리티 간 불균형을 해결하는 견고한 방어 전략을 개발하는 데 필요한 이론적 기반을 제공했습니다.

5. 의의 및 결론 (Significance)

이 연구는 멀티모달 AI 시스템의 보안 평가에 있어 중요한 시사점을 제공합니다. 단순히 공격 성공률 (ASR) 만을 보고 평가할 경우, 모델이 실제로는 한 모달리티 (예: 텍스트 프롬프트) 에만 취약하다는 사실을 간과할 수 있습니다.

• 실제 위험: 예를 들어, 이미지 + 텍스트 편집 서비스에서 공격자는 이미지에 복잡한 패턴을 넣지 않고도, 사용자의 프롬프트에 미세한 특수 문자나 희귀 토큰만 추가하면 백도어를 활성화할 수 있습니다. 이는 공격을 훨씬 쉽게 만듭니다.
• 미래 방향: 이 연구는 멀티모달 모델이 어떻게 특정 모달리티에 편향되는지 그 메커니즘을 규명함으로써, 향후 더 견고한 멀티모달 아키텍처 설계와 효과적인 백도어 방어 기술 개발의 토대가 될 것입니다.

요약하자면, 이 논문은 **"멀티모달 백도어 공격은 여러 모달리티의 협력이 아니라, 한 모달리티 (주로 텍스트) 의 독주로 인해 다른 모달리티가 무력화되는 붕괴 현상을 보인다"**는 놀라운 사실을 발견하고 이를 정량적으로 증명했습니다.