A Systematic Study of Cross-Modal Typographic Attacks on Audio-Visual Reasoning

1. 연구 배경 및 문제 정의 (Problem)

최근 오디오 - 비주얼 멀티모달 대규모 언어 모델 (MLLM) 이 안전이 중요한 응용 분야에 점차 배포되고 있습니다. 기존 연구는 주로 단일 모드 (Unimodal) 의 타이포그래피 공격 (예: 이미지에 겹쳐진 텍스트나 로고로 모델을 속이는 것) 에 집중해 왔습니다. 그러나 오디오 - 비주얼 MLLM 은 텍스트 프롬프트, 음성 오디오, 화면 내 텍스트 등 세 가지 다른 모달리티 스트림을 처리합니다.

이 논문은 다음과 같은 핵심 질문을 제기합니다:

• 서로 다른 모달리티 (시각적 텍스트 vs. 청각적 텍스트) 를 통해 전달되는 의미론적 교란 (Semantic Perturbation) 이 모델의 반응과 의사결정 과정에 일관되게 영향을 미치는가?
• 특히, 자연스러운 비디오의 일부인 음성 (Speech) 을 이용한 교란이 시각적 텍스트만큼 효과적으로 모델을 속일 수 있는가?
• 여러 모달리티가 동시에 조작될 때 (Cross-modal), 공격의 효과는 어떻게 증폭되는가?

2. 방법론 (Methodology)

저자들은 "멀티모달 타이포그래피 (Multi-Modal Typography)" 라는 새로운 프레임워크를 제안하며, 오디오를 주요 타이포그래피 모달리티로 간주합니다.

• 오디오 타이포그래피 (Audio Typography) 구축:
  • 원본 비디오의 시각 스트림은 변경하지 않고, 텍스트 - 음성 (TTS) 모델을 통해 생성된 오해의 소지가 있는 음성 텍스트를 원본 오디오 트랙에 주입합니다.
  • 주입된 음성은 원본 비디오의 내용과 불일치하도록 설계됩니다 (예: 고양이가 나오는 영상에 "이것은 말이다"라고 말하는 음성 주입).
• 실험 설정:
  • 모델: Qwen2.5-Omni-7B, Qwen3-Omni-30B, PandaGPT, ChatBridge, Gemini 시리즈 등 다양한 최신 오디오 - 비주얼 MLLM 평가.
  • 데이터셋: MMA-Bench (시각/청각 질문 분리), Music-AVQA, WorldSense, 안전성 벤치마크 (MetaHarm, I2P).
  • 평가 지표:
    • 정확도 (ACC): 공격 전후의 정답률 감소량.
    • 공격 성공률 (ASR, Attack Success Rate): 모델의 예측이 주입된 목표 클래스 (Target Label) 로 전환된 비율. (무작위 오류가 아닌 표적 공격 성공을 측정).
• 공격 시나리오:
  1. 단일 모드 공격: 텍스트, 오디오, 시각 중 하나만 조작.
  2. 정렬된 다중 모드 공격 (Aligned): 오디오와 시각적 교란이 동일한 목표 클래스를 지시.
  3. 충돌하는 다중 모드 공격 (Conflicting): 오디오와 시각적 교란이 서로 다른 목표 클래스를 지시.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. 단일 모드 조작의 효과 (Unimodal Manipulation)

• 음성 타이포그래피의 유효성: 시각적 텍스트 없이 오디오만 조작해도 모델의 예측이 주입된 목표 방향으로 확실히 이동합니다.
  • 예: Qwen2.5-Omni-7B 모델에서 WorldSense 벤치마크의 ASR 이 64.03% 에 달했습니다.
• 교차 모드 영향 (Cross-Modal Impact): 오디오 공격은 오디오 기반 작업뿐만 아니라 순수 시각적 질문에서도 정확도를 크게 떨어뜨립니다.
  • 예: MMA-Bench 의 시각적 질문에서 Qwen2.5-Omni-7B 의 정확도가 12.85% 감소했습니다. 이는 misleading speech 가 시각적 증거를 압도할 수 있음을 의미합니다.

B. 다중 모드 공격의 시너지 (Multiple Modality Attacks)

• 가장 강력한 위협: 오디오와 시각적 교란이 동일한 목표 (Aligned) 를 지시할 때, 단일 모드 공격보다 훨씬 강력한 실패를 유발합니다.
  • Qwen2.5-Omni-7B 에서 MMA-Bench 의 시각/오디오 질문 모두에서 ASR 이 83% 이상 (83.13%, 83.43%) 으로 급증했습니다.
  • 이는 모달리티 간의 의미론적 일치가 공격의 효과를 극적으로 증폭시킨다는 것을 보여줍니다.

C. 공격 파라미터 분석 (Attack Effectiveness Analysis)

• 효과성 - 은폐성 트레이드오프 (Effectiveness-Stealth Trade-off):
  • 볼륨 (Volume): 공격 성공률에 가장 큰 영향을 미치지만, 탐지 가능성 (Stealth) 을 가장 크게 떨어뜨립니다.
  • 반복 (Repetition): 볼륨을 높이지 않고도 공격 성공률을 높일 수 있는 가장 효율적인 방법입니다. (은폐성과 공격력 사이의 최적 균형을 제공).
  • 시각적 위치 (Temporal Placement): 후반부에 주입될수록 공격 효과가 약간 증가합니다.
  • 음성 톤 (Voice Identity): 화자의 성별이나 톤은 공격 효과에 미미한 영향을 미칩니다.
• 의미론적 풍부함 (Semantic Richness): 단순한 키워드 주입보다, LLM 이 설계한 자연스러운 문장이나 옵션의 의미 내용을 담은 주입이 공격 성공률을 훨씬 높입니다.

D. 안전성 및 콘텐츠 규제 영향 (Safety Impact)

• 해로운 콘텐츠 탐지 우회: 시각적으로 유해한 비디오에 "안전하고 건강한 영상입니다"와 같은 건전한 (Benign) 음성을 주입하면, 모델의 유해 콘텐츠 탐지 능력이 크게 저하됩니다.
  • MetaHarm 벤치마크에서 유해 콘텐츠 탐지율이 약 13% 감소했습니다.
  • 이는 공격자가 시각적 필터를 우회하기 위해 자연스러운 음성 명령을 사용할 수 있음을 시사합니다.

4. 의의 및 결론 (Significance)

이 연구는 오디오 - 비주얼 MLLM 의 새로운 취약점을 체계적으로 규명했습니다.

1. 교차 모드 취약성: 모델이 단일 모달리티에 국한되지 않고, 서로 다른 모달리티 간의 상호작용을 통해 공격에 취약하다는 것을 증명했습니다. 특히 자연스러운 비디오의 일부인 '음성'이 강력한 공격 채널이 될 수 있음을 밝혔습니다.
2. 안전성 위협: 콘텐츠 규제 (Content Moderation) 와 같은 안전이 중요한 분야에서, 시각적 증거가 명확함에도 불구하고 음성 텍스트만으로 모델의 판단을 왜곡할 수 있어 심각한 실세계 위험을 초래할 수 있습니다.
3. 향후 연구 방향:
   • 현실적인 간섭 (중첩된 화자, 배경 내레이션 등) 에 대한 취약성 테스트.
   • 모달리티 간 일관성 검증 (Consistency Checks) 을 통한 방어 메커니즘 개발.
   • 의미론적으로 교란된 데이터로 모델을 학습시키는 등의 방어 전략 모색.

결론적으로, 이 논문은 멀티모달 AI 시스템의 신뢰성을 확보하기 위해 오디오 타이포그래피를 중요한 공격 벡터로 인식하고, 이에 대한 체계적인 평가와 방어 연구가 시급함을 강조합니다.