기술 요약: SOUNDBREAK

문제 정의

오디오, 비전, 언어를 통합하는 멀티모달 파운데이션 모델은 강력한 추론 능력을 보여주었으나, 적대적 조작에 대한 이들의 강건성(robustness)은 여전히 제대로 이해되지 않고 있다. 기존 연구들이 시각-언어 공격, 단일 모달리티 오디오 공격, 그리고 다중 모달 협력 공격을 광범하게 탐구해 온 반면, 트리모달(오디오-비디오-언어) 모델에 대한 비표적(untargeted), 오디오 전용 적대적 공격에 대한 이해에는 상당한 공백이 존재한다.

본 연구에서 조사된 특정 위협 모델은 입력 파이프라인 내에서 오디오 채널만을 제어하는 공격자를 가정한다. 공격자는 시각적 또는 텍스트 입력을 수정하지 않고 모델의 추론 성능을 저하시키는 것을 목표로 한다. 이러한 시나리오는 오디오 조작이 손상된 마이크, 환경 스피커, 또는 전송 채널을 통해 배포될 수 있으며, 시각적 섭동(perturbation)보다 탐지하기 어렵다는 점에서 현실적인 시나리오로 간주된다.

방법론

저자들은 멀티모달 실패를 유도하기 위해 (샘플별이 아닌 학습 데이터 전체에 대해 학습된) 공유 오디오 섭동을 생성하는 체계적인 프레임워크인 SOUNDBREAK를 제안한다. 공격은 클린 오디오 파형 $x_a$에 가산 섭동 $\delta$를 주입하여 $\tilde{x}_a = x_a + \delta$를 생성하는 화이트박스 최적화 문제로 정식화되며, 이때 $\ell_\infty$ 노름 제약 조건($\|\delta\|_\infty \leq \epsilon$)을 따른다.

핵심 기여는 멀티모달 처리 파이프라인의 서로 다른 단계들을 겨냥하는 6가지 상호 보완적인 적대적 목적 함수의 설계이다:

1. 부정적 언어 모델링 손실 ($L_{negLM}$): 정답 시퀀스의 로그 확률을 최소화함으로써 정답에 대한 모델의 신뢰도를 직접적으로 낮춘다.
2. 인코더 기반 코사인 유사도 손실 ($L_{(cos)}$): 오디오 인코더의 표현 공간을 겨냥하여, 클린 오디오와 섭동된 오디오의 임베딩 간 코사인 유사도를 최소화함으로써 기초적인 오디오 특징을 왜곡한다.
3. 비전 어텐션 억제 손실 ($L_{(visionatt)}$): 비전 토큰에 할당된 어텐션 질량(attention mass)을 집계하고 이를 최소화하여, 모델이 시각적 증거에 대해 "눈이 멀게" 만든다.
4. 오디오 어텐션 증폭 손실 ($L_{(audioatt)}$): 오디오 토큰에 할당된 어텐션 질량을 집계하고 이를 최대화(음의 값을 최소화)하여, 모델이 왜곡된 오디오 스트림에 과도하게 의존하도록 강제한다.
5. 어텐션 무작위화 손실 ($L_{(randatt)}$): 실제 어텐션 분포와 무작위화된 타겟 사이의 KL 발산을 최소화함으로써 어텐션 메커니즘의 구조적 무결성을 파괴한다.
6. 은닉 상태 유사도 손실 ($L_{(hidden-cos)}$): 레이어 전반의 트랜스포머 은형 상태(hidden states)를 겨냥하여, 적대적 표현을 클린 상태의 표현으로부터 멀어지게 밀어낸다.

결합 손실(Combined Loss) 공식($L_{combined}$) 또한 모든 6가지 목적 함수를 공동으로 최적화하기 위해 평가된다. 최적화는 공유 섭동을 학습하기 위해 학습 데이터셋을 반복하며 Adam을 사용한 투영 경사 하강법(Projected Gradient Descent, PGD)을 활용한다.

주요 기여

1. 새로운 위협 모델: 본 연구는 단일 모달리티 또는 이중 모달 설정을 넘어, 트리모달 오디오-비디오-언어 모델에 대한 비표적, 오디오 전용 공격을 체계적으로 분석한 첫 번째 연구이다.
2. 다단계 공격 목적 함수: 인코더, 어텐션, 은닉 상태, 출력 레벨에서 취약성을 조사하는 6가지 독특한 손실 함수를 제안하여, 어떤 계산 구성 요소가 가장 취약한지를 분리하여 파악할 수 있게 한다.
3. 체계적 평가: 세 가지 최첨단 모델(VideoLLAMA2, Qwen 2.5 Omni, Qwen 3 Omni)과 세 가지 벤치마크(AVQA, AVSD, Music-AVQA)를 통한 광범한 실험, 그리고 음성 인식 시스템(Whisper)에 대한 평가를 수행하였다.

실험 결과

본 연구는 트리모달 모델의 강건성에 관한 몇 가지 중요한 사실을 밝혀냈다:

• 높은 공격 성공률 (ASR): 오디오 전용 섭동은 심각한 멀티모달 실패를 유도할 수 있다. 결합된 공격은 VideoLLAMA2를 사용하여 AVQA 벤치마크에서 **96.03%**의 ASR을 달 기록했다. 인코더 기반 코사인 유사도 손실($L_{(cos)}$) 단독으로도 **89.12%**의 ASR을 달성하였으며, 이는 많은 경우에서 출력 레벨 및 어텐션 기반 목적 함수보다 우수한 성능을 보였다.
• 낮은 지각적 왜곡: 매우 효과적인 공격이 최소한의 지각적 왜곡으로 달성될 수 있다. 성공적인 공격들은 낮은 LPIPS 점수(예: $L_{(cos)}$의 경우 $0.08$)와 0에 가깝거나 양수인 SI-SNR 값을 유지하였으며, 이는 섭동이 노이즈 형태가 아닌 미세하고 구조적임을 나타낸다.
• 최적화 vs 데이터 규모: 공격의 효과는 데이터셋의 크기보다는 확장된 최적화 반복 횟수에 의해 결정된다. 작은 데이터셋(예: 1,000개 샘플)으로 학습되었더라도 많은 반복 횟수(예: 372k) 동안 최적화된 모델이, 더 큰 데이터셋을 적은 반복 횟수로 학습한 모델보다 훨씬 높은 ASR을 달성했다.
• 제한된 전이성 (Transferability):
  • 교차 모델 (Cross-Model): 한 아키텍처(예: VideoLLAMA2)에서 학습된 공격은 다른 아키텍처(예: Qwen 2.5/3 Omni)로의 전이성이 낮았으며, ASR이 ~10%에서 ~3-4%로 떨어졌다. 이는 공격이 모델 특유의 표현적 특성을 이용함을 시사한다.
  • 교차 도메인 (Cross-Domain): 일반적인 오디오-비각 데이터(AVQA)로 학습된 공격은 음악 도메인(Music-AVQA)으로 잘 전이되지 않았으며, 소스 도메인의 89.07%에 비해 13.80%의 ASR만을 기록했다.
  • 교차 아키텍처 (Cross-Architecture): 인코더 공간의 섭동은 서로 다른 오디오 인코더 아키텍처(예: BEATs vs Whisper 스타일 인코더) 간에 전이되지 않았다.
• 음성 인식 취약성: 트리모달 모델과 달리, 음성 인식 시스템(Whisper)은 특정 공격 목적 함수보다는 음향적 왜곡의 크기에 주로 반응했다. 높은 왜곡을 유도하는 공격(예: $L_{negLM}$)은 Whisper에서 97% 이상의 ASR을 달성한 반면, 저왜곡 공격은 실패했다.
• 레이어별 취약성: 하위 트랜스포머 레이어(1~10)가 오디오 기반 공격에 가장 결정적인 것으로 식별된 반면, 상위 레이어는 일관되게 낮은 취약성을 보였다.
• 신뢰도 안정성: 높은 ASR에도 불구하고, 모델은 (잘못된) 적대적 출력에 대해 높은 신뢰도를 유지했다. 신뢰도 수준이 클린 입력과 유사하다는 것은, 적대적 실패가 모델의 불확실성이 아니라 내부적 불일치(misalignment)에서 기인함을 시사하며, 이는 신뢰도 모니터링을 통해 탐지하기 어렵게 만든다.

의의 및 주장

본 논문은 멀티모달 시스템에서 이전에 간과되었던 단일 모달리티 공격 표면을 드러냈다고 주장한다. 연구 결과는 공격자가 오디오 스트림만을 제로 제어하더라도 시각적 또는 텍스트 입력을 변경하지 않고 멀티모달 추론을 체계적으로 저하시킬 수 있음을 보여준다.

저자들은 이러한 결과가 **교차 모달 일관성(cross-modal consistency)**을 강제하는 방어 기제의 필요성을 촉발한다고 강조한다. 현재의 모델들은 미세하고 구조적인 오디오 섭동에 취약하며, 이것이 시스템을 통해 전파되어 치명적인 추론 실패를 일으킬 수 있기 때문이다. 본 연구는 단순히 여러 모달리티를 통합한다고 해서 강건성이 보장되는 것이 아니며, 오디오 인코딩 및 교차 모달 어텐션 메커니즘의 특정 취약점이 반드시 해결되어야 함을 강조한다.

본 작업은 이러한 취약성을 이해하기 위한 기초적인 단계로 제시되었으며, 저자들은 화이트박스 설정, 디지털 전용 섭동, 그리고 평가된 방어 기제의 부재와 같은 한계점을 언급하며 이를 향후 연구 방향으로 제시하였다.