1. 문제 정의 (Problem Definition)

• 배경: 최근 대규모 오디오 - 언어 모델 (LALMs) 은 텍스트와 오디오를 통합하여 음성 인터페이스를 통해 자연스러운 대화와 도구 사용 (Tool Use) 이 가능한 지능형 비서를 구현하고 있습니다.
• 위협: 기존 연구는 주로 텍스트 기반의 '재일브레이크 (Jailbreak)'나 악성 오디오 입력을 통한 직접적인 공격에 집중했습니다. 그러나 제 3 자 공격자가 사용자의 존재 하에 오디오 데이터만 접근할 수 있는 상황에서, 사용자의 의도를 모방하거나 무시하고 모델의 행동을 은밀히 조작하는 '청각적 프롬프트 주입 (Auditory Prompt Injection)' 위협은 충분히 연구되지 않았습니다.
• 핵심 과제:
  1. 데이터 접근 제한: 공격자는 사용자의 음성 명령이나 텍스트 지시를 알 수 없으며, 오직 오디오 데이터 (예: 녹음된 회의, 배경음, 음악) 만을 조작할 수 있어야 합니다.
  2. 지각적 은폐 (Perceptual Stealth): 공격 오디오는 인간이 들었을 때 원본과 구별되지 않을 정도로 미묘해야 합니다.
  3. 맥락 무관성 (Context-Agnostic): 다양한 사용자 명령 (텍스트 또는 음성) 에 관계없이 일관되게 공격이 성공해야 합니다.
  4. 모델 이질성: LALMs 은 오디오 토큰화 방식 (이산 토큰, 연속 특징, 하이브리드) 이 다양하여 모든 모델에 적용 가능한 범용 공격 기법이 필요합니다.

2. 방법론: AudioHijack 프레임워크

저자들은 AudioHijack이라는 범용 공격 프레임워크를 제안하여 위의 과제들을 해결합니다.

가. 샘플링 기반 그래디언트 추정 (Sampling-based Gradient Estimation)

• 문제: 많은 LALMs 은 오디오를 이산 토큰으로 변환하는 과정에서 벡터 양자화 (Vector Quantization) 를 사용하는데, 이는 미분 불가능 (Non-differentiable) 하여 엔드 - 투 - 엔드 최적화를 방해합니다.
• 해결: Hard token 선택을 Gumbel-Softmax 샘플링으로 대체하여 미분 가능한 확률적 샘플링과 행렬 곱셈을 구현합니다. 이를 통해 이산 토큰이나 하이브리드 아키텍처를 가진 모델에서도 그래디언트가 역전파되어 엔드 - 투 - 엔드 적대적 최적화가 가능해집니다.

나. 어텐션 기반 맥락 일반화 (Attention-guided Context Generalization)

• 문제: LALMs 은 사용자 맥락 (Context) 에 민감하여, 특정 맥락에 맞춰진 공격은 다른 맥락에서는 실패합니다.
• 해결:
  • 암시적 접근: 다양한 사용자 명령 (Multi-context) 을 사용하여 적대적 오디오를 훈련함으로써 모델이 맥락보다 공격 오디오에 주의를 기울이도록 유도합니다.
  • 명시적 접근: 모델의 어텐션 가중치를 직접 조작하는 어텐션 손실 (Attention Loss) 을 도입합니다. 공격 오디오에 할당된 어텐션 가중치가 일정 임계값 ($\kappa$) 이상으로 유지되도록 강제하여, 다양한 unseen 맥락에서도 공격이 성공하도록 합니다.

다. 컨볼루션 기반 교란 혼합 (Convolutional Perturbation Blending)

• 문제: 기존 가산 (Additive) 방식의 교란은 고주파 노이즈를 생성하여 인간이 쉽게 감지합니다.
• 해결: 짧은 학습 가능한 커널 (Reverberation-like kernels) 을 원본 오디오와 합성곱 (Convolution) 하는 방식을 사용합니다.
  • 이는 교란 에너지를 시간 및 주파수 영역에 재분배하여 자연스러운 반향 (Reverberation) 효과처럼 보이게 합니다.
  • 이를 통해 인간의 청각에는 거의 감지되지 않으면서도 (Imperceptible), 모델의 토큰 생성 확률 분포를 조작하는 데 성공합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 연구: 오디오 데이터만 접근 가능하고 지각적 은폐가 요구되는 현실적인 제약 하에서 LALMs 에 대한 청각적 프롬프트 주입 공격을 체계적으로 분석한 최초의 연구입니다.
2. 범용 프레임워크 제안: 다양한 아키텍처 (이산/연속/하이브리드) 의 LALMs 에 적용 가능한 엔드 - 투 - 엔드 적대적 오디오 생성 프레임워크 (AudioHijack) 를 설계했습니다.
3. 실제 환경 검증: 13 개의 최신 LALMs 과 Mistral AI, Microsoft Azure 의 상용 음성 에이전트를 대상으로 공격을 성공적으로 수행하여, 실제 보안 위협임을 입증했습니다.
4. 책임 있는 공개: 취약점을 관련 업체 (Mistral AI, Microsoft Azure) 에 책임 있게 공개하고, 탐지 및 완화 전략에 대한 통찰을 제공했습니다.

4. 실험 결과 (Results)

• 공격 성공률: 13 개의 SOTA LALMs 에서 6 가지 오작동 카테고리 (청각 무지, 프롬프트 거부, 허위 정보 유포, 피싱, 페르소나 조작, 도구 오용) 를 대상으로 평균 79%~96% 의 성공률을 기록했습니다.
• 상용 에이전트 공격: Mistral AI 와 Microsoft Azure 의 상용 음성 에이전트 (Phi-4-Multimodal, Voxtral 등) 에서도 공격이 전이 (Transfer) 되어, 승인되지 않은 도구 호출 (웹 검색, 악성 파일 다운로드, 이메일을 통한 정보 유출 등) 을 성공적으로 수행했습니다.
• 지각적 은폐성:
  • SNR (신호 대 잡음비): 평균 28.6dB 이상 (높은 품질).
  • MCD (멜-cepstral 거리): 4.2 이하 (낮은 왜곡).
  • PESQ (음성 품질 평가): 3.16 (자연스러운 음질).
  • 가산 (Additive) 방식에 비해 교란이 자연스러운 반향과 유사하여 인간이 감지하기 매우 어렵습니다.
• 맥락 일반화: 훈련 시 사용되지 않은 다양한 길이의 텍스트/음성 명령에 대해 일관된 공격 성공률을 유지했습니다.

5. 의의 및 시사점 (Significance)

• 새로운 공격 표면의 노출: 오디오 - 텍스트 통합이 가져온 새로운 보안 취약점을 규명했습니다. 특히, 사용자가 직접 입력하지 않은 오디오 데이터 (예: 녹음 파일, 배경음) 를 통해 모델이 조작될 수 있다는 점은 기존 텍스트 기반 공격과 구별되는 중대한 위협입니다.
• 도구 사용 기능의 위험성: LALMs 이 외부 도구 (Tool Use) 를 사용할 수 있게 되면서, 단순한 대화 조작을 넘어 실제 시스템 제어 (파일 다운로드, 이메일 발송 등) 로 이어질 수 있어 피해 규모가 매우 큽니다.
• 방어 전략의 필요성:
  • 기존 프롬프트 수준의 방어 (In-context defense) 나 응답 분석 (Self-reflection) 은 효과가 미미했습니다.
  • 모델 내부의 어텐션 (Attention) 메커니즘을 분석하는 심층 탐지 기법 (Attention deviation detection) 이 효과적이었으나, 적응형 공격자에 대한 탐지와 공격 효율성 간의 트레이드오프가 존재함을 발견했습니다.
• 향후 방향: 온디바이스 (On-device) 배포가 증가함에 따라 엣지 디바이스에서의 시스템 수준 공격 위험이 커질 수 있으므로, 향후 실제 디바이스 환경에서의 평가와 더 강력한 방어 메커니즘 개발이 시급합니다.

이 논문은 LALMs 의 발전과 함께 필수적으로 고려해야 할 오디오 기반 보안 위협을 명확히 제시하며, 향후 안전한 음성 AI 시스템 구축을 위한 중요한 기초를 마련했습니다.