기술 요약: 대규모 오디오-언어 모델의 오디오 탈출 공격

문제 정의

대규모 오디오-언어 모델 (LALM) 은 대규모 언어 모델 (LLM) 의 공격 표면을 토큰 수준의 프롬팅에서 전체 음성 인식부터 추론에 이르는 파이프라인으로 확장합니다. 텍스트 전용 모델과 달리 LALM 은 의도된 의미뿐만 아니라 음향적 변형, 신호 처리 아티팩트, 그리고 전사 또는 인식 오류에도 취약합니다. 기존 LALM 탈출 공격 연구는 단절된 흐름을 따라 발전해 왔습니다. 일부는 텍스트 공격을 음성으로 이전하고, 다른 일부는 음향적 속성을 조작하며, 또 다른 일부는 특정 방어책을 제안하는데, 이 과정에서 이질적인 모델, 프롬프트, 평가 기준을 사용했습니다. 이러한 표준화 부재로 인해 공격의 실용성, 방어의 유용성을 비교하거나 모달리티별 취약점을 식별하기 어렵습니다. 또한, 현재 안전성 벤치마크는 공격 성공률 (ASR) 에만 집중하여 실제 배포 가능성을 결정하는 계산 비용, 지연 시간, 그리고 건전한 거부율 (BRR) 을 간과하고 있습니다.

방법론

본 논문은 구조화된 조사와 통제된 실증 평가를 통해 이러한 격차를 해소합니다.

1. 통합 분류 체계:
저자들은 LALM 안전성 지형을 세 가지 차원으로 조직화합니다.

• 공격: 오디오에서 추론에 이르는 파이프라인 내 개입 지점에 따라 분류:
  • 의미층: 문자 그대로의 공격, 내러티브 프레임 (역할극/소설), 그리고 건전한 자료에 의도를 숨기는 내용 희석.
  • 음향층: 억양, 언어, 감정, 나이, 성별, 화법 스타일의 조작.
  • 신호층: 적대적 신호 (최적화된 파형 교란) 와 신호 변환 (압축, 피치 시프트, 리버브와 같은 표준 처리).
  • 임베딩층: 내부 음성 토큰 또는 인코더 출력의 조작.
• 방어: 배포 메커니즘에 따라 분류: 가드 모델 필터 (외부 분류기), 학습 없는 개입 (입력 정제 또는 잠재적 조향), 그리고 학습 기반 정렬 (적대적 미세 조정).
• 벤치마크: 평가 환경에 따라 분류: 교차 모달 (텍스트 - 음성 전환), 오디오 네이티브 (음향/신호 변형), 그리고 상호작용/에이전트 (멀티턴 또는 도구 사용 시나리오).

2. 실증 평가:
저자들은 JailbreakBench 데이터셋의 하위 집합 (유해 요청 100 건, 건전한 요청 100 건) 을 사용하여 10 개의 오픈 소스 LALM 에 걸쳐 통합 평가를 수행했습니다.

• 공격: 세 가지 의미층 공격 (문자 그대로, 내러티브 프레임, 내용 희석) 과 음향층 및 신호층을 위한 Best-of-N (BoN) 전략을 평가했습니다. BoN 에서 $N=20$개의 후보를 다양한 음향 (언어, 억양, 감정 등) 또는 신호 (템포, 피치, 잡음 등) 차원에 걸쳐 샘플링합니다. 어떤 후보라도 모델을 우회하면 공격이 성공한 것으로 간주됩니다.
• 방어: 두 가지 대표적인 방어를 테스트했습니다: VoiceShield(Whisper 기반 입력 가드 필터) 와 Defensive Prompt(시스템 프롬프트 지시).
• 지표: ASR, 건전한 거부율 (BRR), 그리고 지연 시간 (오프라인 준비 비용과 온라인 추론 비용으로 분해) 을 측정했습니다.

주요 결과

1. 공격 효과성 및 취약점 유형:

• 의미적 위협: 방어 없이 직접적인 유해 오디오는 기준선 ASR 0.071 을 보입니다. 내러티브 프레임은 문자 그대로의 공격 (0.176) 과 내용 희석 (0.165) 을 능가하는 가장 강력한 의미적 위협 (ASR 0.376) 으로 나타났습니다. 이는 유해한 의도를 그럴듯한 내러티브 안에 맥락화하는 것이 직접적인 명령보다 지시 따르기 행동을 더 효과적으로 악용함을 시사합니다.
• 오디오 공간 취약점: 음향 Best-of-N(ASR 0.458) 은 전체적으로 가장 강력한 공격으로 입증되었으며, 신호 Best-of-N(ASR 0.223) 을 크게 능가했습니다. 이는 동일한 의도의 실현을 변경하는 것 (예: 억양이나 감정 변경) 이 안전 정렬을 우회할 수 있는 오디오 공간에서 LALM 이 특정 약점을 가지고 있음을 나타냅니다.
• 지연 시간 vs 성공률 트레이드오프: 음향 BoN 은 가장 높은 성공률을 달성하지만 막대한 지연 시간 비용 ($N=20$일 때 총 지연 시간 약 74.8 초) 을 초래합니다. 반면, 내러티브 프레임은 적절한 지연 시간 (~11.9 초) 으로 높은 성공률을 제공하여 가장 실용적인 저지연 의미적 위협이 됩니다.

2. 방어 성능 및 트레이드오프:

• VoiceShield 가드: 명시적 의미 공격에 효과적 (문자 그대로 공격 ASR 을 0.176 에서 0.004 로 감소) 하지만 음향 검색에는 취약합니다 (음향 BoN ASR 은 0.441 로 높게 유지됨). 이는 건전한 거부율 (BRR) 을 0.171 에서 0.307 로 중간 정도 증가시킵니다.
• Defensive Prompt: 더 강력한 전체적 견고성을 제공하여 평균 ASR 을 0.064 로 낮추고 음향 BoN 을 효과적으로 무력화합니다 (0.098 로 감소). 그러나 이는 사용성에 심각한 비용을 수반하여 BRR 이 급격히 0.461 로 상승합니다.
• 지연 시간 역학: 방어책은 지연 시간 프로파일을 비선형적으로 변경합니다. VoiceShield 는 LLM 생성을 건너뛰어 거부된 요청에 대한 총 지연 시간을 줄이는 반면, Defensive Prompt 는 더 짧은 거부 출력 생성을 통해 지연 시간을 줄입니다.

3. 모델 이질성:
결과는 모델 간에 크게 다릅니다. 예를 들어, Voxtral-Small-24B는 방어 없는 공격에 매우 취약 (ASR 0.540) 한 반면, MOSS-Audio-4B는 취약성은 낮지만 본질적으로 건전한 거부율이 더 높습니다. 단일 방어책이 모든 모델 - 공격 쌍에서 보편적으로 우세하지는 않습니다.

중요성 및 주장

본 논문은 LALM 안전성이 ASR 로만 평가될 수 없다고 주장합니다. 연구 결과는 다음을 고려하는 비용 및 유틸리티 인식 평가 프레임워크를 지지합니다.

1. 다목적 안전성: 안전성은 건전한 사용성 (BRR) 과 운영 효율성 (지연 시간) 과 균형을 이루어야 합니다.
2. 모달리티별 위험: 오디오 특화 공격 (특히 음향 BoN 과 내러티브 프레임) 은 텍스트 기반 탈출 공격과 구별되는 실패 모드를 드러내므로, 전사본, 음향 단서, 신호 아티팩트를 동시에 추론하는 방어가 필요합니다.
3. 실용성: 음향 BoN 과 같은 높은 성공률 공격은 지연 시간으로 인해 실시간 환경에서는 비실용적일 수 있는 반면, 내러티브 프레임과 같은 저지연 의미 공격은 즉각적인 배포 위험을 초래합니다.

저자들은 현재 방어책이 견고성과 건전한 거부율 사이의 트레이드오프를 수반하며, 향후 벤치마크는 성공률과 함께 공격의 실용성 (오프라인 비용, 쿼리 예산, 은밀성) 을 명시적으로 보고하여 LALM 안전성을 완전히 규명해야 한다고 결론지었습니다.

한계

저자들은 몇 가지 한계를 인정합니다.

• 범위: 평가는 블랙박스 추론 하의 10 개 오픈 소스 모델로 제한되었으며, 상용 시스템과 실시간 풀-듀플렉스 도우미는 제외되었습니다.
• 데이터: 데이터셋은 TTS 로 변환된 텍스트 프롬프트에 의존하므로, 자발적이고 노이즈가 있거나 자연스러운 사용자 음성의 분포를 완전히 포착하지 못할 수 있습니다.
• 포괄성: 본 연구는 대표적인 공격과 방어를 평가하지만 분류 체계의 모든 범주 (예: 임베딩층 공격 또는 적응형 화이트박스 공격) 를 다루지는 않습니다.
• 지표: ASR 과 BRR 은 LLM 에 의해 판단되어 편향을 도입할 수 있으며, 지연 시간 측정은 특정 하드웨어 구성에 종속됩니다.