1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 의 발전에 힘입어 오디오를 새로운 모달리티로 통합한 **대형 오디오 언어 모델 (LALMs)**이 등장하여 음성 이해, 대화형 질문 응답, 오디오 캡션 등 다양한 분야에서 뛰어난 성능을 보이고 있습니다.
• 문제: 기존 LLM 들과 마찬가지로 LALMs 도 '재브레이크 (Jailbreak)' 공격에 취약합니다. 이는 모델의 안전성 정렬 (Safety Alignment) 을 우회하여 유해한 콘텐츠를 생성하도록 유도하는 공격입니다.
  • 현재의 한계: LALMs 의 안전성을 평가하기 위한 통합된 평가 프레임워크와 대규모 적대적 오디오 데이터셋이 부재합니다.
  • 연구의 필요성: 기존 연구들은 코드 구현이 불일치하거나, 텍스트 음성 변환 (TTS) 서비스의 높은 비용으로 인해 대규모 데이터 생성이 어려워, 공격 방법론이 파편화되어 공정한 비교가 불가능한 상태였습니다.

2. 방법론 (Methodology)

이 연구는 LALMs 의 재브레이크 취약성을 체계적으로 평가하기 위한 벤치마크 JALMBench를 제안합니다.

A. JALMBench 데이터셋 구성

JALMBench 는 총 **245,355 개의 오디오 샘플 (>1,000 시간)**과 11,316 개의 텍스트 샘플로 구성되며, 크게 세 가지 카테고리로 나뉩니다.

1. 유해 쿼리 (Harmful Query): 246 개의 고유한 유해 텍스트 쿼리와 이를 TTS 로 변환한 오디오 버전, 그리고 다양한 억양, 성별, TTS 방식, 언어를 포함한 4,182 개의 변형 오디오 샘플.
2. 텍스트 전송 공격 (Text-Transferred Jailbreak): 4 가지 텍스트 기반 재브레이크 기법 (ICA, DAN, DI, PAP) 을 적용하여 생성된 11,070 개의 적대적 텍스트 쿼리와 이를 오디오로 변환한 샘플.
3. 오디오 기원 공격 (Audio-Originated Jailbreak): LALMs 에 특화된 4 가지 오디오 전용 공격 기법 (SSJ, AMSE, BoN, AdvWave) 을 사용하여 생성된 229,857 개의 적대적 오디오 샘플.

B. 평가 대상 및 지표

• 모델: 12 개의 주요 LALMs 평가 (SALMONN, Qwen2-Audio, LLaMA-Omni, GLM-4-Voice, GPT-4o-Audio, Gemini-2.0 등).
  • 아키텍처별 분류: 연속 특징 추출 (Continuous Feature Extraction) 방식 vs. 토큰 기반 오디오 인코딩 (Token-based Encoding) 방식.
• 공격 방법: 8 가지 공격 (4 가지 텍스트 전송 + 4 가지 오디오 기원).
• 방어 방법: 5 가지 방어 기법 평가 (프롬프트 레벨: AdaShield, FigStep, JailbreakBench / 응답 레벨: LLaMA-Guard, Azure).
• 평가 지표: 공격 성공률 (ASR, Attack Success Rate). GPT-4o 를 '판심자 (Judge)'로 활용하여 모델 응답의 안전성을 1~5 점 척도로 평가 (4 점 이상을 성공으로 간주).

C. 심층 분석

• 공격 효율성: 공격 성공률과 소요 시간의 트레이드오프 분석.
• 주제 민감도: 유해한 주제 (증오, 폭력, 허위 정보 등) 별 취약성 분석.
• 음성 다양성: 억양, 성별, TTS 시스템, 인간 음성 등이 공격 성공률에 미치는 영향.
• 아키텍처 영향: 오디오 인코딩 방식 (연속 vs. 이산 토큰) 이 안전성 일반화에 미치는 영향 분석 (t-SNE 시각화 포함).

3. 주요 기여 (Key Contributions)

1. JALMBench 도입: LALMs 의 재브레이크 취약성을 평가하는 최초의 종합적인 벤치마크로, 1,000 시간 이상의 오디오 데이터와 표준화된 모듈형 평가 프레임워크를 제공합니다.
2. 광범위한 벤치마킹: 12 개 LALMs 에 대해 8 가지 공격 유형을 적용하고, 모델별 취약 패턴 (주의력 이탈, 오분류 경향 등) 을 심층 분석했습니다.
3. 방어 전략 평가: 프롬프트 레벨과 응답 레벨의 방어 기법을 평가하여 현재 LALMs 에 특화된 효과적인 방어책이 부재함을 입증했습니다.

4. 주요 결과 (Key Results)

A. 취약성 발견

• 모달리티 차이: 텍스트 모달리티보다 오디오 모달리티에서 공격 성공률 (ASR) 이 더 높게 나타났습니다. (유해 쿼리 기준 텍스트 17.0% vs 오디오 21.5%).
• 오디오 기원 공격의 치명성: 특히 AdvWave(적대적 오디오 최적화) 공격은 평균 ASR 이 **96.2%**에 달해, 현재 LALMs 가 직접적인 신호 레벨 조작에 극도로 취약함을 보여줍니다.
• 텍스트 전송 공격: PAP(Persuasive Adversarial Prompts) 공격이 가장 효과적이었으며, 텍스트와 오디오 모두에서 90% 이상의 ASR 을 기록했습니다.

B. 아키텍처 및 환경 요인 분석

• 아키텍처의 결정적 역할:
  • 연속 특징 추출 (Continuous Encoder): 텍스트의 안전성 정렬이 오디오로 완전히 전이되지 않아 모달리티 간 안전성 격차가 큽니다 (예: LLaMA-Omni).
  • 이산 토큰화 (Discrete Tokenization): 오디오를 텍스트 토큰과 동일하게 처리하는 방식 (GLM-4-Voice 등) 은 교차 모달리티 안전성 일반화가 더 잘 되어 상대적으로 안전합니다.
• 주제별 취약성: 명시적인 증오나 폭력 콘텐츠는 잘 차단되지만, **허위 정보 (Misinformation)**나 **안전 회피 (Safety Circumvention)**와 같은 미묘한 유해 콘텐츠는 높은 ASR 을 보입니다.
• 음성 다양성: 억양, 성별, TTS 시스템의 변화는 ASR 에 미미한 영향을 미쳤으나, 비영어권 언어로 전환 시 ASR 이 크게 감소하여 훈련 데이터의 편향을 시사합니다.

C. 방어 전략의 한계

• 효과성: 기존 LLM 이나 멀티모달 모델용 방어 기법 (프롬프트/응답 필터) 을 적용하면 ASR 을 약 10~20% 포인트 정도 낮출 수 있으나, AdvWave나 PAP와 같은 강력한 공격에는 여전히 취약합니다.
• 유틸리티 트레이드오프: 프롬프트 레벨 방어 (예: AdaShield) 는 안전성을 높이는 대신 모델의 유용성 (정확도) 을 약 6.3% 감소시키는 경향이 있습니다. 반면, 응답 레벨 필터링 (LLaMA-Guard) 은 유용성 손실 없이 상대적으로 높은 안전성 향상을 제공합니다.

5. 의의 및 결론 (Significance)

• 안전성 패러다임의 전환 필요: 텍스트 기반 안전성 정렬만으로는 오디오 모달리티의 취약성을 해결할 수 없으며, 오디오 네이티브 (Audio-native) 방어 전략과 변환 불변성 (Transformation-invariant) 아키텍처 설계가 필수적입니다.
• 실제 위협: 10 초 이내의 저비용 공격 (SSJ, AMSE) 으로도 40% 이상의 성공률을 달성할 수 있어, 실제 환경에서의 재브레이크 위험이 현실적임을 시사합니다.
• 향후 연구 방향: JALMBench 를 통해 LALMs 의 안전성 연구에 대한 표준화된 프레임워크를 제시함으로써, 더 강건한 오디오 언어 모델 개발을 촉진할 것으로 기대됩니다.

이 논문은 LALMs 의 안전성 평가에 있어 오디오 특유의 취약성을 체계적으로 규명하고, 향후 안전한 멀티모달 AI 시스템 구축을 위한 중요한 기초를 마련했다는 점에서 의의가 큽니다.