AudioGuard: Toward Comprehensive Audio Safety Protection Across Diverse Threat Models

이 논문은 오디오 시스템의 다양한 위협 모델을 포괄하는 최초의 정책 기반 벤치마크인 'AudioSafetyBench'를 개발하고, 이를 통해 파형 수준의 감지와 정책 기반 의미 보호를 통합한 'AudioGuard'라는 새로운 오디오 안전 보호 프레임워크를 제안합니다.

핵심

🎧 오디오의 안전지킴이 '오디오가드 (AudioGuard)' 이야기

이 논문은 인공지능 (AI) 이 말을 하거나 소리를 낼 때, 어떻게 하면 더 안전하게 만들 수 있을지 고민한 연구입니다. 마치 **"AI 가 입만 열면 위험한 말을 할까, 아니면 귀에 거슬리는 소리를 낼까?"**를 막아주는 새로운 보안 시스템을 개발한 이야기입니다.

이 내용을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제: 왜 기존 보안은 부족할까요? (소방관 vs. 귀)

과거의 AI 보안 시스템은 주로 **"글자 (텍스트)"**만 보고 판단했습니다. 마치 소방관이 **"불이 난 글자"**만 보고 불을 끄는 것과 비슷합니다.

하지만 AI 가 목소리로 대화할 때는 글자만으로는 위험을 다 잡을 수 없습니다.

• 비유: 만약 AI 가 "나를 죽여줘"라는 글자를 말하지 않고, 아기 목소리로 "나랑 놀자"라고 말하면서 뒤에서 총소리가 나거나 비명 소리가 난다면? 글자만 보면 "아기랑 놀자"라니 안전해 보이지만, 실제 상황은 매우 위험합니다.
• 현실: 기존 시스템은 이런 **'목소리 자체의 위험' (아기 목소리, 성인의 흉내, 총성, 비명 등)**을 잘 못 알아챕니다. 글자로 변환된 내용만 보고 판단하다 보니, 실제 소리에 숨겨진 위험을 놓치는 경우가 많았습니다.

2. 해결책 1: '오디오세이프티벤치' (위험한 상황 모의훈련장)

연구팀은 먼저 **"AI 가 얼마나 위험한 상황에 노출될 수 있는지"**를 테스트할 수 있는 거대한 훈련장 (AudioSafetyBench) 을 만들었습니다.

• 비유: 마치 소방 훈련장을 만든 것과 같습니다.
  • 단순히 "불이 났다"는 글자만 있는 훈련이 아니라, "아기 목소리로 거짓말을 하는 상황", "유명 배우 목소리를 흉내 내서 사기를 치는 상황", "총소리가 섞인 대화" 등 현실에서 일어날 수 있는 17 개 언어, 50 가지 이상의 다양한 위험 상황을 만들어냈습니다.
  • 이렇게 다양한 '악성 시나리오'를 만들어내야만, 새로운 보안 시스템이 진짜로 잘 작동하는지 테스트할 수 있습니다.

3. 해결책 2: '오디오가드 (AudioGuard)' (두 명의 전문 경비원)

이 훈련장을 바탕으로 연구팀은 AudioGuard라는 새로운 보안 시스템을 개발했습니다. 이 시스템은 한 명의 거대한 경비원이 모든 일을 하는 대신, 두 명의 전문 경비원이 팀을 이루어 일합니다.

🕵️‍♂️ 경비원 A: '사운드가드 (SoundGuard)' - 귀를 가진 감시자

• 역할: 소리의 **파형 (음파)**을 직접 분석합니다.
• 기능: "이 목소리가 아기의 목소리인가?", "뒤에서 총소리가 들리는가?", "비명 소리가 섞여 있는가?"를 글자를 읽기 전에 바로 감지합니다.
• 비유: 마치 귀가 매우 예민한 경비원처럼, 글자가 무엇인지 알기 전에 "여기 위험한 소리가 나!"라고 외치는 역할입니다.

📝 경비원 B: '콘텐츠가드 (ContentGuard)' - 글을 읽는 감시자

• 역할: 소리를 **글자 (대본)**로 바꾼 후, 그 내용을 분석합니다.
• 기능: "이 글자가 사기성 내용인가?", "성적인 내용이 포함되어 있는가?"를 판단합니다.
• 비유: 책을 꼼꼼히 읽는 경비원처럼, 말의 의미를 파악하여 위험한 내용을 찾아냅니다.

🤝 팀워크: '상황별 통합 판단'

이 두 경비원은 각자의 판단을 합쳐 최종 결정을 내립니다.

• 예시: "아기 목소리 (사운드가드 감지) + 성적인 내용 (콘텐츠가드 감지)"이 동시에 발견되면, 즉시 차단합니다.
• 장점: 기존에는 한 명의 거대한 AI 가 모든 걸 다 하느라 느리고, 실수도 많았지만, 이 두 명이 나누어 일하니 훨씬 빠르고 정확하게 위험을 막아냅니다.

---

🏆 결과: 왜 이 시스템이 특별한가요?

연구팀은 이 시스템을 다양한 테스트에서 검증했습니다.

1. 더 정확합니다: 기존에 쓰이던 거대 AI 모델들보다 위험한 소리와 내용을 찾아내는 정확도가 훨씬 높았습니다. 특히 "아기 목소리 + 위험한 내용"처럼 복잡한 상황에서도 잘 작동했습니다.
2. 더 빠릅니다: 거대한 AI 모델을 한 번에 돌리는 것보다, 두 개의 작은 시스템을 나누어 돌리는 것이 훨씬 빠릅니다. (약 2 배 이상 빠름)
3. 다국어 지원: 영어로만 훈련했는데도, 다른 언어 (한국어, 중국어 등) 에도 잘 적용되어 전 세계적으로 쓸 수 있음을 보여주었습니다.

💡 결론

이 연구는 **"AI 의 안전은 단순히 '나쁜 말'을 막는 게 아니라, '나쁜 소리'와 '나쁜 목소리'까지 함께 막아야 한다"**는 점을 증명했습니다.

AudioGuard는 마치 **소방관 (사운드가드)**과 **경찰관 (콘텐츠가드)**이 팀을 이루어, AI 가 말을 할 때 발생할 수 있는 모든 위험을 빠르고 정확하게 막아주는 완벽한 보안 시스템입니다. 이를 통해 우리가 AI 비서나 음성 클로닝 서비스를 사용할 때, 더 안전하고 안심하고 대화할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 텍스트 중심 AI 안전성 평가는 오디오 기반 시스템 (음성 비서, TTS, 음성 클로닝 등) 에 적용하기에 한계가 명확합니다. 오디오 시스템의 안전 위협은 단순히 "위험한 텍스트를 구두로 말하는 것"을 넘어 다음과 같은 고유한 차원을 포함하기 때문입니다:

• 오디오 네이티브 위험 (Audio-native Risks): 텍스트로 변환되지 않는 유해한 소리 이벤트 (예: 총성, 비명, 성적인 소리, 인간의 고통 등).
• 화자 속성 위험 (Speaker Attributes): 어린이 목소리, 유명인/사칭 (Impersonation), 음성 클로닝 오남용 등 화자의 신원이나 특성에 기반한 위험.
• 음성 - 콘텐츠 조합 위험 (Voice-Content Compositional Harms): 특정 화자 속성과 콘텐츠가 결합될 때 발생하는 위험 (예: 어린이 목소리 + 성적인 콘텐츠, 유명인 목소리 + 허위 정보).
• 다국어 및 다양한 시나리오: 실제 배포 환경에서 발생하는 다국어 및 복잡한 맥락에서의 정책 위반.

현재 이러한 위협을 포괄적으로 평가할 수 있는 표준화된 벤치마크나 정책 기반의 가드레일 (Guardrail) 이 부재하여, 실제 배포 환경에서의 오디오 안전성을 보장하기 어렵습니다.

2. 방법론 (Methodology)

이 논문은 AudioSafetyBench와 AudioGuard라는 두 가지 핵심 요소를 통해 문제를 해결합니다.

A. AudioSafetyBench (오디오 안전성 벤치마크)

실제 배포 시나리오와 다양한 위협 모델을 반영한 최초의 정책 기반 오디오 안전성 벤치마크입니다.

• 개발 과정: 20 개 이상의 오디오 플랫폼 (Spotify, Zoom, WhatsApp 등) 의 안전 정책을 수집하여 계층적 위험 분류 체계 (Taxonomy) 를 구축했습니다.
• 데이터 구성:
  • 적색 팀링 (Red-teaming): 대규모 적색 팀링을 통해 다양한 위협 모델 (음성 입력/출력, 음성 클로닝 파이프라인, 대화형 에이전트) 에 맞는 유해 오디오 인스턴스를 생성했습니다.
  • 다양한 요소 포함: 17 개 언어, 50 개 이상의 화자 신원 (유명인, 어린이 포함), 비음성 유해 소리, 그리고 음성 - 콘텐츠 조합 위험을 포함한 1 만 개 이상의 레이블이 지정된 오디오 인스턴스를 포함합니다.
  • 하드 베니언 (Hard Benign): 오검출 (False Positive) 을 테스트하기 위해 문맥상 안전하지만 트리거가 될 수 있는 요소 (예: 영화 속 사이렌, 교육적 맥락의 민감한 키워드) 를 포함한 데이터도 포함합니다.

B. AudioGuard (통합 오디오 가드레일)

단일 거대 오디오 - 언어 모델 (LALM) 에 의존하는 기존 방식의 비효율성과 취약점을 해결하기 위해 제안된 모듈형 통합 가드레일입니다. 이는 오디오 네이티브 신호와 의미론적 (Semantic) 신호를 분리하여 처리하는 듀얼 패스 (Dual-path) 구조를 가집니다.

1. SoundGuard (오디오 네이티브 감지):
   • 입력 파형 (Waveform) 에서 직접 비음성 유해 소리 이벤트 (총성, 비명 등) 와 화자 속성 (어린이 목소리, 유명인 사칭 등) 을 감지합니다.
   • 경량화된 오디오 분류기 (SpeechBrain ECAPA-TDNN 기반) 를 사용하여 신호 레벨의 위험 신호를 추출합니다.
2. ContentGuard (전사 기반 의미론적 보호):
   • ASR (자동 음성 인식) 을 통해 오디오를 텍스트로 변환합니다.
   • TextGuard를 사용하여 변환된 텍스트에 대한 정책 기반 의미론적 위험 (사기, 괴롭힘, 허위 정보 등) 을 평가합니다.
   • ASR 오류에 강건하도록 TTS→ASR 순환 (Round-trip) 을 통한 노이즈 증강 (Augmentation) 기법을 적용하여 훈련했습니다.
3. 조합적 통합 (Compositional Integration):
   • SoundGuard 와 ContentGuard 의 결과를 결합하여 시나리오별 (예: 음성 클로닝 vs 음성 채팅) 정책 규칙에 따라 최종 결정 (허용, 차단, 검토) 을 내립니다.
   • 이 방식은 해석 가능성 (Interpretability) 을 제공하며, 특정 위협 모델에 맞춰 규칙과 임계값만 조정하면 재훈련 없이 정책을 업데이트할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 적색 팀링 기반 오디오 위험 발견: 오디오 네이티브 소리, 화자 속성, 음성 - 콘텐츠 조합 위험, 다국어 위반 등을 포괄하는 포괄적인 정책 기반 위험 분류 체계 (Taxonomy) 를 개발했습니다.
2. AudioSafetyBench 구축: 언어, 유명인, 어린이 목소리, 다양한 애플리케이션 시나리오를 세분화 (Slice) 할 수 있는 메타데이터를 갖춘 최초의 종합 오디오 안전성 벤치마크를 공개했습니다.
3. AudioGuard 제안: 오디오 네이티브 감지 (SoundGuard) 와 의미론적 보호 (ContentGuard) 를 결합한 유연하고 효율적인 통합 가드레일 아키텍처를 제시했습니다.
4. 종합적 평가 및 통찰: AudioSafetyBench 와 4 개의 외부 벤치마크를 통해 AudioGuard 의 우수성을 입증하고, 단일 언어 (영어) 훈련이 다른 언어에서도 안전성 성능을 향상시킨다는 교차 언어 일반화 (Cross-lingual generalization) 통찰을 도출했습니다.

4. 실험 결과 (Results)

AudioSafetyBench 와 4 개의 외부 벤치마크 (Nemotron-Audio, Jailbreak-AudioBench 등) 에서 GPT-Audio, Gemini 3, Qwen3-Omni 등 최첨단 오디오 - LLM 기반 가드레일과 비교 평가했습니다.

• 정확도 향상: AudioGuard 는 평균 정확도에서 기존 최강 모델 (Gemini 3: 0.740, GPT-Audio: 0.672) 보다 월등히 높은 0.871의 정확도를 기록했습니다.
• 특정 위험 영역에서의 우위:
  • 음성 - 콘텐츠 조합 위험: 어린이 목소리 + 성적인 콘텐츠, 유명인 + 허위 정보 등 복합적인 위험에서 기존 모델은 화자 속성 감지에 실패하여 정확도가 낮았으나, AudioGuard 는 모든 조합에서 높은 성능을 유지했습니다.
  • 비음성 소리 이벤트: 텍스트 기반 추론만으로는 감지 불가능한 총성, 비명 등은 AudioGuard 가 SoundGuard 를 통해 훨씬 더 정확하게 탐지했습니다.
• 지연 시간 (Latency) 감소: 대규모 오디오 - LLM 을 사용하는 방식에 비해 약 2 배 빠른 지연 시간 (Gemini 3: 3.245s vs AudioGuard: 1.423s) 을 달성하며, 병렬 처리 가능한 구조로 인해 효율성이 뛰어났습니다.
• 교차 언어 일반화: 영어 데이터로만 훈련된 TextGuard 가 17 개 언어에 걸쳐 일관된 성능 향상을 보여주어, 다국어 배포 시 레이블링 비용을 절감할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 텍스트 중심의 안전성 평가 패러다임을 넘어, 오디오 고유의 위험 (소리 이벤트, 화자 속성, 조합적 위험) 을 체계적으로 다룰 수 있는 첫 번째 포괄적인 프레임워크를 제시했습니다.

• 실용성: AudioGuard 는 대규모 모델을 일괄적으로 실행하는 비용과 복잡성을 줄이면서도, 모듈화된 구조를 통해 다양한 배포 환경 (음성 비서, TTS, 클로닝 서비스 등) 에 유연하게 적용 가능합니다.
• 해석 가능성: 위험을 오디오 신호와 텍스트 의미로 분리하여 감지함으로써, 왜 차단되었는지에 대한 명확한 근거 (어떤 소리나 어떤 텍스트가 문제였는지) 를 제공하여 시스템 신뢰도를 높입니다.
• 미래 지향성: 이 연구는 실제 오디오 AI 시스템의 안전성을 보장하기 위한 표준 벤치마크와 효율적인 방어 메커니즘을 제공함으로써, 유해한 오디오 생성 및 사칭 방지, 어린이 보호 등 사회적 안전에 기여할 수 있는 기반을 마련했습니다.