🤖 AI

From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs

이 논문은 저주파 신호를 악용하여 대규모 오디오-언어 모델(LALM)의 성능을 현저히 저하시키는 비가청적 레드 티밍 방법인 간헐적 저주파 락아웃(Intermittent Low-Frequency Lockout, ILL)을 소개하는 동시에, 이러한 공격을 탐지하고 의미론적 정확도를 회복하기 위한 분포 재질의 가드(Distributional Requery Guard, DRG) 메커니즘을 제안한다.

원저자: Yuanhe Zhang, Weiliu Wang, Jie Ren, Liang Lin, Zhenhong Zhou, Haoran Gao, Kun Wang, Chen Li, Li Sun, Sen Su

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuanhe Zhang, Weiliu Wang, Jie Ren, Liang Lin, Zhenhong Zhou, Haoran Gao, Kun Wang, Chen Li, Li Sun, Sen Su

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 목소리, 나뭇잎의 바스락거림, 냉장고의 웅웅거리는 소리, 그리고 배경에 흐르는 음악까지 모든 것을 들을 수 있는 아주 똑똑한 로봇과 대화하고 있다고 상상해 보세요. 과학자들은 이를 '대규모 오디오-언어 모델(Large Audio-Language Models, LALMs)'이라고 부릅니다. 이들은 디지털 귀와 뇌가 결합된 형태로, 소리를 통해 세상을 이해하도록 설계되었습니다. 하지만 여기에는 함정이 있습니다. 이 로봇들은 인간의 귀로는 들을 수 없는 소리를 듣는다는 점입니다. 마치 개가 인간에게는 들리지 않는 높은 음의 휘슬 소리를 듣는 것처럼, 이 AI 모델들은 우리가 인지하기에는 너무 낮거나 높은 주파수의 음파를 처리할 수 있습니다. 이는 기묘한 간극을 만듭니다. 당신은 평범한 대화를 나누고 있다고 생각하겠지만, 로봇은 사실 당신의 말 아래에 숨겨진 비밀스럽고 보이지 않는 층의 소음을 듣고 있는 것입니다. 이 논문은 누군가가 의도적으로 그 보이지 않는 층을 사용하여 로봇을 속이려 할 때 어떤 일이 발생하는지 탐구합니다.

위안허 장(Yuanhe Zhang)과 그의 팀이 이끄는 연구진은 시스템의 취약점을 확인하기 위해 일종의 '레드 티밍(red teaming)', 즉 시스템을 고의로 망가뜨려 보는 게임을 하기로 했습니다. 그들은 **간헐적 저주파 차단(Intermittent Low-Frequency Lockout, ILL)**을 사용하여 오디오 로봇을 혼란에 빠뜨리는 교묘한 방법을 발견했습니다. 이것을 이렇게 생각해 보세요. 친구가 이야기를 하는 것을 들으려고 하는데, 누군가 테이블 아래에서 아주 작고 리드미컬하게 쿵쿵거리는 소리를 내고 있다고 상상해 보세요. 당신은 그 쿵쿵거리는 소리를 전혀 들을 수 없지만, 그 진동이 테이블을 아주 미세하게 울려 맞은편에 앉은 사람에게는 친구의 목소리가 웅얼거리게 들리도록 만듭니다. 이것이 바로 ILL이 하는 일입니다. 이는 로봇이 받는 오디오에 특정 패턴의 저주파 음(인간의 가청 범위 아래인 5~20Hz 사이)인 '유니버설 파형(universal waveform)'을 주입하는 방식입니다.

연구팀은 이 보이지 않는 소음이 로봇의 두뇌를 망가뜨리는 데 믿기지 않을 정도로 효과적이라는 것을 발견했습니다. 이 공격을 6개의 서로 다른 오디오-언어 모델에 테스트했을 때, 로봇의 음성 이해, 언어 번역 또는 감정 식별 능력이 급격히 떨어졌습니다. 어떤 경우에는 정확도가 무려 67퍼센트 포인트나 하락했습니다. 가장 무서운 점은 무엇일까요? 오디오를 듣는 인간들은 차이를 느낄 수 없었다는 것입니다. 연구진은 사람들에게 오디오가 얼마나 시끄럽게 들리는지를 1에서 7까지의 척도로 평가하도록 요청했습니다. 깨끗한 오디오의 점수는 1.17이었고, 비밀 공격이 포함된 오디오의 점수는 1.33이었습니다. 이는 '전혀 인지할 수 없음' 단계에서 아주 미세하게 높은 수준일 뿐이지만, AI를 비틀거리게 하고 잘못된 답을 내놓게 하기에는 충분했습니다.

이 논문은 이러한 시스템을 무너뜨리기 위해 반드시 크고 명확한 소음이 필요한 것은 아니라는 점을 주장합니다. 연구진은 로봇에게 정적이나 시끄러운 음악을 퍼부을 필요 없이, 아주 작고 숨겨진 저주파 펄스만으로도 혼란을 일으킬 수 있음을 보여주었습니다. 그들은 이 방법이 다른 유형의 소음 공격들과 비교했을 때 모든 시나리오에서 항상 최악의 결과를 내는 것은 아니었지만, 지속적으로 매우 강력했으며, 결정적으로 인간이 탐지하기 훨씬 더 어렵다는 것을 확인했습니다.

하지만 연구진은 단순히 무언가를 망가뜨리는 데 그치지 않고, 이를 해결하는 방법도 제시했습니다. 그들은 **분포 재질의(Distributional Requery Guard, DRG)**라는 방어 체계를 제안했습니다. 만약 당신이 로봇에게 말을 걸었는데 로봇이 혼란스러워 보인다면, 로봇이 정중하게 "저기, 방금 소리가 좀 이상했어요. 다시 한번 말씀해 주시겠어요?"라고 말하는 상황을 상상해 보세요. DRG 시스템은 클럽의 문지기처럼 작동합니다. 이 시스템은 오디오를 듣고 '스펙트럼 지문(spectral fingerprint, 주파수 패턴)'이 수상해 보이는지 확인합니다. 만약 저주파 간섭이 섞여 있는 것을 감지하면, 사용자에게 문장을 두 번 녹음해 달라고 요청합니다. 첫 번째 녹음(방해받았을 가능성이 있는 것)과 두 번째 녹음(아마도 깨끗할 것)을 비교함으로써, 시스템은 사용자가 실제로 의도한 바가 무엇인지 파악할 수 있습니다. 이 방어 체계는 효과적이었으며, 깨끗한 두 번째 녹음이 가능할 경우 로봇의 정확도를 낮은 **28.5%**에서 **46.1%**까지 다시 끌어올렸습니다.

결론적으로, 이 논문은 AI의 미래에 대한 새로운 종류의 안전 위험을 시사합니다. 이 모델들이 인간보다 더 넓은 범위의 소리를 듣기 때문에, 우리 눈에는 보이지 않는 공격에 취약하다는 것을 보여줍니다. 저자들은 AI가 이러한 숨겨진 주파수를 포착하고 명확한 설명을 요청할 수 있는 더 나은 '귀'를 구축해야 하며, 이를 통해 로봇이 듣는 내용이 우리가 실제로 의도한 내용과 일치하도록 보장해야 한다고 제안합니다. 비록 실험은 실제 환경이 아닌 통제된 시뮬레이션에서 수행되었지만, 결과는 오디오 어시스턴트가 우리 일상생활의 일부가 되기 전에 우리가 반드시 해결해야 할 인간의 지각과 기계의 청력 사이의 실질적인 간극을 강조하고 있습니다.

기술 요약: 들리지 않는 입력에서 모델 실패까지

문제 정의

대규모 오디오-언어 모델(LALM)은 음향적 지각과 언어적 추론을 통합하며, 인간의 지각뿐만 아니라 물리적 파형으로 정의되는 입력 표면을 형성한다. 본 논문은 중요한 안전성 격차를 식합한다: 저주파 신호(특히 0~20Hz 범위의 인프라사운드 포함)는 인간에게는 들리지 않지만 표준 마이크에 의해 포착되어 LALM에 의해 처리될 수 있다. 기존 연구들이 적대적 오디오 및 음향적 부패를 탐구해 왔으나, 사용자에게는 인지되지 않으면서 모델의 동작을 방해하는 고정된 저주파 물리적 신호가 초래하는 구체적인 위험은 아직 충분히 연구되지 않았다. 저자들은 이것이 "지각 경계 불일치(perception boundary mismatch)"를 생성한다고 주장한다. 즉, 모델은 인간 사용자가 인지할 수 없는 음향적 증거(음성과 간섭의 중첩)를 수신하게 되며, 이는 가용성 실패, 잘못된 전사, 또는 결함이 있는 의미론적 이해로 이어질 수 있다.

방법론

1. 위협 모델

본 연구는 공격자가 사용자의 음성과 공기 중에서 물리적으로 중첩되는 저주파 파형을 방출하여 대상 마이크에 포착되도록 한다고 가정한다. 이 공격은 블랙박스 방식이며 **보편적(universal)**이다: 공격자는 타겟 모델에 쿼리를 보내거나 특정 테스트 발화에 적응하지 않고, 참조 코퍼스와 참조 LALM을 사용하여 오프라인에서 단일 파형을 구축한다. 이 파형은 이후 다양한 LALM과 태스크를 공격하기 위해 배포된다.

2. 간헐적 저주파 차단 (Intermittent Low-Frequency Lockout, ILL)

저자들은 보편적인 파형 템플릿을 사용하여 이 위험을 평가하기 위해 설계된 레드팀 기법인 ILL을 제안한다. ILL은 두 가지 핵심 모듈로 구성된다:

문장 어텐션 스케일 추정 (Sentence Attention Scale Estimation): 이 모듈은 참조 LALM의 셀프 어텐션 맵을 분석하여 모델이 연속적인 의미론적 처리에 집중하는 "활성 구간"을 식별한다. 레이어와 헤드 전반에 걸쳐 어텐션 행렬을 평균함으로써, 이 방법은 일반적인 의미적 범위를 정렬하는 코퍼스 수준의 지속 시간( $L_{on}$ )을 도출한다. 이는 공격의 활성 및 비활성 단계(듀티 사이클 $\gamma$ )의 타이밍을 결정한다.
주파수 혼란 전이 (Frequency Confusion Transfer): 모델의 음성 의미론적 지각을 방해하기 위해, 이 모듈은 참조 코퍼스의 스펙트럼 변화를 저주파 상태 시퀀스로 매핑한다. 이 모듈은 코퍼스의 스펙트럼 중심(spectral centroid)을 $n$ 개의 상태로 양자화하고 전이 통계를 사용하여 연속 위상 및 매끄러운 엔벨로프를 가진 저주파 파형( $\delta_{on}$ )을 생성한다. 이 파형은 특정 진폭( $\beta$ )으로 합성되며 어텐션 분석에서 도출된 스케줄에 따라 반복된다.

3. 분포 재질의 가드 (Distributional Requery Guard, DRG)

식별된 위험을 완화하기 위해, 저자들은 LALM 추론 전에 작동하는 플러그인 입력 필터인 DRG를 제안한다.

탐지 (Detection): DRG는 깨끗한 녹음과 잼(jammed, 저주파 간섭이 포함된) 녹음으로 구성된 훈련 세트를 구축한다. 주파수 빈(bin) 전반에 걸쳐 정규화된 STFT 크기를 추출하고 K-means를 사용하여 클러스터링한다. 저주파 영역에서 더 높은 에너지를 가진 클러스터는 "간섭 클러스터"로 레이블링된다.
조건부 재질의 (Conditional Requery): 배포 중에 사용자의 초기 녹음이 간섭 클러스터에 속하는 것으로 분류되면, 시스템은 동일한 발화에 대한 두 번째 독립적인 녹음을 요청한다.
복구 (Recovery): 대상 LALM은 두 녹음을 비교하고, 쌍(pair) 전체에서 일관되고 이해 가능한 내용만을 기반으로 답변을 생성하도록 지시받는다. 이는 일시적이거나 지속적인 간섭을 효과적으로 필터링한다.

주요 결과

공격 유효성

여섯 가지 LALM(MiniCPM, StepAudio2, Qwen2.5, Qwen3, GPT, Gemini)과 다양한 태스크(ASR, 번역, 오디오 QA, 감정 분류)에 대해 평가했을 때, ILL은 상당한 방해 효과를 보였다:

성능 저하: ILL은 StepAudio2 모델의 RAVDESS 감정 분류 태스크에서 정확도를 최대 67 퍼센트 포인트 감소시켰다. 여섯 가지 모델 전체에서 공격 하의 평균 정확도는 **28.5%**로 떨어졌으며(특정 모델/태스크 평균에 따라 46.1% 이상의 깨끗한 베이스라인 대비), 이는 심각한 취약성을 나타낸다.
전이성 (Transferability): Qwen2.5를 사용하여 구축된 고정된 파형은 타겟 특화 최적화 없이도 다른 모든 타겟 모델(폐쇄형 시스템 포함)의 성능을 성공적으로 저하시켰다.
은밀성 (Stealthiness):
- 가청 노이즈 비율 (Audible Noise Ratio, ANR): ILL의 ANR은 **0.06–0.08%**에 불과하여, Gaussian 노이즈나 PNL과 같은 다른 베이스라인의 >98%와 비교했을 때 가청 대역(20 Hz–8 kHz)으로 누출되는 에너지가 무시할 만한 수준이었다.
- 인간 지각: 인간 평가(112명 참여)에서 ILL은 평균 가청도 점수 1.33(1–7 척도)을 기록하여, 깨끗한 오디오(1.17)와 통계적으로 구별되지 않았다. 반면, 다른 공격 방법들은 훨씬 높은 점수(예: 3.75–3.92)를 받았다.

방어 성능

탐지: DRG는 저주파 분포 변화를 탐지하는 데 있어 89.69%에서 99.00% 사이의 F1 스코어를 달성했다.
복구: 깨끗한 두 번째 녹음이 사용 가능할 때, DRG는 평균 공격 정확도를 28.5%에서 46.1%로 높였다. 이 메커니즘은 다른 노이즈 섭동 및 공격 유형(Gaussian, PNL, Audio-Adv, Whisper) 하에서도 성능을 복구하는 전이성을 보여주었다.
양호한 유틸리티 (Benign Utility): 깨끗한 입력에 대해 재질의가 강제되었을 때, DRG는 대부분의 경우 표준 추론과 0.03 이내의 차이를 보이며 최소한의 성능 저하만을 일으켰다.

메커니즘 분석

내부 분석 결과, ILL의 성공은 다음 요소들과 연관되어 있음이 밝혀졌다:

감소된 어텐션: 공격은 오디오 토큰에 할당된 어텐션 질량(attention mass)을 크게 낮추었다 (예: MMAU에서 0.0416에서 0.0373으로).
표현 변화 (Representation Shift): 깨끗한 상태와 공격받은 상태의 인코딩된 표현 간 코사인 유사도가 크게 감소했다 (예: RAVDESS에서 1.0에서 0.63으로).
신뢰도 저하: 정답에 할당된 확률이 급락했다 (예: MMAU에서 0.805에서 0.170으로), 이는 모델의 내부 의사결정 과정의 변화를 나타낸다.

의의 및 주장

본 논문은 이전에 간과되었던 안전성 위험을 식별했다고 주장한다: 들리지 않는 저주파 입력이 LALM을 방해하는 숨겨진 채널이 될 수 있다는 점이다.

독창성: 고주파 섭동이나 의미론적 조작에 의존하는 기존의 적대적 공격과 달리, 본 연구는 고정된 저주파 물리적 신호가 다양한 모델과 태스크 전반에 걸쳐 광범위한 성능 저하를 일으키면서도 인간에게는 인지되지 않을 수 있음을 입증한다.
방법론적 기여: ILL은 이 특정 위험을 평가하기 위한 블랙박스 레드팀 프레임워크를 제공하며, DRG는 LALM의 재학습을 요구하지 않는 경량화된 탐지 기반 완화 전략을 제공한다.
안전성 함의: 이러한 결과는 현재의 LALM이 사용자의 지각과 모델의 동작이 괴리되는 "가용성(availability)" 공격에 취약함을 시사한다. 저자들은 이 위험이 의미론적 탈옥(semantic jailbreak)과는 구별되며, 오디오 프런트엔드의 물리적 특성을 악용한다는 점을 강조한다.
한계점: 저자들은 실험이 마이크 수신을 시뮬레이션한 것이며, 통제되지 않은 환경에서의 현장 배포를 검증하지는 않았음을 명시적으로 밝힌다. 또한 물리적 실현 가능성은 소스 출력과 전파 조건에 달려 있으며, 이러한 신호를 방출하기 위한 장치별 설정은 제공하지 않는다. 본 연구는 완전한 인과 메커니즘을 확립하거나 실제 세계의 착취를 가능하게 하는 것보다, 위험을 식별하고 예비적인 방어책을 입증하는 데 우선순위를 둔다.