Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 오디오 대규모 언어 모델 (Audio LLM) 이 전사 (transcription) 를 넘어 질문 응답 (SQA), 대화, 추론 등 다양한 오디오 특화 작업으로 확장되고 있으며, 사용자 제공 데이터를 통한 미세 조정 (Fine-tuning) 이 표준 워크플로우가 되고 있습니다.
• 문제: 기존 텍스트 및 비전 (Vision) 분야 연구에서는 '선한 (Benign)' 데이터로 미세 조정만 하더라도 모델의 안전성 (Safety Alignment) 이 저하될 수 있음이 입증되었습니다. 그러나 오디오 LLM 에서는 이러한 현상이 구조적으로 어떻게 발생하는지에 대한 체계적인 연구가 부재했습니다.
• 핵심 가설: 악의적인 공격자가 없더라도, 유해한 콘텐츠와 임베딩 공간 (Embedding Space) 에서 물리적으로 가까운 (Proximate) 선한 오디오 데이터로 미세 조정하면 모델의 안전 정렬이 붕괴될 수 있습니다.
• 오디오의 고유한 특성: 오디오는 텍스트와 달리 '무엇이 말해졌는지 (Semantic)'와 '어떻게 들리는지 (Acoustic, 화자, 억양, 피치 등)'라는 두 가지 차원의 근접성이 존재합니다. 기존 연구는 이를 단일 차원으로만 다루었으나, 오디오 LLM 은 이 두 가지가 안전성 저하에 다르게 작용할 수 있습니다.

2. 방법론 (Methodology)

저자는 세 가지 최신 오디오 LLM(Audio Flamingo 3, Kimi-Audio-7B, Qwen2.5-Omni) 을 대상으로 다음과 같은 실험을 수행했습니다.

• 임베딩 근접성 기반 필터링 (Embedding Proximity Filtering):
  • 유해한 오디오 프롬프트 집합 ($D_{harmful}$) 과 선한 오디오 데이터 풀 ($D_{benign}$) 을 정의합니다.
  • 선한 데이터 중 유해 데이터와의 코사인 거리 (Cosine Distance) 가 가장 짧은 (가장 근접한) 샘플을 선별하여 미세 조정 데이터셋을 구성합니다.
  • 분해된 필터링 전략: 오디오의 근접성을 세 가지 축으로 분해하여 분석했습니다.
    1. 모델 내부 (Model-Internal): 각 모델 자체의 오디오 인코더를 사용.
    2. 참조 기반 (Reference-based): 외부 공통 인코더 사용.
       • 의미적 (Semantic): 텍스트 변환 후 Sentence-BERT 사용 (무엇이 말해졌는지).
       • 음향적 (Acoustic): WavLM 사용 (화자, 억양, 녹음 조건 등 어떻게 들리는지).
       • 혼합 (Mixed): Whisper-Large-V3 사용 (의미와 음향 모두 포함).
• 교차 모달 대조 실험 (Cross-Modal Control): 동일한 선별된 데이터를 오디오와 텍스트 (전사본) 로 각각 미세 조정하여 모달리티별 안전성 저하 차이를 분석했습니다.
• 메커니즘 분석: 미세 조정 후 모델의 '거부 (Refusal)' 회로가 어떻게 변하는지 LLM 레이어별 활성화 패턴을 분석했습니다.

3. 주요 결과 (Key Results)

A. 안전성 급격한 저하 (Safety Degradation)

• 결과: 근접성 필터링을 통해 선별된 선한 데이터로 미세 조정 시, Jailbreak Success Rate (JSR, 탈옥 성공률) 가 단일 숫자 (약 4~7%) 에서 최대 87.12% 까지 급증했습니다.
• 무작위 샘플링과의 비교: 무작위로 선한 데이터를 선택했을 때는 안전성이 유지되거나 오히려 개선되는 경우도 있었으나, '유해 데이터와 가까운' 선한 데이터를 선택했을 때만 안전성이 극적으로 붕괴되었습니다.

B. 아키텍처 의존성 (Architecture-Conditioned Vulnerability)

• 주요 취약 축의 차이: 어떤 근접성 축 (의미적 vs 음향적) 이 안전성 저하를 주도하는지는 모델의 아키텍처에 따라 결정됩니다.
  • Kimi-Audio (Dual-Encoder): 의미적 (Semantic) 필터링이 가장 치명적 (JSR 87.12%). 음향적 특징이 양자화 병목 (Quantization Bottleneck) 에서 손실되기 때문.
  • AF3 (Unified Encoder + MLP Projector): 혼합 (Mixed) 필터링이 가장 치명적. MLP 프로젝터가 특징을 압축하여 의미와 음향이 섞인 공간에서 취약점이 발생.
  • Qwen2.5-Omni (Pass-through): 내부 인코더가 Whisper-Large-V3 와 동일하여 혼합 필터링과 내부 필터링 결과가 유사.
• 교차 모달 비대칭성:
  • AF3: 오디오 미세 조정 시 안전성이 떨어지지만, 텍스트 미세 조정 시 오히려 안전성이 향상됨. (오디오가 텍스트 정렬 경계에서 멀리 떨어진 공간으로 압축되기 때문).
  • Qwen2.5-Omni: 텍스트 미세 조정이 오디오 미세 조정보다 더 큰 안전성 저하를 유발. (텍스트 공간이 정렬의 기준이므로 텍스트 입력이 더 직접적인 교란을 일으킴).

C. 메커니즘 분석 (Mechanistic Analysis)

• 선택적 억제 (Selective Suppression): 미세 조정으로 인해 LLM 의 후기 레이어 (Late-layer, L20~L26) 에서 '거부 (Refusal)' 신호가 선택적으로 억제되었습니다.
• 인코더의 고정: 오디오 인코더는 미세 조정 중 동결 (Frozen) 되므로, 입력 표현 (Representation) 은 변하지 않습니다. 즉, 유해한 입력을 '인지 (Recognition)'는 하지만, 이를 '거부 (Refusal)'하는 결정 회로만 손상된 것입니다.
• 구조적 분리: 텍스트 LLM 과 달리 오디오 LLM 은 인코더와 LLM 이 분리되어 있어, 선한 데이터로 학습하더라도 유해 콘텐츠와 가까운 오디오 표현을 처리할 때 거부 메커니즘이 무너집니다.

4. 방어 전략 (Defenses)

저자는 두 가지 실용적인 방어책을 제안하고 그 유효성을 입증했습니다.

1. 원격 필터링 (Distant Filtering, 학습 시): 유해 데이터와 임베딩 공간에서 가장 먼 (Farthest) 선한 데이터를 선택하여 학습.
   • AF3 과 Kimi-Audio 의 경우 안전성을 유지하거나 오히려 향상시킴.
   • Qwen2.5-Omni 는 초기 안전성 베이스라인이 매우 낮아 (0.19%) 미세 조정 자체에 취약했으나, 다른 모델에서는 효과적임.
2. 텍스트 시스템 프롬프트 (Textual System Prompt, 추론 시): 미세 조정된 모델에 "유해한 요청은 거부하라"는 텍스트 기반 시스템 프롬프트를 추가.
   • 결과: 세 모델 모두에서 JSR 을 거의 0% 까지 복원시켰습니다. 이는 모델이 유해 입력을 '인지'할 능력은 여전히 남아있으며, 단지 거부 경향이 약해진 것임을 시사합니다.

5. 의의 및 결론 (Significance)

• 최초의 체계적 연구: 오디오 LLM 에서 '선한 데이터'만으로도 안전성이 붕괴될 수 있음을 최초로 규명했습니다.
• 모달리티 특이성: 오디오 LLM 의 안전성 취약점은 텍스트나 비전 모델과 구조적으로 다릅니다. 특히 인코더의 고정과 의미/음향의 분리된 근접성이 핵심 요인입니다.
• 실무적 시사점:
  • 오디오 LLM 을 사용자 데이터로 미세 조정할 때, 단순히 데이터가 '선한지'만 확인하는 것은 부족하며, 임베딩 공간에서의 유해 콘텐츠와의 거리를 고려해야 합니다.
  • 아키텍처에 따라 취약점이 달라지므로, 모델별 맞춤형 안전 평가가 필요합니다.
  • 복잡한 아키텍처 변경 없이도 시스템 프롬프트나 데이터 필터링으로 안전성을 회복할 수 있음을 보여줌.

이 논문은 오디오 LLM 의 안전성이 단순히 콘텐츠의 유무가 아니라, 임베딩 공간에서의 기하학적 위치와 모델 아키텍처에 의해 결정된다는 중요한 통찰을 제공합니다.