기술 요약: SARSteer

1. 문제 정의

대규모 오디오-언어 모델(LALM)은 음성 비서 및 실시간 음성 상호작용과 같은 애플리케이션을 위한 핵심적인 멀티모달 백본으로 부상하고 있습니다. 그러나 오디오 입력이 텍스트보다 유해한 응답을 더 쉽게 유도할 수 있음이 밝혀짐에 따라, 이들의 배포는 심각한 안전 위험에 직면해 있습니다. 대규모 언어 모델(LLM) 및 대규모 시각-언어 모델(LVLM)을 위한 안전 정렬 기술이 존재하지만, 이를 LALM에 직접 적용하는 데에는 두 가지 결정적인 한계가 있습니다:

1. 오디오 기반 스티어링의 실패: LLM에서는 유해한 텍ست 입력과 안전한 텍스트 입력을 대조하여 활성화 스티어링 벡터를 구축합니다. 그러나 LALM의 경우, 유해한 음성 입력과 안전한 음성 입력은 모든 레이어에 걸쳐 매우 이질적인 잠재 분포(latent distributions)를 점유합니다. 이러한 분포적 격차는 "유해함-안전함" 방향을 신뢰할 수 없게 만들어, 일반적인 스티어링 방식이 실패하거나 오히려 성능을 저하시키는 원인이 됩니다.
2. 프롬프트 기반 방어의 과잉 거절(Over-Refusal): (예: 윤리적이지 않은 요청을 거절하도록 모델에 지시하는) 프롬프트 기반 방어는 종 often "과잉 거절"을 유발합니다. 이는 유해한 쿼리를 차단하는 데는 효과적이지만, 특히 결정 경계 근처에 있는 유해한 것과 어휘적으로 유사한 양질의 쿼리까지 실수로 거절하게 만듭니다. 기존의 메트릭들은 일반적인 벤치마크에 의존하기 때문에, 쌍을 이룬 유해-안전 데이터셋을 사용하지 않으면 이러한 트레이드오프를 제대로 포착하지 못합니다.

2. 방법론: SARSteer

이러한 문제를 해결하기 위해, 저자들은 비용이 많이 드는 미세 조정(fine-tuning) 없이 작동하는 추론 시간 방어 프레임워크인 SARSteer(Safe-Ablated Refusal Steering)를 제안합니다. 이 방법은 두 가지 주요 구성 요소로 이루어져 있습니다:

A. 텍스트 유도 거절 스티어링 (Text-Derived Refusal Steering)

이질적인 오디오 모달리티를 기반으로 스티어링을 시도하는 대신, SARSteer는 텍스트 모달리티에서 직접 거절 스티어링 벡터를 추출합니다.

• 메커니즘: 모델은 유해한 오디오 쿼리와 텍스트 지시문이 쌍을 이룬 상태로 처리됩니다. 이때 거절 텍스트 프롬프트(예: "도움을 드릴 수 없습니다")가 지시문에 추가됩니다.
• 벡터 추출: 스티어링 벡터($\hat{v}$)는 거절 프롬프트가 포함된 쿼리와 포함되지 않은 쿼리의 은닉 상태(hidden states) 간의 평균 차이로 계산됩니다. 이는 중간 활성화 단계에서 모달리티에 무관한(modality-agnostic) 안전 정렬 의미론을 포착하며, 오디오 입력을 조작하지 않고도 거절을 강제할 수 있는 신뢰할 수 있는 방향을 제공합니다.

B. 분해된 안전 공간 절제 (Decomposed Safe-Space Ablation)

과잉 거절 문제를 완화하기 위해, SARSteer는 스티어링 벡터가 양질의 의미론을 방해하지 않도록 투영 교정(projection correction) 단계를 채택합니다.

• 안전 서브스페이스 식별: 주성분 분석(PCA)을 양질(safe)의 쿼리 활성화에 적용하여, 안전한 의미론의 지배적인 서브스페이스를 식별합니다.
• 절제(Ablation): 거절 스티어링 벡터를 안전 서브스페이스에 평행한 성분과 직교하는 성분으로 분해합니다. (양질의 입력에 대해 잘못된 거절을 유발할 위험이 있는) 평행 성분은 제거됩니다.
• 적용: 추론 중에 직교 성분만을 모델의 은닉 상태에 더합니다. 이를 통해 스티어링 신호가 안전한 쿼리에 대한 모델의 유용성을 보존하면서, 엄격하게 유해한 방향에만 작용하도록 보장합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 합니다:

• 데이터셋 구축: 저자들은 텍스트 벤치마크를 오디오로 변환하고 유해한 쿼리를 어휘적으로 유사한 양질의 버전으로 정제함으로써, 음성 영역에서의 쌍을 이룬 유해-안전 데이터셋(예: Figstep-audio)을 구축했습니다. 이를 통해 안전-유용성 트레이드오프를 엄격하게 평가할 수 있습니다.
• 한계점에 대한 경험적 분석: 본 연구는 왜 직접적인 활성화 스티어링 전이가 오디오에서 실패하는지(잠재 분포 격차로 인해), 그리고 프롬프트 기반 방어가 경계선상의 안전한 입력에 어떻게 과잉 거절을 유도하는지를 보여주는 체계적인 연구를 제공합니다.
• 추론 시간 프레임워크: 텍스트 유도 스티어링과 안전 공간 절제를 활용하여 LALM을 정렬하는, 훈련이 필요 없는 원칙적인 방어 전략으로서 SARSteer를 소개합니다.

4. 실험 결과

최첨단 LALM(Qwen2-Audio 및 Kimi-Audio)을 대상으로 Figstep-audio, SORRY-Bench, AdvBench, AirBench와 같은 벤치마크를 사용하여 광범위한 실험을 수행했습니다.

• 유해성 감소: SARSteer는 공격 성공률(ASR)을 줄이는 데 있어 바닐라 스티어링 및 AdaShield, FSD와 같은 프롬프트 기반 방어를 포함한 베이스라인보다 크게 우수했습니다. 예를 들어, Qwen2-Audio의 Figstep-audio에 대해 SARSteer는 "방어 없음(No Defense)" 베이스라인의 ASR 51.60%에 비해 10.80%의 Ase를 달 기록했습니다.
• 도움 유용성 보존: 양질의 쿼리에 대해 높은 거절률(낮은 균형 거절률, BRR)을 겪는 프롬프트 기반 방어와 달리, SARSteer는 높은 유용성을 유지했습니다. SARSteer는 유해한 입력과 양질의 입력을 성공적으로 구분하며 가장 높은 BRR(Qwen2-Audio 기준 Figstep-audio에서 79.95%)을 달성했습니다.
• 일반적 유용성: 해당 방법은 AirBench 벤치마크에서 일반 목적의 유용성을 보존하였으며, 성능 변동이 좁은 범위 내에 머물러 방어가 모델의 일반적인 능력을 저하시키지 않음을 나타냈습니다.
• 절제 연구: 실험을 통해 두 구성 요소가 모두 필수적임을 확인했습니다. 텍스트 유도 스티어링을 제거하면(V1) 과잉 거절이 발생했고, PCA 기반 안전 공간 절제를 제거하면(V2) 유해 쿼리 거절 성능이 저하되었습니다.

5. 의의 및 주장

저자들은 텍스트나 시각에 효과적인 기술이 오디오로 직접 전이되지 않기 때문에 모달리티를 인지하는 방어가 필요하다는 점을 강조하며, SARSteer를 LALM의 안전 정렬을 위한 필수적인 단계로 포지셔닝합니다.

• 원칙적인 방어: 본 논문은 미세 조정(SFT/RLHF)의 자원 집약적인 과정을 피하면서 오디오 입력의 특정 취약점을 극복하는 원칙적인 방어 전략을 구축한다고 주장합니다.
• 모달리티 인지: 본 연구는 안전 정렬이 서로 다른 모달리티의 특정 잠재 분포 특성을 고려해야 함을 강조합니다. 오디오 활성화가 안전 스티어링을 위한 실행 가능한 운영 공간 역할을 할 수 없으며, 이에 따라 텍스트 유도 신호로 전환해야 한다는 관찰은 근본적인 통찰로 제시됩니다.
• 강건성: 이 방법은 다양한 하이퍼파라미터(샘플 크기, 스케일링 계수, 주성분 개수) 및 다양한 LALM 아키텍처 전반에서 강건하다고 주장됩니다.

저자들은 결론적으로 SARSteer가 유해한 오디오 입력을 거절하면서도 LALM의 일반적인 유용성을 유지할 수 있는 유연하고 효율적인 솔루션을 제공하며, 아직 연구가 미진한 멀티모달 안전 분야의 문제를 해결한다고 밝힙니다.