기술 요약: SafeNexus

문제 정의

대규모 언어 모델(LLM)은 강력한 안전 성능을 입증해 왔으나, 멀티모달 대규모 언어 모델(MLLM)로의 진화는 확장된 멀티모달 능력과 기존 안전 메커니즘 사이의 상당한 격차를 드러냈습니다. 현재의 방어 전략은 주로 특정 모달리티 설정(예: 이미지 전용 또는 텍스트 전용 방어)에 국한되어 있어, 공격자가 텍스트, 이미지, 오디오 간의 상호작용을 악용하여 안전 장치를 우회하는 정교한 교차 모달 공격에 대응하기에는 불충분합니다. 또한, 기존의 교차 모달 방어 접근 방식은 내부 안전 메커니즘을 "블랙박스"로 취급하거나, 일반적인 능력을 망각하는 치명적 망각(catastrophic forgetting)의 위험이 있는 비용이 많이 드는 학습 기반 정렬에 의존하는 경우가 많습니다. 다양한 모달리티에 걸쳐 안전 행동을 관장하는 내재적인 내부 메커니즘에 대한 이해가 결정적으로 부족한 실정입니다.

방법론: SafeNexus

본 논문은 뉴런 수준의 "위치 파악 후 강화(locate-then-reinforce)" 개입 전략을 채택한 교차 모달 안전 정렬 프레임워크인 SafeNexus를 제안합니다. 이 방법론은 세 가지 주요 단계로 진행됩니다.

1. 뉴런 위치 파악 및 식별

저자들은 중간 레이어의 활성화 패턴을 특징짓는 방식으로 기능적으로 특화된 뉴런을 식별하는 패러다임을 공식화합니다.

• 중요도 점수 산출: 뉴런은 피드포워드 네트워크(FFN)의 업-프로젝션(up-projection) 또는 게이트-프로젝션(gate-projection) 행렬 내의 개별 행 벡터로 정의됩니다. 이들의 기여도는 프로빙 코퍼스(probing corpus)에 대한 활성화 크기를 집계하고 이를 다운-프로젝션(down-projection) 방향과 통합하여 출력 인식 중요도 점수를 도출함으로써 정량화됩니다.
• 모달리티 종속적 안전 뉴런 (BS-Neurons): 특정 모달리티(텍스트, 이미지, 오디오)에 대한 유해한(탈옥) 쿼리와 양호한 쿼리로 구성된 대조 데이터셋을 사용하여, 유해한 응답 중에는 활성화되지만 양호한 응답 중에는 활성화되지 않는 뉴런을 식별합니다. 이를 BS-Neurons($BS^c$)라고 명명합니다.
• 모달리티 범용 안전 뉴런 (US-Neurons): 서로 다른 모달리티에서 식별된 BS-뉴런 집합들을 교집합하여($US = BS^T \cap BS^I \cap BS^A$), 저자들은 압축된 공유 뉴런 하위 집합을 분리합니다. 이 US-Neurons는 입력 모달리티와 관계없이 전반적인 멀티모달 안전성을 관장하는 것으로 가설을 세웁니다.

2. 표적 억제를 통한 검증

저자들은 표적 억제(마스킹) 실험을 통해 이러한 뉴런들의 결정적인 역할을 검증합니다.

• BS-Neuron 검증: 모달리티별 BS-뉴런을 마스킹하면 해당 특정 모달리티 내에서 안전 성능(공격 성공률, ASR로 측정)이 크게 저하되는 반면, 무작위 뉴런 마스킹은 미미한 영향을 미칩니다.
• US-Neuron 검증: 공유된 US-뉴런을 마스킹하면 모든 다양한 멀티모달 입력 설정(예: 텍스트 전용, 텍스트-이미지, 텍스트-오디오)에서 방어 성능이 현저히 악화됩니다. 이는 이들이 핵심 안전 앵커로서의 역할을 수행함을 확인시켜 줍니다. 결정적으로, 이러한 억제는 모델의 일반적인 유용성을 실질적으로 저하시키지 않습니다.

3. 안전 정렬 전략

US-뉴런을 강화하는 것이 안전성을 높인다는 발견을 바탕으로, SafeNexus는 두 가지 별도의 개입 전략을 제안합니다.

• 활성화 레벨 안전 증폭기 (Activation-Level Safety Amplifier): 추론 시 수동으로 지정된 계수 $\alpha$에 의해 US-뉴런의 활성화 크기를 직접 스케일링하는 학습이 필요 없는(training-free) 접근 방식입니다. 이는 모델 파라미터를 업데이트하지 않고 안전 신호를 증폭합니다.
• 안전 뉴런 교정기 (Safety Neuron Calibrator): 저계수 적응(LoRA)을 사용하는 표적 미세 조정 접근 방식입니다. 모든 파라미터를 업데이트하는 표준 LoRA와 달리, 이 방법은 학습 가능한 업데이트를 US-뉴런(백본 파라미터의 약 0.05%)으로만 제한합니다. 이는 일반적인 능력을 보존하고 치명적 망각을 피하면서 안전 정렬을 강화하기 위해 뉴런을 선택적으로 교정합니다.

주요 기여

1. 안전 서브스페이스의 발견: 본 논문은 BS-Neurons(모달리티 종속적)와 US-Neurons(모달리티 범용적)의 존재를 식별하고 검증함으로써, MLLM의 멀티모달 안전성이 매우 압축되고 공유된 뉴런 하위 집합에 의해 지배된다는 것을 밝혀냈습니다.
2. 효율적인 정렬 전략: 저자들은 모델의 Robustness를 크게 향상시키는 두 가지 효율적인 전략인 Activation-Level Safety Amplifier와 Safety Neuron Calibrator를 제안합니다.
3. 경험적 우월성: 광범적인 실험을 통해 SafeNexus가 다양한 멀티모달 안전 벤치마크(Omni-Safe, HarmBench, JALM 포함)에서 최첨단 성능을 달성하는 동시에, 일반적인 모델 유용성을 효과적으로 보존하고 과도하게 보수적인 거절 동작을 피한다는 것을 입증했습니다.

실험 결과

저자들은 세 가지 오픈 소스 MLLM(Qwen2.5-Omni, VITA, MiniCPM-o)을 다양한 모달리티 조합(텍스트, 이미지, 오디오 및 그 조합)에 대해 평가했습니다.

• 안전 성능: SafeNexus는 기존의 최첨단 방법들(SPA-VL와 같은 학습 기반 접근 방식 및 ECSO, Immune과 같은 추론 시 개입 방식 포함)보다 우수한 성능을 보입니다. 예를 들어, Text+Image+Audio 입력이 있는 MiniCPM 모델에서 교정 전략은 ASR을 60% 이상 감소시켜 베이스라인을 크게 앞질렀습니다.
• 유용성 보존: 이 방법은 일반 능력 벤치마크(OmniBench, AV-Odyssey)에서 높은 정확도를 유지하며, 바닐라 모델과 비교했을 때 저하가 거의 없습니다.
• 과잉 거절 (Over-Refusal): 이 접근 방식은 양호한 요청에 대해 과도하게 거절하는 부작용을 피합니다. 양호한 프롬프트에 대한 거절률 증가가 3% 미만인 반면, 다른 방법들(예: SARSteer)은 약 18%의 증가를 보였습니다.
• 제로샷 전이 (Zero-Shot Transfer): 이 방법은 프로빙 또는 강화 단계에서 비디오 데이터를 전혀 사용하지 않고도 비디오 모달리티에 대한 제로샷 일반화 능력을 입증하였으며, 비디오 관련 벤치마크에서 ASR을 감소시켰습니다.
• 파라미터 효율성: Safety Neuron Calibrator는 모델 파라미터의 0.05% 미만을 업데이트하면서도 전체 파라미터 미세 조정 또는 무작위 뉴런 튜닝보다 우수한 안전 정렬을 달현했습니다.

의의

본 논문은 현재의 안전 메커니즘이 고정된 모달리티 설정에 국한되어 있다는 결정적인 한계를 해결한다고 주장합니다. 교차 모달 안전이 공유된 압축된 뉴런 집합에 의해 지배된다는 것을 밝힘으로써, 본 연구는 MLLM이 이질적인 입력에 대해 안전성을 어떻게 처리하는지에 대한 기계적 이해를 제공합니다. 제안된 "위치 파악 후 강화" 전략은 MLLM을 정렬하기 위한 매우 효율적이고 해석 가능하며 견고한 솔루션을 제공하며, 뉴런 수준에서의 표적 개입이 모델의 일반적인 유용성을 해치지 않으면서도 값비싼 재학습 없이 효과적으로 교차 모달 위협을 무력화할 수 있음을 증명합니다.