SGM: Safety Glasses for Multimodal Large Language Models via Neuron-Level Detoxification

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 멀티모달 대규모 언어 모델 (MLLM) 은 이미지와 텍스트를 동시에 이해할 수 있게 해주지만, 약하게 큐레이션된 사전 학습 데이터로 인해 독성 (toxic), 편향성, NSFW(성적/폭력적) 신호를 내포하고 있습니다.
• 문제점:
  • 기존 안전성 강화 기법들은 주로 **단일 모드 (텍스트만)**에 초점을 맞추거나, 블랙박스 방식 (프롬프트 최적화, 출력 필터링 등) 으로 작동합니다.
  • 이러한 외부 인터페이스 기반의 방어는 멀티모달 저크브레이크 (jailbreak) 공격에 취약하며, 독성 개념이 이미 활성화된 후 개입하므로 자연스러운 답변을 방해하거나 불완전한 결과를 초래합니다.
  • 기존 화이트박스 (내부 구조 접근) 방법들은 레이어 단위나 전역 방향성으로 개입하여 너무 거칠고, 멀티모달 융합 (Vision-Language Fusion) 단계의 특정 뉴런을 정밀하게 제어하지 못해 과도한 개입이 발생합니다.

2. 제안 방법: SGM (Methodology)

저자들은 **SGM (Safety Glasses for MLLMs)**을 제안했습니다. 이는 모델의 파라미터를 업데이트하지 않고, 학습이 완료된 모델의 내부 뉴런 수준에서 독성을 억제하는 화이트박스 기반의 비파라메트릭 (non-parametric) 개입 기법입니다.

• 핵심 아이디어: MLLM 의 퓨전 후 (post-fusion) 레이어에 위치한 '독성 전문가 뉴런 (toxic expert neurons)'을 식별하여, 이들의 활성화를 선택적으로 감쇠 (attenuation) 시킵니다. 이를 마치 독성 뉴런에 '안전 안경'을 씌우는 것과 같이 비유합니다.
• 구체적인 프로세스 (3 단계):
  1. 독성 활성화 수집 (Toxicity Activations): 독성 및 비독성 입력 데이터에 대한 뉴런의 최대 활성화 값을 수집합니다. 멀티모달 입력 (이미지 패치 + 토큰) 에 대해 융합된 피크 활성화 값을 계산합니다.
  2. 독성 뉴런 식별 (Toxic Neuron Identification): 각 뉴런이 독성 개념을 얼마나 잘 구분하는지 AUROC (Receiver Operating Characteristic 곡선 아래 면적) 점수로 측정합니다. 높은 AUROC 점수를 가진 뉴런을 '독성 전문가'로 선정합니다.
  3. 독성 완화 (Toxicity Mitigation): 선정된 독성 전문가 뉴런에 대해 **전문가 가중치 기반의 소프트 억제 (expertise-weighted soft suppression)**를 적용합니다.
     • 억제 계수 $\lambda_m = 2(1 - a_m)$ (여기서 $a_m$은 AUROC 점수) 를 사용하여, 독성과 강하게 연관된 뉴런일수록 더 강하게 억제합니다.
     • 비독성 뉴런은 그대로 두어 모델의 일반적 성능과 유창성을 보존합니다.
• 특징:
  • 학습 불필요 (Training-free): 모델 가중치를 변경하지 않으며, 추론 시에만 적용 가능한 '핫-플러그 (hot-pluggable)' 방식입니다.
  • 가역성: 필요할 때만 적용하고 제거할 수 있어 모델의 원래 상태를 유지합니다.
  • 해석 가능성: 어떤 뉴런이 독성을 유발하는지 명확하게 추적 가능합니다.

3. 주요 기여 (Key Contributions)

1. SGM 프레임워크 제안: MLLM 의 퓨전 후 레이어에서 뉴런 수준으로 개입하여, 재학습 없이 독성 출력을 약 20 배 (48.2% → 2.5%) 감소시키는 최초의 화이트박스 멀티모달 독성 제거 프레임워크입니다.
2. MM-TOXIC-QA 프레임워크 구축: 기존 이미지 - 텍스트 데이터셋을 통합하고 확장한 고품질 독성 평가 벤치마크를 구축했습니다. 이는 이미지와 텍스트 쌍에 대한 정밀한 독성 주석과 멀티모달 정책 위반 사례를 포함하며, 독성 뉴런 식별을 위한 표준 입력 데이터로 사용됩니다.
3. 확장 가능한 결합 방어 (SGM⋆): SGM 을 기존 방어 기법 (예: ECSO) 과 결합하여 시너지 효과를 내는 확장 가능한 아키텍처를 제시했습니다. 이는 계산 오버헤드를 거의 증가시키지 않으면서 안전성을 극대화합니다.

4. 실험 결과 (Results)

• 안전성 평가 (MM-SafetyBench):
  • LLaVA-1.5-7B/13B 및 ShareGPT-4V 모델에서 실험한 결과, SGM 은 기존 방법 (InferAligner, ECSO 등) 보다 우수한 성능을 보였습니다.
  • **해로운 응답률 (Harmful Rate)**을 평균 48.2% 에서 2.5% 로 획기적으로 감소시켰습니다.
  • 특히 텍스트와 이미지가 결합된 공격 (SD+OCR) 환경에서도 강력한 방어 효과를 입증했습니다.
• 유용성 및 유창성 보존 (MM-VET & Human Eval):
  • 안전성 강화가 모델의 일반적 능력 (시각 - 언어 추론, 유창성) 을 저하시키지 않았습니다.
  • 인간 평가자와 MM-VET 벤치마크에서 SGM 적용 모델은 원본 모델과 유사한 유창성과 일관성을 유지하며, 오히려 일부 모델에서는 성능이 소폭 향상되기도 했습니다.
  • 기존 방법들이 독성 내용을 차단할 때 답변을 잘라내거나 (truncation) 과도하게 거절 (over-refusal) 하는 경향이 있었던 반면, SGM 은 의미 있는 대안을 제시하며 유창한 답변을 생성했습니다.
• 범용성: 다양한 MLLM 아키텍처 (LLaVA, ShareGPT-4V 등) 에서 일관된 효과를 보이며, 다른 안전 기법과 쉽게 결합 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 내부적 안전성 확보: 외부 필터링이나 프롬프트 엔지니어링에 의존하지 않고, 모델의 내부 표현 (internal representation) 수준에서 독성을 제어함으로써 더 근본적이고 강력한 안전성을 제공합니다.
• 효율성과 해석 가능성: 추가적인 모델 학습이나 파라미터 변경 없이, 추론 시에만 적용 가능한 경량 솔루션을 제공하며, 어떤 뉴런이 문제인지 추적 가능하여 신뢰성을 높입니다.
• 미래 지향성: 멀티모달 AI 의 안전성 문제를 해결하기 위한 새로운 패러다임을 제시하며, 특히 적대적 공격에 취약한 멀티모달 융합 단계의 취약점을 효과적으로 보완합니다.

요약하자면, 이 논문은 SGM을 통해 MLLM 의 내부 뉴런을 '안전 안경'처럼 보호함으로써, 재학습 없이도 독성 출력을 극도로 낮추면서도 모델의 유창성과 추론 능력을 완벽하게 보존하는 혁신적인 방법을 제시했습니다.