기술 요약: 멀티모달 대규모 언어 모델의 시각적 노이즈 유도 인컨텍스트 증류 (VGID)

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 시각-언어 작업에서 상당한 진전을 이루었으나, 민감한 개인 정보, 저작권이 있는 콘텐츠 또는 안전하지 않은 지식을 의도치 않게 기억함으로써 심각한 프라이버시 및 안전 위험을 초래할 수 있습니다. 이러한 지식은 모델 파라미터에 인코딩되면 추론 과정 중 시각적 또는 텍스트 쿼리에 의해 트리거될 수 있습니다.

기존의 언러닝(unlearning) 패러다임은 다음과 같은 결정적인 트레이드오프에 직면해 있습니다:

• 학습 기반 방법 (예: Gradient Ascent, Negative Preference Optimization): 모델 파라미터를 업데이트하여 지식을 제거하지만, 종종 일반적인 모델 유틸리티와 능력을 저하시킵니다.
• 학습 불필요 방법 (예: In-Context Unlearning): 파라미터 업데이트를 피함으로써 유틸리티를 보존하지만, 파라미터 수준에서의 지식 제거에는 실패합니다. 결과적으로 역공학 공격(reverse-engineering attacks)에 취약하며, 강력한 시각적 입력이 텍스트 기반 안전 지침을 무력화할 수 있는 멀티모달 환경에서는 불충분합니다.

핵심 과제는 외부 교사 모델이나 명시적인 부적절 응답 어노테이션에 의존하지 않으면서, 일반적인 유틸리티와 적대적 프롬프트에 대한 강건성을 유지하며 MLLM에서 효과적인 파라미터 수준의 언러닝을 달성하는 것입니다.

2. 방법론: VGID

저자들은 학습 불필요 개입(training-free intervention)과 파라미터 수준의 언러닝 사이의 간극을 메우기 위해 설계된 교사-학생 프레임워크인 **시각적 노이즈 유도 인컨텍스트 증류(Visual-Noise Guided In-Context Distillation, VGID)**를 제안합니다.

2.1 이중 모달리티 개입 (Dual-Modal Intervention)

VGID의 핵심 통찰은 텍스트 기반의 인컨텍스트 지침만으로는 두드러진 시각적 특징에 의해 유도되는 프라이버시 유출을 억제하기에 불충분하다는 것입니다. 이를 해결하기 위해 VGID는 고정된 베이스 모델을 사용하여 다음과 같은 이중 모달리티 개입을 통해 언러닝 지향적 교사 분포를 구축합니다:

1. 시각적 섭동 (Visual Perturbation): 타겟에 민감한 시각적 증거를 약화시키기 위해 입력 이미지를 섭동시킵니다 (예: 가우시안 노이즈, 랜덤 노이즈 교체, 또는 흰색 이미지 교체).
2. 텍스트 인컨텍스트 지 instrucción (Textual In-Context Instruction): 언러닝 지침 (예: "해당 인물을 식별하는 것을 거부하라")을 텍스트 쿼리 앞에 붙입니다.

고정된 베이스 모델은 이 섭동된 멀티모달 입력을 처리하여 소프트 타겟 분포($\pi_T$)를 생성합니다. 이 분포는 외부에서 훈련된 교사 없이도 원하는 언러닝 동작(민감한 토큰 억제, 안전한 응답 유도)을 포착하는 감독 신호 역할을 합니다.

2.2 증류 프레임워크 (Distillation Framework)

VGID는 지식 증류를 통해 교사 분포를 따르도록 훈련된 학생 모델($\pi_\theta$)을 사용합니다:

• 망각 목적 함수 (Forget Objective): 망각 세트($D_F$)의 샘플에 대해, 학생 모델은 원래 입력에 대한 자신의 출력과 섭동된 입력에 대한 교사의 출력 사이의 Kullback-Leibler (KL) 발산을 최소화합니다. 이는 학생 모델이 파라미터 수준에서 언러닝 동작을 학습하도록 유도합니다.
• 유지 목적 함수 (Retain Objective): 유지 세트($D_R$)의 샘플에 대해, 학생 모델은 자신의 출력과 고정된 베이스 모델의 원래 입력에 대한 출력 사이의 KL 발산을 최소 최소화합니다. 이는 일반적인 멀티모달 능력의 보존을 보장합니다.

전체 손실 함수는 다음과 같이 가중 결합된 형태입니다:
$$L_{overall} = \alpha L_{forget} + \beta L_{retain}$$

이 접근 방식은 VGID가 처음부터 다시 훈련하거나 외부 교사를 사용하지 않고도, 이중 모달리티 개입에 의해 유도된 "언러닝 동작"을 모델 파라미터로 직접 증류할 수 있게 해줍니다.

3. 주요 기여

• 모달리티 간극 식별: 본 논문은 순수 텍스트 기반 인컨텍스트 언러닝 지침이 MLLM에 불충분함을 입증합니다. 이는 시각적 입력이 텍스트 기반 안전 컨디셔닝을 압도할 수 있는 지배적인 컨디셔닝 신호로 작कार하기 때문입니다.
• 이중 모달리티 개입 전략: 시각적 섭동과 텍스트 인컨텍스트 언러닝을 결 조합하는 것이 단일 모달리티보다 상호 보완적인 신호를 제공하여 타겟 프라이버시 지식을 더 효과적으로 억제함을 보여줍니다.
• VGID 프레임워크: 고정된 베이스 모델으로부터 언러닝 지향적 교사 분포를 동적으로 구축하는 새로운 증류 기반 프레임워크를 제안합니다. 이는 외부 교사 모델이나 명시적인 거부 어노테이션 없이 파라미터 수준의 언러닝을 달성합니다.
• 실증적 검증: 다양한 백본(Qwen2.5-VL, LLaVA-1.5)에 대해 MLLMU-Bench에서 수행된 광범ende 실험을 통해, VGID가 경쟁력 있는 모델 유틸리티와 역공학 공격에 대한 강건성을 유지하면서도 강력한 언러닝 효과를 달성함을 입증했습니다.

4. 실험 결과

Qwen2.5-VL-3B, LLaVA-1.5-7B, LLaVA-1.5-13B에 대해 망각 비율 5%, 10%, 15%로 MLLMU-Bench에서 실험을 진행했습니다.

• 언러닝 효과: VGID는 타겟 프라이비 지식을 크게 감소시켰습니다. 대표적인 설정(LLaVA-1.5-7B, 5% 망각 비율)에서 VGID는 망각 세트의 ROUGE-L 점수를 0.571(Base)에서 0.200으로 낮추었으며, 이는 0.371의 감소를 의미합니다.
• 유틸리티 보존: 모델 성능을 저하시키는 경향이 있는 그래디언트 기반 베이스라인들과 달리, VGID는 강력한 유틸리티를 유지했습니다. 동일한 설정에서 유지 세트의 ROUGE-L은 0.055(0.496에서 0.441로)만 감소했으며, cloze/classification 정확도는 경쟁력 있는 수준을 유지했습니다.
• 강건성: VGID는 역공학 공격에 대해 우수한 강건성을 보여주었습니다. 인컨텍스트 언러닝(ICU)의 경우 역 프롬프트가 적용되었을 때 성능이 크게 회복되었으나(망각 세트 ROUGE-L이 0.462에서 0.518로 증가), VGID는 안정적인 상태를 유지했습니다(망각 세트 ROUGE-L이 0.200에서 0.220으로만 증가).
• 절제 연구 (Ablation Studies):
  • 교사 구축: 이중 모달리티 개입(VGID)이 단일 모달리티 개입(ICU-T 또는 Noise-T)보다 우수한 성능을 보였으며, 이는 시각적 및 텍텍스트 단서를 결합하는 것의 필요성을 확인시켜 줍니다.
  • 섭동 전략: 랜덤 노이즈 교체가 가우시안 노이즈나 흰색 이미지 교체보다 더 효과적인 것으로 나타났으며, 이는 섭려 패턴이 교사를 위한 사용 가능한 입력을 유지하면서 시각적 단서를 제거하는 데 중요함을 시사합니다.
  • 프롬프트 스타일: "엄격한 집행(Strict Enforcement)" 프롬프트가 망각과 유틸리티 보존 사이에서 가장 안정적인 균형을 제공했습니다.

5. 의의 및 주장

본 논문은 VGID가 기존의 학습 기반 및 학습 불필요 방법과 비교하여 언러닝의 완전성과 모델 유틸리티 사이에서 우월한 트레이드오프를 제공한다고 주장합니다. 개입에 의해 유도된 분포를 증류함으로써, VGID는 인퍼런스 타임 개입의 강건성을 모델 파라미터로 성공적으로 전달하여 역공학 공격에 대한 저항력을 갖게 합니다.

저자들은 VGID를 재학습의 계산 비용을 피하고 순수 인퍼런스 타임 전략의 취약성을 극복할 수 있는, 프라이버시 보호형 MLLM 배포를 위한 실용적인 솔루션으로 제시합니다. 또한 현재의 범위가 프라이버시 중심의 언러닝에 집중되어 있으며 시각적 섭동의 설계 공간이 아직 충분히 탐구되지 않았음을 언급하며, 향후 연구를 통해 이 패러다임을 저작권 보호 및 안전하지 않은 지식 제거로 확장할 수 있음을 시사합니다.