기술 요약: ASRU – 멀티모달 대규모 언어 모델을 위한 활성화 조종과 강화 학습 기반 망각의 결합

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLM) 은 사전 훈련 과정에서 민감한 교차 모달 정보를 암기하는 경우가 많아, 개인정보 유출 및 저작권 침해의 위험을 초래합니다. 이러한 지식을 제거하기 위해 기계적 망각 (Machine Unlearning, MU) 이 필수적이지만, 기존 방법들은 두 가지 근본적인 한계에 직면해 있습니다:

1. 망각 후 응답성 저하: 현재의 접근 방식은 망각 후 환각, 경직되거나 불일치하는 출력을 자주 생성합니다. 지식 공백을 자연스럽게 표현하는 대신, 모델은 조작된 콘텐츠를 생성하거나 반복적이고 퇴화된 텍스트를 만들어냅니다. 이러한 "부자연스러운" 행동은 망각이 발생했음을 우연히 드러내어 안전 위험을 초래할 수 있습니다.
2. 망각과 유용성 간의 트레이드오프: 목표 지식을 효과적으로 잊는 것과 모델의 일반적 유용성을 유지하는 것 사이에는 지속적인 갈등이 존재합니다. 경사 상승 (gradient ascent) 기반 방법은 망각 집합을 과도하게 억제하여 의도하지 않은 전역적 행동 변화를 초래하는 반면, 유용성을 우선시하는 방법들은 완전한 망각을 달성하지 못하는 경우가 많습니다.

기존 평가는 주로 정답 (ground truth) 으로부터의 출력 편차에 초점을 맞추어, 망각된 모델의 생성 품질을 간과해 왔습니다. 본 논문은 망각된 모델이 정렬된 기본 모델처럼 행동하여, 역동적이고 문맥을 인지하며 일관된 방식으로 지식 공백을 표현해야 한다고 주장합니다.

2. 방법론: ASRU 프레임워크

저자들은 정밀한 거절 경계 제어를 유지하면서 모델의 유용성을 보존하도록 설계된 2 단계 프레임워크인 ASRU(Activation Steering meets Reinforcement Unlearning) 를 제안합니다.

1 단계: 활성화 재지도를 통한 거절 조종

첫 번째 단계는 사전 훈련된 MLLM 에서 자발적인 거절 행동이 부족하다는 문제를 해결합니다.

• 지식 부재 방향 구성: 이 방법은 망각 집합($D_f$) 과 목표 거절 - 참조 집합($D_{target}$) 의 평균 은닉 활성화 (mean hidden activations) 를 대비시켜 "거절 참조 방향"을 구성합니다. $D_{target}$은 모델이 사전 지식을 가지고 있지 않은 입력 (예: 개인정보 쿼리와 짝지어진 보지 못한 합성 얼굴) 으로 구성됩니다.
• 활성화 조종: $D_{target}$과 $D_f$의 평균 활성화 차이로 조종 벡터 ($v_{L^*}$) 를 계산합니다. 이 벡터는 망각 집합 입력의 잔류 스트림 (residual-stream) 활성화를 "관련 지식 없음" 영역으로 재지도하는 데 사용됩니다.
• 효율적 최적화: 전체 모델을 미세 조정하는 대신, ASRU 는 특정 목표 층 ($L^*$) 의 단일 하향 투영 행렬만 업데이트합니다. 이는 실제 활성화와 목표 활성화 간의 편차를 최소화하는 폐쇄형 해 (closed-form solution) 를 통해 달성되며, 초기적이고 제어 가능한 거절 행동을 유도합니다.

2 단계: GRPO 를 통한 거절 경계 최적화

두 번째 단계는 유지된 데이터에 대한 불필요한 거절을 방지하기 위해 결정 경계를 정제합니다.

• 경계 집합 구성: 유지 집합 ($D_r$) 에서 경계 집합 ($\tilde{D}_r$) 을 샘플링합니다. 이러한 샘플은 입력 공간에서 망각 집합과 매우 유사하지만 유지되어야 하므로, 정밀한 구분을 학습할 수 있게 합니다.
• 검증 가능한 보상 설계: 보상 함수는 두 가지 측면을 평가하도록 설계됩니다:
  1. 망각 효과성: 목표 지식의 재현을 패널티하고, 자연스럽고 문맥을 인지한 거절 (예: "이것은 이미지에서 추론할 수 없습니다") 을 보상합니다.
  2. 유지 충실도: 경계 및 유지 샘플에 대한 정확하고 정보적인 답변을 보상하고, 과도한 거절을 패널티합니다.
• 그룹 상대 정책 최적화 (GRPO): 모델을 GRPO 를 사용하여 최적화합니다. 쌍을 이룬 입력 (망각 대 경계) 에 대한 롤아웃 그룹을 샘플링함으로써, 알고리즘은 그룹 상대적 이점을 계산합니다. 이는 모델이 필요할 때 ( $D_f$의 경우) 거절하고 유지된 지식에 대해서는 적절히 답변하는 정밀한 정책을 학습하도록 장려하여, 거절 경계를 효과적으로 선명하게 만듭니다.

3. 주요 기여

• 핵심 지표로서의 생성 품질: 본 논문은 생성 품질을 망각 평가의 주요 차원으로 도입하며, 구체적으로 문맥적 거절(거절의 일관성과 자연스러움) 과 망각성(지식 유출의 부재) 을 측정합니다.
• 새로운 2 단계 프레임워크: ASRU 는 활성화 조종(최소한의 파라미터 업데이트로 거절 능력 초기화) 과 GRPO(망각 - 유지 경계 정제) 를 결합한 최초의 프레임워크입니다.
• 정밀한 제어: 경계 집합과 검증 가능한 보상을 활용함으로써, ASRU 는 이전 방법들의 "전부 아니면 전무" 행동을 피하고 망각 효과성과 모델 유용성 간의 우수한 트레이드오프를 달성합니다.

4. 실험 결과

실험은 Qwen3-VL(4B 및 8B) 과 LLaVA-1.5-7B를 MLLMU-Bench 및 CLEAR데이터셋을 사용하여 수행되었습니다.

• 망각 효과성: ASRU 는 기준선 (GA, GA Diff, KL Min, NPO, MMUnlearner) 보다 훨씬 뛰어난 성능을 보였습니다. 5% 망각 비율을 가진 Qwen3-VL-8B 에서 가장 강력한 기준선 대비 평균 24.6% 향상된 망각 효과성을 달성했습니다.
• 생성 품질: ASRU 는 생성 품질에서 압도적인 개선을 보여주어, 기준선 대비 평균 5.8 배 증가를 기록했습니다. 이는 환각과 경직된 응답이 크게 감소하고 모델이 문맥을 인지한 역동적인 거절을 생성함을 의미합니다.
• 유용성 보존: 공격적인 망각에도 불구하고, ASRU 는 소량의 감독 유지 데이터 (약 27.3%) 만 사용하여 유지 집합과 실제 세계 유명인 집합에서 높은 성능을 유지했습니다.
• 강건성: 이 방법은 적대적 프롬프트 변형 (무작위 접두사, 재구현, 재규제 시도) 하에서도 효과적이었으며, 학습된 거절 경계가 템플릿 기반이 아닌 일반화 가능함을 시사합니다.

5. 중요성과 주장

본 논문은 ASRU 가 지식 제거 후 모델 행동의 저하라는 멀티모달 망각의 중요한 격차를 해결한다고 주장합니다. 생성 품질을 주요 목표로 삼음으로써, ASRU 는 망각된 모델이 안전하고 사용 가능하며 정렬된 상태를 유지하도록 보장합니다.

저자들은 그들의 접근 방식이 모델이 환각하거나 민감한 정보를 유출하지 않고 지식 공백을 자연스럽게 표현할 수 있는 "정렬된 기본 모델"처럼 행동하도록 허용한다고 강조합니다. 초기화를 위한 활성화 조종과 경계 정제를 위한 강화 학습의 통합은 신뢰할 수 있는 MLLM 시스템을 구축하기 위한 확장 가능하고 제어 가능한 솔루션을 제공합니다. 이 작업은 오디오 및 비디오와 같은 다른 모달리티로의 잠재적 미래 확장을 포함하여 더 강력한 개인정보 보호 AI 를 향한 한 걸음으로 제시됩니다.