기술 요약: MLLM 망각을 위한 영공간 제약 대비적 시각 망각

1. 문제 정의

본 논문은 멀티모달 대규모 언어 모델 (MLLM) 내의 머신 언러닝 (machine unlearning) 과제에 직면한 문제를 다룹니다. 텍스트 전용 LLM 에서의 언러닝이 특정 텍스트 지식을 제거하는 것을 목표로 한다면, MLLM 언러닝은 더 복잡한 상충 관계를 제시합니다. 즉, 대상 시각 지식(예: 특정 인물의 시각적 외형) 을 지우는 동시에 다음을 엄격히 보존하는 것이 목표입니다:

1. 비대상 시각 지식(다른 개체의 시각적 특성).
2. 모든 텍스트 지식(대상 및 비대상 개체에 대한 사실 정보).

핵심적인 어려움은 시각 및 텍스트 모달리티의 긴밀한 얽힘에 있습니다. 전체 모델을 업데이트하는 표준 언러닝 방법은 텍스트 능력을 저하시키거나, 보존된 시각 지식에 부수적인 피해를 주지 않고 시각 개념을 선택적으로 망각하는 데 실패하는 경향이 있습니다. 또한, 기존 방법들은 일반적으로 출력 수준 감독(최종 모델 출력에 적용된 손실) 에 의존하는데, 이는 시각 모듈만 업데이트될 때 비효율적입니다. 왜냐하면 감독 신호가 중간에 있는 LLM 백본에 의해 감쇠되기 때문입니다.

2. 방법론

제안된 프레임워크인 영공간 제약 대비적 시각 망각 (NC-CVF) 은 LLM 백본을 고정하고 시각 모듈 (비전 인코더 및 프로젝터) 만 파인튜닝하는 방식으로 작동합니다. 이 접근법은 세 가지 주요 구성 요소로 이루어집니다:

A. 대비적 시각 망각 (CVF) 을 통한 중간 수준 감독

최종 출력에 감독을 적용하는 대신, 이 방법은 시각 모듈이 생성하는 중간 시각 표현 (IVRs) 에 직접 감독을 주입합니다.

• 참고 모델: 언러닝 전의 원래 모델이 참고 모델로 사용됩니다.
• 대비 메커니즘:
  • 밀어내기 (Push): 망각 집합에 속하는 대상 개체의 경우, 수정된 InfoNCE 유사 손실 ($L_{CVF-push}$) 을 사용하여 망각된 모델의 IVRs 를 참고 IVRs 로부터 밀어냅니다. 이는 대상 시각 개념을 원래 표현으로부터 명시적으로 분리합니다.
  • 당기기 (Pull): 모델이 보존된 지식을 해치는 영역으로 이동하는 것을 방지하기 위해, 망각된 IVRs 는 앵커 표현($p^a_r$) 으로 당겨집니다. 이 앵커는 보존된 샘플의 참고 IVRs 평균이며, 이를 통해 모델이 비대상 지식에 대한 "안전한" 특징 공간 내에 머무르도록 보장합니다.
• 보존 손실: 보존된 샘플의 IVRs 에 명시적인 평균 제곱 오차 ($L_{RET}$) 를 적용하여 참고 모델과 일치하도록 합니다.
• 일반 유틸리티: 일반적인 멀티모달 능력을 유지하기 위해 보존 데이터에 표준 출력 수준 가능도 손실 ($L_{GUM}$) 을 포함합니다.

B. 영공간 제약 언러닝 (NCU)

망각과 보장을 더 분리하기 위해, 이 방법은 파라미터 업데이트를 보존된 지식을 인코딩하는 방향과 직교하는 부분 공간으로 제한합니다.

• 부분 공간 식별: 보존 집합의 활성화 공분산 행렬에 대한 특이값 분해 (SVD) 를 사용하여, 가장 작은 고유값에 해당하는 고유벡터들이 span 하는 부분 공간을 식별합니다. 이러한 방향은 보존된 지식과 약하게 연관되어 있습니다.
• LoRA 제약: 언러닝은 저랭크 적응 (LoRA) 을 통해 구현됩니다. 이 방법은 영공간의 기저를 사용하여 LoRA 행렬 $A$를 초기화하고 훈련 내내 이를 고정합니다. 오직 행렬 $B$만 최적화됩니다.
• 효과: 이로 인해 가중치 업데이트 ($\Delta W = BA$) 가 보존 데이터에 대한 레이어 출력에 미미한 영향만 미치게 되어 ($A x \approx 0$), 망각 연산을 지식 보존으로부터 효과적으로 격리합니다.

C. 지속적 언러닝 확장

이 프레임워크는 지속적 언러닝으로 확장되며, 여기서 망각 요청은 순차적으로 도착합니다. 영공간 기저 $A$를 고정하고 이전 작업에서 최적화된 $B$로 후속 작업을 초기화함으로써, 이 방법은 시간이 지남에 따라 보존된 지식의 누적 저하를 방지합니다.

3. 주요 기여

1. 중간 수준 감독: MLLM 에서 시각 모듈만 업데이트될 때 발생하는 신호 감쇠 문제를 해결하기 위해, 언러닝 감독을 최종 출력에서 중간 시각 표현으로 전환하는 것을 제안합니다.
2. 대비적 시각 망각 (CVF): 특징 공간에서 "밀어내기 - 당기기" 전략을 사용하여 대상 시각 개념을 분리하면서 동시에 보존된 지식 영역에 고정하는 새로운 메커니즘입니다.
3. 영공간 제약 언러닝 (NCU): LLM 편집에서의 영공간 학습에서 영감을 받아, 보존된 지식과 직교하는 부분 공간으로 업데이트를 제한함으로써 망각과 보장을 명시적으로 분리하는 구조적 제약입니다.
4. 지속적 언러닝 프레임워크: MLLM 에서 순차적인 망각 요청을 처리하는 첫 번째 접근법으로, 제안된 제약이 지속적 설정에서 일반적으로 관찰되는 누적 저하를 완화함을 입증합니다.

4. 실험 결과

이 방법은 LLaVA-1.5-7B 및 Qwen2-VL-7B 모델을 사용하여 MLLMU-Bench, UMU-Bench, CLEAR 세 가지 벤치마크에서 평가되었습니다.

• 망각 효과성: 모든 벤치마크에서 "Forget VQA" 작업에서 가장 낮은 정확도를 달성하여 (대상 시각 지식의 성공적인 제거를 나타냄), MMU 및 MANU 와 같은 최첨단 베이스라인을 능가했습니다.
• 지식 보존: "Retain VQA" 및 "Forget/Retain QA" 작업에서 높은 정확도를 유지했습니다. 특히, 다른 방법들이 종종 심각한 감소를 겪는 반면, 텍스트 지식 (QA 작업) 을 원본 모델과 비교 가능한 수준으로 보존했습니다.
• 지속적 언러닝: 순차적 망각 시나리오에서 제안된 방법은 몇 가지 작업 후 심각한 성능 붕괴를 보인 베이스라인에 비해 보존 및 실용적 유틸리티의 저하가 현저히 느렸습니다.
• 효율성: LLM 을 고정하고 사전 계산된 영공간 제약을 사용함으로써, 전체 모델 파인튜닝 베이스라인에 비해 훈련 시간과 GPU 메모리 사용량을 줄였습니다.

5. 중요성 및 주장

본 논문은 MLLM 의 망각 - 보존 상충 관계에 대한 강력한 해결책을 제시한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 선택적 언러닝: 시각 지식을 지우면서도 모델이 텍스트 사실을 회상하거나 다른 시각적 개체를 인식하는 능력을 훼손하지 않음을 성공적으로 입증했습니다.
• 구조적 분리: 단순한 손실 함수 조정을 넘어, 망각 과정을 보존된 지식으로부터 수학적으로 격리하는 구조적 제약 (영공간) 으로 나아갔습니다.
• 지속적 실현 가능성: 시간이 지남에 따라 여러 언러닝 요청이 발생하는 실용적이면서도 덜 탐구된 시나리오를 다루며, 이 방법이 누적 손상 없이 효과적으로 확장됨을 보여주었습니다.

저자들은 이 작업을 재학습의 prohibitive 한 비용 없이 정밀하고 모달리티별 지식 제거를 가능하게 함으로써 MLLM 을 더 안전하고 개인정보 보호 규정을 준수하도록 만드는 한 걸음으로 위치시킵니다.