기술 요약: MLLM의 평생 언러닝(Lifelong Unlearning)을 위한 MLUBench 및 LUMoE

1. 문제 정의

본 논문은 **멀티모달 대규모 언어 모델(MLLM)의 평생 언러닝(Lifelong Unlearning)**이라는, 실용적이지만 아직 충분히 연구되지 않은 과제를 다룹니다. 이는 MLLM이 사용자의 요청에 따라 특정 멀티모달 정보(예: 특정 개체, 이미지 또는 개념)를 순차적으로 망각하면서도, 일반적인 능력과 타겟팅되지 않은 데이터에 대한 지식은 유지해야 하는 상황을 의미합니다.

표준적인 머신 언러닝(일회성 제거)이나 단일 모달 LLM 언러닝과 달리, MLLM의 평생 언러닝은 독특하고 결정적인 제약 조건을 제시합니다: 바로 멀티모달 정렬(multimodal alignment)의 보존입니다. 저자들은 MLLM이 비전 인코더, 언어 모델, 그리고 멀티모달 프로젝터 사이의 섬세한 정렬에 의존한다고 주장합니다. 하나의 모달리티에서 가중치를 수정하는 순차적 언러닝 작업은 이 정렬을 파괴적으로 방해하여, 설령 언러닝 대상이 단일 모달리티일지라도 전체적인 모델 성능의 붕괴를 초래할 수 있습니다.

목표는 순차적인 언러닝 작업 집합 $T = \{t_1, t_2, ..., t_k\}$에서 이전에 언러닝된 작업들에 대한 누적된 성능 저하를 최소화하는 동시에, 새로운 작업을 효과적으로 언러닝하는 것으로 정의됩니다.

2. 방법론: LUMoE

누적된 성능 저하와 정렬 붕괴 문제를 해결하기 위해, 저자들은 **LUMoE (Lifelong Unlearning with a Mixture-of-Experts)**를 제안합니다. 기존의 베이스 모델 가중치를 반복적으로 업데이트하는 전통적인 방식과 달리, LUMoE는 언러닝 수정을 안정적인 베이스 모델로부터 격리합니다.

핵심 구성 요소:

1. 태스크 특화 LoRA 어댑터 (Task-Specific LoRA Adapters): 베이스 MLLM을 직접 업데이트하는 대신, LUMoE는 각 특정 언러닝 태스크를 위한 경량화된 저차원 적응(Low-Rank Adaptation, LoRA) 어댑터를 훈련합니다. 이 어댑터들은 **선호도 최적화(Preference Optimization, PO)**를 사용하여 훈련되며, 이는 다른 가중치를 손상시킬 수 있는 그래디언트 상승(gradient ascent)을 통해 지식을 지우려 하기보다, 망각 세트에 대해 "대답할 수 없습니다"와 같은 "거절" 행동을 학습하도록 합니다.
2. 게이트 모듈 (라우터, Gate Module): 강력한 라우터 모델(초기 모델은 GLM-4V-Plus)이 입력을 동적으로 제어합니다. 이 모델은 다음을 수행합니다:
   • 개체 추출 (Entity Extraction): 입력(이미지/텍스트) 내의 개체를 식별합니다.
   • 태스크 매칭 (Task Matching): 해당 개체가 이전에 언러닝된 태스크의 망각 세트에 속하는지 확인합니다.
   • 라우팅 (Routing): 매칭되는 결과가 있으면, 해당 LoRA 어댑터를 추론을 위해 베이스 모델에 병합합니다. 매칭되는 결과가 없으면(즉, 입력이 유지 세트에 속하는 경우), 원래의 베이스 모델이 입력을 직접 처리하여 유용성을 보존합니다.
3. 오류 처리 (Error Handling): 라우터가 개체에 대해 불확실한 경우, 해당 입력은 유지 질문으로 간데 처리되어 실수로 인한 망각을 방지합니다.

3. 주요 기여

A. MLUBench: 포괄적인 벤치마크

저자들은 MLLM의 평생 언러닝을 평가하기 위해 특별히 설계된 대규모 벤치마크인 MLUBench를 도입합니다.

• 규모 및 다양성: 9개의 별도 클래스(동물, 천문학, 건물, 만화, 기업, 영화, 인물, 식물, TV 시리즈)에 걸친 127개의 실제 개체를 다룹니다.
• 데이터 볼륨: 이 데이터셋은 5,105개의 이미지와 15,414개의 VQA 쌍을 포함합니다.
• 순차적 구조: 평생 설정(lifelong setting)을 시뮬레이션하기 위해 개체들을 네 개의 언러닝 태스크(A, B, C, D) 시퀀스로 분할했습니다.
• 일반성: 프롬프트 변형에 대한 강건성을 테스트하기 위해 다양한 의미론적 질문 변형을 포함합니다.

B. 실험적 발견

MLUBench를 사용하여 저자들은 두 가지 중요한 통찰을 밝혀내는 광범위한 실험을 수행했습니다.

1. 심각한 누적 저하 (Severe Cumulative Degradation): 기존의 언러닝 방법들(Gradient Ascent, Gradient Difference, KL Minimization, Negative Preference Optimization)은 심각하고 누적적인 성능 저하를 겪습니다. 순차적인 언러닝 태스크의 수가 증가함에 따라, 망각 품질(대상 지식을 억제하는 능력)과 모델 유용성(유지된 질문에 답하는 능력) 모두가 0을 향해 붕괴합니다.
2. 멀티모달 정렬의 도전 과제: 본 논문은 MLLM에서의 언러닝이 단일 모달 LLM의 언러닝과 근본적으로 다르다는 것을 실증적으로 보여줍니다. LLM 백본 또는 비전 어댑터 중 하나만을 업데이트하여 수행한 실험 결과, 어느 한 구성 요소라도 독립적으로 수정하면 파괴적인 성능 저하가 발생함을 보여주었습니다. 이는 멀티모달 정렬을 보존하는 것이 MLLM 평생 언러닝의 고유하고 근본적인 과제임을 확인시켜 줍니다.

C. 제안된 솔루션 (LUMoE)

LUMoE는 이러한 문제들을 완화하는 단순하면서도 효과적인 베이스라인으로 제시됩니다. 베이스 모델을 동결 상태로 유지하고 교체 가능한 어댑터를 사용함으로써, 가중치의 누적된 손상과 멀티모달 정렬의 붕괴를 방지합니다.

4. 실험 결과

• 성능: MLUBench에서 LUMoE는 모든 순차적 태스크에 대해 높은 망각 품질(1.0에 근접)과 모델 유용성(0.9에 근접)을 유지합니다. 반면, 베이스라인 방법들(GA, GD, KL, NPO)은 단 몇 번의 언러닝 단계만 거친 후에도 점수가 0에 가깝게 떨어집니다.
• 일반 능력: LUMoE는 외부 벤치마크(TruthfulQA, MMBench)에서 모델의 일반적인 추론 능력을 보존하며, 성능 저하는 지속적으로 0.6% 미만입니다. 베이스라인들은 이러한 일반적인 태스크에서 파괴적인 실패를 일으킵니다.
• 강건성: LUMoE는 탈옥 공격(jailbreak attacks)에 대한 강건성을 입증하며, 다양한 태스크 순서와 태스크 수의 변화(최대 5개 태스크까지 테스트)에 대해서도 성능을 유지합니다.
• 효율성: 계산 비용은 관리 가능한 수준으로, 어댑터 훈련에는 태스크당 약 11분이 소요되며 태스크 매칭에는 약 2초가 소요됩니다.

5. 의의 및 주장

본 논문은 자신의 연구를 MLLM 평생 언러닝을 이해하고 해결하기 위한 기초적인 단계로 위치시킵니다.

• 벤치마킹: 멀티모달 환경에서 순차적 언러닝의 누적 효과를 평가할 수 있는 최초의 대규모 다양성을 갖춘 벤치마크(MLUBench)를 제공함으로써 중요한 공백을 메웁니다.
• 이론적 통찰: MLLM의 평생 언러닝이 단순히 LLM 언러닝의 확장이 아니라, 멀티모달 정렬에 의해 제약되는 별개의 문제임을 확립하였으며, 이는 기존의 단일 모달 언러닝 방법의 적용 가능성에 도전하는 발견입니다.
• 방법론적 방향: LUMoE가 "완벽한" 솔루션이라고 하기에는 겸손하지만, 저자들은 격리 원칙(언러닝 수정을 베이스 모델로부터 분리하는 것)이 평생 시나리오에서 모델의 안정성과 정렬을 유지하기 위한 실행 가능하고 효과적인 전략임을 검증했다고 주장합니다.

본 연구는 표준화된 평가 프레임워크와 멀티모달 언러닝의 특수한 복잡성을 해결하는 강력한 베이스라인 방법을 제공함으로써 향후 연구를 촉진하는 것을 목표로 합니다.