기술 요약: 지속적 MLLM 언러닝을 위한 모델 병합 접근 방식

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 삭제가 필요한 개인정보, 독점 정보 또는 오래된 정보를 인코딩하는 경우가 많으며, 이는 머신 언러닝(machine unlearning)을 통해 제거되어야 합니다. 기존의 방식들은 단일(one-shot) 언러닝 요청을 효과적으로 처리하지만, 삭제 요청이 순차적으로 들어오는 **지속적인 시나리오(continual scenarios)**에서는 어려움을 겪습니다.

현재의 순차적 접근 방식은 일반적으로 현재 모델 상태에 대해 새로운 단일 모델 업데이트나 어댑터를 적용합니다. 본 논문에서 설명하듯, 이러한 패러다임은 새로운 요청을 이전 모델 상태에 결합시키며, 이로 인해 세 가지 결정적인 문제가 발생합니다:

1. 언러닝 리바운드(Unlearning Rebound): 모델이 이전에 잊었던 정보를 다시 학습함.
2. 리텐션 드리프트(Retention Drift): 무관하고 유용한 지식을 유지하는 모델의 능력이 시간이 지남에 따라 저하됨.
3. 유틸리티 저하(Utility Degradation): 누적되는 파라미터 드리프트로 인해 일반적인 멀티모달 능력이 손상됨.

핵심 과제는 역사적인 언러닝 효과와 일반적인 멀티모달 유틸리티를 모두 보존하면서, 확장되는 일련의 삭제 요청을 수용하는 것입니다.

방법론: 병합을 통한 지속적 언러닝 (MCU)

저자들은 MCU를 제안하며, 이는 지속적 언러닝을 **모델 병합 문제(model-merging problem)**로 재정의합니다. MCU는 모델을 순차적으로 업데이트하는 대신, 독립적으로 훈련된 여러 단일 언러닝 어댑터를 하나의 통합된 어댑터로 동적으로 병합합니다.

주요 관찰 사항

저자들은 "leave-one-out" 병합 분석을 통해 **교차 작업 언러닝 전이(cross-task unlearning transfer)**를 발견했습니다. 즉, 특정 요청을 위해 훈련된 어댑터가 의도치 않게 다른 요청과 관련된 삭제 대상에 기여할 수 있다는 것입니다. 이는 언러닝 어댑터가 강한 **교차 작업 의존성(cross-task dependencies)**을 보임을 나타냅니다. 이러한 의존성은 다음과 같을 수 있습니다:

• 시너지(Synergistic): 요청 간의 언러닝을 강화함.
• 간섭(Interfering): 대상 언러닝을 약화시키거나 유지된 지식에 손상을 입힘.

MCU 프레임워크

MCU는 이러한 의존성을 관리하기 위해 공유 코어 공간 표현(shared core-space representation)에서 작동합니다. 과정은 네 가지 주요 단계로 구성됩니다:

1. 공유 코어 공간 표현 (Shared Core-Space Representation):
   전체 파라미터 어댑터를 조작하는 대신, MCU는 동일한 베이스 모델 $M_0$에서 유도된 LoRA 어댑터를 공유 직교 기저(orthonormal basis)로 투영합니다. 이를 통해 스펙트럼 구조와 교차 작업 의존성을 효율적으로 분석할 수 있습니다.

2. 구조 보존 전처리 (Structure-Preserving Preprocessing):
   복잡성을 줄이고 과도한 집중을 방지하기 위해, MCU는 두 가지 연산을 적용합니다:

   • 주요 방향 선택 (Dominant Direction Selection): 각 어댑터의 상위-$k$ 특이 성분만을 유지하고, 업데이트 크기에 거의 기여하지 않는 저에너지 꼬리 방향들을 폐기합니다.
   • 채널 용량 제어 (Channel Capacity Control): 소수의 코어 공간 좌표가 업데이트 기하학을 불균형하게 지배하는 것을 방지하기 위해 소프트 행 용량 제약을 적용합니다.

3. 의존성 인식 방향 재구성 (Dependency-Aware Direction Reconfiguration):
   이것이 핵심 혁신입니다. MCU는 완전한 직교성을 강제하는 대신(이는 간섭과 유익한 시너지를 모두 제거함), **그람 재구성(Gram reconfiguration)**을 수행합니다:

   • 좌측 및 우측 특이 방향의 그람 행렬을 구축합니다.
   • 원래 구조로부터의 편차를 최소화하면서, 비대각 블록에 대해 **비음수 교차 요청 유사성(non-negative cross-request similarities)**을 강제하여(적대적 간섭 감소) 내부 방향에 대해서는 항등 블록을 유지하는 새로운 기하학을 찾는 최적화 문제를 해결합니다.
   • 이 단계는 유익한 공유 구조(언러닝 전이를 지원하는 구조)를 유지하면서 해로운 교차 작업 상호작용을 억제합니다.

4. 방향 복구 및 병합 (Direction Recovery and Merging):
   최적화된 그람 행렬을 사용하여 직교 프로크루스테스 문제(orthogonal Procrustes problem)를 통해 방향 행렬을 복구합니다. 처리된 업데이트는 공유 코어 공간에서 병합된 후 원래 파라미터 공간으로 매핑되어 통합된 어더터를 형성합니다.

결정적으로, MCU는 단일 언러닝 어댑터가 준비된 후에는 추가적인 그래디언트 기반 최적화가 필요 없는 훈련이 필요 없는 사후 처리(training-free, post-hoc) 절차입니다.

주요 기여

1. 프레임워크: 반복적인 모델 수정 대신 단일 언러닝 어댑터의 동적 병합을 사용하는 지속적 언러닝을 위한 병합 기반 프레임워크를 도입했습니다.
2. 발견: 교차 작업 언러닝 전이와 그에 따른 언러닝 어댑터 간의 의존성(시너지 및 간섭 효과 구분)을 규명하고 특성화했습니다.
3. 알고리즘 (MCU): 주요 작업 구조를 보존하고, 과집중된 좌표를 제어하며, 공유 공간에서 교차 작업 의사 관계를 재구성하여 적대적 상호작용을 억제하면서도 유익한 전이를 유지하는 방법을 개발했습니다.
4. 실증적 검증: 광범-한 시퀀스에서도 순차적 베이스라인보다 우수한 효과를 보임을 광범위한 실험을 통해 입증했습니다.

실험 결과

저자들은 Qwen2-VL-7B와 LLaVA-1.5-7B를 사용하여 ICU-Bench(100개 작업 순차 프로토콜) 및 MLLMU-Bench(5단계 프로토콜)에서 MCU를 평가했습니다.

• 언러닝 효과성: MCU는 GA-Diff, KL-Min, MMUnlearner와 같은 순차적 베이지라인에 비해 일관되게 낮은 "Forget" 점수(대상 지식의 더 나은 제거를 의미)를 달 기록했습니다. 예를 들어, Task 100에서의 Qwen2-VL-7B에 대해 MCU는 Forget VQA 정확도를 28.7로 낮추었으며(MMUnlearner는 33.3), 동시에 리텐션을 크게 향상시켰습니다.
• 리텐션 및 유틸리티: MCU는 높은 "Retain" 점수와 일반적인 멀티모달 유틸리티(Generation Quality 및 Retain Stability Rate로 측정)를 유지했습니다. 일반적인 모델 붕괴를 일으키며 낮은 Forget 점수를 달성하는 일부 베이스라인과 달리, MCU는 무관한 작업을 수행하는 모델의 능력을 보존했습니다.
• 안정성: MCU는 긴 시퀀스 동안 "Forgetting Rebound"(FR) 및 "Retention Drift"(RSR)가 감소함을 보여주었으며, 이는 시간이 지남에 따라 성능을 저하시키지 않고 역사적 언러닝 효과를 유지하는 능력을 확인시켜 줍니다.
• 절제 연구 (Ablation Studies): 실험을 통해 MCU의 모든 구성 요소(방향 선택, 용량 제어, 의존성 인식 재구성)가 필수적임을 확인했습니다. 특히, 의존성 인식 재구성이 언러닝과 리텐션 사이의 균형을 맞추는 데 결정적이며, 엄격한 직교화 방법보다 뛰어난 성능을 보임을 입증했습니다.

의의

본 논문은 MCU가 기존의 지속적 언러닝 방법의 근본적인 한계인 파라미터 드리프트의 누적과 교차 작업 의존성 처리 불능 문제를 해결한다고 주장합니다. 언러닝을 모델 병합 문제로 취급하고 언러닝 어댑터의 기하학을 명시적으로 모델링함으로써, MCU는 단순한 단일 언러닝 어댑터를 사용하여 복잡하고 장기적인 지속적 시나리오를 처리할 수 있게 합니다. 이 방법은 삭제 요청이 지속적으로 발생하는 실제 환경에서, 민감한 데이터의 "망각"과 일반적인 능력의 "기억"을 모두 보존할 수 있는 실용적이고 훈련이 필요 없는 솔루션을 제공합니다.