기술 요약: 확률적 메타-언러닝 (Stochastic Meta-Unlearning, SMU)

1. 문제 정의

시각-언어 모델(Vision-Language Models, VLMs)을 위한 머신 언러닝(Machine unlearning)은 독립적인 대규모 언어 모델(LLM)의 언러닝과는 구별되는 독특한 과제를 제시합니다. VLM은 언어 백본(language backbone)을 시각 인코더 및 프로젝션 모듈과 긴밀하게 결합된 시스템으로 통합합니다. 본 논문은 기존 접근 방식에서 발생하는 결정적인 "구성 요소-시스템 불일치(component-system mismatch)" 현상을 식별합니다:

• 현상: 텍스트 전용 프롬프트를 통해 질의했을 때 언어 백본에서 성공적으로 "잊혀진(forgotten)" 타겟 개념이, 동일한 백본을 고정된 시각 모듈과 재결합하여 이미지 조건부 프롬프트로 질의할 경우 다시 복구될 수 있습니다.
• 기존 방법의 한로:
  • 직접적인 VLM 언러닝: 전체 VLM을 직접 최적화하는 것은 멀티모달 차원의 망각을 보장하지만, 업데이트가 모달리티 간에 예측 불가능하게 전파되어 무관한 능력(유틸리티)을 저하시킬 위험이 있습니다.
  • 언어 백본 언러닝: 언어 백본만을 업데이트하는 것은 계산 효율적이고 시각 모듈을 보존하지만, 표준 언의 언러닝 목적 함수(텍스트 전용 데이터에 최적화됨)는 백본이 시각 시스템과 재통합된 후에도 망각이 유지된다는 것을 보장하지 못합니다.

핵심 과제는 언어 백본 언러닝의 유틸리티를 보존하면서도, 완전히 구성된 멀티모달 VLM 내에서도 망각 동작이 유효하도록 보장하는 것입니다.

2. 방법론: 확률적 메타-언러닝 (SMU)

저자들은 언어 백본의 업데이트를 VLM 수준의 망각 동작과 정렬하기 위해 설계된 이중 루프 메타 최적화 프레임워크인 **확률적 메타-언러닝 (SMU)**을 제안합니다.

2.1 이중 루프 프레임워크 (Bilevel Framework)

SMU는 VLM 언러닝을 두 개의 뚜렷한 루프를 가진 메타 학습 문제로 취급합니다:

• 내부 루프 (텍스트 측 언러닝):

  • 오직 언어 백본 파라미터($\theta_T$)에 대해서만 작동합니다.
  • 오직 단일 모달 텍스트 데이터(망각 세트 및 유지 세트)를 사용하여 $K$ 단계의 언러닝을 적용합니다.
  • 시각 인코더와 프로젝션 모듈($\phi$)은 고정된 상태로 유지되며 업데이트되지 않습니다.
  • 이 단계는 업데이트된 백본 $\theta_{T,K}$를 생성합니다.

• 외부 루프 (VLM 수준 피드백):

  • 업데이트된 백본 $\theta_{T,K}$를 고정된 시각 구성 요소 $\phi$와 재결합하여 전체 VLM $F_{\theta_{T,K}, \phi}$를 형성합니다.
  • 멀티모달 쿼리(이미지 + 텍스트) 및 텍스트 전용 쿼리에 대해 모델을 평가합니다.
  • 망각 성능(타겟 제거)과 유틸리티 보존(유지/테스트 성능)에 기반하여 손실($L_{outer}$)을 계산합니다.
  • 이 외부 손실의 그래디언트를 내부 언러닝 단계를 통해 역전파하여 언러닝 전 초기값($\theta_T$)을 업데이트합니다.

2.2 확률적 태스크 샘플링 (Stochastic Task Sampling)

일반화 문제를 해결하기 위해, SMU는 단일 고정된 망각 타겟이나 언러닝 연산자를 최적화하지 않습니다. 대신, 메타 학습 중에 분포 $p(E)$로부터 환경 $e = (z, m, c)$를 확률적으로 샘플링합니다:

• $z$: 망각 타겟.
• $m$: 내부 루프 언러닝 연산자 (예: GradDiff, NPO).
• $c$: 쿼리 조건.

샘플링된 환경들에 대한 기대 외부 손실을 최소화함으로써, SMU는 타겟, 언러닝 알고리즘 및 쿼리 모달리티의 변화에 견고한 초기값을 학습합니다.

2.3 메타-테스트 단계

배포(메타-테스트 시간) 시, 새로운 삭제 요청이 주어지면:

1. 시스템은 학습된 초기값 $\theta^*_T$에서 시작합니다.
2. 새로운 타겟 데이터를 사용하여 표준 텍스트 측 언러닝 단계를 수행합니다.
3. 결과물인 백본을 고정된 VLM에 삽입합니다.
4. 최종 모델을 텍스트 전용 및 멀티모달 테스트 세트 모두에서 평가합니다.

3. 주요 기여

1. 구성 요소-시스템 불일치 식별: 본 논문은 텍스트 전용 언러닝이 VLM에 불충분함을 실증적으로 보여줍니다. 즉, 언어 백본에서 잊혀진 타겟이 시각 입력을 통해 복구될 수 있음을 입증했습니다.
2. 확률적 메타-언러닝 (SMU): 언어 백본의 초기값을 메타 학습하기 위해 VLM 수준의 피드백을 사용하는 새로운 이중 루프 프레임워크를 제안합니다. 이는 로컬 백본 업데이트가 글로벌 멀티모달 망각으로 이어지도록 보장합니다.
3. 확률성을 통한 일반화: 확률적 태스크 샘플링의 도입을 통해 학습된 초기값이 보지 못한 망각 타겟 및 서로 다른 언러닝 연산자에 효과적으로 전이될 수 있도록 하여, 특정 삭제 시나리오에 대한 과적합을 방지합니다.

4. 실험 결과

저자들은 두 가지 VLM(Qwen2.5-VL 및 InternVL3)과 두 가지 멀티모달 밈(meme) 데이터셋(Hateful Memes 및 COVID Memes)에 대해 SMU를 평가하였으며, 세 가지 베이스라인인 GradDiff, NPO, RMU와 비교하였습니다.

• 망각-유지 트레이드오프 (Forget-Retain Trade-off): SMU는 전반적으로 가장 우수한 균형을 달성했습니다. 각 지표에 대한 가장 강력한 베이스라인과 비교했을 때, SMU는 평균 망각 정확도(Forget accuracy)를 10.52 포인트 감소시킨 동시에, 평균 유지 정확도(Retain accuracy)를 20.10 포인트, 테스트 정확도(Test accuracy)를 17.01 포인트 향상시켰습니다.
• 멀티모달 강건성: 이미 조건 하에서 망각에 실패하거나 유틸리티를 파괴하는 베이스라인들과 달리, SMU는 재결합된 VLM에서 타겟을 성공적으로 제거하면서도 무관한 작업에 대해 높은 성능을 유지했습니다.
• 전이 가능성 (Transferability):
  • 타겟 전이: 하나의 타겟으로 학습된 SMU는 보지 못한 새로운 망각 타겟에 대해서도 성공적으로 일반화되었습니다.
  • 연산자 전이: 하나의 언러닝 연산자(예: GradDiff)로 학습된 SMU는 다른 연산자(예: RMU, NPO)로 테스트했을 때도 효과적으로 작동했습니다.

5. 의의 및 주장

본 논문은 SMU가 구성 요소 수준의 업데이트와 시스템 수준의 동작 사이의 간극을 메꿈으로써, VLM 언러닝을 위한 더 신뢰할 수 있고 전이 가능한 솔루션을 제공한다고 주장합니다.

• 신뢰성: 초기값을 가이드하기 위해 VLM 수준의 피드백을 사용함으로써, SMU는 망각이 텍스트 전용 평가의 산물이 아니라 전체 멀티모달 컨텍스트에서도 유효함을 보장합니다.
• 효율성: 언어 백본만을 업데이트하는 계산 효율성을 유지하면서도, 직접적인 VLM 최적화와 관련된 유틸리티 저하 문제를 피합니다.
• 실용성: 확률적 설계 덕분에 삭제 요청의 내용이 다양해지거나 학습 시 가정했던 특정 언러닝 알고리즘이 달라지는 실제 환경에서도 견고하게 작동합니다.

저자들은 VLM 수준의 피드백이 언어 백본 언러닝을 멀티모달 시스템에 효과적으로 만들기 위해 필수적이며, 메타 학습이 모델 전체를 재학습하거나 유틸리티를 훼손하지 않고 이를 달성할 수 있는 실행 가능한 경로임을 결론짓습니다.