기술 요약: 시각, 언어, 비디오 및 오디오를 아우르는 멀티모달 언러닝(Multimodal Unlearning)

1. 문제 정의

시각-언어 모델(VLM), 확산 모델(DM), 대규모 언어 모델(LLM), 오디오 파운데이션 모델(AFM)을 포함한 멀티모드 파운데이션 모델(MFM)의 급격한 채택은 민감한 정보, 저작권이 있는 데이터, 편향되거나 안전하지 않은 교차 모달 연관성이 의도치 않게 인코딩될 수 있다는 상당한 위험을 초래했습니다. 웹 규모의 데이터로 학습된 이러한 모델들은 특정 사례(예: 개인의 얼굴, 저작권이 있는 예술 작품)나 바람직하지 않은 개념(예: 유해한 고정관념)을 기억하는 경우가 많습니다.

삭제 요청(예: 잊힐 권리)이나 정책 업데이트에 직면했을 때, 처음부터 다시 학습시키는 표준적인 해결책은 계산적으로 불가능한 경우가 많습니다. 더욱이, 멀티모달 파운데이션 모델 내의 지식은 공유된 표현(shared representations) 전반에 걸쳐 분산되어 있기 때문에 타겟팅된 망각(targeted forgetting)은 기술적으로 매우 어렵습니다. 한 모달리티(예: 텍스트)에서 연관성을 제거하는 것이 다른 모달리티(예: 이미지 생성)의 관련 없는 동작을 의도치 않게 방해하거나, 잔류하는 교차 모달 누출(cross-modal leakage)로 인해 개념을 완전히 지우는 데 실패할 수 있기 때문입니다. 핵심 문제는 나머지 데이터에 대한 전체적인 유용성(utility)과 모델 성능을 유지하면서, 여러 모달리티에 걸쳐 특정 데이터나 개념을 선택적으로 제거하는 것입니다.

2. 방법론 및 분류 체계

본 서베이는 멀티모달 언러닝 방법들을 최적화 목적이 아닌, **개입 단계(intervention stage)**와 **제어 경로(control pathway)**에 따라 정리하는 시스템 중심의 분류 체계를 제안합니다. 이 프레임워크는 데이터 준비부터 추론에 이르는 전체 파이프라인을 다룹니다.

2.1 공식화

목표는 망각 집합 $D_f$의 영향력을 제거하면서 보존 집합 $D_r$에 대한 유용성을 유지하는 것으로 정의됩니다. 원래 모델 $M_o$와 데이터 $D$에 적용되는 언러닝 절차 $U$는 $D \setminus D_f$로 재학습된 모델과 구별할 수 없는 분포를 갖는 모델 $M_u$를 생성해야 합니다. 이는 차분 프라이버시(Differential Privacy)를 모방하여, 언러닝과 재학습 사이의 등가성에 대한 이론적 보장을 제공하기 위해 $(\epsilon, \delta)$ 언러닝 기준을 사용하여 공식화됩니다.

2.2 개입 단계

본 서베이는 방법론을 다섯 가지 주요 개입 지점으로 분류합니다:

1. 데이터 측면 개입 (Data-Side Interventions):

   • 데이터 경로 섭동 (Data-Path Perturbation): 타겟 클러스터의 학습 가능성을 줄이기 위해 가중치 대신 입력(이미지/텍텍스트)을 수정합니다(예: 학습 불가능한 예시 또는 클로크 사용). 이는 나머지 코퍼스에 대한 유용성은 보존하면서 수행됩니다.
   • 데이터 위생 및 프롬프트 정규화 (Data Hygiene & Prompt Normalization): 학습 시작 전, 의심스러운 쌍의 가중치를 낮추거나 프롬프트를 표준 형태로 정규화하여 부적절한 연관성을 완화함으로써 학습 데이터를 정제합니다.

2. 학습 시간 편집 (Training-Time Edits):

   • 직접 그래디언트 (Direct Gradient): 언러닝을 타겟 리스크 최소화 문제로 공식화하여, 보존 집합에 대한 성능은 유지하면서 망각 집합에 대한 응답을 억제합니다. 여기에는 교차 모달 구조를 분리하는 VLM 및 확산 모델을 위한 목적 함수가 포함됩니다.
   • 제약된 업데이트 (Constrained Updates): 최적화 과정 중에 제약을 부과하여 망각 집합에 대한 잔류 능력을 제한하고 참조 모델로부터의 편차를 제한함으로써, 망각 효율성과 모델 무결성 사이의 균형을 맞춥니다.
   • 마스크 기반 선택적 언러닝 (Mask-Driven Selective Unlearning): 살리언시(saliency) 또는 어텐션 맵을 통해 식별된 국소적 파라미터, 특징 또는 공간 영역으로 업데이트를 제한하여, 보존된 동작에 미치는 부수적인 피해를 최소 최소화합니다.
   • 증류 기반 (Distillation-Based): 원본 학습 데이터에 직접 접근하지 않고도, 안전한 타겟을 향하도록 유도되는 "교사(teacher)" 모델로부터 "학생(student)" 모델로 행동을 전달합니다.

3. 구조 제약 언러닝 (Architecture-Constrained Unlearning):

   • 아키텍처 편집 (Architecture Editing): 네트워크 구조를 직접 수정하여(예: 특정 레이어나 텐서를 가지치기, 동결 또는 재성장) 망각 신호를 인코딩하는 경로를 차단합니다.
   • 레이어 범위 제약 업데이트 (Layer-Scoped Constrained Updates): 특정 개념이 집중되는 특정 레이어를 식별하고, 파라미터 드리프트(parameter drift)를 제한하기 위해 해당 레이어로 편집을 제한합니다.

4. 학습 불필요 언러닝 (Training-Free Unlearning):

   • 가중치 공간 선형 언러닝 (Weight-Space Linear Unlearning, WLU): 원치 않는 행동을 억제하기 위해 참조 체크포인트에 대해 폐쇄형 선형 연산(예: 태스크 벡터 차감, 가중치 부정)을 사용하며, 재학습 없이 수행됩니다.
   • 표현 투영 언러닝 (Representation Projection Unlearning, RPU): 내부 활성화 또는 어텐션 출력을 망각 신호와 관련된 학습된 서브스페이스로부터 투영하여 제거함으로써, 모델 가중치를 수정하지 않고도 타겟 개념을 효과적으로 필터링합니다.

5. 디코딩 시간 언러닝 (Decoding Time Unlearning):
   * 가이던스 경로 제어 (Guidance-Path Control): 베이스 모델을 고정한 상태에서 안전하지 않은 개념으로부터 출력을 유도하기 위해 샘플러 또는 스코어 함수를 수정합니다(예: 동적 네거티브 가이던스).
   * 컨디셔닝 경로 제어 (Conditioning-Path Control): 모델에 입력되기 전에 컨디셔닝 신호(예: 텍스트 임베딩)를 변환하여, 모델 파라미터를 변경하지 않고도 타겟 개념에 대한 조건을 약화시킵로 효과적으로 제어합니다.

3. 주요 기여

본 논문은 멀티모달 언러닝 분야에 세 가지 주요 기여를 합니다:

• 기초적 서베이: 이미지, 텍스트, 비디오, 오디오 파운데이션 모델 전반의 멀티모달 언러닝을 종합하여 메커니즘, 이론 및 평가를 아우르는 통합된 프레임워크를 제공합니다.
• 시스템 관점의 렌즈: 개입 단계와 제어 경로에 따라 정리된 시스템 우선 분류 체계를 도입합니다. 이는 기존의 알고리즘 중심 서베이와 대조되며, 서로 다른 모델 클래스(VLM, DM, AFM) 간의 명확한 비교를 가능하게 하고 삭제 강도, 유용성 유지, 효율성 및 가역성 사이의 트레이드오프를 명확히 합니다.
• 신흥 프런티어: 견고한 평가 지표, 재활성화에 대한 적대적 강건성, 실질적인 배포 제약 등 중요한 미해결 과제들을 제시합니다.

4. 결과 및 증거

서베이 논문으로서, 본 논문의 주요 "결과"는 새로운 실험 데이터보다는 기존 문헌에 대한 체계적인 비교 및 분석입니다. 논문은 다음을 제시합니다:

• 큐레이션된 저장소: 방법론, 데이터셋 및 벤치마크의 포괄적인 컬렉션.
• 데이터셋 및 벤치마크 분석: 정체성, 감정, 비디오 및 저작권 언러닝에 사용되는 주요 데이터셋(예: CelebA, VoxCeleb, DreamBooth)을 검토하고 기존 벤치마크(예: MU-Bench, MLLMU-Bench, PEBench)를 평가합니다. 현재 벤치마크들이 합성된 정체성이나 좁은 모델 패밀리에 의존하여 통합된 표준이 부족함을 강조합니다.
• 평가 프레임워크: 망각 품질(예: Unlearning Accuracy, CLIP-Sim Drop), 안전성(Refusal Rate), 프라이버시(Membership Inference Attacks), 유용성(Top-k Accuracy, FID, LPIPS)에 대한 지표를 통합합니다.
• 트레이드오프 분석: 방법론에 따라 트레이드오프가 크게 다르다는 점을 명확히 합니다. 예를 들어, 학습 불필요(training-free) 방법은 효율적이지만 재학습 기반 접근 방식보다 삭제 강도가 낮을 수 있으며, 아키텍처 편집은 유용성을 더 잘 보존하지만 망각 신호의 정밀한 국지화가 필요합니다.

5. 의의 및 향후 방향

본 논문은 멀티모달 언러닝이 실제 환경에서 책임 있는 MFM을 배포하는 데 필수적인 모델 거버넌스의 핵심 도구라고 주장합니다. 그 의의는 다음과 같습니다:

• 선택적 제거 가능: 막대한 비용이 드는 전체 재학습 없이도 특정 정체성, 속성 또는 개념을 삭제할 수 있는 메커니즘을 제공합니다.
• 규제 준수 지원: GDPR(잊힐 권리) 및 저작권법과 같은 규제 요구 사항을 해결합니다.
• 안전성 강화: 여러 모달리티에 걸쳐 유해하거나 편향되거나 안전하지 않은 콘텐츠 생성을 완화합니다.

논문은 다음과 같은 몇 가지 미해결 과제 및 향후 방향을 식별합니다:

• 시계열 및 동적 모달리티: 스트리밍 오디오, 비디오 및 모션 생성으로 언러닝을 확장하는 것은 여전히 해결해야 할 문제입니다.
• 프런티어 규모 모델: 수십억 개의 파라미터를 가진 파운데이션 규모 모델로 언러닝 방법을 확장하는 것은 현재 작은 백본에 대한 좁은 평가로 인해 제한적입니다.
• 지속적 언러닝 (Continual Unlearning): 반복적인 삭제 및 다운스트림 파인튜닝 하에서도 효과가 유지되어, 잊혀진 개념이 다시 나타나는 현상을 방지하는 프로토콜을 개발해야 합니다.
• 교차 모달 누출 (Cross-Modal Leakage): 한 모달리티(예: 텍스트)에서의 안전 또는 프라이버시 정렬이 다른 모달리티(예: 시각 또는 오디오)로 일반화되지 못하는 문제를 해결해야 합니다.
• 통합 벤치마크: 다양한 모달리티와 아키텍처를 아우르는 표준화된 통합 벤치마크가 부족하여 방법론 간의 공정한 비교가 어렵습니다.

결론적으로, 본 서베이는 연구자와 실무자가 멀티모달 언러닝의 복잡성을 탐색할 수 있도록 구조화된 로드맵을 제공하며, 안전하고 규정을 준수하는 파운데이션 모델 배포를 보장하기 위해 견고하고 확장 가능하며 이론적으로 근거 있는 접근 방식의 필요성을 강조합니다.