기술 요약: PPU-Bench

문제 정의

멀티모달 대규모 언어 모델 (MLLM) 은 방대한 웹 규모의 코퍼스로 훈련되며, 이는 필연적으로 실제 개인과 관련된 민감한 정보를 포함하게 되어 GDPR 과 같은 규정 하에서 프라이버시 유출 및 '잊힐 권리 (Right to be Forgotten, RTBF)'에 대한 우려를 제기합니다. 완전한 재학습에 대한 실용적인 대안으로 기계적 망각 (machine unlearning) 이 제시되고 있지만, 기존 MLLM 망각 벤치마크는 두 가지 치명적인 한계를 겪고 있습니다:

1. 비현실적인 데이터 가정: 대부분의 벤치마크는 파인튜닝을 통한 합성 데이터 주입에 의존하는데, 이는 지식이 사전 학습 분포에 자연스럽게 내재되어 있는 실제 시나리오와 동떨어져 있습니다. 또한 합성 데이터는 사전 학습 분포와 얽혀 memorized 패턴을 재활성화할 수 있습니다.
2. 정렬되지 않은 망각 목표: 기존 벤치마크는 일반적으로 '완전 망각 (Complete Unlearning)'(주제에 대한 모든 정보 제거) 에 초점을 맞춥니다. 실제로는 사용자들이 benign 또는 공개 사실은 유지하면서 특정 민감한 속성 (예: 개인적 이력) 만 제거하기를 요청하는 경우가 많습니다. 현재 벤치마크는 이러한 세밀하고 개인화된 부분 망각 능력을 평가하지 못합니다.

방법론

1. PPU-Bench 구축

저자들은 개인화된 부분 망각을 평가하기 위해 설계된 현실적이고 파인튜닝이 불필요한 벤치마크인 PPU-Bench를 소개합니다.

• 데이터 소스: 합성 주입 대신 위키백과에서 파생된 500 명의 실제 유명인에 대한 기존 지식을 활용합니다. 이를 통해 대상 지식이 MLLM 에 자연스럽게 내재되도록 보장합니다.
• 파이프라인:
  • 프로파일 구조화: GPT-5.4-mini 를 사용하여 원시 위키백과 페이지를 기본 (Basic)(정체성), 일반 (Normal)(공개 경력/수상), 민감 (Sensitive)(프라이버시, 건강, 법적 문제, 트라우마) 의 세 가지 범주로 구성합니다.
  • QA/VQA 생성: 각 범주에 대해 다양한 질문 - 답변 쌍을 생성합니다. 텍스트 전용 QA 쌍은 해당 유명인의 이미지와 짝을 이루어 시각적 질문 답변 (VQA) 샘플로 변환됩니다.
  • 기억 필터링: 대상 지식이 진정으로 기억되고 있는지 (Token-F1 > 0.5) 확인하기 위해 Qwen3-VL-8B 를 사용하여 샘플을 필터링한 결과, 24,334 개의 고품질 샘플 (12,167 개 VQA + 12,167 개 QA) 이 도출되었습니다.
• 작업 설정: 벤치마크는 점진적으로 어려운 세 가지 설정을 정의합니다:
  • 완전 망각: 인물 관련 모든 정보를 제거합니다 (주제 수준).
  • 선택적 망각: 기본 및 일반 정보는 유지하면서 민감 정보만 제거합니다 (범주 수준).
  • 개인화된 망각: 가장 현실적인 설정으로, '망각' 집합은 고정된 범주가 아닌 대상의 개별 선호도에 따라 결정됩니다 (여러 LLM 과 다수결을 통해 시뮬레이션). 이는 주제 내 사실적 경계에 대한 세밀한 제어를 요구합니다.
• 평가: 망각 효율성 (Forget Set), 유틸리티 보존 (Retain Set, MMBench), 그리고 교차 이미지 일반화 및 텍스트 교란 (Random Prefix, Paraphrase, Jailbreak) 에 대한 견고성을 포함합니다.

2. 제안된 솔루션: 경계 인식 최적화 (Boundary-Aware Optimization, BAO)

기존 방법들이 주제 내 경계 처리에 어려움을 겪는다는 발견에 영감을 받아, 저자들은 **경계 인식 최적화 (BAO)**를 제안합니다.

• 메커니즘: 망각 집합과 유지 집합을 별도의 목표로 취급하는 표준 경사 상승 (Gradient Ascent, GA) 또는 GA_diff 와 달리, BAO 는 동일한 주제 내 망각 사실과 유지 사실 사이의 마진을 명시적으로 모델링합니다.
• 목표: 개인이 선택한 망각 사실의 음의 로그 가능도 (NLL) 가 유지 사실의 음의 로그 가능도보다 마진 $m$만큼 초과하도록 강제합니다.
• 손실 함수: $L = -L_{forget} + L_{retain} + \lambda_b L_{boundary}$이며, 여기서 $L_{boundary} = \mathbb{E}[\max(0, m - (\ell_\theta(f) - \ell_\theta(r)))]$입니다. 이는 모델이 세밀한 주제 내 삭제 경계를 학습하도록 장려합니다.

주요 결과

벤치마크 발견

두 개의 백본 모델 (Qwen3-VL-8B, Gemma3-12B) 에 대해 여섯 가지 대표적인 망각 방법 (GA, GA_diff, NPO, KL_Min, MMUnlearner, MANU) 을 실험한 결과는 다음과 같습니다:

• 시각적 대 사실적 억제: 완전 망각에서 방법론들은 종종 실제 사실 지식을 제거하기보다 시각적 정체성을 억제 (이미지에서 사람을 인식하지 못하게 함) 합니다. VQA 성능이 떨어지더라도 텍스트 전용 QA 성능은 여전히 높은 경우가 많습니다.
• 선택적 망각의 트레이드오프: 방법론들은 선택적 설정에서 사실 수준의 망각이 더 나은 모습을 보이지만, 유지 성능이나 전체 모델 유틸리티를 종종 저하시키는 상당한 트레이드오프를 보입니다.
• 개인화된 망각의 과제: 이 설정은 가장 큰 어려움을 드러냅니다. 방법론들은 동일한 주제 내 망각 사실과 유지 사실을 구분하는 데 어려움을 겪어, 과소 망각 (유출) 또는 과다 망각 (유틸리티 손실) 으로 이어집니다.
• 견고성: 교차 이미지 공격은 완전 망각 방법론에 특히 효과적이며, 이들이 시각적 억제에 의존하고 있음을 확인시켜 줍니다. 텍스트 기반 공격 (예: Jailbreak) 은 특히 NPO 의 경우 선택적 망각의 취약점을 드러냅니다.

BAO 성능

• 개인화된 망각 설정에서 GA_diff 와 MMUnlearner 에 BAO 를 적용하면 개인이 선택한 망각 사실의 억제가 크게 개선됩니다.
• 주제 내 경계를 강제함으로써 과소 망각을 효과적으로 완화합니다.
• 그러나 저자들은 명시적으로 경계 제약을 강제하면 망각과 유지 사이의 고유한 트레이드오프가 증폭되어, 때로는 유지 QA 및 생성 작업에서 성능이 저하될 수 있다고 지적합니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. PPU-Bench: 개인화된 부분 망각을 위한 최초의 대규모 현실 멀티모달 벤치마크입니다. 이는 합성 데이터와 coarse-grained 정체성 제거를 넘어 세밀하고 사용자 중심의 삭제 시나리오를 평가합니다.
2. 실증적 통찰: 광범위한 실험을 통해 현재 MLLM 망각 방법론들이 일관된 사실 수준의 망각을 달성하지 못하며, 특히 개인화된 설정에서 주제 내 경계에 대한 정밀한 제어가 부족함을 입증합니다.
3. BAO 방법론: 주제 내 사실적 경계를 명시적으로 모델링하는 간단하면서도 효과적인 최적화 전략으로, 기존 방법론에 비해 개인화된 망각 시나리오에서 향상된 성능을 보여줍니다.

저자들은 PPU-Bench 를 지식 그룹 간의 범주 편향과 안정성 차이를 드러내는 진단 도구로 위치시키며, 모델 유틸리티를 훼손하지 않으면서 현실 세계의 프라이버시 요청이 가진 복잡한 트레이드오프를 처리할 수 있는 방법의 필요성을 강조합니다.