LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection

제공된 논문을 바탕으로 한 **LEMUR: 잠재적 엔트로피 인지형 멀티모달 언러닝 (Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection)**의 상세 기술 요약입니다.

문제 정의

강화 학습(RL) 사후 학습은 멀티모달 대규모 추론 모델(MLRMs)이 정답을 내놓기 전 명시적인 "사고의 사슬(Chain of Thought, CoT)"을 생성하도록 함으로써 시각적 추론 능력을 크게 향상시켰습니다. 그러나 이러한 능력은 독특한 프라이버시 취약점을 유발합니다. 기존의 머신 언러닝(Machine Unlearning) 방법들은 모델의 최종 답변에서 민감한 사실을 성공적으로 제거할 수는 있지만, 모델이 내부 추론 과정(reasoning trace) 내에서 동일한 사실을 암송하는 것까지 방지하는 데는 종종 실패합니다.

저자들은 이러한 "추론 흔적 누출(reasoning-trace leakage)"이 비추론 기반 베이스 모델보다 RL로 학습된 MLRM에서 훨씬 더 두드러지게 나타난다는 점을 식별했습니다. 가중치를 미세 조정하거나 최종 답변 단계에서 개입하는 데 집중하는 기존의 언러닝 접근 방식들은 이를 처리하기에 부적합합니다. 이들은 RL에 의해 유도된 다양하고 탐색적인 궤적을 모니터링하지 못하거나, 추론 흔적을 섭동(perturb)하려고 할 때 모델의 추론 능력을 저하시키는 문제를 겪습니다.

핵심 관찰: 엔트로피 시그니처

본 연구를 이끄는 핵심 통찰은 RL 학습된 모델에서 암기된 민감한 콘텐츠를 암송할 때 나타나는 독특한 **토큰 수준 엔트로피 시그니처(token-level entropy signature)**의 발견입니다.

• 2단계 패턴: RL 학습된 모델이 민감한 속성을 회상할 때, 토کن 수준 엔트로피($H_t(v)$)에서 특징적인 상승 및 붕괴 패턴을 보입니다.
  1. 숙고 단계 (Deliberation Stage): 모델이 후보 값들 사이에서 망설이면서, 여러 후보가 경쟁함에 따라 엔트로피가 급증합니다.
  2. 확정 단계 (Commitment Stage): 모델이 암기된 구간을 확정하면, 해당 속성을 결정론적으로 암송함에 따라 엔트로피가 거의 0에 가깝게 붕괴됩니다.
• 이러한 시그니처는 엔트로피 분포가 더 무질서한 비추론 베이스 모델에서는 거의 나타나지 않습니다. 이러한 역학은 민감한 추론이 언제 시작되고 끝나는지를 감지할 수 있는 신뢰할 수 있는 학습 불필요(training-free) 신호를 제공합니다.

방법론: LEMUR

LEMUR는 네이티브로 RL 학습된 멀티모달 모델을 위해 특별히 설계된 완전한 학습 불필요(training-free), 추론 시점 언러닝 프레임워크입니다. 이 방법은 디코딩 과정을 모니터링하고 민감한 콘텐츠가 감지될 때만 개입하여 작동합니다. 이 방법은 세 가지 주요 구성 요소로 이루어져 있습니다.

1. 엔트로피 증강 민감도 전환 (Entropy-Augmented Sensitivity Switching):

   • LEMUR는 어휘 체크(금지된 토큰 집합)와 엔트로피 시그니처를 결합하여 "민감 모드(sensitive mode)"를 트리거합니다.
   • 트리거 조건($g_t$)은 금지된 토큰의 질량(mass)이 높게 감지되거나(확정적 암송), 낮은 임계값의 금지된 질량과 함께 높은 엔트로피가 감지될 때(숙고 단계) 활성화됩니다. 이는 모델이 잘못된 답을 확정한 후가 아니라, 민감한 구간의 시작점에서부터 개입을 보장하기 위함입니다.

2. 엔트로피 인지형 시각 앵커 주입 (Entropy-Aware Visual Anchor Injection):

   • 민감 모드에 진입하면, LEMUR는 표준 자기회귀(autoregressive) 디코딩에서 **잠재 디코딩 체제(latent decoding regime)**로 전환합니다 이 모델은 이산적인 토큰을 다시 입력하는 대신, 제약된 잠재 피드백(Constrained Latet Feedback)(금지된 토큰을 제외하도록 분포를 재정규화)과 **시각적 리다이렉션 앵커(Visual Redirection Anchors)**를 통해 구축된 연속적인 임베딩을 전달받습니다.
   • 앵커는 시각적 앵커(추론을 이미지에 다시 접지시키기 위한 시각 특수 토큰의 평균 임베딩)와 안전한 답변 앵커(거절 또는 불확실성 템플릿의 임베딩)로 구성됩니다.
   • 엔트로피 제어 주입: 이러한 앵커를 주입하는 강도($\gamma_t$)는 현재 토큰 엔트로피에 의해 동적으로 조절됩니다. 높은 엔로피(숙고) 단계에는 강력한 스티어링(steering)을 적용하고, 낮은 엔트로피(확정된 텍스트) 단계에는 유창성을 보존하기 위해 약한 스티어링을 적용합니다.

3. 동적 엔트로피 제어 단계 지속 시간 (Dynamic Entropy-Controlled Phase Duration):

   • 개입이 너무 오래 지속되어(유창성 저하) 혹은 너무 빨리 끝나서(누출 허용) 발생하는 문제를 방지하기 위해, LEMUR는 적응형 종료 메커니즘을 사용합니다.
   • 모델의 일반 텍스트에 대한 베이스라인 엔트로피를 추적하며, 엔트로피가 적응형 임계값($\kappa \bar{H}_t$) 이상으로 회복되고 금지된 질량이 사라질 때만 잠재 단계를 종료합니다.
   • "불응기 쿨다운(refractory cooldown)"은 이산 모드와 잠재 모드 사이의 급격한 진동을 방지하여 주변 추론의 일관성을 보장합니다.

실험 결과

저자들은 가상의 피실험자와 개인적 속성을 포함하는 재구성된 데이터셋을 사용하여 RL 학습된 MLRM(R1-Onevision-7B 및 Vision-R1-7B)에 대해 LEMUR를 평가했습니다.

• 누출 억제: LEMUR는 학습 기반 베이슬라인(예: Gradient Ascent, NPO)과 학습 불필요 베이슬라인(예: R-MUSE) 모두를 유의미하게 능가했습니다. 가장 낮은 **주체 수준 추론 누출(Subject-Level Reasoning Leakage, SRL)**을 달enc성하여, 추론 흔적과 최종 답변 모두에서 민감한 사실을 효과적으로 지웠습니다.
• 유틸리티 보존: 모델의 일반적인 능력을 저하시키는 경우가 많은 학습 기반 방법들과 달리, LEMUR는 분류, 빈칸 채우기, 생성 작업 전반에 걸쳐 비망각 데이터(Retain 및 Celebrity 분할)에 대한 성능을 유지했습니다.
• 유창성: 추론 유지 능력(Reasoning Retention Ability, RRA) 지표는 LEMUR가 유창하고 잘 형성된 추론을 유지했음을 보여준 반면, 공격적인 베이슬라인들은 종종 반복적이거나 퇴보적인 텍스트로 붕괴되었습니다.
• 일반화: 방법론은 비-RL 모델(Qwen2.5-VL)과 일반 시각 추론 코퍼스(VQAv2)에서도 테스트되었으며, 엔트로피 신호가 RL 모델에서 가장 강력하지만, 본 프레임워크가 효과적이며 전이 가능하다는 것을 입증했습니다.

의의 및 주장

본 논문은 네이티브로 RL 학습된 멀티모달 추론 모델을 위해 특별히 설계된 최초의 언러닝 방법이라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 프라이버시 위험 식별: RL 유도 탐색이, 답변은 깨끗하더라도 추론 흔적에서 민감한 데이터를 누출하는 독특한 프라이버시 취약점을 생성한다는 점을 입증했습니다.
2. 엔트로피 역학 활용: 암기된 회상의 토큰 수준 엔트로피 시그니처가 디코딩 중 누출을 감지하고 차단할 수 있는 신뢰할 수 있는 학습 불필요 신호를 제공함을 보여주었습니다.
3. 효과적인 학습 불필요 언러닝: 엔트로피로 조절되는 시각적 앵커링을 통해 디코딩 궤적을 조종함으로써, 재학습 없이 최첨단 언러닝 성능을 달성하는 LEMUR를 제안했습니다.

저자들은 디코딩 시점의 엔트로피 역학이 추론 능력을 갖춘 모델의 프라이버시 제어를 위한 유망한 토대를 제공하며, 향후 안전 목표가 가중치 업데이트에만 의존하기보다 이러한 내부 신호를 활용함으로써 해결될 수 있음을 시사하며 결론을 맺습니다.