🤖 AI

Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models

이 논문은 멀티모달 거대 언어 모델(MLLM)을 위해 프로필 수준의 삭제보다 더 세밀한 대안으로서 속성 수준의 언러닝(attribute-level unlearning)을 도입하고, 정체성 관련 정보는 보존하면서 특정 속성만을 선택적으로 망각하는 과제를 평가하기 위한 포괄적인 벤치마크를 제안하며, 인과적 국소화(causal localization)와 유지 인지 투영(retain-aware projection)을 통해 이를 효과적으로 달성하는 경량화된 학습 불필요 프레임워크인 CLRP를 제시한다.

원저자: Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 사진을 보고 그에 대한 이야기를 들려줄 수 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 이 로봇은 수백만 권의 책을 읽었고 수십억 장의 사진을 보았기에 아주 많은 것을 알고 있습니다. 하지만 가끔 이 로봇은 누군가의 비밀스러운 생일이나 집 주소처럼 알지 말아야 할 것들을 기억하곤 합니다. 인공지능의 세계에서는 이러한 로봇들에게 다른 모든 것을 잊게 만들지 않으면서도 특정 비밀만을 '잊는 법'을 가르쳐야 할 필요성이 커지고 있습니다. 이 과정을 '머신 언러닝(machine unlearning)'이라고 부릅니다. 이것은 마치 일기를 편집하는 것과 같습니다. 당신은 여름 휴가에 대한 창피한 문장 하나를 지우고 싶지만, 친구와 가족에 대한 다른 즐거운 이야기들은 그대로 간직하고 싶어 합니다. 만약 페이지 전체를 찢어버린다면 모든 것을 잃게 됩니다. 만약 종이를 녹여버리는 화학 물질로 잉크를 지우려 한다면 책 전체를 망치게 될 것입니다. 과제는 나쁜 기억만을 정교하게 제거하면서도 로봇의 나머지 뇌가 완벽하게 작동하도록 유지하는 방법을 찾는 것입니다.

이 논문은 이 문제의 까다로운 새로운 버전을 다룹니다. 로봇에게 사람 전체를 잊으라고 하는 대신(예: "내 친구 Bob에 대한 모든 것을 잊어버려"), 연구자들은 Bob의 이름, 직업, 외모는 기억하면서도 오직 그의 '좋아하는 색깔'과 같은 특정한 한 가지 사실만을 잊도록 요청했습니다. 그들은 로봇의 뇌가 매우 복잡하다는 것을 발견했습니다. Bob의 좋아하는 색깔에 대한 기억은 Bob의 얼굴에 대한 기억과 뒤엉켜 있습니다. 색깔을 도려내려다 보면 종종 얼굴까지 함께 잘려 나가기도 합니다. 이 문제를 해결하기 위해 저자들은 로봇이 얼마나 정교한 망각을 수행할 수 있는지 측정하기 위한 새로운 테스트인 AMU-Bench를 구축했습니다. 그런 다음, 훈련이 필요 없는 영리한 도구인 CLRP(Causal Localization and Retain-Aware Projection)를 발명했습니다. CLRP를 로봇이 질문에 답할 때만 착용하는 '기억 안경'이라고 생각해 보세요. 이 안경은 로봇의 뇌를 바꾸는 것이 아니라, 그 순간 로봇이 자신의 생각을 바라보는 방식을 미세하게 조정합니다. '활성화 패칭(activation patching)'(이는 레고 탑에서 특정 브릭 하나를 교체하여 탑의 어느 부분이 흔들리는지 확인하는 것과 같습니다)이라는 기술을 사용하여, CLks는 비밀이 저장된 로봇 뇌의 정확한 위치를 찾아냅니다. 그런 다음, 나머지 이야기는 선명하게 유지하면서 그 특정 비밀만을 무음 처리하는 수학적 필터를 적용합니다.

연구진은 이 방법을 세 가지 로봇의 뇌(LLaVA-1.5-7B, LLaVA-1.5-13B, Qwen2.5-VL-3B)에 대해 테스트했으며, 그들의 방식이 이전의 시도들보다 훨씬 더 효과적이라는 것을 발견했습니다. 데이터의 5%를 잊게 만드는 주요 테스트에서, CLRP는 로봇이 비밀을 맞출 확률을 **20.00%**에서 단 **4.00%**로 떨어뜨릴 수 있었습니다. 더욱 놀라운 점은, 다른 방법들이 로봇이 '좋은 정보'까지 잊게 만든 반면, CLRP는 오히려 로봇이 비밀이 아닌 사실들을 더 잘 기억하도록 도와서, 해당 질문들에 대한 정확도를 **14.77%**에서 **17.79%**로 높였습니다. 이 논문은 이 접근 방식이 로봇을 처음부터 다시 훈련시킬 필요 없이, 무엇을 간직하고 무엇을 놓아줄지 선택할 수 있는 능력을 부여하는 유망한 방법임을 시사합니다. 또한 그들은 숫자(예: 전화번호)를 잊는 것이 긴 설명(예: 취미)을 잊는 것보다 로봇에게 더 쉽지만, 그 사람의 나머지 이야기를 안전하게 지키는 것이 가장 어려운 부분이라는 점도 발견했습니다.

기술 요약: 세밀한 망각을 향하여: 멀티모달 거대 언어 모델을 위한 속성 언러닝(Attribute Unlearning)

문제 정의

멀티모달 거대 언어 모델(MLLM)은 강력한 시각-언어 능력을 보유하고 있지만, 민감한 정보를 기억하고 노출할 위험이 있습니다. 기존의 머신 언러닝 연구는 주로 프로필 수준의 삭제(특정 개체, 정체성 또는 캐릭터에 대한 모든 정보 제거)에 집중되어 있으나, 실제적인 프라이버시 요청은 이보다 더 세밀한 수준인 경우가 많습니다. 사용자는 동일한 정체성에 대한 비민감 정보는 유지하면서 특정 속성(예: 생년월일, 주소 또는 조직 소속)만을 삭제하기를 원할 수 있습니다.

기존의 프로필 수준 언러닝 벤치마크(예: MLLMU-Bench, FIUBench)는 선택된 개체 내에서 비대상 속성을 보존하는지를 명시적으로 테스트하지 않습니다. 이는 중요한 격차를 만듭니다. 기존 방법들은 종종 **속성 수준의 선택성(attribute-level selectivity)**을 달est하는 데 실패합니다. 왜냐하면 대상 속성과 유지될 속성은 동일한 정체성 및 시각적 증거를 공유하므로, 표현 공간(representation space)의 인접한 영역에 위치하며 겹치는 인과적 경로(causal pathways)를 통과하기 때문입니다. 결과적으로, 대상 속성을 제거할 만큼 광범위한 개입은 동일한 정체성의 비대상 속성에 대한 부수적인 성능 저하를 초래하는 반면, 지나치게 보수적인 개입은 대상 속성을 억제하는 데 실패합니다.

방법론: 인과적 국소화 및 유지 인식 투영 (CLRP)

대상 속성의 방향을 분리하면서 공유된 정체성 표현을 보존하는 과제를 해결하기 위해, 저자들은 경량화된 학습 불필요(training-free) 프레임워크인 CLRP를 제안합니다. CLRP는 모델 파라미터를 업데이트하지 않고 작동하며, 두 가지 주요 구성 요소로 이루어집니다:

인과적 레이어 국소화 (Causal Layer Localization):
- 이 방법은 **활성화 패칭(activation patching)**을 사용하여 대상 속성의 노출을 인과적으로 매개하는 특정 트랜스포머 레이어를 식과별합니다.
- 각 대상 예시에 대해, 대상 쿼리(민감한 속성을 찾는 쿼리)를 동일한 정체성의 유지 쿼리(비대상 정보를 찾는 쿼리)와 쌍을 이룹니다.
- 시스템은 대상 실행으로부터의 활성화를 캐싱하고 이를 유지 실행에 패칭합니다. 대상 속성의 증거가 가장 강력하게 복구되는 지점인 최대 인과 패칭 효과를 보이는 레이어가 개입 지점( $\ell^*$ )으로 선택됩니다.
유지 인식 대조 투영 (Retain-Aware Contrastive Projection):
- 개입 레이어가 식별되면, CLRP는 대상 속성을 나타내는 저차원 부분 공간을 추정합니다.
- 결정적으로, 이 추정은 유지 인식(retain-aware) 방식입니다. 이는 대상 조건부 표현과 동일 정체성 유지 표현(및 중립 프롬프트) 모두로부터 통계치를 구축합니다.
- 이 방법은 대상에서는 두드러지지만 유지 표현에서는 억제되는 변동을 포착하는 투영 부분 공간을 계산합니다. 이는 유지 코베리언스 행렬에 대해 대상 코베리언스를 백색화(whitening)하고 주요 고유벡터를 선택함으로써 달성됩니다.
- 투영 연산자는 추론 중에 선택된 레이어에서 이 특정 부분 공간을 감쇠시켜, 비대상 사실에 필요한 공유 정체성 표현은 보존하면서 대상 속성 방향을 효과적으로 제거합니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

속성 수준 언러닝의 정의: 저자들은 지정된 속성은 접근 불가능하게 만드는 동시에 동일한 정체성의 비대상 사실은 사용 가능하게 유지해야 하는 설정으로서 속성 수준의 MLLM 언러닝을 공식적으로 정의합니다. 이는 프로필 수준 삭제보다 더 엄격한 국소성 요구 사항을 부과합니다.
AMU-Bench 구축: 저자들은 **AMU-Bench(Attribute-level Multimodal Unlearning Benchmark)**를 도입합니다. 기존 벤치마크와 달리, 이는 삭제 대상을 장문 텍스트(기술적), 숫자(날짜, 급여), 단문 텍스트(범주형) 카테로리로 구분합니다. 이는 널리 사용되는 MLLM(LLaVA-1.5, Qwen2.5-VL)에 대해 다양한 망각 비율(5%, 10%, 15%)과 구별된 질문 유형(빈칸 채우기, 분류, 생성)에 걸쳐 성능을 체계적으로 평가합니다.
CLRP 프레임워크: 인과적 국소화와 유지 인식 부분 공간 투영을 결합한 학습 불필요 방법을 제안합니다. 이 방법은 대상 속성과 유지될 속성 사이의 얽힘을 탐색하도록 설계되었습니다.

실험 결과

저자들은 LLaVA-1.5-7B, LLaVA-1.5-13B, Qwen2.5-VL-3B를 대상으로 CLRP를 네 가지 베이스라인(Gradient Ascent, Gradient Difference, KL Minimization, Preference Optimization)과 비교 평가했습니다.

망각 난이도: 평가는 속성 유형이 망각 난이도에 상당한 영향을 미친다는 것을 드러냈습니다. 숫자 속성은 일관되게 억제하기 가장 쉬웠던 반(종종 거의 0에 가까운 정확도 도달) 반면, 장문 텍록 및 단문 텍스트 속성은 모든 베이스라인 방법에서 상당한 잔여 정보를 유지했습니다.
성능 이점: CLRP는 망각과 유지 사이의 균형을 맞추는 데 탁 있어 탁월한 성능을 보였습니다.
- LLaVA-1.5-7B 및 Qwen2.5-VL-3B의 5% 망각 비율 결과에서, CLRP는 가장 강력한 베이스라인과 비교했을 때 속성 망각 세트(Attribute Forget Set) 빈칸 채우기 정확도를 최대 16.00 퍼센트 포인트까지 감소시켰습니다(예: 20.00%에서 4.00%로).
- 동시에, 속성 유지 세트(Attribute Retain Set) 빈칸 채우기 정확도를 최대 3.02 퍼센트 포인트까지 향상시켜(예: 14.77%에서 17.79%로), 동일 프로필의 비대상 사실을 더 잘 보존함을 입증했습니다.
트레이드오프 분석: 기존 방법들은 대상 속성을 망각하려고 시도할 때 동일 프로필의 속성 유지를 저하시키는 등 불안정한 트레이드오프를 보였습니다. CLRP는 속성 망각 세트 정확도에 대해 9개의 모델-속성 조건 중 8개에서 최고 또는 공동 최고 결과를 달성했으며, 향상된 유지 점수를 보여줌으로써 강력한 대상 망각이 전체 프로필의 저하로 이어지지 않음을 나타냈습니다.

의의 및 주장

본 논문은 AMU-Bench가 현재의 프로필 수준 언러닝 접근 방식, 특히 동일한 프로필의 지식을 유지하면서 특정 속성을 제거하는 것의 어려움을 폭로한다고 주장합니다. 저자들은 CLRP가 개입 레이어를 정밀하게 찾아내는 인과적 국소화와 대상 특이적 표현과 공유 정체성 표현을 구분하는 유지 인식 투영을 활용함으로써, 이 세밀한 과제에 효과적인 솔루션을 제공한다고 단언합니다.

이 연구의 의의는 조대(coarse-grained) 엔티티 삭제에서 세밀한(fine-grained) 속성 언러닝으로의 전환에 있으며, 이는 실제적인 프라이버시 요청과 더 잘 부합하는 설정입니다. 결과는 개입이 인과적으로 국소화되고 유지 인식 기하학에 의해 제약된다면, MLLM에서 재학습 없이 선택적 망각이 가능하다는 것을 시사합니다. 저자들은 자신들의 방식이 지정된 속성의 억제와 동일 프로필 내 비대상 정보의 보존 사이의 균형을 맞추는 데 있어 최첨단(state-of-the-art) 성능을 확립한다고 결론짓습니다.