U-CAN: Utility-Aware Contrastive Attenuation for Efficient Unlearning in Generative Recommendation

이 논문은 생성형 추천 모델에서 민감한 정보를 잊게 하되 모델의 유용성을 유지하기 위해, 저랭크 어댑터의 특정 뉴런을 선택적으로 감쇠시키는 'U-CAN'이라는 정밀한 머신 언러닝 프레임워크를 제안합니다.

핵심

🍳 상황: AI 요리사의 비밀 레시피

생각해 보세요. AI 추천 시스템은 마치 수천 가지 요리를 해내는 천재 요리사입니다. 이 요리사는 수많은 고객 (사용자) 의 취향을 배우면서 더 맛있는 요리를 만들어냅니다.

하지만 문제는 있습니다. 어떤 고객은 **"저는 특정 재료 (민감한 개인정보) 가 들어간 요리를 절대 원하지 않아요"**라고 요청할 수 있습니다. 이 요청을 들어주기 위해 요리사가 그 재료를 기억에서 지워야 하는데, 여기서 난관이 발생합니다.

❌ 기존 방법들의 실패 (왜 안 될까?)

기존의 '잊기' 기술들은 두 가지 극단적인 방법을 썼는데, 둘 다 문제가 있었습니다.

1. 강력한 세척 (기울기 하강법):
   • 비유: "그 특정 재료를 기억에서 지우려고!"라고 소리치며 요리사의 전체 뇌를 세게 두드리는 방법입니다.
   • 결과: 특정 재료는 잊어버렸을지 몰라도, 요리사가 소금 간을 하는 법이나 불 조절 같은 기본 실력까지 망가뜨려서 모든 요리가 맛이 없어집니다. (성능 저하)
2. 가위질 (프루닝/Pruning):
   • 비유: "이 재료와 관련된 뇌세포를 찾아서 가위로 싹 잘라버리는" 방법입니다.
   • 결과: 그 재료를 기억하는 세포를 잘랐지만, 그 세포가 다른 요리의 맛을 내는 데도 쓰이고 있었기 때문에, 요리사의 전체적인 요리 실력이 뚝 떨어집니다. (구조 파괴)

이처럼 민감한 정보와 일반적인 지식이 섞여 있는 상태 (논문의 '다의성 딜레마') 에서, 무작정 지우거나 잘라내면 AI 가 멍청해지거나 요리를 못 하게 됩니다.

---

✅ U-CAN 의 해결책: "정교한 양념 조절"

U-CAN 은 이 문제를 해결하기 위해 세 가지 단계로 이루어진 똑똑한 전략을 사용합니다.

1. 차이 찾기 (대조적 활성화)

• 비유: 요리사가 "특정 재료 (A)"를 넣을 때와 "일반 재료 (B)"를 넣을 때의 **손놀림 (뇌의 반응)**을 비교합니다.
• 원리: "아, 이 손놀림은 '특정 재료 A'에만 반응하네? 이건 지워도 되겠다!"라고 찾아냅니다. 하지만 "이 손놀림은 A 와 B 모두에 반응하네? 이건 지우면 안 되겠다"라고 구별합니다.
• 효과: 지워야 할 정보와 남겨야 할 정보를 정확히 분리해냅니다.

2. 중요도 확인 (유틸리티 인식)

• 비유: 찾아낸 손놀림이 **요리사의 핵심 실력 (맛, 영양, 조리법)**에 얼마나 중요한지 확인합니다.
• 원리: "이 손놀림은 특정 재료 A 를 기억하는 데만 쓰이지만, 다른 요리를 만드는 데는 전혀 안 쓰이네? OK, 이거는 약하게 만들자." 반면, "이 손놀림은 A 와 B 모두에 쓰이는데, 요리사의 실력을 좌우하네? 이건 건드리지 말자."라고 판단합니다.
• 효과: 중요한 실력은 보호하면서, 불필요한 정보만 표적합니다.

3. 부드러운 조절 (적응형 소프트 감쇠)

• 비유: 가위로 잘라내거나 (Zeroing) 뇌를 때리는 대신, 볼륨 조절 다이얼을 부드럽게 낮추는 방식입니다.
• 원리: 위험한 정보와 관련된 뇌세포의 활동을 완전히 끄지 않고, 아주 살짝만 줄입니다 (예: 100% → 10%).
• 효과: 특정 재료에 대한 반응은 거의 사라지지만, 요리사의 전체적인 뇌 구조와 다른 요리 실력은 그대로 살아납니다. 마치 소금 간을 살짝 줄여 특정 재료의 맛만 없애는 것과 같습니다.

---

🏆 U-CAN 의 성과

실험 결과, U-CAN 은 다음과 같은 놀라운 성과를 냈습니다.

• 완벽한 잊기: 사용자가 지워달라고 한 정보는 AI 가 전혀 기억하지 못하게 됩니다. (비유: 그 재료가 들어간 요리를 더 이상 만들지 않음)
• 성능 유지: AI 의 전체적인 추천 능력은 거의 떨어지지 않습니다. (비유: 다른 요리는 여전히 맛있게 만들어냄)
• 빠른 처리: 처음부터 다시 요리사를 훈련시킬 필요 없이, 몇 분 만에 이 작업을 끝낼 수 있습니다. (비유: 레시피 수정만 하면 됨)

💡 한 줄 요약

U-CAN은 AI 가 사용자의 민감한 정보를 잊게 할 때, 가위로 잘라내거나 뇌를 때리는 대신, "어떤 부분은 살짝 줄이고 어떤 부분은 건드리지 않는다"는 정교한 양념 조절을 통해, 개인정보는 잊되 AI 의 똑똑함은 그대로 유지하게 해주는 기술입니다.

이 기술은 앞으로 AI 가 더 안전하고 신뢰할 수 있게 사용될 수 있는 길을 열어줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

배경:
생성형 추천 (Generative Recommendation, GenRec) 은 대규모 언어 모델 (LLM) 을 활용하여 사용자의 의도와 아이템의 의미를 시퀀스 생성 작업으로 모델링하는 새로운 패러다임입니다. 사용자의 상호작용 로그로 모델을 미세 조정 (Fine-tuning) 하면 개인화된 추천 성능이 향상되지만, 이는 모델 파라미터에 민감한 사용자 속성이 암호화되어 개인정보 유출 (Attribute Inference, Data Extraction) 의 위험을 초래합니다.

핵심 문제:
기존의 기계적 망각 (Machine Unlearning, MU) 기술은 GenRec 환경에서 다음과 같은 '다의성 딜레마 (Polysemy Dilemma)' 에 직면합니다.

• 다의성 (Polysemy): 신경망의 뉴런들은 민감한 개인정보와 일반적인 추론 패턴이 중첩 (Superposition) 되어 존재합니다.
• 기존 방법의 한계:
  • 경사 상승 (Gradient Ascent): 민감한 데이터를 제거하기 위해 파라미터를 업데이트하면, 공유된 추론 표현까지 왜곡되어 방향성 붕괴 (Directional Collapse) 가 발생하고 추천 품질이 급격히 떨어집니다.
  • 경량 가지치기 (Hard Pruning): 민감도가 높은 파라미터를 이진 마스크로 강제로 제거하면, 구조적 연결이 끊어져 구조적 손상 (Structural Damage) 이 발생하며 일반 추론 능력이 파괴됩니다.

따라서, 민감한 정보를 정밀하게 제거하면서도 모델의 전체적인 추천 성능 (Utility) 을 유지하는 것이 핵심 과제입니다.

2. 제안 방법론: U-CAN (Methodology)

저자들은 LoRA (Low-Rank Adaptation) 어댑터 기반의 U-CAN (Utility-aware Contrastive Attenuation) 프레임워크를 제안합니다. 이는 전체 모델을 재학습하지 않고 어댑터 파라미터만 대상으로 하는 1 회성 (One-shot) 정밀 망각 기법입니다. U-CAN 은 세 가지 주요 단계로 구성됩니다.

2.1. 대비적 활성화 분석 (Contrastive Activation)

• 목적: 망각 세트 (Forgetting Set, $D_f$) 와 유지 세트 (Retention Set, $D_r$) 간의 활성화 차이를 분석하여 민감한 뉴런을 식별합니다.
• 메커니즘: 각 레이어의 토큰 활성화 값을 집계하여 $D_f$ 와 $D_r$ 에 대한 평균 활성화 벡터 ($v_f, v_r$) 를 계산합니다.
• 점수 산정: 민감한 정보에 강하게 반응하지만 일반 작업에는 약하게 반응하는 뉴런을 찾기 위해 대비 활성화 차이 점수를 계산합니다.
  • $r_{gap} = \text{ReLU}(v_f - \gamma \cdot v_r)$
  • 여기서 $\gamma$는 일반 활성화 성분을 억제하는 허용 오차 마진입니다.

2.2. 유틸리티 중요도 정량화 (Utility Significance)

• 목적: 민감도만 고려할 경우 필수적인 추론 기능이 손상되는 것을 방지하기 위해, 파라미터가 모델 성능에 기여하는 정도를 평가합니다.
• 메커니즘: 가중치 크기 (Weight Magnitude) 와 유지 세트의 입력 활성화 노름 (Activation Norm) 을 결합하여 구조적 민감도를 계산합니다.
• 보정: 높은 유틸리티를 가진 파라미터는 망각 과정에서 보호받도록 가중치를 조정합니다. 최종 위험 점수는 민감도 점수와 유틸리티 점수를 가중 합산하여 산출됩니다.

2.3. 적응형 소프트 감쇠 (Adaptive Soft Attenuation)

• 목적: 이진 가지치기 (Hard Pruning) 의 구조적 손상 문제를 해결하기 위해 연속적인 감쇠를 적용합니다.
• 메커니즘:
  • 식별된 고위험 파라미터에 대해 미분 가능한 감쇠 함수 (Differentiable Decay Function) 를 적용합니다.
  • 위험 점수가 높을수록 가중치를 부드럽게 줄이는 유지 계수 (Retention Factor, $\alpha$) 를 계산하여 LoRA 어댑터의 열 (Column) 단위로 스케일링합니다.
  • 특징: 파라미터를 0 으로 만드는 것이 아니라, 민감한 경로를 억제하면서도 네트워크의 위상적 연결성 (Topological Connectivity) 은 유지합니다.

3. 주요 기여 (Key Contributions)

1. 상호 보완적 이중 스크리닝 메커니즘 도입: 대비적 활성화 분석과 유틸리티 인식 구조 보정을 결합하여, 얽힌 표현 공간에서 개인정보 민감 반응과 필수 추론 행동을 성공적으로 분리했습니다.
2. 적응형 소프트 감쇠 전략 개발: 경직된 이진 가지치기 대신 미분 가능한 감쇠 함수를 사용하여 LoRA 어댑터의 고위험 파라미터를 정밀하게 축소했습니다. 이는 민감한 검색 경로를 억제하면서도 모델의 기본 추론 회로 연결성을 보존합니다.
3. 종합적인 실증 검증: 두 개의 공개 데이터셋 (ML-100k, Pantry) 에서 7 가지 평가 지표를 통해 U-CAN 이 강력한 개인정보 망각 성능과 유틸리티 유지, 그리고 높은 계산 효율성을 동시에 달성함을 입증했습니다.

4. 실험 결과 (Results)

실험은 ML-100k (영화) 와 Pantry (식료품/가정용품) 데이터셋에서 수행되었으며, LlamaRec 을 베이스 모델로 사용했습니다.

• 비교 대상: Retraining (전체 재학습), GA (경사 상승), NPO (부정 선호 최적화), LLM-Eraser (선택적 가지치기).
• 주요 성과:
  • 개인정보 망각 효과 (Privacy Forgetting): U-CAN 은 KL 발산 (KL Divergence), 예측 변화 (Prediction Shift), 그리고 퍼플렉시티 (PPL) 증가 측면에서 기존 방법들보다 훨씬 큰 효과를 보였습니다. 특히 PPL 의 급격한 증가는 모델이 망각된 데이터에 대한 확신을 잃었음을 의미합니다.
  • 유틸리티 유지 (Utility Retention): 기존 방법 (GA, NPO) 은 망각 과정에서 추천 성능이 크게 저하되었으나, U-CAN 은 유지 세트 (Retention Set) 에 대한 Recall@10, MRR@10, NDCG@10 성능을 가장 잘 보존했습니다.
  • Trade-off: U-CAN 은 '망각 - 유틸리티' 트레이드오프 점수 (Trade-off@10) 에서 모든 방법 중 가장 높은 점수를 기록했습니다.
  • 효율성: U-CAN 은 역전파 (Backpropagation) 없이 순방향 (Forward-only) 연산만으로 수행되므로, GA 나 NPO 에 비해 실행 시간이 훨씬 짧고 처리량 (Throughput) 이 높습니다.

5. 의의 및 결론 (Significance)

이 논문은 생성형 추천 시스템에서 발생하는 개인정보 보호와 모델 성능 간의 긴장 관계를 해결하기 위한 새로운 접근법을 제시합니다.

• 기술적 의의: '다의성 딜레마'를 해결하기 위해 뉴런의 이진 제거가 아닌 연속적인 감쇠 (Soft Attenuation) 를 도입함으로써, 민감 정보 제거와 일반 추론 능력 보존이라는 상충되는 목표를 동시에 달성할 수 있음을 증명했습니다.
• 실용적 가치: 전체 모델을 재학습하지 않고 LoRA 어댑터만 대상으로 하므로, 실시간으로 발생하는 사용자 삭제 요청 (Right to be Forgotten) 에 대해 높은 계산 효율성과 확장성을 제공합니다.
• 미래 방향: U-CAN 은 생성형 AI 의 프라이버시 보호를 위한 표준적인 프레임워크로 자리 잡을 잠재력을 가지며, 향후 더 복잡한 추론 작업이나 다양한 도메인으로 확장될 수 있음을 시사합니다.

요약하자면, U-CAN은 민감한 데이터를 정밀하게 '지우되', 모델의 '지능'은 손상시키지 않는 정교한 기계적 망각 기술입니다.