🤖 machine learning

Multi-Objective Reference-Aligned Machine Unlearning

이 논문은 무제한적인 손실 극대화 대신 참조 분포에 대한 유계된 KL 정렬을 사용하고, 그 결과로 발생하는 최적화 문제를 자코비안 하강법(Jacobian descent)을 통해 해결함으로써 전체 재학습과 대등한 성능을 달성하는 다목적 프레임워크인 참조 정렬 언러닝(Reference-Aligned UnLearning, RAUL)을 제안한다.

원저자: Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑한 학생이 방대한 양의 교과서를 공부했다고 상상해 보세요. 이 학생은 업무 능력이 매우 뛰어나서 그 책에 담긴 거의 모든 것에 대해 질문에 답할 수 있습니다. 하지만 이제 법적인 이유로(예: 개인정보 포함) 책의 몇 페이지를 반드시 삭제해야 합니다. 당신은 이 학생이 다른 내용은 잊지 않으면서도, 그 특정 페이지들만 "망각"하도록 만들어야 합니다.

이것이 바로 **기계 망각(Machine Unlearning)**의 문제입니다.

기존 방식: "과잉 교정" 문제

전통적으로, 특정 페이지를 잊게 만들기 위해 교사들은 가혹한 방법을 사용했습니다. 학생에게 그 페이지에 담긴 내용과 '반대되는' 내용을 암기하도록 강요하는 것이었습니다.

비유: 학생이 "사과는 빨갛다"라는 사실을 잊으려고 노력 중이라고 가정해 봅시다. 이때 교사는 "아니야! 사과는 파란색이야! 사과는 초록색이야! 사과는 울퉁불퉁해!"라고 소리를 지릅니다.
결과: 틀린 답을 강제로 외우려다 보니 학생은 너무 혼란스러워진 나머지, 다른 것들까지 잊어버리기 시작합니다. 학생은 "오렌지는 파란색이다"라고 생각하기 시작하거나 숫자를 세는 법을 잊어버릴 수도 있습니다. 논문에서는 이를 **파괴적 망각(Catastrophic Forgetting)**이라고 부릅니다. 망각 과정이 기억하는 과정과 충돌하면서 학생은 불안정해지고, 전반적인 성능이 떨어지게 됩니다.

새로운 솔루션: RAUL (참조 정렬 망각, Reference-Aligned UnLearning)

이 논문의 저자들은 RAUL이라 불리는 더 똑똑하고 부드러운 접근 방식을 제안합니다. 단순히 반대되는 것을 외우라고 소리치는 대신, "이 특정 페이지들에 대해서는, 마치 한 번도 본 적이 없는 것처럼 행동하라"고 말하는 것입니다.

작동 방식은 다음과 같이 간단한 단계로 나뉩니다.

1. 두 가지 목표 (균형 잡기)

학생은 동시에 두 가지 일을 수행해야 합니다.

업무 A (유지): 책의 나머지 부분에 대한 질문에는 완벽하게 계속 답합니다.
업무 B (망각): 삭제된 페이지들에 대해서는, 마치 그것들이 완전히 새롭고 모르는 개념인 것처럼 답합니다.

기존 방식은 업무 A와 싸우면서 업무 B를 수행하려 했습니다. RAUL은 이 두 작업이 서로 방해하지 않고 함께 조화롭게 이루어지도록 합니다.

2. "참조(Reference)" 기법

무언가를 본 적이 없는 것처럼 행동하도록 어떻게 가르칠 수 있을까요? 바로 **참조(Reference)**를 주는 것입니다.

비유: 학생이 "잊혀진 페이지"의 사진을 보고 있다고 상상해 보세요. 교사가 "이것은 개다"(고양이인데)라고 강제로 말하게 하는 대신, 이렇게 말합니다. "이 무작위한 물체의 사진을 봐. 너는 이걸 어떻게 설명하겠니? 아마 확신하지 못하겠지? '잘 모르겠어요, 무엇이든 될 수 있어요'라고 말할 거야."
논문의 방법: 이 논문은 두 가지 유형의 "참조" 가이드를 사용합니다.
- 균등 분포 (Uniform Distribution, "완전한 추측"): 교사가 학생에게 "이 페이지들에 대해서는 그냥 무작위로 추측해라. 모든 답이 똑같이 가능성이 있다고 간주해라"라고 말합니다. 이는 "나는 이에 대해 전혀 모른다"라고 말하는 것과 같습니다.
- 홀드아웃 분포 (Held-out Distribution, "진짜 낯선 것"): 교사가 학생에게 읽어본 적 없는 다른 책에서 가져온 완전히 새로운 물체의 사진을 보여주며, "잊혀진 페이지들을 바로 이것처럼 대하라"고 말합니다. 이는 학생이 당황하지 않고 침착함을 유지하며, 나머지 책에 대한 기억을 안정적으로 유지하도록 돕습니다.

3. "교통 경찰" (Jacobian Descent)

좋은 계획이 있더라도, 두 가지 업무(기억하기 vs 망각하기)는 여전히 학생을 서로 반대 방향으로 끌어당길 수 있습니다.

비유: 학생이 두 개의 밧줄에 의해 끌려가고 있다고 상상해 보세요. 한 밧줄은 책을 기억하도록 끌어당기고, 다른 밧 же은 페이지를 잊도록 끌어당깁니다. 만약 이 밧줄들을 그냥 묶어버린다면, 밧줄이 끊어지거나 학생이 꼼짝 못 하게 될 것입니다.
솔루션: 이 논문은 특수한 "교통 경찰"(Jacobian Descent와 UPGrad)을 사용합니다. 이 경찰은 두 밧줄을 모두 살펴보고 중간 경로를 찾아냅니다. 단순히 두 힘을 더하는 것이 아니라, 학생이 엉키지 않고 앞으로 나아갈 수 있는 방향을 계산합니다. 즉, 학생이 기억하는 데 충분히 유능하면서도 망각하는 데에도 충분히 유능한, 완벽한 지점을 찾아냅니다.

실험 결과는 어떠했나요?

연구진은 디지털 "학생"(컴퓨터 모델)을 사용하여 동물 사진(CIFAR-10)으로 테스트를 진행했습니다.

기존의 학생들 (기존 방식들): 데이터의 50%를 잊게 했을 때, 기존 방식들은 혼란에 빠졌습니다. 남은 50%의 데이터에 대한 기억이 붕괴되었고, 성능이 형편없이 떨어졌습니다.
RAUL 학생: 동일한 양을 잊게 했을 때, RAUL 학생은 침착함을 유지했습니다.
- 남은 데이터에 대한 기억을, 마치 아무것도 잊으라는 요청을 받지 않은 것처럼 거의 완벽하게 유지했습니다.
- 삭제된 데이터에 대해서는 성공적으로 "망각"하여, 완전히 새로운 사진을 보았을 때처럼 불확실하게 행동했습니다.
- 훨씬 안정적이었으며 성능이 급격하게 요동치지 않았습니다.

핵심 요약

이 논문은 목표를 "모델에게 틀린 답을 강요하기"에서 "모델이 새로운 것을 본 것처럼 행동하도록 정렬하기"로 바꿈으로써, 모델의 지능을 손상시키지 않고 특정 데이터를 제거할 수 있다고 주장합니다. 이는 특정 장을 잊게 하기 위해 책 전체를 오류로 다시 쓰려고 애쓰는 대신, 그 페이지를 백지처럼 취급하라고 가르치는 것과 같습니다.

그 결과, 모델의 지능을 온전히 유지하면서도 프라이버시를 존중(데이터 제거)할 수 있는 훨씬 뛰어난 시스템을 보여줍니다.

기술 요약: 다중 목적 참조 정렬 기계 언러닝 (RAUL)

문제 정의
기계 언러닝(Machine Unlearning, MU)은 배포된 모델로부터 특정 학습 샘플(이하 "망각 집합", $F$ )의 영향력을 제거하는 동시에, 나머지 데이터(이하 "유지 집합", $R$ )에 대한 성능을 보존하는 것을 목표로 한다. 기존의 근사 방식들은 일반적으로 그래디언트 상승법(Gradient Ascent, $F$ 에 대한 손실 극대화)이나 무작위 레이블 재지정(Random Relabeling)과 같은 단일 목적 최적화에 의존한다. 저자들은 이러한 접근 방식이 **파괴적 망각(Catastrophic Forgetting)**을 유발한다고 주장하는데, 이는 "망각"의 최적화 역학(올바른 예측을 밀어내는 것)이 "유지"의 역학(R에 대한 올바른 예측을 유지하는 것)과 충돌하기 때문이다. 이러한 충돌는 모델이 사전 학습된 지식으로부터 이탈하게 만들어, 유지 집합에 대한 상당한 유틸리티 손실을 초래한다.

방법론: 참조 정렬 언러닝 (RAUL)
본 논문은 RAUL을 제안하며, 이는 언러닝을 단순한 적대적 작업이 아닌 망각과 유지를 결합한 공동 최적화 문제로 재구성하는 다중 목적 최적화(Multi-Objective Optimization, MOO) 프레임워크이다.

목적 함수 구성:
- 유지 목적 함수 ( $L_{retain}$ ): 모델의 유틸리티를 보존하기 위해 유지 집합 $R$ 에 대한 표준 교차 엔트로피 최소화(Cross-entropy minimization)를 수행한다.
- 참조 기반 망각 목적 함수 ( $L_{forget}$ ): $F$ 에 대한 손실을 극대화하는 대신, RAUL은 모델의 $F$ 에 대한 예측을 "보지 못한" 데이터를 나타내는 참조 분포( $p_{ref}$ )와 일치시키도록 쿨백-라이블러 발산(KL Divergence)을 최소화한다. 이는 잊혀진 샘플에 대한 모델의 확신도를 모델이 한 번도 접해보지 못한 데이터에 대해 보일 법한 행동과 정렬시킨다.
  $\min_{\theta} L_{forget}(f_\theta, F) = \mathbb{E}_{x_u \sim F} [KL (p_\theta(y | x_u) \parallel p_{ref}(y))]$
참조 분포 전략:
논문은 $p_{ref}$ 를 구체화하기 위한 두 가지 전략을 소개한다.
- 균등 분포 (Uniform Distribution, UniDist): $p_{ref}(y) = 1/C$ (여기서 $C$ 는 클래스 수)로 설정한다. 이는 추가적인 데이터가 필요 없는 원칙적인 베이스라인 역할을 하며, 잊혀진 샘플에 대해 최대 불확실성을 유도한다. 균등 분포에 대한 KL 최소화는 예측 엔트로피를 최대화하는 것과 동일하다.
- 홀드아웃 분포 (Held-out Distribution, HeldDist): 원래의 학습, 검증, 테스트 세트에 포함되지 않은 별도의 분리된 미사용 데이터셋( $D_{ref}$ )으로부터 경험적 참조 분포를 계산한다. 이는 진정으로 보지 못한 데이터의 동작을 모방하는 안정적인 앵커를 제공하여, 잠재적으로 더 나은 유지 안정성을 제공한다.
Jacobian Descent를 통한 최적화:
이 문제는 이중 목적 최적화(Bi-objective optimization) 문제 $\theta_u = \arg \min_{\theta} (L_{retain}, L_{forget})$ 로 취급된다. 수동으로 목적 함수의 가중치를 설정하지 않고(이는 상충하는 그래디언트를 초래할 수 있음) 이를 해결하기 위해, 저자들은 UPGrad(Unconflicting Projection of Gradients) 애그리게이터를 사용하는 Jacobian descent를 채택한다.
- 두 목적 함수의 그래디언트( $g_R$ 및 $g_F$ )를 Jacobian 행렬로 쌓는다.
- UPGrad는 각 그래디언트를 모든 목적 함수 그래디언트의 쌍대 원뿔(Dual cone) 위로 투영하고 평균을 낸다.
- 이러한 집계는 업데이트 방향이 하나의 목적 함수를 상승시키는 동안 다른 하나를 하강시키지 않는 파레토 정체(Pareto-stationary) 지점을 찾아내어, 그래디언트 충돌을 효과적으로 해결한다.

주요 기여

언러닝의 재구성: 언러닝의 패러다임을 적대적 손실 극대화에서 참조 정렬 예측으로 전환하여, 망각 목적 함수가 모델의 드리프트를 방지하도록 제한한다.
다중 목적 프레임워크: 망각과 유지 사이의 긴장을 선형 스칼라화(Linear scalarization)가 아닌 파레토 정체 최적화(Jacobian descent)를 통해 해결하는 이중 목적 문제로 명시적으로 모델링한다.
참조 전략: Uniform과 Held-out이라는 두 가지 참조 분포를 제안하여, 데이터가 필요 없는 구현 방식과 유지 안정성이 높은 방식 사이의 트레이드오프를 제공한다.
안정적인 최적화: 무제한적인 손실 극대화를 유계(Bounded)된 KL 정렬로 대체함으로써 그래디언트 충돌을 줄이고 더 안정적인 업데이트를 실현함을 입증한다.

실험 결과
저자들은 CIFAR-10(ResNet-18 사용) 이미지 분류 작업에서 10% 및 50% 무작위 망각 비율 조건 하에 RAUL을 평가하였으며, 이를 Gradient Ascent (GA), Random Relabeling (RL), Influence Functions (IU), SalUn을 포함한 베이스라인들과 비교하였다.

성능 격차 (Performance Gap): RAUL 변체들은 전체 재학습(Full retraining) 대비 가장 작은 평균 성능 격차를 달est했다.
- 10% 망각 시, UPGrad를 사용한 HeldDist-RAUL이 가장 우수한 평균 격차인 2.23을 기록하여, 가장 강력한 베이스라인인 IU(6.06)를 능가하고 GA(16.90)를 크게 앞질렀다.
- 50% 망각 시, GA와 같은 베이스라인들이 붕괴(격차 49.19)한 반면, UPGrad를 사용한 UniDist-RAUL은 가장 우수한 격차인 6.75를 달성하였고, HeldDist-RAUL 변체들은 약 9.22의 격차를 유지하였다.
유지 vs 망각 트레이드오프:
- HeldDist-RAUL은 유지를 우선시하여 높은 유지 정확도(RA ~98.89%)와 테스트 정확도(TA ~92.12%)를 달성하며 보수적인 망각을 보여주었다.
- UniDist-RAUL은 더 공격적인 망각 프로필(높은 Unlearning Accuracy)을 제공하면서도 여전히 재학습 대비 가장 낮은 전체 격차를 유지하였다.
프라이버시 지표: RAUL 방식들은 멤버십 추론 공격(MIA) 점수를 재학습 베이스라인에 가깝게 유지한 반면(예: 재학습 13.13 대비 ~15.31), GA는 거의 무작위 수준(1.93)으로 떨어졌다. 이는 RAUL이 적대적 공격의 불안정성 없이도 영향력을 제거함을 나타낸다.
안정성: RAUL 변체들은 GA 및 $\ell_1$ -sparse 방식에 비해 현저히 낮은 표준 편차를 보였으며, 이는 참조 정렬 업데이트의 안정성을 확인시켜 준다.

의의 및 주장
본 논문은 RAUL이 망각과 유지 사이의 근본적인 충돌이라는 병목 현상을 해결한다고 주장한다. 무제한적인 손실 극대화를 참조 분포에 대한 유계된 KL 정렬로 대체함으로써, 이 방법은 다음을 달성한다:

그래디언트 충돌 감소: UPGrad 애그리게이션을 사용하는 MOO 구성은 업데이트가 유지 집합을 저하시키지 않으면서 대상 집합을 망각하도록 보장한다.
파괴적 망각 방지: 망각 목적 함수의 유계된 특성은 모델이 사전 학습된 지식으로부터 너무 멀리 이탈하는 것을 방지한다.
유연성 제공: 프레임워크는 데이터가 필요 없는 접근 방식(UniDist)과 데이터 의존적이며 더 높은 안정성을 가진 접근 방식(HeldDist) 사이의 선택권을 제공한다.

저자들은 UniDist-RAUL이 추가 데이터 없이도 견고한 폴백(Fallback) 역할을 하는 반면, HeldDist-RAUL을 사용할 경우 더 정밀한 유지가 가능하다는 점을 언급하며, 향후 연구에서 이를 생성 모델, LLM으로 확장하고 더욱 다양한 파레토 최적해를 위해 다중 목적 진화 알고리즘(MOEAs)을 활용할 것임을 밝히고 있다.