Go Beyond Your Means: Unlearning with Per-Sample Gradient Orthogonalization

이 논문은 제한된 유지 데이터만 접근 가능한 상황에서도 제거하려는 데이터와 유지 데이터 간의 간섭을 최소화하기 위해, 제거 데이터의 기울기를 유지 데이터의 기울기들에 수직인 부분공간으로 투영하는 새로운 기계 망각 기법인 OrthoGrad 를 제안하고 그 유효성을 입증합니다.

핵심

"기억 지우기"의 새로운 방법: OrthoGrad 설명

이 논문은 인공지능 (AI) 모델이 어떤 정보를 '잊어버리게' 만드는 기술에 대해 다루고 있습니다. 보통 AI 는 학습 데이터를 기반으로 만들어지는데, 만약 그 데이터에 사생활 침해나 저작권 문제가 있는 정보가 섞여 있다면, AI 가 그 정보를 완전히 잊고 다시 일반화할 수 있어야 합니다. 이를 **'머신 언러닝 (Machine Unlearning)'**이라고 합니다.

하지만 여기서 큰 문제가 생깁니다. AI 모델을 처음부터 다시 만드는 것은 너무 비싸고 시간이 오래 걸립니다. 그래서 기존 데이터를 일부만 가지고 '잊기' 작업을 하려고 하는데, 기존 데이터 (기억을 유지해야 할 데이터) 가 아주 적게만 남아있는 상황에서 어떻게 해야 할까요?

이 논문은 OrthoGrad라는 새로운 방법을 제안하며, 이를 비유와 일상적인 언어로 설명해 드리겠습니다.

---

1. 상황 설정: "잊고 싶은 것"과 "기억해야 할 것"의 전쟁

상상해 보세요. AI 모델은 거대한 도서관입니다.

• 잊고 싶은 데이터 (Unlearn Set): 도서관에 들어온 유해한 책이나 사생활이 담긴 편지입니다. 이걸 없애야 합니다.
• 기억해야 할 데이터 (Retain Set): 도서관의 나머지 모든 책입니다. 유해한 책만 빼고 나머지는 그대로 읽어야 합니다.

기존 방법의 문제점:
기존의 방법들은 유해한 책을 없애기 위해 (기울기 상승) 노력하면서, 동시에 나머지 책들을 다시 정리하느라 (기울기 하강) 애를 썼습니다. 마치 한 손으로는 쓰레기를 치우고, 다른 손으로는 책장을 정리하는 상황인데, 두 손이 서로 부딪혀서 효율이 떨어집니다. 특히 남은 책 (기억 데이터) 이 아주 적을 때는, 이 두 가지 작업을 동시에 하는 것이 매우 불안정해집니다.

2. OrthoGrad 의 핵심 아이디어: "서로 다른 방향으로 걷기"

이 논문이 제안하는 OrthoGrad는 아주 직관적이고 멋진 비유를 사용합니다.

비유: "산책로"와 "벽"

• **기억해야 할 데이터 (Retain Set)**는 AI 가 걸어야 할 산책로입니다. 이 길을 벗어나면 AI 는 망가집니다.
• **잊고 싶은 데이터 (Unlearn Set)**를 지우기 위한 힘은 벽을 뚫고 나가는 힘입니다.

기존 방법: 벽을 뚫으려고 힘을 쓰다가, 산책로 (기억 데이터) 를 건드려서 길을 막아버리거나 길을 잃게 됩니다.

OrthoGrad 의 방법:
"벽을 뚫으려는 힘 (기울기) 을, 산책로 (기억 데이터) 와 완전히 수직인 방향으로만 사용하자!"는 것입니다.

• 수직 (Orthogonal) 이란? 두 직선이 90 도 각도로 만날 때처럼, 서로 영향을 주지 않는 상태입니다.
• 핵심: "유해한 정보를 지우는 힘"이 "기억해야 할 정보를 유지하는 힘"과 서로 간섭하지 않도록 방향을 조절합니다.

3. 어떻게 작동할까요? (QR 분해와 그림자)

이 기술은 수학적으로 QR 분해라는 도구를 사용합니다. 이를 쉽게 설명하면 다음과 같습니다.

1. 기억 데이터의 그림자 그리기: 남아있는 적은 양의 데이터 (Retain Set) 를 하나하나 살펴봅니다. 각 데이터가 AI 에게 미치는 영향 (기울기) 을 모두 모아서 **하나의 공간 (서브스페이스)**을 만듭니다. 이는 마치 "기억해야 할 방향들"이 모여 있는 회색 삼각형 모양의 공간이라고 생각하세요.
2. 유해 데이터의 힘 투사: 이제 유해한 데이터를 지우려는 힘 (기울기) 을 가져옵니다.
3. 수직으로 튕겨내기: 이 힘을 회색 삼각형 공간 (기억 방향) 에 수직이 되는 방향으로 튕겨냅니다.
   • 만약 유해한 데이터의 힘이 기억 방향과 평행하다면, 그 힘은 0 이 되어 사라집니다 (기억을 건드리지 않음).
   • 만약 수직이라면, 그 힘은 기억 방향을 전혀 건드리지 않은 채 유해한 데이터만 지웁니다.

결과: 유해한 정보는 지워지지만, 나머지 기억은 완벽하게 보존됩니다.

4. 왜 이 방법이 특별한가요?

• 적은 데이터로도 가능: 보통은 기억해야 할 데이터가 많아야 하는데, OrthoGrad 는 데이터가 아주 적어도 각 데이터 하나하나의 영향을 세밀하게 분석해서 (평균이 아닌 개별 데이터 기준) 최적의 방향을 찾습니다.
• LoRA 기술과 결합: AI 모델 전체를 수정하는 대신, **작은 부품 (LoRA)**만 교체해서 수정합니다. 이는 건물을 통째로 고치는 대신, 필요한 방의 벽지나 문만 바꾸는 것과 같습니다. 이렇게 하면 계산 비용도 줄고, 실수할 확률도 낮아집니다.

5. 실제 효과는 어떨까요?

저자들은 이 방법을 **음성 인식 (Whisper)**과 이미지 분류 (ImageNet) 테스트에 적용했습니다.

• 음성 인식: 특정 사람의 목소리를 AI 가 못 듣게 하려고 했을 때, 기존 방법들은 다른 사람의 목소리도 못 듣게 되거나 (기억 상실), 목소리는 들리는데 유해한 사람은 안 지워지는 문제가 있었습니다. OrthoGrad 는 유해한 목소리만 정확히 지우고, 다른 모든 사람의 목소리는 정확히 인식했습니다.
• 이미지 분류: 특정 사물 (예: 고양이) 이나 특정 사진들을 지울 때도, 다른 사물 (예: 개) 을 인식하는 능력은 그대로 유지했습니다.

요약: 한 줄로 정리하면?

"기억해야 할 것 (기존 데이터) 과 잊고 싶은 것 (유해 데이터) 이 서로 부딪히지 않도록, 잊고 싶은 것을 지우는 힘을 '기억 방향과 수직'인 방향으로만 쏘아서, 기억은 그대로 두고 유해한 것만 정확히 지우는 새로운 AI 기술"

이 기술은 AI 가 사생활 침해나 저작권 문제를 해결할 때, 데이터를 모두 다시 구할 수 없는 상황에서도 매우 효과적으로 작동할 수 있게 해줍니다. 마치 정교한 외과 수술처럼, 필요한 부분만 정확히 제거하고 나머지는 건강하게 유지하는 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

기계적 망각 (Machine Unlearning) 은 훈련된 모델에서 특정 데이터 (예: 저작권 침해, 개인정보, 불법 콘텐츠) 의 영향을 제거하면서도 나머지 데이터에 대한 모델의 전반적인 성능을 유지하는 것을 목표로 합니다.

• 주요 과제: 기존 대부분의 망각 방법론은 '망각할 데이터 (Unlearn set)'에 대한 경사 상승 (Gradient Ascent) 과 '유지할 데이터 (Retain set)'에 대한 경사 하강 (Gradient Descent) 을 동시에 수행하여 균형을 맞추는 방식을 사용합니다.
• 현실적 제약: 실제 환경에서는 모델이 배포된 후 원본 훈련 데이터 전체에 접근할 수 없는 경우가 많습니다 (예: Whisper 와 같은 대규모 기초 모델은 비공개 데이터로 훈련됨). 따라서 망각 작업 시 매우 제한된 양의 '유지 데이터 (Small Retain Set)' 만 사용해야 하는 상황이 발생합니다.
• 기존 방법의 한계: 기존 방법들은 유지 데이터의 평균 경사 (Average Gradient) 에 의존합니다. 유지 데이터가 매우 적을 경우, 평균값만으로는 데이터의 다양성을 충분히 반영하지 못해 망각 과정이 유지 데이터의 성능을 해치거나 (Catastrophic forgetting), 반대로 망각이 제대로 이루어지지 않는 문제가 발생합니다.

2. 제안 방법: OrthoGrad (Methodology)

이 논문은 제한된 유지 데이터 환경에서 효과적인 망각을 달성하기 위해 OrthoGrad라는 새로운 알고리즘을 제안합니다. 핵심 아이디어는 망각 데이터와 유지 데이터 간의 경사 간섭 (Gradient Interference) 을 최소화하는 것입니다.

2.1. 기하학적 동기 (Geometric Motivation)

• 이상적인 망각은 유지 데이터의 손실 함수를 변화시키지 않으면서 망각 데이터의 손실을 증가시키는 것입니다. 이는 수학적으로 유지 데이터의 손실 레벨 세트 (Level Set) 상에서 움직이는 것과 동일합니다.
• 이론적으로, 유지 데이터의 모든 개별 샘플에 대한 경사 (Per-sample Gradients) 가 span 하는 부분 공간 (Subspace) 에 직교하는 방향으로만 파라미터를 업데이트하면, 유지 데이터의 성능이 유지된 채 망각이 이루어질 수 있음을 증명합니다.

2.2. 알고리즘 핵심 단계

1. Per-sample Gradient 계산: 유지 배치 (Retain Batch) 의 각 개별 샘플에 대한 경사를 계산합니다. (기존의 평균 경사 대신 개별 경사를 사용).
2. 부분 공간 추출 (QR Decomposition): 유지 데이터의 개별 경사 행렬에 QR 분해를 적용하여, 해당 경사들이 span 하는 부분 공간의 정규 직교 기저 (Orthonormal Basis) 를 구합니다.
3. 직교 투영 (Orthogonal Projection): 망각 데이터 (Unlearn set) 에서 계산된 경사를 유지 데이터의 부분 공간에 투영하여, 그 성분을 제거합니다. 즉, 망각 경사를 유지 경사 부분 공간에 직교 (Orthogonal) 하도록 변환합니다 ($g_u^\perp$).
4. 업데이트 방향 결합: 직교화된 망각 경사와 유지 데이터의 평균 경사를 가중치 ($\alpha$) 를 통해 결합하여 최종 업데이트 방향을 결정합니다.
   • 공식: $g = \alpha \bar{g}_r - (1 - \alpha) g_u^\perp$
5. LoRA 활용: 전체 모델 가중치를 변경하는 대신, LoRA (Low-Rank Adaptation) 모듈을 사용하여 파라미터 업데이트를 제한함으로써 전체 모델의 일반화 성능 저하를 추가로 방지합니다.

3. 주요 기여 (Key Contributions)

1. OrthoGrad 알고리즘 제안: 제한된 유지 데이터 (Low-data regime) 환경에 특화된 새로운 기계적 망각 방법론을 제안했습니다.
2. 이론적 근거 및 기하학적 해석: 유지 데이터의 개별 경사 부분 공간에 직교하는 방향으로 업데이트를 수행함으로써 망각과 유지 간의 간섭을 제거한다는 이론적 동기를 제공했습니다.
3. 광범위한 실험적 검증: 이미지 분류 (ImageNet, CIFAR-10) 와 자동 음성 인식 (ASR, LibriSpeech) 등 다양한 모달리티와 데이터셋에서 기존 최첨단 방법론 (SOTA) 을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

논문은 다양한 시나리오에서 OrthoGrad 의 우수성을 입증했습니다.

• 자동 음성 인식 (ASR):
  • Whisper 모델에서 특정 화자의 음성을 망각하는 실험에서, OrthoGrad 는 유지 데이터 (유지 화자) 의 오차율 (WER) 을 낮게 유지하면서도 망각 대상 화자에 대한 인식률을 극도로 높였습니다.
  • 특히 유지 데이터가 적을 때 기존 방법 (NegGrad+, SCRUB 등) 은 성능이 급격히 떨어졌으나, OrthoGrad 는 안정적으로 작동했습니다.
• 이미지 분류 (Image Classification):
  • 임의 데이터 망각 (Random Forgetting) 및 클래스 망각 (Class Forgetting): ImageNet 과 CIFAR-10 에서 OrthoGrad 는 망각 정확도 ($A_u$) 를 낮추면서도 테스트 정확도 ($A_{test}$) 를 가장 잘 유지했습니다.
  • 프록시 유지 데이터 (Proxy-Retain): 원본 훈련 데이터와 분포가 다른 데이터 (예: ImageNet 기반 데이터로 CIFAR-10 망각) 를 유지 세트로 사용했을 때에도 OrthoGrad 는 다른 방법들보다 훨씬 뛰어난 일반화 성능을 보였습니다.
• 유지 데이터 크기 변화에 대한 강건성:
  • 유지 데이터 크기를 1K 에서 200K 까지 변화시켰을 때, OrthoGrad 는 모든 크기에서 일관되게 우수한 성능을 보였습니다. 반면, SCAR 같은 방법은 데이터가 너무 적거나 많을 때 메모리 오류나 성능 저하가 발생했습니다.
• 성능 지표 (UIS):
  • 망각과 유지를 동시에 고려한 새로운 지표인 Unlearning Impact Score (UIS) 에서 OrthoGrad 는 모든 실험 설정에서 가장 낮은 점수 (더 좋은 성능) 를 기록했습니다.

5. 의의 및 결론 (Significance)

• 실용성: 실제 AI 시스템 (특히 기초 모델) 에서는 원본 훈련 데이터에 접근하기 어렵다는 현실적인 제약을 해결합니다. 소량의 유지 데이터만으로도 효과적인 망각이 가능함을 보여줍니다.
• 기술적 혁신: 단순한 경사 평균화를 넘어, 개별 샘플 경사 (Per-sample Gradient) 의 기하학적 구조를 활용하여 간섭을 제거하는 새로운 접근법을 제시했습니다.
• 확장성: LoRA 와 결합하여 계산 비용과 메모리 사용을 최적화하면서도, 대규모 모델 (Whisper, ViT 등) 에 적용 가능한 효율적인 솔루션을 제공합니다.

결론적으로, 이 논문은 데이터 접근성이 제한된 현실적인 환경에서 기계적 망각의 한계를 극복하고, 모델의 일반화 성능을 해치지 않으면서도 특정 정보를 효과적으로 '잊게' 하는 강력한 방법론을 제시했습니다.