🤖 machine learning

Spectral Saliency for Machine Unlearning

이 논문은 Muon에서 영감을 받아, 확신 있는 언러닝 신호에 기반하여 약한 스펙트럼 방향을 선택적으로 업데이트함으로써 다양한 아키텍처 전반에서 모델의 유용성을 보존하면서도 특정 학습 데이터의 영향을 효과적으로 제거하는 머신 언러닝 방법론인 Spectral Saliency Unlearning(SSU)을 소개한다.

원저자: Cedar Site Bai, Amber Yijia Zheng, Raymond A. Yeh, Brian Bullins

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cedar Site Bai, Amber Yijia Zheng, Raymond A. Yeh, Brian Bullins

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 디지털 세상에서 인공지능 시스템은 얼굴을 인식하거나, 이미지를 생성하거나, 텍스트를 작성하는 법을 배우기 위해 방대한 양의 데이터 바다를 통해 학습됩니다. 일단 모델이 이 데이터로부터 학습을 마치고 나면, 그 생각을 바꾸는 것은 매우 어려워집니다. 만약 어떤 사람이 일반 데이터 보호 규정(GDPR)과 같은 법률에 따라 자신의 개인 정보를 데이터셋에서 삭제해 달라고 요청할 경우, 표준적인 해결책은 해당 데이터를 삭제하고 전체 시스템을 처음부터 다시 학습시키는 것이었습니다. 이 과정은 믿을 수 없을 정도로 비용이 많이 들고 시간이 오래 걸리며, 종종 원래 학습에 사용되었던 것과 동일한 거대한 컴퓨팅 파워를 필요로 합니다. 이를 해결하기 위해 연구자들은 '머신 언러닝(machine unlearning)'이라 불리는 분야를 발전시켜 왔으며, 이는 전체를 다시 구축하지 않고도 학습된 모델에서 특정 데이터 포인트의 영향력을 외과적으로 제거하는 것을 목표로 합니다. 그 목표는 모델이 원치 않는 정보는 잊게 만들면서도, 다른 모든 것에 대해 수행하는 능력은 그대로 유지하도록 하는 것입니다.

하지만 단순히 학습 과정을 되돌리려고 시도하는 것은 까м롭습니다. 컴퓨터가 특정 이미지나 사실을 '언러닝'하려고 할 때, 모델의 내부 설정을 조정하는 과정에서 의도치 않게 다른 관련 없는 지식까지 손상시킬 수 있습니다. 이는 복잡한 태피스트리에서 단 하나의 얼룩을 제거하려는 것과 같습니다. 만약 잘못된 실을 너무 세게 잡아당기면, 전체 패턴이 풀려버릴 수도 있기 때문입니다. 최근의 방법들은 학습 신호의 특정 부분을 선택적으로 무시함으로써 이를 해결하려 시도했지만, 대개 시행착소(trial and error) 방식에 의존했습니다. 퍼듀 대학교(Purdue University) 연구진의 새로운 연구는 '스펙트럴 살리언시 언러닝(Spectral Saliency Unlearning)'이라는 더 정밀한 접근 방식을 소개합니다. 이 방법은 모델의 어느 부분을 조정해야 할지 추측하는 대신, 학습 과정 자체의 수학적 구조를 분석하여 어떤 방향이 변경하기에 안전하고 어떤 방향이 너무 위험한지를 식별합니다.

연구진은 이 방법을 고급 수학의 개념인 스펙트럴 분석(spectral analysis)에 기반하여 구축했는데, 이는 복잡한 데이터를 마치 화음을 개별 음표로 분리하는 것처럼 근본적인 구성 요소로 분해하는 방식입니다. 인공지능 학습의 맥락에서 시스템은 개선을 지시하는 신호에 의해 유도되며 거대한 가능성의 풍경을 가로질러 이동합니다. 이 연구는 이러한 신호들이 모두 똑같이 신뢰할 수 있는 것은 아니라고 제안합니다. 어떤 신호는 강하고 명확하여 잊어야 할 정보로 직접 안내하는 반면, 다른 신호들은 약하고 모호하며, 종종 잊어야 할 정보와 반드시 기억해야 할 정보가 뒤섞인 채 엉켜 있습니다. 연구진은 모델이 이러한 약하고 혼합된 신호를 사용하여 데이터를 언러닝하려고 할 때, 종종 기억해야 할 데이터에 대한 성능까지 해치게 된다는 것을 발견했습니다.

이를 해결하기 위해 연구팀은 이러한 학습 신호를 위한 필터 역할을 하는 기술을 제안했습니다. 그들은 모델이 변화할 수 있는 각 방향의 강도를 측정하는 방법을 개발했습니다. 만약 어떤 방향이 잊으라는 강력하고 확신에 찬 신호에 의해 뒷받받된다면 모델은 그 방향을 따릅니다. 하지만 신호가 약하거나 모호하다면, 이 방법은 해당 신호를 억제하여 모델이 그 경로를 무시하도록 효과적으로 지시합니다. 이는 모델이 보존해야 할 지식과 지우고자 하는 데이터를 혼동하여 서투른 조정을 하지 않도록 방지합니다. 연구진은 이 아이디어를 이미지 분류 시스템, 새로운 그림을 생성하는 시스템, 그리고 텍스트를 쓰는 대규모 언어 모델(LLM)이라는 세 가지 매우 다른 유형의 인공지능에 걸쳐 테스트했습니다. 모든 경우에서, 이 새로운 방법은 모델이 대상 데이터를 더 효과적으로 잊게 만드는 동시에 나머지 세상에 대한 처리 능력을 보존할 수 있게 해주었습니다.

실험 결과는 놀라웠습니다. CIFAR-10 데이터셋으로 학습된 이미지 분류기에 적용했을 때, 이 새로운 방법은 언러닝된 모델과 완벽하게 재학습된 모델 사이의 격차를 30% 이상 줄였습니다. 특정 사물의 그림을 만들어내는 것이 목표인 이미지 생성 영역에서는, 원치 않는 카테고리를 완벽하게 망각하는 동시에 남은 이미지들의 품질을 거의 24% 향상시켰습니다. 이야기나 질문에 답하기 위해 자주 사용되는 대규모 언어 모델의 경우, 이 접근 방식은 특정 사실을 잊는 것과 일반적인 글쓰기 능력을 유지하는 것 사이의 균형을 일관되게 개선했습니다. 연구진은 이 기술이 모델의 모든 부분을 한꺼번에 조정하려 하기보다, 가장 지배적이고 신뢰할 수 있는 변화의 방향에만 집중함으로써 작동한다고 언급했습니다.

이 연구의 가장 중요한 측면 중 하나는 단순한 경험칙(rules of thumb)에 의존했던 이전 방법들이 왜 성공적이었는지에 대한 이론적 설명을 제공한다는 점입니다. 학습 신호의 수학적 특성을 분석함으로써, 연구진은 약하고 노이즈가 섞인 방향이 바로 망각과 기억 사이의 충돌이 발생하는 지점임을 보여주었습니다. 이러한 방향을 걸러냄으로써 모델은 간섭의 최악의 상황을 피할 수 있습니다. 이러한 통찰은 언러닝을 추측에 기반한 휴리스틱(heuristic) 과정에서 데이터 자체의 구조에 기반한 원칙적인 과정으로 변화시킵니다. 이 연구는 어떤 방향을 업데이트할지 더 선택적으로 결정함으로써, 인공지능 시스템이 일반적인 지능을 잃지 않고도 특정 정보를 잊을 수 있음을 입증하며, 준수적이고 윤리적인 AI 시스템을 향한 실용적이고 효율적인 길을 제시합니다.

기술 요약: 머신 언러닝을 위한 스펙트럼 돌출성 (Spectral Saliency)

문제 정의

머신 언러닝(Machine Unlearning, MU)은 모델의 전체 재학습 없이 특정 학습 데이터(이하 "망각 집합", forget set)의 영향을 제거하는 것을 목표로 하며, 이는 GDPR과 같은 데이터 거버넌스 규제에 의해 요구되는 사항이다. 최근의 근사적 언러닝 방법들은 망각 목적 함수(망각 집합에 대한 손실을 높임)와 유지 목적 함수(남은 데이터에 대한 효용성을 보존함)를 함께 최적화하기 위해 그래디언트 기반 업데이트를 활용하지만, 이 과정에서 근본적인 트레이드오프에 직면한다. 즉, 공격적인 망각은 유지 데이터에 대한 모델 성능을 저하시킬 수 있다.

SalUn과 같은 기존 방식은 낮은 크기의 그래디언트 업데이트를 노이즈로 간주하여 좌표 단위 마스킹(coordinate-wise masking)을 통해 억제하는 방식을 사용한다. 그러나 특정 방향을 억제하는 것이 왜 망각-유지 트레이드오프를 개선하는지에 대한 이론적 정당성은 그동안 주로 경험적 추측(heuristic)에 의존해 왔다. 또한, 표준적인 경사 하강법 업데이트는 망각과 유지 목적이 서로 얽혀 있는 방향까지 의도치 않게 업데이트하여 불필요한 효용성 저하를 초래할 수 있다.

방법론: 스펙트럼 돌출성 언러닝 (Spectral Saliency Unlearning, SSU)

희귀한 방향의 탐색을 장려하기 위해 스펙트럼 크기 정규화를 적용하는 Muon 옵티마이저에서 영감을 받아, 본 논문은 **스펙트럼 돌출성 언러닝(SSU)**을 제안한다. SSU는 언러닝을 언러닝 그래디언트의 스펙트럼 영역에서 수행되는 부분적인 "역과정(reversal)"으로 재정의한다.

핵심 메커니즘

SSU는 표준 언러닝 그래디언트 $G_u$ 를 단일값 임계 처리된(singular value thresholded) 대응물로 대체한다. 절차는 다음과 같다:

스펙트럼 분해: 행렬 구조 파라미터에 대해, 언러닝 그래디언트 $G_u$ 를 특이값 분해(SVD)를 통해 $G_u = U \text{diag}(\sigma) V^\top$ 로 분해한다.
스펙트럼 돌출성 정의: 단일값 $\sigma_i$ 의 크기를 해당 방향의 "스펙트럼 돌출성(spectral saliency)"으로 정의한다. 큰 $\sigma_i$ 는 강력하고 신뢰할 수 있는 언러닝 신호를 나타내며, 작은 $\sigma_i$ 는 약한 지지력을 의미한다.
임계 처리: 약한 스펙트럼 성분들을 억제한다. 이 방법은 상위 $\gamma$ 비율(여기서 $\gamma \in (0, 1]$ 는 유지 비율)의 단일 성분만을 유지한다. 임계 처리된 그래디언트 $\tilde{G}_u$ 는 다음을 사용하여 재구성된다:
$\tilde{G}_u = \sum_{i=1}^{k} \sigma_i u_i v_i^\top$
여기서 $k = \lfloor \gamma m \rfloor$ 이다.
하이브리드 적용: 벡터 및 스칼라 구조 파라미터(예: 편향/bias)의 경우, SSU는 이러한 파라미터에 대해 벡터 기반 옵티마이저를 사용하는 관행을 반영하여 SalUn과 유사한 좌표 단위 임계 처리를 수행한다.

이론적 정당성

본 논문은 약한 스펙트럼 성분과 망각-유지 트레이드오프 사이의 관계를 연결하는 이론적 프레임워크를 제공한다.

망각-유지 갈등: 저자들은 망각 그래디언트( $G_f$ )와 유지 그래디언트( $G_r$ ) 사이의 방향적 충돌을 측정하기 위해 "망각-유지 정렬(forget-retain alignment)"을 정의한다.
명제 4.3: 분석에 따르면, 작은 단일값을 갖는 방향(약한 스펙트럼 성분)은 종종 $G_f$ 와 $G_r$ 이 음의 방향으로 정렬되는 시나리오에 해당한다. 이러한 방향에서는 망각을 개선하는 업데이트가 필연적으로 유지를 악화시키거나(그 반대도 마찬가지), 두 목적이 상충하게 된다.
개선 메커니즘: 이러한 약한 성분들을 억제함으로써, SSU는 망각과 유지가 얽혀 있는 방향에 대한 업데이트를 피한다. 이는 모델의 효용성을 불필요하게 저하시키는 것을 완화하면서도 지배적인 언러닝 신호는 보존한다.
좌표 마스킹으로의 확장: 본 논문은 이러한 방향성 분석을 좌표 단위 마스킹(SalUn)으로 확장하여, 왜 작은 크기의 좌표를 억제하는 것이 유익한지에 대한 이론적 설명을 제공한다: 즉, 망각과 유지 신호가 서로 상쇄되는 방향에서의 업데이트를 방지하기 때문이다.

주요 기여

새로운 알고리즘: 언러닝 그래디언트의 약한 스펙트럼 성분을 억제하는 단일값 임계 처리 접근 방식인 SSU를 도입하였다.
이론적 통찰: 망각-유지 트레이드오프 관점에서 돌출성 기반 임계 처리에 대한 원리적인 정당성을 제공하며, 약한 방향과 망각-유지 간섭 사이의 관계를 규명하였다. 이 분석은 SalUn과 같은 좌표 단위 마스킹 방법의 유효성에 대한 이론적 근거도 제공한다.
실증적 검증: 다양한 모델 아키텍처와 태스크에 걸친 포괄적인 평가를 통해 기존의 최첨단(SOTA) 베이스라인 대비 일관된 개선을 입증하였다.

실험 결과

저자들은 세 가지 도메인(이미지 분류, 이미지 생성(확산 모델), 대규모 언어 모델(LLM))에서 SSU를 평가하였다.

1. 이미지 분류 (CIFAR-10, ResNet-18)

설정: 무작위 서브셋 언러닝 (데이터의 10%).
결과: SSU는 강력한 SalUn 베이스라인을 능가하여, 재학습된 오라클(oracle)과의 평균 격차를 1.11에서 0.77로 줄였다. 이 과정에서 망각 집합 정확도(FA), 유지 집합 정확도(RA), 테스트 세트 정확도(TA) 모두에서 대등한 성능을 유지했다.
효율성: SVD가 합성곱 계층(convolutional layers)에만 적용되었으므로 계산 오버헤드는 무시할 만한 수준이었다.

2. 이미지 생성 (DDPM 및 Stable Diffusion)

설정: CIFAR-10(DDPM) 및 Imagenette(Stable Diffusion V1.4)에 대한 클래스별 언러닝.
결과:
- DDPM: SSU는 모든 클래스에 대해 완벽한 망각(FA $\approx$ 0%)을 달면서도 유지 클래스에 대한 생성 품질을 크게 향상시켰다. Fréchet Inception Distance(FID)는 베이스라인 대비 23.6% 개선되었다.
- Stable Diffusion: SSU는 강한 망각 효능(FA 0.20%)을 유지하면서도, ESD(1.71)와 SalUn(1.55)보다 우수한 1.24의 평균 FID를 달 기록했다.
정성적 결과: 시각적 결과는 언러닝된 클래스가 효과적으로 제거되었음을 확인시켜 주었다 (예: "tench" 이미지가 더 이상 생성되지 않음). 동시에 유지된 클래스는 높은 충실도를 유지했다.

3. 대규모 언어 모델 (TOFU 벤치마크, Llama2-7B)

설정: 비대상(untargeted) 및 대상(targeted) 시나리오 모두에 대해 무작위 서브셋 언러닝 (데이터의 1%, 5%, 10%)을 수행하였다.
결과: SSU는 가장 성능이 좋은 베이스라인(비대상에는 ME+GD, 대상에는 IDK+AP)에 플러그인 형태로 적용되었다.
- 비대상(Untargeted): 모델 효용성(MU)을 forget01의 경우 0.7245에서 0.7477로, forget10의 경우 0.7312에서 0.7480으로 개선하는 동시에 망각 효능(FE)을 높였다.
- 대상(Targeted): 모든 시나리오에서 가장 우수한 평균 점수(예: forget01의 경우 0.7856)를 달성하여, 모델 능력 보존과 효과적인 언러닝 사이의 탁월한 균형을 보여주었다.

절제 연구 (Ablation Studies)

유지 비율 (Keep Ratio): $\gamma=0.3$ 의 비율이 망각 강도와 모델 효용성 사이의 최적의 균형을 제공하는 것으로 나타났다.
계층 선택 (Layer Selection): Stable Diffusion에서 SVD를 교차 주의(cross-attention) 계층에 특정하여 적용했을 때 최상의 트레이드오프를 얻었다. 모든 계층에 SVD를 적용하면 생성 품질이 약간 저하되었는데, 이는 언러닝이 저수준의 시각적 특징보다는 개념을 담고 있는 구성 요소를 타겟팅해야 함을 시사한다.

의의 및 주장

본 논문은 SSU가 원리적이고 옵티마이저에 독립적인(optimizer-agnostic) 메커니즘을 제공한다고 주장한다. 저자들은 좌표 단위의 경험적 휴리스틱에서 스펙트럼 분석으로 관점을 전환함으로써, 약한 스펙트럼 성분을 억제하는 것이 "망각-유지 갈등"을 직접적으로 해결한다고 논증한다.

본 연구의 의의는 다음과 같다:

이론적 근거: 특정 그래디언트 방향을 억제하는 것이 왜 언러닝을 개선하는지에 대해 경험적 휴리스틱을 넘어 이론적 설명을 제공한다.
일반화 가능성: 단일 스펙트럼 임계 처리 전략이 매우 다른 아키텍처(CNN, 확산 모델, 트랜스포머)와 태스크 전반에 걸쳐 언러닝 파이프라인을 효과적으로 향상시킬 수 있음을 입증하였다.
성능: 망각 효능을 높게 유지하면서도 생성 품질과 모델 효용성 측면에서 최첨단(SOTA) 결과를 달성하여, 망각-효용 트레이드오프를 일관되게 개선하였다.

저자들은 자신들의 이론이 트레이드오프의 특성을 규명하는 것이지, 엔드 투 엔드 성능에 대한 완전한 정량적 예측을 제공하는 것은 아니라는 점을 언급하며 겸허한 태도를 유지하였으며, 더 약한 가정(weaker assumptions)으로 분석을 확장하는 것이 향 향후 과제임을 밝혔다.