기술 요약: 망각-유지의 딜레마: 지속 학습에서의 인증된 망각 이론

문제 정의

본 논문은 **기계 망각(Machine Unlearning)**과 **지속 학습(Continual Learning, CL)**의 교차점을 다룬다. 기계 망각이 개인정보 보호 규정(예: "잊힐 권리")을 준수하기 위해 특정 데이터의 영향을 제거하는 것을 목표로 한다면, 지속 학습은 파괴적 망각(catastrophic forgetting) 없이 순차적인 태스크를 학습하는 것을 목표로 한다. 이 둘을 결합하는 것은 근본적인 이론적 및 실무적 과제를 제기한다.

기존의 인증된 망각 알고리즘(예: 헤시안 기반 또는 그래디언트 기반 방법)은 정적 환경을 위해 설계되었다. 이들은 다음과 같은 이유로 지속 학습(CL) 맥락에서 실패한다:

1. 복잡한 모델 진화: CL 모델은 비 독립 항등 분포(non-i.i.d.) 태스크에 따라 동적으로 진화하며, 과거의 정보를 복잡한 방식으로 인코딩하므로 현재의 인증된 알고리즘으로는 효과적으로 되돌리기 어렵다.
2. 상충하는 목표: CL의 목표는 망각을 방지하는 것(과거 지식 보존)인 반면, 망각은 표적화된 망각(targeted forgetting)을 요구한다.
3. 저장 및 접근 제약: 많은 인증된 망각 방법은 전체 데이터의 보유를 요구하거나, 동적인 환경에서 흔히 발생하는 임의적이고 비동기적인 망각 요청 시퀀스를 처리하는 데 실패한다.

저자들은 지속 학습-망각(CLU) 문제를 다음과 같은 순차적인 2단계 과정으로 공식화한다:

1. 학습 단계 (Learning Stage): 모델은 망각을 완화하기 위해 $\ell_2$-정규화 기법을 사용하여 새로운 태스크 $D_t$에 대해 업데이트된다.
2. 망각 단계 (Unlearning Stage): 과거 태스크 세트 $S_t$를 삭제하라는 요청을 받으면, 시스템은 남은 데이터로 재학습했을 때와 구별할 수 없는 모델을 생성해야 하며, $(\epsilon, \delta)$-인증된 망각 보장을 만족해야 한다.

주요 성능 지표는 **망각 후 초과 위험(Post-Unlearning Excess Risk, $E_{LU}$)**이며, 이는 두 가지 경쟁적인 항으로 분해된다:

• 망각 손실 ($E_U$): 재학습된 모델의 근사화로 인해 발생하는 오차("망각" 비용).
• CL 초과 위험 ($E_L$): 유지된 태스크들에 대한 CL 알고리즘에 의해 발생하는 오차("유지" 비용).

방법론

본 논문은 CLU를 위한 이론적 토대를 구축하고 세 가지 알고리즘 접근 방식을 제안한다.

1. 이론적 토대

저자들은 비볼록(non-convex) 모델에서 $\ell_2$-정규화 하의 CL 초과 위험($E_L$)에 대한 상한선을 도출한다. 그들은 CL 초과 위험을 최소화하기 위한 최적의 정규화 파라미터 $\lambda$가 망각 손실을 최소화하는 데 필요한 파라미터와 크게 다를 수 있음을 증명하여, 내재된 트레이드오프를 강조한다.

2. 그래디언트 기반 CLU (자연적 망각)

이 접근 방식은 순차적인 업데이트로 인해 먼 과거의 태스크 영향력이 시간이 지남에 따라 감소하는 CL 특유의 "자연적 망각(natural forgetting)" 현상을 활용한다.

• 메커니즘: 명시적인 망각 단계를 수행하는 대신, 모델 파라미터에 가우시안 노이즈를 추가한다. 노이즈 척도는 삭제된 태스크의 잔류 영향력을 정량화하는 근사 오차의 이론적 상한선($\gamma_t$)을 기준으로 조정된다.
• 장점: 현재 모델 상태 외에 추가적인 저장 오버헤드가 없다.
• 한계: 자연적 망각이 아직 충분히 일어나지 않은 최근 태스크에 대해서는 효과가 떨어져 망각 손실이 높아진다.

3. 헤시안 기반 CLU

이 접근 방식은 정확하고 표적화된 망각을 달성하기 위해 2차 미분 기반의 인증된 망각 방법을 CL 환경에 맞게 변형한다.

• 메커니즘: 저장된 헤시안 정보(또는 Gauss-Newton이나 대각 헤시안과 같은 근사치)와 모델 업데이트($\Delta_t$)를 사용하여 보정 항($\bar{\Delta}_t$)을 계산한다. 이 항은 임의의 비동기적 망각 시퀀스에 대해서도 단 한 번의 단계로 재학습된 모델을 근사한다.
• 과제: 비동기적 요청은 과거의 삭제 영향력이 후속 업데이트로 전파되는 "시간적 무질서(temporal disorder)"를 생성한다. 저자들은 이를 고려하기 위해 재귀적 보정 항을 도출한다.
• 비용: 망각 이벤트의 수와 헤시안 근사의 차원에 비례하는 저장 오버헤드가 발생한다.

4. 하이브리드 전략 (망각 강화 헤시안)

저장 비용과 정확도의 균형을 맞추기 위해 저자들은 하이브리드 전략을 제안한다.

• 메커니즘: 최근의 망각 요청(자연적 망각이 약한 경우)에는 헤시안 기반 방법을 사용하고, 먼 과거의 태스크에 대해서는 자연적 망각에 의존한다.
• 구현: 알고리즘은 특정 시간적 임계값(망각 이벤트 사이의 간격에 의해 결정됨)보다 오래된 태스크에 대한 저장된 헤시안 정보를 폐기한다.
• 이점: 이를 통해 저장 복잡도를 $O(t \cdot d)$에서 $O(\max(t_i - t_{i-1}) \cdot d)$로 줄이면서도(여기서 $t_i$는 망각 시점), 낮은 망각 오차를 유지한다.

주요 결과

MNIST, CIFAR-10, CIFAR-100에 대해 non-i.i.d. 태스크 시퀀스를 가진 ResNet-18 및 CNN 백본을 사용하여 실험을 수행하였다.

1. 순서 민감도: 이론적 경계와 실험은 순방향 동기식(forward-synchronous) 망각 시퀀스(삭제된 태스크가 마지막 망각 이벤트보다 엄격히 최신인 경우)가 비동기적 시퀀스보다 낮은 근사 오차를 생성함을 확인시켜 준다. 비동기적 요청은 시간적 무질서로 인해 추가적인 오차 항을 누적시킨다.
2. 정확도 vs 저장 용량 트레이드오프:
   • 자연적 망각 (그래디언트 기반): 가장 낮은 저장 용량(거의 제로)을 달성하지만, 특히 최근 태스크에 대해 가장 높은 근사 오차를 보인다.
   • 순수 헤시안 기반: 재학습과 매우 유사한 근사 오차(예: CIFAR-100에서 ~0.009)를 달성하지만, 상당한 메모리(Gauss-Newton 변형의 경우 자연적 망각보다 최대 5배 높음)를 요구한다.
   • 하이브리드 (망각 강화): 근사 오차의 약간의 증가(~0.045)만으로 메모리 사용량을 대각 헤시안 수준으로 크게 줄여 실용적인 절충안을 제공한다.
3. 인증된 보장: 이론적 상한선($\gamma_T$)은 경험적 오차에 대해 검증되었다. 이 경계는 그래디언트 및 헤시안 기반 방법 모두에 적용되어 $(\epsilon, \delta)$-인증된 망각을 보장한다.
4. 유지-망각 트레이드오프: 정규화 강도 $\lambda$를 높이면 파라미터 드리프트를 제한하여 망각 오차는 줄어들지만, 순수 CL 테스트 정확도는 저하된다. 이는 유지와 망각 사이의 이론적 긴장 관계를 경험적으로 입증한다.

의의 및 주장

본 논문은 인증된 망각과 지속 학습을 잇는 최초의 이론적 토대를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 트레이드오프의 공식화: 망각 후 위험을 CL 초과 위험과 망각 손실로 분해함으로써 "망각-유지 딜레마"를 엄밀하게 정의하고, 하나를 최소화하는 것이 종종 다른 하나를 악화시킨다는 것을 증명했다.
• 이론적 경계: 비볼록 설정에서 $\ell_2$-정규화된 CL에 대한 최초의 초과 위험 경계를 확립하고, 인증된 망각 이론을 동적이고 순차적인 요청 패턴으로 확장했다.
• 실용적 알고리즘: 제2차 미분 기반 망각 방법의 저장 병목 현상을 해결하면서도 인증된 망각의 이론적 보장을 유지하는 하이브리드 전략을 도입했다.
• 벤치마킹: 엄격한 베이스라인(자연적 망각)을 제공하고, 그것이 단순하지만 최근 태스크에는 불충 enough하지 않음을 보여줌으로써 제안된 헤시안 기반 강화의 필요성을 입증했다.

저자들은 본 연구가 $\ell_2$-정규화 CL 알고리즘에 초점을 맞추고 있지만, 메모리 기반 접근 방식이나 EWC(Elastic Weight Consolidation)와 같은 더 정교한 CL 방법론으로 인증된 망각 이론을 확장할 수 있는 길을 열어준다고 결론짓는다.