기술 요약: 머신 언러닝(Machine Unlearning) 평가를 위한 다중 학습 시드의 중요성

문제 정의

머신 언러닝은 전체 재학습이라는 막대한 비용을 들이지 않고, 훈련된 모델에서 특정 데이터 포인트의 영향을 제거하는 것을 목표로 한다. 완전한 언러닝(처음부터 다시 학습하는 것)이 "골드 스탠다드(gold standard)"이지만, 이는 종종 불가능하다. 결과적으로 연구자들은 근사 언러닝 알고리즘(예: Random Labels, UNSIR, Bad Teacher, SSD, LFSSD)에 의존한다. 이러한 알고리즘은 수학적으로 분석하기 어려운 경우가 많기 때문에, 그 성능은 경험적으로 평가되어야 한다.

문헌에서 흔но히 나타나는 관행은 단일 사전 훈련된 모델(단일 학습 시드 사용)로부터 언러닝 알고리즘을 여러 번 독립적으로 실행하여(다중 언러닝 시드 사용) 언러닝 방법론을 평가하는 것이다. 본 논문은 이러한 평가 전략이 결함이 있다고 주장한다. 구체적으로, 언러닝 성능은 초기 학습 시드에 매우 민감할 수 있다. 단일 학습 시드에 의존하는 것은 비대표적인 결과를 초래할 수 있으며, 이는 알고리즘의 효능이나 강건성에 대한 신뢰할 수 없는 결론으로 이어진다. 이러한 문제는 결정론적(deterministic) 언려닝 방법론의 경우 더욱 심각한데, 이들은 동일한 모델에서 시작할 때 동일한 결과를 생성하므로 다중 언러닝 시드가 무의미하기 때문이다.

방법론

저자들은 훈련 단계와 언러닝 단계 모두의 변동성을 고려하는 엄격한 경험적 평가 프레임워크를 제안한다.

1. 일반적 평가 절차

본 논문은 다음을 포함하는 평가 절차(알고리즘 1)를 공식화한다:

• $I$ 개의 학습 시드: 서로 다른 랜덤 시드를 사용하여 처음부터 $I$ 개의 독립적인 모델을 훈련한다.
• $J$ 개의 언러닝 시드: 각 훈련된 모델에 대해, 서로 다른 언러닝 시드를 사용하여 언러닝 알고리즘을 $J$ 번 실행한다.
• 메트릭 집계: $I \times J$ 개의 결과 모델 전체에 걸쳐 언러닝 메트릭(예: forget accuracy, retain accuracy)의 평균값을 계산한다.

2. 분산 분해 분석 (Variance-Decomposition Analysis)

핵심적인 이론적 기여는 언러닝 메트릭 $Z$의 분산 분해이다:
$$\text{Var}[Z] = \frac{1}{I} \left( \sigma^2_{\text{train}} + \frac{1}{J} \sigma^2_{\text{unlearn}} \right)$$
여기서:

• $\sigma^2_{\text{train}}$은 학습 시드 선택에 기인하는 분산이다.
• $\sigma^2_{\text{unlearn}}$은 언러닝 시드 선택에 기인하는 분산이다.
• $ICC$ (내부 상관 계수, Intraclass Correlation Coefficient)는 $\sigma^2_{\text{train}} / \sigma^2_{\text{overall}}$로 정의된다.

이 분석은 만약 $\sigma^2_{\text{train}} > 0$ (즉, $ICC > 0$)라면, 언러닝 시드의 수를 늘리는 것($J$증가)만으로는 언러닝 성능을 일관되게 추정할 수 없으며, 반드시 학습 시드의 수($I$)를 늘려야 함을 보여준다. 본 논문은 분산을 최소화하거나 목표 신뢰 구간 폭을 달성하기 위해 계산 예산을 할당하는 최적의 전략을 도출하며, 학습 분산이 유의미할 경우$J$보다$I$를 우선시하는 것이 일반적으로 더 효과적임을 보여준다.

3. 구현 수정 사항

저자들은 SSD 및 LFSSD의 참조 코드에서 발생한 구현 문제를 식별하고 수정하였다. 기존 구현은 제곱하기 전에 배치 수준의 평균을 사용함으로써 파라미터 중요도를 편향시키고 언러닝 시드 간의 비결정성을 유발했다. 저자들은 미경사(unbiased) 샘플 수준의 중요도 계산을 사용하는 "결정론적(det.)" 버전을 도입하여, 고정된 학습 시드에 대해 이 방법들이 동일한 결과를 생성하도록 보장하였다.

실험 결과

저자들은 이미지 분류, 연합 온라인 랭킹 학습(Federated Online Learning-to-Rank, FOLTR), 대규모 언어 모델(LLM)의 세 가지 도메인에 걸쳐 광범한 실험을 수행하였다.

이미지 분류 (CIFAR-100, CIFAR-20)

• 분산 분석: 75개의 학습 시드와 10개의 언러닝 시드를 사용하여 연구한 결과, 대부분의 방법(SSD, LFSSD, Bad Teacher, UNSIR 포함)에서 학습 시드에 기인하는 분산($\sigma^2_{\text{train}}$)이 언러닝 시드에 의한 분산($\sigma^2_{\text{unlearn}}$)보다 현저히 크다는 것을 발견했다.
• 결정론적 방법: 수정된 SSD (det.) 및 LFSSD (det.) 구현의 경우, $\sigma^2_{\text{unlearn}}$은 사실상 0이었으며, 이는 학습 시드가 고정되었을 때 다중 언러닝 시드가 추가적인 통찰을 제공하지 못함을 확인시켜 준다.
• 신뢰 구간: 식 2에 기반한 계산에 따르면, 좁은 신뢰 구간(예: 폭 $W=1$)을 달하는 데는 수백 또는 수천 개의 학습 시드가 필요한 경우가 많은 반면, 언레닝 시드를 늘리는 것은 수익 체감(diminishing returns)을 보였다.

연합 랭킹 학습 (FOLTR)

• 10개의 클라이언트를 가진 MQ2007 데이터셋에 대한 실험 결과, 단일 학습 시드($I=1, J=10$)로 평가하는 것은 실제 교차 시드 변동성을 대표하지 못하는 궤적을 생성함을 보여주었다.
• 다중 학습 시드($I=10, J=1$)를 통해 평가했을 때 언러닝 후 성능에서 실질적으로 더 큰 분산이 나타났으며, 이는 이 문제가 연합 랭킹 작업으로도 확장됨을 확인시켜 준다.

대규모 언어 모델 (LLM)

• TOFU 데이터셋에서 Llama-3.2-1B-Instruct를 사용하여 연구한 결과, GradAscent 및 Runlearning과 같은 방법에서 모델 유틸리티(Model Utility)와 망각 품질(Forget Quality) 모두에서 상당한 교차 시드 분산이 관찰되었다.
• 개별 학습 시드들이 가능한 결과 범위의 거의 전체를 포괄하고 있었으며, 이는 단일 시드 평가가 LLM 언러닝 동작을 특징짓기에 불충분함을 강화한다.

주요 기여

1. 학습 시드 민감성에 대한 경험적 입증: 본 논문은 단일 학습 시드 평가가 이미지 분류에서 비대표적인 결과를 생성할 수 있음을 수치적으로 입증하였으며, 이 결과는 FOLTR 및 LLM으로 확장된다.
2. 이론적 정당성: $\sigma^2_{\text{train}} > 0$일 때 언러닝 시드를 늘리는 것이 학습 시드의 부족을 보완할 수 없음을 증명하는 분산 분해 분석을 제공한다.
3. 실무적 지침: 원하는 통계적 신뢰도를 달取得하기 위해 학습 반복과 언러닝 반복 사이의 계산 자원을 어떻게 할당해야 하는지에 대한 가이드라인(표 1 및 표 2)을 제공한다.
4. 구현 수정: SSD 및 LFSSD의 참조 구현에서 발생하는 비결정적 동작을 수정하여, 결정론적("det.") 버전과 기존("orig.") 버전을 구분하였다.

의의 및 주장

본 논문은 단일 학습 시드와 다중 언러닝 시드를 사용하는 일반적인 관행이 머신 언러닝 방법론의 신뢰할 수 없는 평가를 초래한다고 주장한다. 저자들의 주장은 다음과 같다:

• 신뢰성: 학습 초기화에 의해 발생하는 변동성이 언러닝 과정에 의한 변동성보다 종종 더 크기 때문에, 정확한 평가를 위해서는 다중 학습 시드에 걸친 평균화가 필요하다.
• 일반성: 이러한 제한 사항은 이미지 분류에 국한된 것이 아니라, 연합 학습 및 LLM에서도 관찰되는 일반적인 평가 프레임워크의 특성이다.
• 실행 가능성: 학습 비용이 높음에도 불구하고, 다중 학습 시드를 사용하는 것은 LLM(예: Llama-3.2-1B 모델 학습에 약 10분 소요)에서도 충분히 실행 가능하며, 따라서 제안된 엄격한 평가 방식은 실용적이다.

이 연구는 더 많은 규모의 학습 시드(10개 대신 75개)를 사용하여 이전 연구들(예: Cadet et al., Triantafillou et al.)의 결과를 확장하였으며, 왜 다중 언러닝 시드가 단일 학습 시드를 보완할 수 없는지를 명확히 설명하고 구체적인 실험 설계 지침을 제공한다.