🤖 machine learning

Revisiting the Past: Data Unlearning with Model State History

본 논문은 기존 모델 체크포인트를 활용하여 대규모 언어 모델에서 특정 데이터를 효율적이고 효과적으로 잊게 하는 새로운 알고리즘인 모델 상태 연산 (MSA) 을 소개하며, 이는 완전한 재학습의 막대한 비용을 피하면서도 기존 방법들을 능가하는 성능을 보여줍니다.

원저자: Keivan Rezaei, Mehrdad Saberi, Abhilasha Ravichander, Soheil Feizi

게시일 2026-04-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Keivan Rezaei, Mehrdad Saberi, Abhilasha Ravichander, Soheil Feizi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"과거를 재방문하다: 모델 상태 이력을 활용한 데이터 망각"이라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어보겠습니다.

큰 문제: "재학습"의 딜레마

수십억 권의 책을 읽은 거대하고 초지능적인 도서관 (대형 언어 모델) 이 있다고 상상해 보세요. 어느 날, 이 컬렉션 중 한 권의 책에 위험한 화학 물질의 비밀 레시피가 들어 있거나, 혹은 그곳에 있어서는 안 되는 개인 일기가 있다는 사실을 깨닫게 됩니다.

이를 해결하기 위해 기존의 사고방식은 도서관을 해체하여 그 한 권의 책을 제거한 뒤, 도서관 전체를 처음부터 다시 짓는 것이었습니다. 하지만 도서관이 너무 거대하기 때문에, 다시 짓는 데는 수년이 걸리고 천문학적 비용이 듭니다. 이는 산처럼 쌓인 과일에서 나쁜 사과 하나를 제거하기 위해 산 전체를 버리고 새 과일을 사는 것과 같습니다.

**머신 언러닝 (Machine Unlearning)**은 산 전체를 다시 짓지 않고 그 나쁜 사과 하나만을 외과 수술처럼 제거하려는 시도입니다. 그러나 이를 수행하는 것은 매우 어렵습니다. 그 책에 대한 기억을 "지우려" 하면, 종종 도서관이 알고 있던 다른 좋은 것들까지 실수로 지워버리거나, 도서관이 이상하고 혼란스러운 행동을 하기 시작합니다.

새로운 해결책: MSA(모델 상태 연산)

저자들은 **MSA(모델 상태 연산)**이라는 새로운 방법을 제안합니다. 완성된 도서관에서 나쁜 기억을 지우려 애쓰는 대신, 그들은 "시간 여행" 방식을 사용합니다.

비유: 건설 설계도

도서관이 건설 팀에 의해 지어지고 있다고 상상해 보세요.

최종 건물: 이것이 완성된 모델 (나쁜 책이 포함된 도서관) 입니다.
설계도: 건설 과정에서 팀은 건물의 다른 단계에서 사진을 찍었습니다. 나쁜 책이 선반에 추가되기 전에 찍은 사진이 있다고 가정해 봅시다. 이것이 체크포인트입니다.

MSA 의 작동 원리:

"망각" 벡터: 연구자들은 그 옛날 사진 (체크포인트) 을 가져와서 질문합니다. "이 버전의 건물에 나쁜 책을 추가한다면, 구조가 어떻게 변할까?" 그들은 '깨끗한' 버전과 '더러운' 버전 사이의 정확한 차이를 계산합니다. 이 차이를 **"망각 벡터 (Forget Vector)"**라고 부릅니다.
연산: 이제 그들은 완성된 건물 (현재 모델) 로 갑니다. 책을 어떻게 제거할지 추측하는 대신, 앞서 계산한 "망각 벡터"를 가져와서 완성된 건물에서 빼기만 합니다.

이는 "그 한 권의 책 추가 효과를 되돌리려면 도서관의 벽을 정확히 이만큼 이동시키면 된다"는 정밀한 수학 공식을 가진 것과 같습니다.

기존 방법보다 나은 이유

기존 방법들은 완성된 도서관만 바라보며 책을 어떻게 제거할지 파악하려 했습니다.

문제점: 도서관이 완성될 때까지는 나쁜 책이 이미 건물 전체의 배치에 영향을 미쳤습니다. 완성된 상태에서 제거를 역추적하려는 것은 구운 케이크를 다시 섞으려는 것과 같습니다. 결과는 엉망이 됩니다.
MSA 의 장점: MSA 는 나쁜 책이 도착하기 전의 "이전" 사진 (체크포인트) 을 사용하므로, 건물이 어떻게 생겼는지 정확히 알고 있습니다. 그것은 "순수한" 상태를 알고 있습니다. "순수한" 상태와 "나쁜" 상태를 비교함으로써, 도서관의 나머지 부분을 손상시키지 않고 나쁜 영향을 제거할 수 있는 깨끗하고 정밀한 경로를 계산할 수 있습니다.

실험 결과

연구자들은 여러 "도서관"(다른 AI 모델) 과 "나쁜 책"(가짜 저자, 허위 정보, 또는 개인 데이터가 포함된 데이터셋) 에서 이 방법을 테스트했습니다.

더 나은 기억 제거: 다른 방법들에 비해 MSA 가 AI 가 특정 나쁜 정보를 "잊게" 만드는 데 훨씬 효과적이었습니다.
더 나은 기억 유지: 중요하게도, MSA 는 실수로 AI 가 좋은 것들을 잊게 만들지 않았습니다. 도서관은 나머지 모든 일에 대해 여전히 똑똑하고 유용하게 남았습니다.
"시간 여행" 요소: 그들은 나쁜 책이 추가되기 수천억 개의 "단어"나 토큰 전에 찍은 매우 오래된 건설 과정의 체크포인트를 사용하여 테스트했습니다. "이전" 사진이 오래전에 찍힌 것이라 하더라도, MSA 는 여전히 놀라울 정도로 잘 작동했습니다. 나쁜 책이 추가되기 직전에 찍은 사진이 필요하지 않았으며, 오래된 사진으로도 수학을 올바르게 수행하기에 충분했습니다.

결론

이 논문은 실수를 수정하기 위해 AI 모델을 폐기할 필요가 없다고 주장합니다. 개발자들이 이미 안전과 테스트를 위해 모델 훈련 중 몇 가지 "스냅샷"을 보관하고 있다면, 그 스냅샷들을 사용하여 정밀한 수학적인 "망각"을 수행할 수 있습니다.

이는 데이터 삭제라는 어려운 작업을 단순한 뺄셈 문제로 바꿉니다: 현재 모델 - (나쁜 데이터로 인한 변화) = 깨끗한 모델.

이는 재학습의 불가능한 비용 없이도 "잊힐 권리"와 같은 개인정보 보호법을 존중하고 AI 에서 유해한 데이터를 제거할 수 있게 해줍니다.

다음은 ICLR 2026 에서 컨퍼런스 논문으로 발표된 "Revisiting the Past: Data Unlearning with Model State History" (MSA) 에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 종종 개인정보, 저작권이 있는 자료, 허위 정보, 또는 저품질 데이터를 포함하는 방대한 웹 코퍼스로 훈련됩니다. 이러한 문제 있는 데이터 포인트가 규정 (예: "잊힐 권리") 을 준수하거나 모델의 품질을 향상시키기 위해 제거되어야 할 때, 표준 접근 방식인 해당 데이터를 제외한 데이터셋으로 모델을 처음부터 다시 훈련시키는 것은 계산 비용이 너무 많이 들어 실용적이지 않습니다.

기존의 머신 언러닝 (Machine Unlearning) 알고리즘은 더 낮은 비용으로 모델 가중치를 수정하여 이러한 재훈련을 근사화하려고 시도합니다. 그러나 이러한 방법들은 다음과 같은 중대한 과제에 직면해 있습니다:

과소 망각 (Under-forgetting): 모델이 잊혀져야 할 데이터의 흔적을 유지합니다.
저하된 유틸리티 (Degraded Utility): 모델이 유지해야 할 데이터에 대한 역량이 손실됩니다.
부정확성 (Inaccuracy): 언러닝된 모델은 목표 데이터 없이 처음부터 훈련된 "이상적인 모델 (ideal model)"과 기능적으로 일치하지 않습니다.
현재 접근법의 한계: 대부분의 기존 방법들은 최종 모델 체크포인트에만 의존하여, 오직 현재 상태만을 사용하여 데이터의 영향을 역전시키려 시도합니다. 이는 종종 데이터 영향에 대한 노이즈가 많거나 편향된 추정으로 이어집니다.

2. 방법론: 모델 상태 연산 (Model State Arithmetic, MSA)

저자들은 MSA를 제안합니다. 이는 개발자들이 내결함성과 실험을 위해 routinely 저장하는 중간 모델 체크포인트 (intermediate model checkpoints) 를 활용하여 특정 데이터 포인트의 영향을 더 정확하게 추정하고 역전시키는 새로운 언러닝 알고리즘입니다.

핵심 개념

이미 데이터를 내부화한 최종 모델을 기반으로 "망각 벡터 (forget vector)"를 계산하는 대신, MSA 는 망각 대상 ( $D_f$ ) 이 도입되기 이전의 체크포인트 ( $C$ ) 를 기반으로 벡터를 계산합니다.

알고리즘 단계

입력: 전체 데이터 $D$ 로 훈련된 목표 모델 $\theta_D$ , 데이터 $D \setminus D_f$ 로 훈련된 중간 체크포인트 $\theta_0$ , 그리고 망각 집합 $D_f$ .
망각 벡터 ( $\vec{\theta}_f$ ) 계산:
- 체크포인트 $\theta_0$ 를 망각 집합 $D_f$ 로 미세 조정하여 새로운 상태 $\theta_1$ 을 얻습니다.
- 차이를 계산합니다: $\vec{\theta}_f = \theta_1 - \theta_0$ . 이 벡터는 모델이 다른 상충되는 지식을 갖기 전에 $D_f$ 가 모델 파라미터에 미친 순수한 영향을 나타냅니다.
언러닝 적용:
- 목표 모델에서 망각 벡터를 뺍니다: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$ . 여기서 $\alpha$ 는 스케일링 인자입니다.
선택적 유지 벡터 (Optional Retain Vector, $\vec{\theta}_r$ ):
- 유지 집합 $D_r$ 이 사용 가능한 경우, $\theta_0$ 를 $D_r$ 로 미세 조정하여 $\theta_2$ 를 얻고, $\vec{\theta}_r = \theta_2 - \theta_0$ 로 유사한 벡터를 계산할 수 있습니다.
- 최종 업데이트는 다음과 같습니다: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$ .

핵심 통찰

저자들은 최종 모델에서 유도된 벡터는 모델의 기존 지식과 얽혀 있어 특정 데이터의 영향을 추정하는 데 부적합하다고 가정합니다. 데이터를 보기 전의 "깨끗한" 체크포인트를 사용함으로써 MSA 는 망각 집합의 의미론적 효과를 더 효과적으로 분리해냅니다.

3. 주요 기여

새로운 프레임워크: 표준 훈련 체크포인트를 사후 데이터 언러닝에 재사용하는 MSA 의 도입으로, "최종 상태만"에서 "상태 역사 인식"으로의 패러다임 전환을 이룹니다.
새로운 평가 지표: 사실적 오류에도 불구하고 구문적 유사성으로 인해 속일 수 있는 언러닝에 대한 표준 지표 (ROUGE-L 등) 를 비판하고, GPT-4o 기반 의미론적 지표를 도입합니다:
- Accforget: 모델이 망각된 항목에 대한 정답 생성을 성공적으로 피하는지 측정합니다.
- Accrecover: 모델의 출력이 "이상적인 모델"(해당 데이터를 전혀 보지 않은 모델) 과 일치하는지 측정합니다.
- Accretain: 망각되지 않은 데이터에 대한 지식 보존을 측정합니다.
포괄적인 벤치마킹: TOFU(가상 저자), RESTOR(허위 정보로 손상된 지식 복원), MUSE-Books(도서 암기 및 개인정보 보호) 라는 세 가지 주요 벤치마크에 대한 평가.
강건성 분석: 사용된 체크포인트가 망각 대상보다 수천억 개의 토큰 이전이라 하더라도 MSA 가 여전히 효과적임을 입증했으나, 더 가까운 체크포인트가 더 좋은 결과를 제공함을 보였습니다.

4. 실험 결과

저자들은 OLMo-2-7B 및 Llama-3.1/3.2 모델에서 MSA 를 NPO, RMU, GradDiff, Task Vector, SatImp, UNDIAL 등 최첨단 베이스라인과 비교 평가했습니다.

TOFU 벤치마크:
- MSA 변형 (예: 3.6T 토큰 이전의 체크포인트 사용) 은 모든 지표에서 베이스라인과 경쟁하거나 더 우수한 성능을 달성했습니다.
- 망각을 달성하기 위해 유틸리티 (Accretain) 를 희생하거나 이상적인 동작 (Accrecover) 을 회복하지 못하는 경우가 많은 베이스라인과 달리, MSA 는 세 가지 목표를 효과적으로 균형 잡았습니다.
- 예를 들어, forget10 작업에서 MSA 변형은 약 89% 의 Accforget와 약 96% 의 Accrecover를 달성한 반면, RMU 와 같은 베이스라인은 높은 망각률을 보였으나 매우 낮은 회복률 (망각하는 대신 답변을 거부함) 을 보였습니다.
RESTOR 벤치마크:
- MSA 는 허위 정보로 손상된 지식을 복원하는 데 있어 베이스라인보다 현저히 우수한 성과를 보였습니다.
- Llama-3.1-8B 에서 이상적인 모델의 정확도는 64.80% 였습니다. 손상된 모델은 44.31% 로 하락했습니다. MSA 는 정확도를 **48.45% - 49.19%**로 회복시켰으며, NPO 와 SatImp 와 같은 베이스라인은 약 44-46% 로만 회복되었습니다.
MUSE-Books 벤치마크:
- MSA 는 멤버십 추론 공격 (Membership Inference Attacks, MIN-K% 및 MIN-K%++) 에서 강력한 성능을 보여주어, 언러닝된 모델이 망각된 책을 훈련 데이터의 일부로 더 이상 인식하지 않음을 나타냈습니다.
- 더 가까운 체크포인트를 사용한 MSA 변형 (예: MSA3859B) 은 개인정보 유출 지표에서 이상적인 모델의 성능과 일치하거나 초과했습니다.
체크포인트 거리:
- 실험 결과, 망각 집합 바로 이전의 체크포인트가 최적이지만, 수천억 토큰 이전의 체크포인트도 여전히 강력한 결과를 산출하여 체크포인트가 드물게 생성되는 모델에서도 MSA 가 실용적임을 보여주었습니다.

5. 의의 및 결론

실용성: MSA 는 기존 LLM 훈련 파이프라인에 이미 존재하는 아티팩트 (체크포인트) 를 활용하는 계산적으로 효율적인 ( $O(|D_f|)$ ) 솔루션을 제공하며, 원래 훈련 과정을 변경할 필요가 없습니다.
규제 준수: 모델 제공자가 전체 재훈련 비용 없이 "잊힐 권리" 요청을 충족할 수 있는 실현 가능한 경로를 제공합니다.
이론적 전환: 이 연구는 언러닝이 오직 최종 모델 상태에만 의존해야 한다는 가정에 도전합니다. 모델 상태 역사가 정밀한 데이터 삭제를 위한 핵심 자원임을 시사합니다.
향후 방향: 이 논문은 모델 개발자들이 단순한 귀속을 넘어 MSA 와 같은 고급 언러닝 기술을 가능하게 하기 위해 훈련 중 모델이 특정 정보를 언제 접하는지에 대한 인덱스를 유지할 것을 주장합니다.

요약하자면, MSA는 훈련의 시간적 역학을 활용하여 더 정밀하고, 유틸리티를 보존하며, 기능적으로 충실한 데이터 제거를 달성함으로써 머신 언러닝 분야에서 중요한 진전을 이루었습니다.