🤖 machine learning

Shape of Memory: a Geometric Analysis of Machine Unlearning in Second-Order Optimizers

이 논문은 2차 최적화 알고리즘(second-order optimizers)에서의 머신 언러닝(machine unlearning)이 기존의 1차 분석으로는 감지되지 않는 최적화 상태(optimizer state)의 변동성을 통해 잔류 정보를 남길 수 있음을 지적하며, 기하학적 정보(메모리)를 완전히 삭제하기 위해서는 제어된 상태 섭동(state perturbation)이 필요함을 주장합니다.

원저자: Kennon Stewart

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kennon Stewart

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 제목: 기억의 모양 (Shape of Memory)

"AI가 무언가를 잊었다고 말할 때, 정말로 깨끗이 잊은 걸까요?"

1. 배경: '기억력'의 두 가지 방식 (1차 vs 2차 최적화)

우리가 공부를 한다고 가정해 봅시다.

1차 학습자 (단순 암기파): 이 학생은 시험 문제의 '정답'만 외웁니다. 시험이 끝나면 머릿속에 남는 건 "이 문제는 답이 3번이야"라는 결과뿐이죠. 만약 어떤 문제를 잊어야 한다면, 그냥 그 답을 머릿속에서 지우면 끝입니다. 아주 단순하죠. (논문에서는 이를 OGD라고 부릅니다.)
2차 학습자 (원리 파악파): 이 학생은 훨씬 똑똑합니다. 단순히 답만 외우는 게 아니라, **"왜 이 답이 나오는지" 그 원리와 문제 사이의 관계(곡률, Curvature)**를 통째로 이해합니다. 이 학생의 머릿속에는 단순한 정답을 넘어, 지식들이 서로 어떻게 연결되어 있는지에 대한 **'지식의 지도(Geometry)'**가 그려져 있습니다. (논문에서는 이를 ONS라고 부릅니다.)

2. 문제 발생: "그 문제는 제발 잊어줘!" (데이터 삭제 요청)

어느 날, 누군가 "너 어제 공부한 그 민감한 정보는 잊어버려!"라고 요청합니다.

단순 암기파 학생은 "네, 그 답 지웠어요!"라고 말하며 금방 평소처럼 공부를 이어갑니다. 겉보기에 아무 문제가 없죠.
원리 파악파 학생은 문제가 생깁니다. 답은 지웠을지 몰라도, 그 문제를 풀면서 만들어 놓은 **'지식의 지도(머릿속의 구조)'**에는 여전히 그 문제의 흔적이 남아 있습니다. 답은 몰라도, 그 문제를 풀 때 썼던 '사고방식'이나 '지식의 연결 고리'가 미세하게 뒤틀려 있는 상태인 거죠.

3. 논문의 핵심 발견: "겉은 멀쩡한데, 속은 뒤틀려 있다"

연구진은 이 똑똑한 학생(2차 학습자)에게 정보를 지우라고 시킨 뒤 관찰했습니다. 결과는 충격적이었습니다.

성적은 그대로다 (Regret는 낮다): 정보를 지운 후에도 이 학생은 시험 문제를 아주 잘 풉니다. 겉으로 보기에는 "아, 이 학생은 정보를 완벽히 잊었구나!"라고 착각하기 딱 좋습니다.
하지만 '생각의 지도'가 변형되었다 (Volatility & Geometry): 학생의 성적(성능)은 정상인데, 학생의 머릿속에 그려진 **'지식의 지도(Optimizer State)'**를 들여다보니, 삭제된 정보의 흔적이 지도를 미세하게 일그러뜨리고 있었습니다.
- 즉, **"답은 잊었지만, 그 정보를 바탕으로 형성된 사고의 틀(기하학적 구조)은 여전히 남아 있다"**는 뜻입니다. 이것이 바로 논문이 말하는 **'잔류 정보(Residual Information)'**입니다.

4. 해결책의 시도: "지도를 강제로 다시 그려라!"

연구진은 이 뒤틀린 지도를 바로잡기 위해 두 가지 방법을 써봤습니다.

부분 초기화: 지도의 일부를 지우개로 지우기.
지도의 축소: 지도의 세밀함을 뭉뚱그려 단순하게 만들기.

실험 결과, 지도를 단순히 '답'만 지우는 게 아니라, 지도의 구조(기하학적 정보) 자체를 강제로 흔들거나 뭉개버려야만 비로소 그 정보의 흔적이 사라진다는 것을 발견했습니다.

💡 요약하자면?

이 논문은 **"AI에게 정보를 지우라고 할 때, 단순히 '결과값'만 지우는 것은 불충분하다"**고 경고합니다.

똑똑한 AI(2차 최적화 모델)는 정보를 지워도 그 정보가 만들어낸 **'사고의 패턴(지도의 모양)'**을 기억하고 있기 때문입니다. 진정한 의미의 '망각'을 구현하려면, AI의 정답뿐만 아니라 그 정답을 도출하기 위해 만들어진 '지식의 구조(Geometry)'까지도 깨끗이 재구성해야 한다는 것이 이 논문의 핵심 메시지입니다.

한 줄 요약:

"AI가 비밀을 잊었다고 말할 때, 그 비밀이 남긴 '생각의 습관'까지 지워졌는지 반드시 확인해야 한다!"

[기술 요약] 메모리의 형상: 2차 최적화 도구에서의 머신 언러닝에 대한 기하학적 분석

1. 문제 정의 (Problem Statement)

기존의 머신 언러닝(Machine Unlearning) 연구는 주로 1차 최적화(First-order optimization, 예: SGD) 방식에 집중되어 왔습니다. 1차 방식에서는 모델의 '파라미터( $w$ )'가 학습된 정보의 전부라고 간주하며, 언러닝의 성공 여부를 "삭제 후 모델 파라미터가 데이터를 처음부터 학습하지 않은 이상적인 모델(Counterfactual model)과 얼마나 유사한가"로 정의합니다.

하지만 **2차 최적화 도구(Second-order optimizers, 예: ONS)**는 파라미터 외에도 곡률(Curvature) 정보를 담고 있는 **보조 상태(Auxiliary state, $A_t$ )**를 유지합니다. 이 상태는 과거 데이터의 궤적을 압축하여 저장하고 있으며, 학습의 기하학적 구조를 결정합니다. 본 논문은 **"파라미터가 이상적인 모델과 일치하더라도, 2차 최적화 도구의 내부 상태(기하학적 구조)에 삭제된 데이터의 흔적이 남아있을 수 있다"**는 문제를 제기하며, 현재의 언러닝 정의가 2차 최적화 도구에는 불충분(Underspecified)함을 지적합니다.

2. 연구 방법론 (Methodology)

연구진은 온라인 볼록 최적화(Online Convex Optimization) 환경에서 두 가지 학습자를 비교 실험했습니다.

비교 대상:
1. OGD (Online Gradient Descent): 1차 최적화 베이스라인 (추가적인 상태 정보 없음).
2. ONS (Online Newton Step): 2차 최적화 모델 (곡률 정보를 담은 행렬 $A_t$ 를 유지).
실험 설정: $T=400$ 라운드, 차원 $d=2$ 의 환경에서 특정 시점( $\tau=200$ )에 최근 10개의 데이터를 삭제하는 시나리오를 설정했습니다. 데이터는 정적(Stationary) 환경과 표류(Drifting) 환경 모두에서 테스트되었습니다.
2차 상태 개입(Second-Order State Intervention): 삭제 시 ONS의 상태 행렬 $A_t$ $A_{t}$ 에 직접적인 기하학적 변형을 가하는 두 가지 방법을 제안했습니다.
- Partial Reset ( $\alpha$ ): 고유값(Eigenvalues)에서 일정 값을 빼서 곡률을 강제로 낮춤.
- Eigenvalue Decay ( $\beta$ ): 고유값 전체를 스케일링하여 스펙트럼을 축소함.
평가 지표: 누적 후회(Regret), 추적 오차(Tracking error), 파라미터 충격(Parameter shock), 그리고 상태 공간 진단(Trace, Condition number, Cosine alignment)을 사용했습니다.

3. 주요 결과 (Key Results)

1차 최적화(OGD)의 회복: OGD는 삭제 후 파라미터 궤적이 일시적으로 이탈하지만, 시간이 지나면 이상적인 모델의 궤적으로 비교적 잘 회복됩니다.
2차 최적화(ONS)의 '가짜 회복' 현상: ONS는 Regret(성능 지표) 측면에서는 삭제 직후 매우 빠르게 회복되는 것처럼 보입니다. 그러나 이는 착시일 뿐, 파라미터 궤적(Tracking error)은 이상적인 모델과 여전히 분리되어 있습니다. 즉, 성능은 좋아 보이지만 내부 기하학적 구조는 여전히 잘못된 상태입니다.
기하학적 이력 현상(Geometric Hysteresis): 2차 상태에 개입(Reset 또는 Decay)을 가하면, 성능 저하보다는 상태의 변동성(Volatility)과 방향성(Alignment)에 큰 변화가 나타납니다. 이는 삭제된 정보가 모델의 예측 성능이 아닌, 최적화 경로를 결정하는 '기하학적 형상' 속에 잔류하고 있음을 의미합니다.
강력한 억제의 효과: 고유값을 더 공격적으로 억제할수록(예: $\beta=0.9$ 또는 $\alpha=0.7$ ), 이상적인 모델과의 코사인 유사도(Cosine similarity)가 높아지며, 이는 기하학적 정보를 효과적으로 지우는 데 도움이 됨을 보여줍니다.

4. 연구의 의의 및 결론 (Significance & Conclusion)

학술적 기여: 머신 언러닝의 정의를 '파라미터 유사성'에서 **'상태 정렬(State alignment)'**의 관점으로 확장해야 함을 이론적/실험적으로 증명했습니다.
프라이버시 관점: 기존의 성능 기반 언러닝 검증 방식이 2차 최적화 도구를 사용하는 모델(예: 고속 학습 알고리즘)에서는 데이터 삭제가 완벽히 이루어졌는지 보장하지 못할 수 있음을 경고합니다.
결론: 2차 최적화 도구에서의 언러닝은 단순한 파라미터 업데이트가 아니라, 최적화 도구가 기억하고 있는 '기하학적 메모리(곡률 정보)'를 어떻게 정교하게 조작하고 지울 것인가의 문제로 다루어져야 합니다.

핵심 키워드: 머신 언러닝, 2차 최적화(ONS), 기하학적 메모리, 상태 정렬, 프라이버시 보장.