🤖 machine learning

Subtract or Replay? Exact Deletion from Language-Model Memory

이 논문은 언어 모델 메모리로부터의 정확한 삭제가 근본적으로 메모리 표현에 의해 결정되며, 주소 지정 가능한 기록은 대수적 뺄셈을 통해 제거될 수 있는 반면 얽힌 쓰기(entangled writes)는 비트 단위의 상태 복원을 달 수 있도록 리플레이 기반의 재구축을 필요로 한다는 것을 입증한다.

원저자: Vishwajith Ramesh

게시일 2026-07-31

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vishwajith Ramesh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

절대 잊지 않는 초지능 디지털 비서가 있다고 상상해 보세요. 당신이 비밀을 말하면, 그것은 비서의 뇌 속에 있는 거대하고 보이지 않는 도서관에 그 비밀을 저장합니다. 나중에 당신이 이야기를 쓰거나 조언을 구하면, 비서는 그 비밀을 꺼내어 도움을 줄 것입니다. 하지만 만약 당신이 마음을 바꾼다면 어떨까요? 만약 당신이 "사실, 그런 말 한 적 없어요"라거나 "실수였어요, 제발 지워주세요"라고 말한다면요? 현실 세계에서 편지를 태우면 그 글자들은 사라집니다. 하지만 컴퓨터에서 단순히 "잊으라"고 말하는 것은 까다로운 일입니다. 컴퓨터는 그 비밀을 깊숙한 곳에 숨겨두기만 하거나, 이미 그 비밀을 사용하여 자신의 뇌의 다른 부분을 구축했을 수도 있어서, 다른 모든 것을 망가뜨리지 않고는 단순히 "삭제"하는 것이 불가능할 수도 있습니다. 이것이 바로 "머신 언러닝(machine unlearning)"의 문제입니다. 과학자들은 AI가 단순히 잊는 척하는 것이 아니라, 명령에 따라 특정 정보를 진정으로 잊게 만드는 방법을 알아내기 위해 노력하고 있습니다. 이는 개인정보 보호에 있어 매우 중요한 문제로, 당신의 디지털 삶에 대한 "잊힐 권리"를 보장하며, 로봇에게 기억을 삭제하라고 요청했을 때 로봇이 실제로 수행하여 어떤 유령 같은 흔적도 남기지 않도록 하는 것을 의미합니다.

"Subtract or Replay?(뺄 것인가, 다시 재생할 것인가?)"라는 제목의 이 논문은 다음과 같은 간단한 질문을 던지며 이 문제를 다룹니다: 기억은 어떻게 저장되는가? 저자인 비슈와지스 라메쉬(Vishwajith Ramesh)와 동료들은 그 답이 전적으로 AI의 기억실 안에 있는 "가구"에 달려 있다는 것을 발견했습니다. 그들은 기억을 삭제하는 데 두 가지 매우 다른 방법이 있으며, 적절한 도구를 선택하지 않으면 실패하게 된다는 것을 발견했습니다.

기억을 삭제하는 두 가지 방법

이 논문은 이 아이디어를 두 가지 서로 다른 유형의 AI 모델, 즉 두 종류의 서로 다른 도서관 역할을 하는 모델에 대해 테스트합니다.

1. "주소 지정이 가능한" 도서관 (Gemma 모델)
모든 책에 고유한 번호가 붙은 선반이 있는 도서관을 상상해 보세요. 책을 제거하고 싶다면, 그냥 그 선반으로 가서 책을 꺼내면 됩니다. 도서관 전체를 다시 지을 필요는 없습니다.
저자들은 이를 Gemma라는 모델을 통해 테스트했습니다. 그들은 Gemma의 표준 메모리 부품 중 일부를 이 '주소 지정이 가능한' 도서관처럼 작동하는 특별한 시스템으로 교체했습니다. 이 시스템에서는 모든 정보가 AI의 답변에 얼마나 영향을 미칠지를 제어하는 "계수"(볼륨 조절 노브라고 생각하세요)를 가집니다.

마법의 기술: 기억을 삭제하기 위해, 그들은 단순히 볼륨 노브를 0으로 낮추었습니다. 이것을 "대수적 감산(algebraic decrement)"이라고 부릅니다.
결과: 완벽하게 작동했습니다. 노브를 낮추었을 때, AI의 출력은 마치 그 기억이 처음부터 없었던 것과 수학적으로 동일해졌습니다. 그 차이는 매우 미미하여 거의 0에 가까웠습니다(KL 발산 값 5.4 × 10⁻¹⁵).
함정: 이 방법은 작은 모델(10억 개의 파라미터)에서만 잘 작동합니다. 모델이 커질수록(40억 및 120억 개), 이 방법은 복잡해지고 비용이 많이 들며, AI의 성능을 각각 **11.2%**와 **44.3%**만큼 저하시킵니다. 따라서 "노브를 돌리는" 기술은 작은 도서관에는 완벽하지만, 거대한 도서관을 위한 만능 해결책은 아닙니다.

2. "직조된" 도서관 (Kimi 모델)
이제 책들이 선반 위에 있지 않은 다른 종류의 도서관을 상상해 보세요. 대신, 모든 책의 페이지가 하나의 거대한 단일 태피스트리(tapestry)로 엮여 있습니다. 만약 당신이 실 하나(기억 하나)를 뽑아낸다면, 태피스트리 전체가 움직이고 패턴이 예측할 수 없는 방식으로 변하게 됩니다.
저자들은 "재귀적 상태(recurrent state)"(태피스트리와 같은 기억)를 사용하는 Kimi 모델을 통해 이를 테스트했습니다. 여기서 모든 새로운 정보는 기억의 전체 상태를 변화시킵니다.

문제: 그들은 Gemma에서 했던 것처럼 단순히 기억을 "감산"하려고 시도했습니다. 그러나 실패했습니다. 기억이 엮여 있기 때문에, 하나의 실을 제거하는 것은 단순히 구멍을 남기는 것이 아니라 왜곡된 패턴을 남깁니다. 수학적으로 보면, 삭제된 부분의 뒤에 무엇이 오느냐에 따라 기억의 영향력이 **12%에서 49%**까지 변했습니다. 단순히 뺄 수는 없습니다. 삭제에 대한 "영수증"이 더 이상 유효하지 않게 됩니다.
해결책: 엮인 태피스트리에서 패턴을 망가뜨리지 않고 실을 뺄 수 없기 때문에, 반드시 재구축해야 합니다. 저자들은 "체크포인트 및 리플레이(checkpoint and replay)" 방법을 사용했습니다. 그들은 원치 않는 실이 엮이기 전의 태피스트리 스냅샷을 저장했습니다. 그런 다음, AI를 그 스냅샷으로 되돌린 후, 방금 전의 나쁜 실을 건너뛰고 그 이후에 일어난 모든 일을 다시 재생했습니다.
결과: 이것은 완벽하게 작동했습니다. 리플레이 후의 AI 기억은 나쁜 실을 본 적이 없는 기억과 **비트 단위로 동일(bit-for-bit identical)**했습니다. 그들은 최대 18,842 토큰 길이의 실제 임상 기록을 대상으로 테스트했으며, 매번 성공했습니다. 또한 나쁜 실을 좋은 실로 교체하여 기록을 완벽하게 "수정"하는 것도 가능했습니다.

이것이 당신에게 의미하는 바

이 논문의 주요 결론은 "정확한 삭제"란 단 하나의 마법 버튼이 아니라는 것입니다. 그것은 기억이 어떻게 구축되었는지에 따른 속성입니다.

만약 기억이 모든 기록에 대한 명확한 주소를 유지한다면(Gemma의 특별한 설정처럼), 빠르게 그리고 완벽하게 **감산(subtract)**할 수 있습니다.
만약 기억이 모든 것을 엮어 놓았다면(Kimi의 태피스트리처럼), 감산할 수 없습니다. 대신 저장된 체크포인트로부터 이야기를 **재구축(rebuild)**해야 합니다.

저자들은 자신들이 찾아낸 것이 아닌 것에 대해서도 매우 명확하게 밝히고 있습니다: 그들은 단순히 기억을 "마스킹"하거나 "억제"(AI에게 무시하라고 말하는 것)하는 것만으로는 충분하지 않다는 것을 증명했습니다. AI는 여전히 숨겨진 방식으로 그것을 "기억"할 수 있으며, 공격자들은 종-종 그것을 다시 끌어낼 수 있습니다. 진정한 삭제는 완벽한 감산이나 완벽한 재구축을 요구합니다.

요약하자면, AI가 진정으로 잊기를 원한다면, 먼저 그 기억의 방을 확인해야 합니다. 선반이 있는 도서관인가요? 그렇다면 노브를 돌리세요. 엮인 태피스트리인가요? 그렇다면 되감아서 다시 재생하세요. 지름길은 없지만, 이제 우리는 어떤 작업에 어떤 도구를 사용해야 하는지 정확히 알고 있습니다.

기술 요약: 언어 모델 메모리에서의 정밀 삭제 (Exact Deletion)

1. 문제 정의

본 논문은 배포된 자기회귀 언어 모델(LLM)의 지속적 메모리(persistent memory)로부터 **정밀 삭제(exact deletion)**를 수행하는 과제를 다룬다. 데이터의 흔적을 지우기 위해 모델 파라미터를 수정하려는 가중치 공간의 언러닝(weight-space unlearning)과 달리, 본 연구는 **인컨텍스트 메모리(in-context memory)**에 집중한다. 즉, 이미 모델의 지속적 상태(어텐션 캐시 또는 순환 상태)로 인입되어 다운스트림 출력을 형성하고 있는 기록들을 대상으로 한다.

핵심 문제는 프롬프트에 수정 사항을 추가하는 것만으로는 원래의 잘못된 기록이 모델의 내부 상태에 미치는 영향을 제거할 수 없다는 점이다. 저자들은 정밀 삭제를 다음과 같은 **반사실적 표준(counterfactual standard)**으로 정의한다: 삭제 후의 모델 출력은 해당 기록이 처음부터 인입되지 않았던 것처럼 구축된 메모리 상태의 출력과 일치해야 한다.
$f(q; D_j(B(R))) = f(q; B(R \setminus j))$
본 논문은 정밀 삭제가 전체 재학습 없이 달성 가능한지 여부가 전적으로 메모리 표현(memory representation) 방식에 달려 있다고 주장한다. 만약 기록의 영향력이 특정 "주소"(가역적인 계수 또는 캐시 엔트리)를 유지하고 있다면 이를 뺄셈할 수 있다. 반면, 기록의 영향력이 이후의 쓰기 작업에 의해 공유된 순환 상태(shared recurrent state) 속으로 엮여 들어간다면, 뺄셈은 실패하며 재구축(rebuilding)이 필요하게 된다.

2. 방법론

저자들은 두 가지 구별되는 메모리 아키텍처와 삭제 전략을 테스트함으로써 이 구분을 구체화한다.

A. 주소 지정 가능 메모리: 서포트 벡터 그래프트 (Gemma 3)

영향력이 주소 지정 가능한 모델의 경우, 저자들은 **대수적 감산(algebraic decrement)**을 제안한다.

아키텍처: 저자들은 Gemma 3(1B, 4B, 12B 파라미터)의 전역 어텐션 레이어를 서포트 벡터 메모리(SVM) 레이어로 교체한다. 이 레이어는 컨텍스트 키를 원 클래스 SVM(one-class SVM)의 입력으로 취급하며, 이때 어텐션 가중치는 적합(fit)의 계수( $\alpha$ )가 된다.
메커니즘: Cauwenberghs & Poggio (2000)의 증분 알고리즘을 역순으로 사용하여, 시스템은 특정 토큰의 계수를 수학적으로 "감산"할 수 있다. 만약 어떤 토큰이 "예비(reserve)" 토큰(계수 = 0)이라면, 이는 아무런 기여를 하지 않는다. 토큰을 삭제하는 것은 솔브(solve) 과정을 역전시켜 해당 토큰이 없었을 때의 상태로 시스템을 되돌리는 과정을 포함한다.
복구: 그래프팅 후 언어 품질을 유지하기 위해, 저자들은 베이스 모델을 동결하고 퍼플렉시티(perplexity)를 회복하기 위한 Rank-8 LoRA 어댑터(파라미터의 0.149%)를 학습시킨다.
감사: 삭제 여부는 감산된 상태를 잔류 키 재적합(retained-key refit)(다른 키들은 고정한 채 해당 토큰을 제외하고 SVM을 다시 푸는 과정)과 비교하여 검증한다.

B. 주소 지정 불가능 메모리: 리플레이 (Kimi Linear Hybrid)

이후의 쓰기 작업이 기록의 기여도를 변형시켜 (주소 지정이 불가능하게 만드는) 모델의 경우, 저자들은 **체크포인트 기반 리와인드 및 리플레이(checkpointed rewind-and-replay)**를 제안한다.

아키텍처: 저자들은 전역 다중 헤드 어텐션(MLA) 레이어와 20개의 KDA (Gated DeltaNet) 순환 레이어가 교차 배치된 48B Kimi Linear 하이브리드 모델을 분석한다.
뺄셈의 실패: 저자들은 KDA의 델타 규칙(delta rule)(상태를 업데이트하기 전에 이전 상태를 읽는 방식)이 기록 단위의 분리 가능성을 파괴한다는 것을 입증한다. 한 기록의 상태 기여도는 뒤따르는 접미사(suffix)에 따라 변하므로(12~49%의 분산), 고정된 "영수증(receipt)"을 통한 삭제는 불가능하다.
메커니즘: 시스템은 기록 경계에서 순환 상태의 체크포인트를 저장한다. 기록을 삭제하려면, 시스템은 해당 기록이 인입되기 전의 상태로 복구한 뒤 **접미사만을 다시 재생(replay)**한다.
감사: 결과는 비트 단위 동일성(bitwise equality) 표준으로 감사된다. 즉, 로짓(logits)과 모든 순환 상태가 해당 기록이 인입되지 않았던 실행 결과와 동일해야 한다.

3. 주요 기여

표현 수준의 기준 확립: 본 논문은 정밀 삭제가 메모리 표현의 속성임을 규명한다. 이는 주소 지정 가능한 영향력(대수적 감산으로 뺄 수 있음)과 변형된 영향력(상태 재구축이 필요함)을 구분한다.
LLM에서의 주소 지정 가능 삭제: 저자들은 Gemma 3에 SVM 메모리 레이어를 성공적으로 그래프트하였다. 1B 규모에서 대수적 감산은 잔류 키 재적합과 중간 KL 발산 값 $5.4 \times 10^{-15}$ 로 일치함을 보였다. 행동 테스트 결과, 마스크 재적합 프록시는 유도(elicitation), 재학습(relearning), LiRA 공격 상황에서도 "인입되지 않은" 베이스라인과 통계적으로 구별되지 않았다.
리플레이를 통한 정밀 삭제: 뺄셈이 실패하는 Kimi 하이브리드의 경우, 저자들은 체크포인트 리플레이가 최대 18,842 토큰의 컨텍스트에 대해 로짓 및 20개의 모든 순환 상태에서 비트 단위의 동일성을 달성함을 입증했다. 이 방법은 정밀 수정(exact amendments)(수정된 기록으로 리플레이하는 것)도 지원한다.
스케일링 분석: 논문은 유틸리티 비용에 대한 미묘한 시각을 제공한다. 1B Gemma 그래프트는 단 **+2.0%**의 퍼플렉시티 오버헤드만을 발생시키지만, 이 비용은 4B에서 11.2%, 12B에서 **44.3%**로 급증하며, 이는 그래프트가 더 큰 규모에서는 일반적인 어텐션의 대체재가 될 수 없음을 시사한다.

4. 결과

Gemma 3 (1B):
- 정밀도: 감산(decrement)과 재적합(refit)은 31개의 서포트 토큰 삭제에 대해 중간 KL $5.4 \times 10^{-15}$ 로 일치한다.
- 유용성: 매칭된 대조군 대비 +2.0%의 퍼플렉시티 오버헤드 발생.
- 행동: 마스크 재적합 프록시는 "인입되지 않은" 바닥값과 구별되지 않으며, 가중치 공간 편집(gradient ascent)은 가역적이며 잔여물을 남긴다.
Gemma 3 (스케일링):
- 4B 및 12B에서는 유틸리티 비용이 급격히 상승한다(11.2% 및 44.3%). 12B rank-16 그래프트 실행은 발산하는 양상을 보이며, 이는 해당 방법이 현재 1B 규모에서 주로 실행 가능하다는 것을 시사한다.
Kimi Linear (48B):
- 델타 규칙의 실패: 기록의 상태 기여도 중 12~49%가 접미사에 따라 변화하므로 고정된 영수증 사용이 무효화된다.
- 리플레이의 성공: 리플레이는 실제 임상 기록(MIMIC-IV)에 대해 최대 18,842 토큰까지 "인입되지 않은" 상태와 비트 단위 동일성을 달 achieves 한다.
- 비용: 레이턴시는 접미사 길이에만 비례한다(전체 재구축 6.77초 대비 평균 3.49초). 체크포인트 경계당 저장 비용은 약 41.4 MiB이다.

5. 의의 및 주장

본 논문은 **정밀 삭제가 메모리 표현과의 계약(contract)**이지, 보편적인 알고리즘적 해결책이 아니라고 주장한다.

설계 원칙: 만약 표현 방식이 기록의 영향력에 대한 주소를 보존한다면, 삭제는 저렴한 대수적 연산이 될 수 있다. 만약 표현 방식이 델타 규칙과 같이 비가산적 업데이트를 통해 기록을 공유 상태로 엮어버린다면, 정밀 삭제를 위해 접미사를 재구축해야 한다.
감사 가능성: 본 연구는 삭제를 감사하기 위한 프레임(framework)을 제공한다. 이는 단순히 답변을 숨기는 "억제(suppression)"(답변은 숨겨졌으나 상태는 오염된 상태)와 "정밀 삭제"(상태가 반사실적 참조와 일치하는 상태)를 구분한다.
한계점: 저자들은 연구 범위에 대해 겸허한 태도를 취한다. 이들은 사전 학습된 가중치나 삭제 이벤트 이전에 생성된 출력으로부터의 삭제를 주장하지 않는다. 또한 Gemma 그래프트의 유틸리티 비용이 스케일링에 따라 나쁘게 증가한다는 점과, Kimi 리플레이 방식이 결정론적 구현과 체크포인트 오버헤드에 의존한다는 점을 인정한다.
윤리적 맥락: 이 연구는 특정 기록이 모델의 활성 메모리 상태에서 제거되었음을 검증할 수 있는 메커즘을 제공함으로써, GDPR 제17조와 같은 규제 요구사항 및 임상적 동의 철회(consent withdrawal)를 지원한다.

결론적으로, 본 논문은 분야의 흐-름이 "근사적 언러닝"(recoverable residues를 남기는 방식)에서 벗어나, 뺄셈과 재구축 중 무엇을 선택할지 결정하기 전에 영향력이 주소 지정 가능한지 테스트하는 **표현 인식 삭제(representation-aware deletion)**로 나아가야 한다고 제언한다.