기술 요약: 대규모 모델에서의 언러닝(Unlearning): 수십억 파라미터 규모 언어 모델을 위한 상태-정확(State-Exact) 추적 보존 삭제

1. 문제 정의

본 논문은 대규모 언어 모델(LLM)의 머신 언러닝 문제를 행동 최적화 과제가 아닌 **상태-정확 시스템 문제(state-exact systems question)**로 재정의함으로써 이 문제를 다룹니다. 기존 문헌은 흔히 언러닝을 특정 데이터를 포함하지 않고 학습된 모델과 행동적으로 구별할 수 없는 상태를 만드는 것으로 정의하지만, 이러한 접근 방식은 결정론적 훈련 파이프라인에서 모호성을 초래합니다.

현대적 훈련 과정에서 실현된 상태는 데이터셋뿐만 아니라 실행 제어 요소들, 즉 샘플 순서, 난수 생성기(RNG) 소비, 그래디언트 누적 경계, 학습률 스케줄, 하드웨어 특유의 수치 커널 등에 의해서도 결정됩니다. 단순히 데이터를 제거하고 다시 학습시키는 것(밀집 재포장, dense repacking)은 이러한 제어 요소들을 변경하며, 결과적으로 다른 실행 추적(execution trace)과 다른 최종 상태를 생성합니다. 따라서 "$F$가 없는 모델"이라는 표현은 실행 또는 참조 분포가 명시적으로 지정되지 않는 한 고유한 참조 상태를 식별하지 못합니다.

본 논문은 **추적 보존 삭제 반사실(trace-preserving deletion counterfactual)**을 정의합니다. 이는 원래 훈련 실행의 논리적 제어(마이크로배치 슬롯, 시드, 누적 경계, 옵티마이저 단계)는 고정하되, 요청된 식별자의 손실 기여도(loss contribution)만을 0으로 설정하는 시나리오입니다. 목표는 리플레이 시스템이 삭제된 식별자에 해당하는 물리적 데이터 행이 리플레이 저장소에 존재하지 않더라도, 이 특정 반사실적 상태를 비트 단위로 동일하게 재구성할 수 있는지 검증하는 것입니다.

2. 방법론

2.1 추적 보존 삭제 정의

저자는 다음과 같은 **추적 보존 삭제($TD$)**를 정식화합니다:

• 실행 계획 $P$는 불변입니다.
• 모든 마이크로배치 계획 기록은 유지되지만, 삭제 집합 $F$에 속한 식별자들은 샘플 가중치가 0인 고정된 더미 시퀀스로 매핑됩니다.
• 유지된 식별자, 시드, 학습률 및 논리적 옵티마이저 단계 인덱스는 변경되지 않습니다.
• 빈 세그먼트 규칙(Empty-segment rule): 그래디언트 누적 경계에서, 해당 세그먼트에 가중치가 부여된 유지 데이터가 적어도 하나 존재하는 경우에만 옵티마이저 전이가 발생합니다. 만로 세그먼트가 0의 가중치를 가진 (삭제된) 슬롯들로만 구성되어 있다면, 논리적 경계는 유지되되 옵티마이저 모멘트(예: AdamW 모멘트)가 0의 그래디언트로 인해 변질되는 것을 방지하기 위해 옵티마이저 단계는 건너뜁니다.

2.2 시스템 설계

제안된 시스템은 **사전적 계측(prospective instrumentation)**과 **물리적 적색화(physical redaction)**에 의존합니다:

• 불변 실행 계획: 원래의 훈련 실행은 순서가 지정된 샘플 식별자, 마이크로배치별 RNG 시드, 학습률 및 누적 플래그를 포함하는 JSONL 계획을 기록합니다.
• 쓰기 앞선 로그(Write-Ahead Log, WAL): 훈련 중에, 32바이트 크기의 압축된 바이너리 WAL이 실행 상태(순서 지정된 ID 태그, 시드, 학습률, 단계 인덱스, 플래그, CRC32)를 순서 지정된 ID 매니페스트와 함께 기록합니다.
• 물리적 적색화: 리플레이 전, 유지된 행들로만 구성된 새로운 토큰 저장소가 생성됩니다. 불변의 계획은 여전히 삭제된 식별자들을 논리적 슬롯 마커로서 참조합니다.
• 리플레이 메커니즘: 리플레이 중에 시스템은 삭제된 식별자에 대한 요청을 가로챕니다. 누락된 데이터를 찾는 대신, 고정된 더미 시퀀스를 0의 가중치와 함께 대체합니다. 이를 통해 물리적으로 데이터 행이 부재함에도 불구하고, 수치적 마이크로배치(토큰, 레이블, 가중치)는 추적 오라클(trace oracle)과 동일하게 유지됩니다.

2.3 검증 프로토콜

시스템은 **추적 오라클(Trace Oracle)**과 최종 상태를 비교함으로써 **추적 정확성(Trace Exactness)**을 검증합니다. 오라클은 적절한 체크포인트로부터 동일한 반사실적 로직(zero-weight dummies)을 실행합니다. 정확성은 기록된 데이터 타입 내에서 비트 단위로 동일한 모델 파라미터($\theta$) 및 옵티마이저 상태($\Omega$)를 갖는 것으로 정의됩니다.

3. 주요 기여

1. 실행 조건부의 정확한 삭제 정의: 본 논문은 언러닝을 추적 보존 반사실로 정식화하여, 대상 상태의 정의를 달성 방법(예: 밀집 재포장)으로부터 분리했습니다.
2. 사전 계측된 리플레이 시스템: 실행 프로비넌스(WAL + 매니페스트)를 기록하고, 결정론적 제어 입력을 유지하면서 물리적으로 적색화된 저장소로부터 리플레이를 지원하는 시스템을 구축했습니다.
3. 수십억 파라미터 규모의 비트 단위 동일성 증거: 다음 세 가지 엔드포인트를 통해 상태 정확성을 실증했습니다:
   • Pythia 160M: 네 가지 삭제 기하 구조(초기, 중기, 후기, 무작위)에 대해 1억 6,200만 개의 파라미터 및 옵티마이저 상태 전체에서 정확함.
   • Pythia 2.8B: 무작위 5% 삭제 요청에 대해 27.7억 개의 파라미터 전체에서 정확함.
   • Llama 3.2 1B + TOFU: 4,000개 예시 중 400개를 생략한 후 14.9억 개의 파라미터 전체에서 정확함.
4. 리플레이 국소성 분석: 국소적인 후기 요청은 효율적인 접미사(suffix) 리플레이를 허용하지만, 넓게 분산된 대규모 요청은 거의 전체 리플레이를 강제하여 이 접근 방식의 계산 효율성을 제한한다는 구조적 분석을 제시했습니다.
5. 감사 가능한 연구 산출물: 소스 수정본, 데이터 해시, 실행 계획 및 상태 해시를 포함한 공개 자료를 제공하여, 표준화된 행동 지표(OpenUnlearning)를 인과적 증거가 아닌 기술적 진단 도구로 취급하며 투명성을 확보했습니다.

4. 결과

• 상태 정확성: 테스트된 모든 시나리오에서 적색화된 리플레이는 별도로 실행된 추적 오라클과 비트 단위로 동일한 모델 및 옵티마이저 상태를 생성했습니다. 여기에는 향후 훈련 연속성에 중요한 역할을 하는 옵티마이저 모멘트(Adam 상태)의 정확한 일치도 포함됩니다.
• 반사실적 차이: Pythia 160M에 대한 실험을 통해, 밀집 재포장(새로운 배칭을 사용하여 $D \setminus F$로 재학습)과 물리적 필터링(포워드 패스 전에 행을 제거)이 추적 오라클과 비교했을 때 0이 아닌 상태 차이를 발생시킨다는 것을 확인했습니다. 이는 "유지된 데이터로 학습하는 것"이 "추적 보존 삭제"와 동일하지 않음을 입증합니다.
• 확장성: 본 방법론은 Pythia 2.8B 및 Llama 3.2와 같은 다양한 아키텍처 패밀리로 성공적으로 확장되었으며, 핀 고정된(pinned) 단일 GPU 환경에서 십억 단위 파라미터 규모에서도 불변성이 유지됨을 증명했습니다.
• 비용 분석: 제어 프로비넌스(WAL + 매니페스트)는 모델 체크포인트에 비해 매우 작습니다(0.019% – 0.20%). 그러나 리플레이 비용은 국소성(locality)에 따라 달라집니다. 2.8B 모델에서 무작위 5% 삭제의 경우, 리플레이를 위해 0단계부터 다시 시작해야 했으며 이는 원래 실행 시간과 거의 동일했습니다. 저자는 분산된 삭제 요청의 경우 구조적으로 거의 전체 리플레이를 강제한다고 언급했습니다.

5. 의의 및 주장

본 논문은 머신 언러닝 분야에 겸손하지만 정밀한 기여를 합니다:

• 주장의 범위: 저자는 본 방법이 "저렴한 삭제"나 근사 언러닝 방법(예: Gradient Ascent, NPO)에 대한 보편적 우월성을 주장하는 것이 아님을 명시합니다. 이 방법은 사전적 계측이 필요하며, 분산된 요청에 대해서는 전체 리플레이 비용이 발생할 수 있습니다.
• 상태 vs. 행동: 본 논문은 상태 정확성과 행동적 망각을 엄격히 구분합니다. 공개된 상태들은 OpenUnlearning TOFU 벤치마크를 통해 평가되었으나, 저자는 이를 기술적 진단으로만 취급합니다. 저자는 추적 보존이 특정 망각 행동을 유발한다는 인과적 주장을 피하며, 이는 대조군(예: 매칭된 유지 전용 베이스라인 및 사전 미세조정 지표)의 부재를 이유로 들었습니다.
• 감사 가능성: 주요 의의는 감사 가능한 알고리즘적 삭제 정의를 확립했다는 점에 있습니다. 실행 계약을 고정하고 선언된 반사실적 프로그램과 비트 단위로 일치함을 증명함으로써, 본 시스템은 특정 실행 추적이 중화되었음을 검증 가능한 방식으로 제공하며, 이는 파라미터 수준의 데이터 부재 주장과는 구별됩니다.
• 한계: 저자는 본 방법이 백업, 캐시 또는 기타 저장 계층에서의 삭제를 보장하지 않으며, 그 자체로 법적 의무(예: GDPR 제17조)를 충족하지도 않는다는 점을 인정합니다. 이는 일반적인 정책 솔루션이 아니라, 특정 역사적 상태를 재구성하기 위한 시스템 프리미티브(systems primitive)입니다.

요약하자면, 본 논문은 훈련 시스템이 사전에 계측되고 실행 환경이 고정되어 있다면, 십억 파라미터 규모의 상태 정확성이 특정 추적 보존 삭제 반사실에 대해 달성 가능하다는 것을 보여줍니다. 이는 "언러닝"이 단순히 유지된 데이터의 집합이 아니라, 실행되는 구체적인 반사실적 프로그램에 의해 정의되어야 함을 확립합니다.