기술 요약: 기억 흔적 소거를 위한 프로브-기하학적 정렬

1. 문제 제기

대형 언어 모델 (LLM) 을 위한 현재 기계적 망각 (machine unlearning) 프레임워크는 치명적인 측정 간극을 겪고 있습니다: 이러한 프레임워크는 행동적 망각(모델이 목표 콘텐츠를 생성하는 것을 멈추는지 여부) 을 평가하지만, 표현적 망각(모델이 해당 콘텐츠를 내부적으로 인코딩하는 것을 멈추는지 여부) 을 평가하지는 못합니다. 최근 연구에 따르면, 행동적 억제는 종종 적대적 프로브에 의해 복구 가능한 내부 흔적을 남깁니다. 본 논문은 생성을 억제하는 것만으로는 개인정보 보호나 안전을 보장하기에 부족하다고 주장합니다. 왜냐하면 근본적인 기억 흔적 (memorization signatures) 이 모델의 잔류 스트림 (residual stream) 에 남아 있어 적대자에 의해 악용될 가능성이 있기 때문입니다.

핵심적인 도전 과제는 다음과 같이 두 가지입니다:

1. 탐지: 기존 프로브는 종종 진정한 교차 시퀀스 기억 흔적과 피상적인 문자열 수준의 아티팩트 또는 모델 수준의 변화를 구별하지 못합니다.
2. 소거: 행동적 회상을 성공적으로 억제하는 외과적 개입 (예: 헤드 레벨 망각) 은 종종 근본적인 표현적 흔적을 소거하지 못하며, 이는 여전히 선형적으로 분리 가능하고 탐지 가능합니다.

2. 방법론

2.1 교차 시퀀스 Leave-One-Out (LOO) 프로빙

기억을 엄격하게 탐지하기 위해, 저자들은 교차 시퀀스 LOO 프로빙 프로토콜을 도입합니다. 특정 토큰 정체성에 과적합될 수 있는 단일 시퀀스 프로브와 달리, 이 프로토콜은 일반화 가능한 기억 흔적을 테스트합니다:

• 절차: 선형 프로브는 여러 시퀀스 세트에서 활성화 쌍 (기억된 것 vs 통제) 을 사용하여 학습되는데, 이때 하나의 기억된 시퀀스는 제외됩니다. 그런 다음 프로브는 홀드아웃된 시퀀스에 대해 테스트됩니다.
• 의의: 프로브가 홀드아웃된 시퀀스를 기억된 것으로 분류한다면, 이는 특정 학습 예제뿐만 아니라 기억 과정 자체의 특징을 학습한 것입니다.
• 통제: 이 프로토콜에는 비기억 시퀀스로 훈련된 '순수 구별 가능성 (pure-distinguishability)' 기준선 (일치된 어휘 구조를 가짐) 과 기억 특이적 간극을 분리하기 위한 '셔플된 레이블' 널 (null) 이 포함됩니다.

2.2 인과적 분리 가능성 분석

본 논문은 프로브가 식별한 방향이 회상에 인과적으로 책임이 있는지 여부를 조사합니다. Pythia-70M 에서 **인과적 추적 (causal tracing)**과 **포워드 훅 (forward hooks)**을 사용하여, 저자들은 적합된 프로브 방향을 잔류 스트림에서 투영합니다.

• 발견: 이 개입은 지역적 기억 흔적을 붕괴시킵니다 (간극이 +0.44 에서 -0.19 로 감소). 이는 비밀의 로그 확률인 행동적 회상과 일반 능력을 대부분 intact 하게 유지하면서 말입니다. 이는 프로브가 읽을 수 있는 흔적과 회상을 생성하는 메커니즘이 인과적으로 분리 가능한 방향을 차지함을 증명합니다.

2.3 프로브-기하학적 정렬 (PGA)

출력을 억제하지만 표현은 intact 하게 남기는 기존 망각 방법의 실패를 해결하기 위해, 저자들은 **프로브-기하학적 정렬 (PGA)**을 제안합니다.

• 메커니즘: PGA 는 각 깊이에서 프로브의 실시간 판독 방향을 따라 활성화를 특히 정렬시키는 외과적 소거 기술입니다.
• 목적: 이는 각 깊이 $d$에서 프로브의 가중치 벡터 ($\hat{w}_d$) 로부터 기억된 활성화와 깨끗한 활성화 간의 차이의 스칼라 투영을 최소화하면서, 능력을 유지하기 위해 깨끗한 데이터에 대한 교차 엔트로피를 보존합니다.
• 제약 조건: 전체 $d_{model}$ 차원에 작용하는 등방성 정렬 방법 (예: AAE) 과 달리, PGA 는 깊이당 단일 스칼라(프로브 판독 방향을 따른 투영) 에 작용합니다.
• 적대적 확장: PGA 처리된 활성화에 대해 프로브를 다시 적합시키는 공격자를 무력화하기 위해, 저자들은 새로 적합된 프로브의 직교 성분을 투영 기저에 반복적으로 보강하는 적대적 PGA를 도입합니다.

3. 주요 기여

1. 교차 시퀀스 LOO 프로토콜: 홀드아웃 시퀀스 전반에 걸쳐 일반화되는 진정한 기억 흔적을 탐지하고, 이를 모델 수준의 변화나 표현적 드리프트와 구별하는 검증된 방법.
2. 인과적 분리 가능성: 프로브가 읽을 수 있는 선형 방향이 행동적 회상에 필요한 방향과 구별된다는 실증적 증거. 프로브 방향을 투영하여 흔적을 붕괴시키면 회상에 큰 영향을 주지 않습니다.
3. 구별되는 기억 체제: 자연적으로 사전 훈련된 기억과 파인튜닝을 통해 주입된 비밀이 표현적으로 구별되는 흔적을 남긴다는 증명. 자연 기억으로 훈련된 프로브는 주입된 비밀을 기억된 것으로 분류하지 못합니다.
4. 프로브-기하학적 정렬 (PGA): 제로샷 능력을 보존하면서 네 가지 모델 규모 (0.8M 토이 모델부터 7.24B Mistral-7B 까지) 에 걸쳐 교차 시퀀스 프로브 정확도를 무작위 확률 미만으로 낮추는 구성적 외과적 소거 방법.

4. 주요 결과

4.1 흔적의 존재

교차 시퀀스 기억 흔적은 규모 전반에 걸쳐 실재하고 일관적입니다:

• Pythia-70M: 기억 특이적 간극 +0.32(L6 에서 피크 +0.54).
• GPT-2 Medium: 간극 +0.19(L21 에서 피크 +0.45).
• Mistral-7B: 간극 +0.30(L11 에서 피크 +0.47).
• 클러스터 특이성: 이 흔적은 공식적 어휘의 영어와 라이선스에서는 강력하지만, 코드와 가짜 라틴어에서는 거의 영 (null) 입니다.

4.2 표준 망각 방법의 실패

표준 망각 방법 (Gradient Ascent, NPO, RMU, MEMIT, 그리고 저자들의 MLDU) 은 행동적 회상을 성공적으로 억제합니다 (예: $P(secret) < 10^{-4}$) 하지만 프로브를 붕괴시키지는 못합니다. 토이 모델과 규모에서 이러한 방법들은 선형 프로브 정확도를 천장 (1.000) 또는 천장에 근접하게 남겨두어, 행동적 억제가 표현적 소거와 동일하지 않음을 확인시킵니다.

4.3 PGA 의 성공

PGA 는 모든 테스트된 규모에서 흔적을 무작위 확률 미만 (<0.50) 으로 성공적으로 붕괴시킵니다:

• 토이 모델 (0.8M): 프로브가 깊이 4 에서 0.17로 감소.
• Pythia-70M: 프로브가 L6 에서 0.11 ± 0.04로 감소.
• Mistral-7B: 프로브가 중간 레이어에서 0.42로 감소.
• GPT-2 Medium: MD-PGA (고유기저 변형) 를 사용하여 프로브가 L21 에서 0.061로 감소.
• 견고성: 이 붕괴는 여섯 가지 적대적 프로브 변형 (다른 시드, 정규화, MLP) 에 대해 유지됩니다. 적대적 PGA 는 모든 기억 관련 깊이에서 재적합 공격자 프로브를 무력화합니다.

4.4 능력 보존

PGA 는 미미한 저하로 모델 능력을 보존합니다:

• 다섯 가지 제로샷 벤치마크 (HellaSwag, PIQA, BoolQ, ARC-Easy, WinoGrande) 에서 평균 $\Delta$정확도는 +0.2pp입니다.
• 최대 단일 작업 회귀는 2.9pp(적대적 변형의 BoolQ 기준) 입니다.
• 퍼플렉시티 (PPL) 는 안정적으로 유지됩니다 (예: 토이 모델에서 1.40 $\to$ 1.42).

5. 중요성과 주장

본 논문은 모델이 말하는 것을 억제하는 것이 모델이 표현하는 것을 지우는 것과 같지 않다고 주장합니다. 교차 시퀀스 흔적은 사전 훈련된 표현의 실재적이고, 인과적으로 분리 가능하며, 체제 특이적인 속성입니다.

• 감사 가능성: 교차 시퀀스 프로브는 사후 망각 표현 검증을 가능하게 하여, 제 3 자가 모델이 진정으로 잊었는지 아니면 단순히 출력을 억제하는지 감사할 수 있게 합니다.
• 구성적 소거: PGA 는 처음부터 재학습하거나 일반 능력을 희생하지 않고 이러한 흔적을 외과적으로 (깊이당 하나의 스칼라) 제거하는 구체적인 방법을 제공합니다.
• 메커니즘적 통찰: 이 작업은 트랜스포머에서 정보가 잔류 스트림에 인코딩되어 저장 (storage) 되고 어텐션 헤드를 통해 출력으로 라우팅 (expression) 된다는 기억의 분해를 시사합니다. 라우팅만 교란시키는 망각 방법은 저장을 지우지 못합니다.

저자들은 이 작업을 모든 망각 시나리오에 대한 폐쇄된 해결책이 아니라, 사후 망각에서 실증적으로 감사 가능한 개인정보 보호를 향한 초기 단계로 위치시키며, 이 분야를 이진적 행동 통과/실패에서 구성적 감사 파이프라인으로 재정의합니다.