기술 요약: 프로세스 사이드카(Process Sidecars)를 통한 가역적 학습 상태의 회수

문제 정의

배포된 대규모 언어 모델(LLM)은 종종 다단계 훈련 파이프라인을 거칩니다: 베이스 모델이 공공 기술을 학습하도록 적응된 후, 개인 또는 독점적 사실(이하 "메모리 단계")에 대해 미세 조정(fine-tuning)되며, 마지막으로 해당 엔티티에 대한 거절 행동을 학습하기 위한 안전 훈련(이하 "안전 단계")을 거칩니다. 여기서 핵심적인 과제는 안전 단계가 적용된 후, 개인 메모리를 반드시 회수(예: 개인정보 보호 준수를 위해)해야 할 때 발생합니다.

목표는 배포된 결과물($\theta_{AMS}$)과 동일한 안전 훈련을 거쳤으나, 애초에 개인 메모리를 학습하지 않은 "역사실적 오라클(counterfactual oracle)"($\theta_{AS}$)을 생성하는 것입니다. 표준 가중치 공간 편집, 특히 태스크 산술(task arithmetic)(메모리 델타 $\Delta M = \theta_{AM} - \theta_A$를 $\theta_{AMS}$에서 빼는 방식)은 이 설정에서 실패합니다. 이는 안전 최적화 도구가 메모리 방향을 "운송(transport)"하는 비선형 맵 $T$로 작용하기 때문입니다. 최종 모델에 존재하는 방향은 단순히 $\Delta M$이 아니라 $DT(\theta_A)\Delta M$입니다. 나이브한 태스크 산술은 자코비안 $DT(\theta_A)$가 항등 행렬이라고 암묵적으로 가정하며, 안전 훈련이 메모리 방향을 어떻게 굴절시키는지 무시합니다.

방법론: 프로세스 사이드카(Process Sidecars)

본 논문은 운송된 메모리 방향을 추정하고 상쇄하기 위해 설계된 2-계수 편집 패밀리인 **프로세스 사이카(process sidecars)**를 소개합니다. 이 편집은 다음과 같이 정의됩니다:
$$\hat{\theta}(\lambda, \gamma) = \theta_{AMS} - \lambda \Delta M - \gamma \hat{R}_{S \leftarrow M}$$
여기서 $\hat{R}_{S \leftarrow M}$은 잔여 운송 방향(residual transport direction)의 추정치입니다.

운송된 방향의 추정

이 방법은 실현된 미래의 안전 훈련 과정을 통해 자코비안-벡터 곱(JVP) $J_S(\Delta M) = DT(\theta_A)\Delta M$을 **중앙 차분 섹트(centered secant)**를 사용하여 추정합니다. 전체 AdamW 최적화 트레이스의 정확한 자코비안을 계산하는 대신, 이 방법은 다음을 계산합니다:
$$\hat{J}_{S,\epsilon}(\Delta M) = \frac{T(\theta_A + \epsilon \Delta M) - T(\theta_A - \epsilon \Delta M)}{2\epsilon}$$
구현에서는 $\epsilon = 1$로 설정하며, 이는 메모리 편집의 자연스러운 스케일에 대응합니다. $T(\theta_A + \Delta M) = \theta_{AMS}$가 배포된 결과물이므로, 이 방법은 $\theta_A - \Delta M$에서의 단 한 번의 추가적인 안전 트레이스 계산만을 필요로 합니다. 그러면 잔여 사이드카는 $\hat{R}_{S \leftarrow M} = \hat{J}_{S,\epsilon}(\Delta M) - \Delta M$이 됩니다.

2차원 패밀리

이 편집 패밀리는 두 계수를 탐색합니다:

1. $\lambda$: 원시 메모리 델타의 차감을 제어합니다.
2. $\gamma$: 추정된 운송 잔여량의 차감을 제어합니다.

이 패밀리는 다음을 포함합니다:

• 나이브 태스크 산술(Naive Task Arithmetic): $\gamma = 0$.
• 프로세스-JVP 라인(Process-JVP Line): $\gamma = \lambda$ (전체 운송 방향을 차감).
• 풀 2D 패밀리(Full 2D Family): $\gamma$를 독립적으로 변화시켜, 검증 랜드스케이프의 유한 곡률 효과를 고려한 비대각(off-diagonal) 보정을 허용합니다.

배포 가능한 선택기(selector)는 역사실적 오라클이나 테스트 데이터에 접근하지 않고, 캐싱된 그리드로부터 검증 지표(비밀 AUC, 기술 유지력, 거절 마진)를 기반으로 $(\lambda, \gamma)$를 선택합니다.

주요 기여

1. 1차 필요성에 대한 이론적 증명

본 논문은 안전 훈련이 메모리 방향을 굴절시킬 때마다(즉, $DT(\theta_A)\Delta M \neq \Delta M$), 원시 메모리 라인에 국한된 스칼라 편집은 **1차 역사실적 오차(first-order counterfactual error)**를 남긴다는 것을 증명합니다.

• 정리 2: $(\lambda, \gamma) = (1, 1)$에서의 정확한 사이드카 편집이 AdamW를 파라미터와 모멘트에 대한 확장 상태 맵으로 취급할 때, 2차 오차($O(\|\Delta M\|^2)$) 범위 내에서 역사실적 오라클 $\theta_{AS}$를 복구함을 보여줍니다.
• 정리 3: 임의의 스칼라 태스크 산술 편집에 대해, 오차는 원시 메모리 라인에 직교하는 운송 방향의 성분에 의해 하한이 결정됨을 증명합니다. 프로세스 사이드카는 바로 이 누락된 성분을 제공합니다.

2. 2D 패밀리의 2차 이점

본 논문은 풀 2D 패밀리가 ($\gamma = \lambda$인) Process-JVP 라인보다 2차 차원에서 이점을 제공함을 입증합니다.

• 정리 4: 국소 이차 경계(local quadratic frontier)를 설정합니다. 검증 목적 함수가 특정 곡률 특성(헤시안 비등방성 및 비대각 투영)을 갖는 경우, 2D 패밀리는 1D Process-JVP 라인을 엄격히 개선하는 비대각 보정($\zeta = \lambda - \gamma \neq 0$)을 찾을 수 있습니다. 이 이점은 단순한 1차 상쇄가 아닌, 유한 곡률 검증에 의해 구동됩니다.

3. 그래디언트 상승 언러닝(Gradient-Ascent Unlearning)에 대한 비판

본 논문은 그래디언트 상승 언러닝(FT-unlearn)의 국소적 실패 모드를 식별합니다.

• 명제 5: 안전 훈련이 1차 안전 그래디언트를 감소시키면, 메모리 상승 방향이 양의 안전 곡률을 가질 때 안전 손실이 2차적으로 증가하게 됩니다. 이는 왜 FT-unlearn이 망각을 시도하는 동안 거절 행동을 붕괴시키는지 설명합니다.

실험 결과

이 방법은 세 가지 모델 규모(Qwen-2.5-0.5B, Qwen-2.5-1.5B, Llama-3.2-1B)와 9B 규모의 프로브에 대해 평가되었으며, 각 규모당 20개의 독립적인 시행을 거쳤습니다.

• 거절 보존(Refusal Preservation): 검증된 2D 프로세스 사이드카는 나이브 태스크 산술에 비해 거절 폐쇄(refusal closure)(안전 전용 오라클의 거절 마진 복구) 측면에서 60/60회 실험에서 개선된 성능을 보였습니다.
• 비밀 망각(Secret Forgetting): 두 방법 모두 유사한 비밀 AUC(우연 수준의 구별 가능성 근처)를 달려, 거절 개선이 망각의 희생을 통해 얻어진 것이 아님을 보여주었습니다.
• 2D vs. 1D: 풀 2D 패밀리는 매칭된 Process-JVP 라인(대각선 슬라이스 $\gamma = \lambda$)을 60/60 쌍 비교 실험에서 모두 이겼습니다.
• 통계적 유의성: 모델-데이터-시드 클러스터별로 집계한 결과, 15개의 양의 블록 평균을 얻었으며 정확한 부호 검정(exact sign-test) 결과 $p = 2^{-15} \approx 3.05 \times 10^{-5}$였습니다. 미지의 시드에 대한 새로운 확증적 재현 실험(총 70회 시행)에서도 $p \approx 9.5 \times 10^{-7}$로 효과가 재현되었습니다.
• 베이스라인 성능: 그래디언트 상승 언러닝(FT-unlearn)은 음의 거절 폐쇄(예: -15 ~ -55)를 초래하여, 안전 정책의 완전한 붕괴를 나타냈습니다. 모델 병합 베이스라인(TIES, DARE)은 운송된 방향을 복구하는 데 실패했으며, 나이브 태스크 산술의 1차 불완전성을 그대로 물려받았습니다.

의의 및 주장

본 논문은 프로세스 사이드카가 후속 안전 훈련 하에서 학습된 메모리를 회수하기 위한 기하학적으로 올바른 편집 패밀리라고 주장합니다.

• 1차 정확성: 이들은 운송된 메모리 방향을 상쇄하기 위해 필수적이며, 이는 스칼라 태스크 산술은 수행할 수 없는 작업입니다.
• 2차 정확성: 이상적인 사이드카는 2차 오차 범위 내에서 역사실적 오라클을 복구합니다.
• 경험적 견고성: 2D 패밀리는 유한 곡률 검증을 활용함으로써 나이브 및 Process-JVP 베이스라인보다 실질적인 이득을 제공하며, 다양한 모델 규모와 아키텍처에서 일관되게 우수한 성능을 보입니다.
• 배포 가능성: 이 방법은 재학습이나 역사실적 오라클에 대한 접근 없이, 배포된 결과물, 메모리 델타, 그리고 단 한 번의 추가 안전 트레이스만을 사용하여 인플레이스(in-place) 편집으로 작동합니다.

저자들은 비대각 계수($\zeta$)가 검증 기하학에 의해 결정되는 시행 국소적 양이며, 방법의 성공은 특정 "실현된 트레이스(realized trace)"의 안전 훈련 과정에 의존한다는 점을 강조합니다.