기술 요약: 대규모 언어 모델의 암기 완화를 위한 출력 벡터 편집 (Output Vector Editing)

1. 문제 정의

대규모 언어 모델(LLM)은 훈련 데이터의 시퀀스를 암기하고 재현하며, 이는 심각한 개인정보 보호, 저작권 및 보안 위험을 초end합니다. 기존의 완화 전략은 다음과 같은 한계에 직면해 있습니다: 훈련 단계의 방지는 전체 재학습을 요구하며, 사후 언러닝(unlearning)은 근본적인 인코딩을 그대로 남겨두어 무해한 재학습을 통한 복구를 허용할 수 있고, 디코더 레벨의 필터링은 가중치를 수정하지 않고 추론 오버헤드만 추가합니다.

"위치 파악 후 편집(locate-then-edit)" 패러다임 내에서, 암기에 관한 기존 연구들은 식별된 뉴런의 활성화(activation)를 제로(zero)로 만드는 것으로 편집 단계를 축소해 왔습니다. 저자들은 이것이 불필요하게 파괴적이라고 주장합니다. 뉴런은 중첩(superposition)을 통해 여러 특징을 표현하는 데 참여하기 때문에, 활성화를 제로로 만드는 것은 해당 뉴런이 인코딩하는 모든 정보를 붕괴시킵니다. 또한, 기존 방법들은 자유 형식의 순차적 암기에는 존재하지 않는 구조화된 템플릿(예: <주체, 관계, 객체>)에 의존하는 경우가 많습니다.

2. 방법론: 출력 벡터 편집 (Output Vector Editing)

본 논문은 암기된 지속(continuation)을 담당하는 MLP 뉴런의 활성화를 제로로 만드는 대신, 그 출력 벡터를 수정하는 제약 최적화 가중치 편집 방식인 출력 벡터 편집을 제안합니다.

핵심 메커니즘

MLP 레이어의 출력은 뉴런별 기여도의 합입니다: $MLP(x) = \sum a_i \cdot v_i$, 여기서 $a_i$는 스칼라 활성화이고 $v_i$는 출력 벡터입니다.

• 활성화 vs. 벡터: 활성화 $a_i$는 뉴런이 언제 관여할지를 제어하는 반면, 출력 벡터 $v_i$는 잔차 스트림(residual stream)에 무엇을 쓸지를 결정합니다.
• 편집(The Edit): $a_i = 0$으로 설정하는 대신, 이 방법은 $a_i > 0$을 유지하면서 $v_i$를 $v'_i$로 수정합니다. 이는 선택된 "방해 토큰(distractor token)" $s$의 언임베딩(unembedding) 방향을 따라 랭크-원 업데이트(rank-one update)를 수행함으로써 달성됩니다.
• 최적화: 편집은 원래 벡터와 새로운 벡터 사이의 거리를 최소화하는 동시에, 새로운 벡터를 선택된 방해 토큰의 로짓 방향으로 목표 값 $\Delta_i$까지 투영합니다. 폐쇄형 해(closed-form solution)는 다음과 같습니다:
  $$v'_i = v_i + \frac{\Delta_i - u_s^\top v_i}{\|u_s\|^2} u_s$$
  여기서 $u_s$는 토큰 $s$의 언임베딩 벡터입니다. 이는 그래디언트 계산을 필요로 하지 않으며 가중치에 직접 적용됩니다.

파이프라인 단계

1. 암기 시퀀스 마이닝: 프리트레이닝 코퍼스에 대한 티처 포싱(teacher-forced) 예측을 사용하여, 모델의 출력이 정답(ground truth)과 일치하는(BLEU > 0.5) 시퀀스를 식별합니다.
2. 2단계 위치 파악:
   • 레이어 선택: "로짓 렌즈(logit lens)"를 사용하여 타겟 토큰이 가장 강력한 로짓 부스트를 받는 상위 5개 MLP 레이어를 식별합니다.
   • 뉴런 선택: 선택된 레이어 내에서, 잔차 스트림에 대한 L1 근접성을 기준으로 뉴런 점수를 매기고, 타겟 토큰을 직접 촉진하거나 억제하는 뉴런을 필터링합니다(타겟을 어휘 사전의 상위 또는 하위 50위 안에 둠).
3. 편집 모드: 방해 토큰 $s$에 따라 네 가지 모드를 정의합니다:
   • EOS: 종료 토큰(end-of-sequence token)으로 리다이렉트 (공격적 종료).
   • Redact (삭제): 삭제 표식(****)으로 리다이렉트.
   • Next-best (차선책): 모델의 두 번째 순위 토큰으로 리다이렉트 (그럴듯한 대안).
   • Suppress (억제): 방해 토큰을 주입하지 않고 타겟 토큰의 로짓을 직접 감쇄.

3. 주요 기여

1. 활성화와 출력의 분리: 본 논문은 MLP 뉴런에서 활성화와 출력 벡터가 분리 가능한 역할을 수행함을 입증합니다. 방해 토큰을 도입하기 위해 출력 벡터를 수정하는 것은 활성화를 제로로 만드는 것보다 덜 파괴적이고 구별되는 개입입니다.
2. 랭크-원 출력 편집: (ROME과 같은) 사실적 편집에 사용되었던 랭크-원 업데이트 메커니즘을 암기 완화를 위한 뉴런별 출력 리다이렉션에 적응시켰습니다.
3. 포괄적 평가: 네 가지 모델(SmolLM-360M, OLMo-1B, OLMo-7B, Llama2-7B)과 네 가지 편집 모드에 대해 평가를 수행하여, 제로 아블레이션(zero ablation), 랜덤 뉴런, 활성화 스티어링(activation steering) 베이스라인과 비교했습니다.
4. 메커니즘적 경계: MLP 전용 편집이 실패하는 약 14%의 "하드 리미트(hard limit)"를 식별하였으며, 이는 어텐션 메커니즘이 이러한 특정 사례에서 보완적인 역할을 함을 시사합니다.

4. 결과

OLMo-7B(6,831개 암기 시퀀스)를 중심으로 평가되었습니다:

• 제로 아블레이션 대비 우수성: 동일한 뉴런에 대해 매칭된 위치($k=5$)에서, EOS 모드는 제로 아블레이션의 31.3% 억제율에 비해 **85.7%**의 억제율을 달축성했습니다. 이 2.7배의 격차는 성공이 단순히 위치 파악 때문이 아니라 출력 벡터 편집 덕분임을 확인시켜 줍니다.
• 성공-국소성 트레이드오프(Success-Locality Trade-off):
  • 공격적 (EOS, k=10): 87.9% 억제율을 보이지만, 약 1.8%의 편집에서 파멸적인 국소성 실패(perplexity 스파이크 > 100)라는 "테일 리스크(tail risk)"를 초래합니다.
  • 실용적 (Next-best, k=5): 81.5% 억제율을 달성하면서도 파멸적 편집이 전혀 없으며, 중앙값 퍼플렉시티 변화가 미미합니다(+0.13). 이것이 최적의 운영 지점으로 식별되었습니다.
  • 보수적 (Redact, k=5): 국소성 손상이 거의 없이 31.7% 억제율을 보입니다.
• 모드 상호 보완성: 네 가지 모드는 서로 중복되지 않습니다. 모든 모드의 앙상블은 암기된 시퀀스의 **96.5%**를 커버합니다. "Next-best" 모드는 다른 어떤 모드도 도달하지 못한 161개의 시퀀스를 독자적으로 억제합니다.
• 교차 모델 일반화: 성공률은 아키텍처 패밀리보다는 모델 크기에 따라 확장됩니다. 더 작은 모델(360M)은 위치 파악 필터의 스킵 비율이 높아 성공률이 낮게 나타납니다.
• 활성화 스티어링과의 비교: 제안된 방법은 활성화 스티어링(73.3%)과 유사한 성공률을 달성하면서도, 훨씬 더 나은 국소성(중앙값 $\Delta$PPL +0.13 vs. +0.90)과 시퀀스별 타겟팅을 보여줍니다.

한계 및 실패 사례

• MLP 한계: 약 14%의 시퀀스가 모든 MLP 기반 구성에 저항합니다. 분석 결과, 이는 주로 어텐션에 의한 것이 아니며, 상위 어텐션 헤드를 아블레이션하면 이러한 실패의 60~64%를 회복할 수 있어 어텐션이 보완적 백업 역할을 함을 보여줍니다.
• 누적 위험: 단일 편집은 안전하지만, 가중치 복구 없이 대량 편집을 수행하면 파멸적인 붕괴를 초래합니다 (예: EOS 모드는 10회의 누적 편집 내에 붕괴함).

5. 의의 및 주장

본 논문은 암기된 내용을 단순한 활성화 억제를 넘어 잔차 스트림의 기여도를 정밀하게 조작함으로써, 파괴적인 부작용이나 런타임 오버헤드 없이 암기를 완화하는 메커니즘에 기반한 가중치 수준의 개입을 제공한다고 주장합니다.

• 정밀도: 활성화가 아닌 출력 벡터를 편집함으로써, 뉴런의 다른 인코딩된 특징을 보존하면서 특정 암기된 지속을 정밀하게 리다이렉트합니다.
• 실용성: "Next-best" 모드는 공격적 모드에서 나타나는 파멸적 이상치를 피하면서 높은 성공률과 낮은 위험을 갖는 구성입니다.
• 확장성: 방법론은 모델 패밀리와 규모에 걸쳐 전이되며, 성공률은 모델 크기와 상관관계를 가집니다.
• 치료 vs. 방어: 저자들은 이를 런타임 방어(적대적 추출에 대한 방어)라기보다 알려진 암기에 대한 치료법(시퀀스 마이닝을 위해 프리트레이닝 코퍼스 접근이 필요함)으로 규정합니다. 편집은 근본적인 표현을 제거하는 것이 아니라 기여도를 리다이렉트하는 것이므로, 억제된 콘텐츠가 무해한 재학습을 통해 복구될 수 있음을 인정합니다.

이 연구는 효과적인 암기 완화를 위해서는 단순한 활성화 억제를 넘어 출력 벡터 편집을 통한 잔차 스트림 기여의 정밀한 조작이 필요함을 확립합니다.