기술 요약: 게이트 활성화 재지도를 통한 추론 시 기계적 망각 (GUARD-IT)

문제 정의

대규모 언어 모델 (LLM) 은 종종 학습 데이터를 암기하여 개인정보, 저작권 침해, 안전과 관련된 중대한 위험을 초래합니다. 기계적 망각 (Machine Unlearning, MU) 은 특정 "망각 집합"($D_f$) 의 영향을 제거하면서 "유지 집합"($D_r$) 에 대한 성능을 보존하는 것을 목표로 하며, 이상적으로는 $D_f$ 없이 처음부터 재학습한 모델을 근사하는 것을 지향합니다.

기존의 MU 접근법은 주로 계산 비용이 많이 드는 경사 기반 매개변수 업데이트에 의존합니다. 이러한 방법들은 다음과 같은 몇 가지 치명적인 한계에 직면해 있습니다:

1. 계산 비용: 전체 파인튜닝 파이프라인에 대한 접근과 상당한 자원을 요구합니다.
2. 비가역성과 불안정성: 가중치 업데이트는 되돌릴 수 없으며, 모델이 일반화 능력을 상실하고 일관성 없는 출력을 생성하는 "재앙적 붕괴 (catastrophic collapse)"로 이어질 수 있습니다.
3. 양자화 취약성: 모델이 배포를 위해 양자화될 때, 저정밀도 반올림이 세밀한 가중치 조정을 지워버리므로 망각 효과가 종종 훼손되거나 무효화됩니다.
4. 지속적 망각 문제: 순차적인 망각 요청이 발생하는 시나리오에서 반복적인 매개변수 업데이트는 간섭을 누적시켜 시간이 지남에 따라 관련 없는 지식을 저하시킵니다.
5. 단순한 활성화 조종 (Activation Steering) 의 한계: 활성화 엔지니어링은 학습이 없는 대안을 제공하지만, 모든 입력에 단일 전역 조종 벡터를 적용하는 방식은 망각 코퍼스가 상충되는 의미적 방향을 포괄할 때 실패하며, 관련 없는 입력에서 의도하지 않은 행동 변화를 초래합니다.

방법론: GUARD-IT

이 논문은 GUARD-IT(게이트 활성화 재지도를 통한 추론 시 망각) 을 소개합니다. 이는 학습과 경사가 필요 없는 방법으로, 추론 중 활성화 공간에서 완전히 망각을 수행합니다. 이 방법은 선형 표현 가설에 기반하여 망각을 은닉 상태의 제어된 기하학적 변환으로 취급합니다.

핵심 구성 요소

1. 의미 클러스터링 (오프라인 단계):

   • 망각 코퍼스 $D_f$는 Sentence-Transformer 를 사용하여 임베딩되고 K-Means 를 통해 의미 클러스터로 분할됩니다. 클러스터 수 ($k$) 는 실루엣 점수를 최대화하여 자동으로 선택됩니다.
   • 각 클러스터에 대해, 특정 타겟 레이어 $\ell$(일반적으로 트랜스포머 스택의 첫 번째 사분위수) 에서의 은닉 상태 활성화를 평균화하여 **프로토타입 조종 벡터 (Prototype Steering Vector, PSV)**를 계산합니다.
   • 유지된 지식이 조종에 간섭받지 않도록 유지 코퍼스에서 참조 벡터 $\bar{h}_r$을 계산합니다.

2. 유사도 게이트 (온라인 단계):

   • 추론 시 사용자 쿼리 $x$가 임베딩되어 망각 클러스터의 중심점들과 비교됩니다.
   • **유사도 게이트 (Similarity Gate, SG)**는 유사도 임계값 $T$를 초과하는 클러스터의 중심점들만 선택합니다. 이는 망각 집합과 의미적으로 관련된 입력에만 조종이 적용되도록 하여 관련 없는 쿼리에 대한 유용성을 보존합니다.

3. 노름 보존 회전:

   • 활성화된 PSV 들은 입력 의존적 망각 방향 $p(x)$로 집계됩니다.
   • 이 방향은 공유된 성분을 제거하기 위해 유지 참조 벡터 $\bar{h}_r$에 직교하도록 투영됩니다.
   • 결과적으로 생성된 조종 벡터는 은닉 상태의 평균 활성화 노름과 일치하도록 재조정됩니다.
   • 마지막으로, 개입은 잔여 스트림 (residual stream) 에서 **순수 회전 (pure rotation)**으로 적용됩니다: 은닉 상태는 망각 방향에서 회전되지만 원래 노름은 엄격히 보존됩니다. 이는 레이어 정규화 및 어텐션 스케일링의 불안정화를 방지합니다.

주요 기여

1. 학습 및 경사 없는 공식화: 이 논문은 망각을 활성화 공간의 입력 의존적 조종 문제로 재구성하여 매개변수 업데이트, 재학습, 또는 학습 파이프라인 접근의 필요성을 제거합니다.
2. 클러스터링을 통한 입력 의존적 조종: 망각 코퍼스를 분할하고 유사도 게이트를 사용함으로써 GUARD-IT 는 국소적이고 구성적인 망각을 가능하게 합니다. 이는 각 쿼리의 의미적 내용에 맞춰 개입을 적응시킴으로써 단순한 전역 조종의 실패 모드를 피합니다.
3. 양자화 및 지속적 망각에 대한 강건성: 이 방법은 자연스럽게 지속적 망각을 지원하며 (기존 것을 수정하지 않고 새로운 PSV 를 추가함으로써), 경사 기반 방법들이 일반적으로 저하되거나 실패하는 시나리오인 모델 양자화 (4 비트 및 8 비트) 하에서도 효과적으로 유지됩니다.

실험 결과

저자들은 TOFU와 MUSE 벤치마크에서 세 가지 모델 규모 (Llama-3.2-1B, 3B, Llama-3.1-8B) 에 걸쳐 GUARD-IT 를 평가했습니다.

• 성능 대 베이스라인: GUARD-IT 는 모든 모델 규모에서 12 개의 경사 기반 베이스라인과 일치하거나 능가합니다. TOFU forget01 및 forget05 분할에서 유용성과 암기 억제 간의 조화 평균인 최고 평균 점수를 달성합니다.
• 재앙적 붕괴 회피: 망각 강도가 증가함에 따라 재앙적 붕괴 (낮은 유용성과 높은 비문율) 를 겪는 많은 경사 기반 방법들 (예: PDU, RMU) 과 달리, GUARD-IT 는 암기를 효과적으로 억제하는 동시에 높은 일관성 (비문율 > 0.80) 을 유지합니다.
• 양자화 강건성: 4 비트 및 8 비트 양자화 실험에서 GUARD-IT 는 성능 프로파일을 유지합니다. 반면, 경사 기반 방법들은 세밀한 가중치 교란이 손실됨에 따라 양자화 시 유용성 및 암기 억제에서 상당한 저하를 보입니다.
• 지속적 망각: 순차적 망각 시나리오에서 GUARD-IT 는 유용성과 암기 간의 균형을 일관되게 유지하는 반면, 경사 기반 방법들은 연속적인 업데이트 간의 간섭으로 인해 점진적인 모델 저하를 겪습니다.

중요성과 주장

이 논문은 GUARD-IT 가 매개변수 업데이트 방법 내재적 구조적 한계를 해결한다고 주장합니다. 파괴적인 가중치 재쓰기 대신 망각을 외부화되고 버전 관리 가능한 조종 벡터 집합으로 인코딩함으로써, 이 방법은 다음과 같은 이점을 제공합니다:

• 배포 유연성: 망각 강도는 고정된 학습 시 약속이 아니라 조종 계수 $\alpha$로 제어되는 연속적인 추론 시 노브가 됩니다.
• 감사 가능성 및 가역성: 모델을 재학습하지 않고 벡터 저장소를 수정함으로써 망각 요청을 검사, 업데이트 또는 롤백할 수 있습니다.
• 안정성: 노름 보존 회전은 개입이 모델의 내부 정규화 메커니즘을 방해하지 않도록 보장하여, 공격적인 활성화 조종에서 흔히 발생하는 일관성 없는 출력을 방지합니다.

저자들은 이 접근법이 $D_f$의 제거를 사전 계산된 활성화 방향 라이브러리에서의 라우팅 문제로 재정의하여, 특히 자원 제약이 있거나 양자화된 환경에서 배포된 LLM 의 개인정보 보호 준수 (예: GDPR, EU AI Act) 를 위한 실용적인 해결책을 제공한다고 결론지었습니다.

한계

이 논문은 이 방법이 선형 표현 가설에 의존한다고 인정합니다. 즉, 망각 개념이 잔여 스트림에서 대략 선형 방향을 따라 인코딩된다고 가정합니다. 이는 비선형적으로 인코딩되거나 많은 저크기 방향에 분산된 개념에는 적용되지 않을 수 있습니다. 또한, 현재 평가는 엔티티 수준의 사실적 연관성 (TOFU, MUSE) 에 초점을 맞추고 있으며, 절차적 지식, 추론 체인, 또는 적대적으로 제작된 집합으로의 전이 가능성은 여전히 열린 질문으로 남아 있습니다.