기술 요약: 최소한의 데이터 공개를 위한 LLM 의 기하학적 망각

문제 제기

대규모 언어 모델 (LLM) 이 실제 시스템에 배포됨에 따라, 특정 콘텐츠 (예: 개인 데이터, 민감한 주제) 를 사후에 제거하면서도 일반적인 유용성을 유지해야 한다는 규제 및 거버넌스 제약이 증가하고 있습니다. 이를 **선택적 망각 (selective unlearning)**이라고 합니다.

기존 접근법은 일반적으로 원본 학습 코퍼스에 접근이 필요한 데이터 기반 파이프라인에 의존합니다. 이러한 방법들은 일반적으로 두 가지 범주로 나뉩니다:

1. 출력 수준 거절 튜닝: 프롬프트 엔지니어링 또는 추론 시 개입을 통해 거절이나 일치하지 않는 응답을 유도합니다.
2. 파라미터 업데이트: 지정된 '망각 (forget)' 및 '유지 (retain)' 데이터셋에 대한 경사 기반 절차를 사용합니다.

그러나 이러한 전략들은 중요한 긴장 관계에 직면해 있습니다: 종종 원본 학습 데이터에 대한 접근이 필요하며 (개인정보, 라이선스, 거버넌스 제약으로 인해 사용할 수 없는 경우가 많음), 망각 과정에서 민감한 데이터를 재노출할 위험이 있습니다. 또한, 부수적인 저하를 방지하기 위해 대규모의 분포 일치 유지 스트림에 의존하는 것은 배포된 환경에서 종종 비현실적입니다. 본 논문은 최소한의 데이터 공개로 강력한 목표 억제를 달성하는 원본 코퍼스 없는 선택적 망각의 필요성을 제기합니다.

방법론: 기하학적 망각 (Geometric Unlearning, GU)

저자들은 원본 학습 코퍼스에 접근하지 않고 모델의 **프롬프트 시간 계획 상태 (prompt-time planning states)**에 직접 작동하는 표현 수준의 접근법인 **기하학적 망각 (GU)**을 제안합니다. 이 방법은 프롬프트 단계에서 LLM 은닉 표현이 응답 특성을 예측하는 선형적으로 디코딩 가능한 신호를 인코딩하며, 고차원 의미적 요소들이 종종 저차원 선형 부분 공간에 구조화되어 있다는 관찰에 기반합니다.

GU 는 세 가지 핵심 단계로 진행됩니다:

1. 목표 계획 기하학 구성

원본 학습 데이터를 사용하는 대신, GU 는 원하는 안전한 행동 (예: 거절 템플릿 또는 "모릅니다" 응답) 을 유도하도록 설계된 소수의 안전 참조 프롬프트 ($D_{ref}$) 집합을 정의합니다.

• 모델은 이러한 프롬프트를 처리하여 특정 계층에서의 **프롬프트 시간 은닉 상태 ($h^{pr}_{\ell}$)**를 추출합니다.
• 이러한 중심화된 활성화에 대한 PCA 를 통해 저랭크 부분 공간 ("안전 계획 기하학") 이 추정됩니다.
• 벡터를 이 안전 부분 공간에 매핑하는 직교 투영자 $P_{\ell}$가 계산되며, $P^{\perp}_{\ell}$는 직교 여집합에 투영합니다. 이러한 버퍼들은 사전 계산되어 고정됩니다.

2. 앵커 조건부 가상 프롬프트

완전한 망각 데이터셋을 요구하지 않기 위해, GU 는 앵커 포인트(예: 망각해야 할 특정 개체 또는 주제) 를 사용하여 컴팩트한 **가상 프롬프트 집합 ($D_{virt}$)**을 생성합니다.

• 앵커는 다양한 문맥 템플릿 (전기, 교육, 비교 등) 에 삽입되어 합성 프롬프트를 생성합니다.
• 각 프롬프트에 대해 앵커 발생을 둘러싼 토큰의 로컬 윈도우가 식별됩니다.
• 모델은 이 윈도우 내의 은닉 상태를 수집하기 위해 이러한 프롬프트를 처리합니다.

3. 기하학적 정렬 및 안정화

모델은 비목표 유용성을 유지하면서 가상 프롬프트의 은닉 상태를 고정된 안전 기하학에 정렬하도록 미세 조정됩니다.

• 핵심 망각 목적 함수: 각 앵커 히트에 대해, 윈도우 집계 은닉 상태는 부분 공간 내 성분과 부분 공간 외 성분으로 분해됩니다. 손실 함수 ($L_{core}$) 는 다음으로 구성됩니다:
  • 중심점 당김 ($L_{cent}$): 상태와 참조 평균 간의 거리를 최소화합니다.
  • 폴드백 구속 ($L_{fold}$): 안전 부분 공간에 직교하는 잔여 성분의 에너지를 패널티합니다. 이는 상태를 부분 공간에 대해 반사하고 코사인 불유사도를 최소화함으로써 달성되며, 결과적으로 상태를 안전 매니폴드 내에 위치시킵니다.
• 유지 측 안정화: 부수적 드리프트 (비목표 지식의 저하) 를 방지하기 위해, 이 방법은 동일한 체크포인트에서 초기화된 고정된 교사 모델을 사용합니다.
  • 배경 유지 손실: 목표 프롬프트의 윈도우 외 토큰에 대한 학생의 출력을 교사 모델과 정렬합니다.
  • 합성 유지 증류: 과일반화를 방지하기 위해 혼동 가능한 이름을 포함한 별도의 합성 비목표 프롬프트 풀에서 학생을 교사 모델과 정렬합니다.

주요 기여

1. 원본 코퍼스 없는 프레임워크: GU 는 원본 사전 학습 코퍼스나 대규모 유지 데이터셋에 대한 접근 필요성을 제거하여 실제 배포의 주요 장벽을 해결합니다.
2. 표현 수준 개입: 데이터에 대한 경사 하강을 통해 출력 확률이나 가중치를 직접 수정하는 대신, GU 는 은닉 계획 상태의 방향적 구조를 조작하여 목표 주제에 대해 "모호한" 또는 "불확실한" 상태를 유도합니다.
3. 데이터 효율성: 이 방법은 앵커에서 생성된 최소한의 합성 프롬프트 집합과 소수의 안전 참조 프롬프트만을 사용하여 효과적인 망각을 달성합니다.
4. 기하학적 정규화: 폴드백 구속과 직교 투영의 도입은 직교 콘텐츠를 보존하면서 표현을 안전 부분 공간으로 유도하는 수학적으로 근거 있는 메커니즘을 제공합니다.

실험 결과

저자들은 LLaMA-2-7B 및 LLaMA-3.2-1B 모델을 사용하여 두 가지 프라이버시 지향 벤치마크인 ToFU(사실적 망각) 와 UnlearnPII(개인식별정보 망각) 에서 GU 를 평가했습니다.

• 망각 효과성: GU 는 GA 및 GradDiff 와 같은 경사 기반 베이스라인과 비교하거나 능가하는 강력한 목표 억제 (낮은 추출 강도 및 Forget ROUGE) 를 달성했습니다.
• 유용성 보존: GU 는 "빈" 또는 "무의미한" 출력을 유도한 방법들보다 비목표 작업에서 높은 모델 유용성을 유지했습니다.
• 프라이버시 위험: 멤버십 추론 공격 (MIA) 에서 GU 는 프라이버시 위험 (우연의 AUC 편차로 측정) 을 거의 0 에 가까운 수준으로 줄여, 망각된 데이터가 비학습 데이터와 구별할 수 없게 되었음을 나타냈습니다.
• 출력 특성: 종종 "대체" (무관한) 답변이나 "빈" 응답을 생성하는 베이스라인과 달리, GU 는 일관되게 거절 스타일 출력(예: "확실하지 않습니다") 을 생성하여 더 구조화되고 안전 규정 준수적인 망각 행동을 나타냈습니다.
• 애블레이션 연구:
  • 샘플 예산: 앵커당 20~30 개의 합성 샘플이 망각 강도와 유용성 보존 사이의 최적 균형을 제공했습니다.
  • 계층 선택: 마지막 한 두 개의 계층을 정렬하는 것이 가장 좋은 트레이드오프를 보였으며, 이는 후기 계층 계획 상태가 생성 정책과 가장 직접적으로 결합되어 있기 때문입니다.

중요성 및 주장

본 논문은 최소한의 합성 데이터 공개로 효과적인 망각을 달성할 수 있다고 주장하며, "적은 것이 더 많다 (Less is More)"는 패러다임을 지지합니다. 프롬프트 시간 계획 상태의 기하학적 구조에 작동함으로써 GU 는 민감한 학습 데이터를 재노출할 필요성을 우회합니다.

저자들은 GU 가 표준 추출성 기반 평가에서 강력한 성능을 달성하지만, 앵커에 의해 신뢰성 있게 호출될 때 목표가 가장 효과적임을 강조합니다. 그들은 별칭, 다국어 변형 및 간접 언급과 관련된 한계를 인정하며, 이 방법이 강력한 화이트박스 감사 하에 완전한 표현적 소멸을 인증하지는 않는다고 지적합니다. 그러나 이 작업은 제약이 많고 프라이버시 민감한 환경에서 선택적 망각을 위한 실행 가능하고 효율적인 전략으로 기하학적 정렬을 통해 소수의 프롬프트 시간 상태를 제어할 수 있음을 보여줍니다.