Unlearning Isn't Invisible: Detecting Unlearning Traces in LLMs from Model Outputs

기술 요약: 언러닝은 보이지 않는 것이 아니다: 모델 출력을 통한 LLM의 언러닝 흔적 탐지

문제 정의
대규모 언어 모델(LLM)을 위한 머신 언러닝(Machine Unlearning, MU)은 특정의 바람직하지 않은 데이터나 지식(예: 개인 식별 정보, 저작권 콘텐츠 또는 유해한 능력)을 제거하는 동시에 표준 작업에 대한 모델의 효용성을 보존하는 것을 목표로 한다. 기존의 근사적 언러닝 방법들(예: 그래디언트 상승, 선호도 최적화, 표현 편집)은 '망각 세트(forget set)'의 영향을 억제하도록 설계되었으나, 그 효과는 대개 모델이 망각 관련 질의에 답변하지 못하는지 여부만을 기준으로 평가된다.

본 논문은 이전에 탐구되지 않았던 취약점인 **언러닝 흔적 탐지(unlearning trace detection)**를 식별한다. 저자들은 언러닝이 모델의 행동과 내부 표현 모두에 지속적인 "지문"을 남긴다고 주장한다. 이러한 흔적은 공격자가 망각과 무관한(forget-irrelevant) 프롬프트(삭제된 지식과 관련이 없는 입력)를 사용하여 쿼리를 보낼 때조차, 순수하게 모델의 입출력 행동을 관찰함으로써 해당 모델이 언러닝 과정을 거쳤는지 여부를 판단할 수 있게 한다. 만약 공격자가 모델이 언러닝되었다는 것을 감지할 수 있다면, 그들은 삭제된 정보를 역공학(예: 탈옥 또는 재학습 공격을 통해)하기 위해 전략적으로 자원을 투입할 수 있으며, 이는 언러닝 프로세스의 프라이버시 및 안전 보장 체계를 무력화한다.

방법론
본 연구는 언러닝 흔적 탐지를 지도 학습 기반의 분류 작업으로 프레임화한다. 핵심 가설은 언러닝된 모델이 원래의 모델과 비교하여 뚜렷한 행동적 및 표현적 변화를 보인다는 것이다.

1. 실험 설정:

   • 모델: 네 가지 인스트럭션 튜닝된 LLM이 사용되었다: Zephyr-7B, LLaMA-3.1-8B, Qwen2.5-14B, Yi-34B.
   • 언러닝 방법: 두 가지 최첨단 접근 방식이 평가되었다:
     • RMU (Representation Reengineering): 망각 세트 샘플의 중간 활성화 값을 고정된 무작위 벡터로 수정한다.
     • NPO (Negative Preference Optimization): 망각 세트 샘플을 선호도 최적화 프레임워크 내에서 부정적 예시로 취급하여, 모델을 언러닝 전의 행동으로부터 멀어지게 한다.
   • 데이터셋: 망각 세트는 WMDP 벤치마크에서 추출한 3,668개의 위험한 생물 보안/사이버 보안 질문으로 구성되었다. 망각과 무관한 데이터는 MMLU(일반 효용)와 UltraChat에서 추출되었다.
   • 입력: 본 연구는 두 가지 유형의 출력으로 탐지를 평가한다:
     • 텍스트 응답 (Textual Responses): 모델에 의해 생성된 이산적인(discrete) "하드" 출력.
     • Pre-logit 활성화 (Pre-logit Activations): 최종 소프트맥스 레이어 이전에 추출된 연속적인(continuous) "소프트" 활성화 벡터(은닉 상태).

2. 탐지 파이프라인:

   • 경량화된 지도 학습 분류기(2층 MLP)가 "원본" 모델과 "언러닝된" 모델을 구분하도록 훈련된다.
   • 텍스트 응답의 경우, 생성된 텍스트를 임베딩하기 위해 LLM2Vec 인코더가 사용된다.
   • 활성화 값의 경우, MLP가 pre-logit 벡터에 직접 훈련된다.
   • 분류기는 WMDP(망각 관련), MMLU, UltraChat(망각 무관)의 보지 못한 프롬프트에 대해 테스트된다.

3. 스펙트럴 분석 (Spectral Analysis):

   • 탐지의 메커니즘을 이해하기 위해, 저자들은 중심화된 활성화 행렬에 대해 특이값 분해(SVD)를 수행한다. 이들은 활성화를 상위 우측 특이 벡터(SV1)에 투영하여 원본 모델과 언러닝된 모델 사이의 분포적 변화("스펙트럴 지문")를 시각화한다.
   • 또한, 저차원 비선형 매니폴드(manifold)를 조사하기 위해 UMAP(Uniform Manifold Approximation and Projection)을 활용한다.

주요 결과

1. 높은 탐지 가능성: 단순한 지도 학습 분류기는 망각과 무관한 입력으로 프롬프트를 보낼 때조차 원본 모델과 언러ng된 모델을 높은 정확도로 구별할 수 있다 (>많은 경우 90% 이상).

   • NPO 모델: 강력한 탐지성을 보인다. 텍스트 응답만으로 훈련된 분류기는 모든 모델 크기와 프롬프트 유형에 대해 거의 완벽한 정확도(99–100%)를 달성했다. 이는 NPO가 부과하는 공격적이고 전역적인 행동 변화에 기인한다.
   • RMU 모델: 더 미묘한 흔적을 보인다. 망각 무관 프롬프트에 대한 텍스트 기반 탐지는 효과가 떨어지지만(예: MMLU에 대한 Zephyr-7B의 경우 약 54%, 무작위 추측에 가까움), pre-logit 활성화로 훈련된 분류기는 망각 무관 데이터에 대해서도 RMU 모델에 대해 거의 완벽한 정확도(>95%)를 달성한다.

2. 스펙트럴 지문 (Spectral Fingerprints):

   • NPO: 첫 번째 특이 벡터(SV1)를 따라 최종 레이어 활성화에서 뚜렷한 분포적 변화를 보여준다.
   • RMU: 최종 레이어에서는 명확한 변화를 보이지 않는다. 그러나 중간 레이어(특히 FFN의 다운 프로젝션 서브레이어, 예: L7.D_PROJ)에서 뚜렷한 스펙트럴 지문이 관찰된다.
   • 매니폴드 분리: 최종 활성화에서의 선형적 분리가 없음에도 불구하고, UMAP 분석은 원본과 언러닝된 활성화가 분리 가능한 저차원 비선형 매니폴드 상에 존재함을 보여준다. 이는 선형 스펙트럴 분석이 결정적이지 않아 보일 때도 신경망 분류기(비선형 경계를 학습할 수 있는)가 성공하는 이유를 설명한다.

3. 모델 규모 및 일반화:

   • 더 큰 모델(예: Yi-34B)은 더 작은 모델(예: Zephyr-7B)보다 더 강한 탐지성을 보인다.
   • 한 모델 제품군(예: Zephyr)의 pre-logit 활성화로 훈련된 분류기는 다른 모델 제품군(예: Yi, Qwen)의 언러닝을 탐지하는 데 높은 정확도로 일반화될 수 있으나, 성능은 특정 모델 아키텍처에 따라 달라진다.

4. 망각 데이터 탐지:

   • 모델이 언러닝되었음을 식별한 후, 본 논문은 엔트로피와 예측 확률의 통계적 변화를 활용하여 특정 응답이 "망각 도메인"(유해한 콘텐츠)에서 왔는지 아니면 일반 지식에서 왔는지 탐지하는 것이 가능하다는 것을 보여준다(정확도 >70%).

의의 및 주장
본 논문은 현재의 LLM 언러닝 패러다임에 존재하는 결정적인 취약점을 밝혀냈다고 주장한다. 저자들은 다음과 같이 주장한다:

• 언러닝은 보이지 않는 것이 아니다: 지식을 제거하는 과정은 모델의 출력 텍스트와 내부 활성화 공간 모두에 측정 가능하고 지속적인 시그니처를 남긴다.
• 역공학 위험: 언러닝 흔적을 탐지하는 능력은 공격자가 "언러닝된" 모델을 식별하게 하며, 결과적으로 삭제된 정보를 복구하기 위해 계산 자원을 집중시켜 의도된 프라이버시 또는 안전 보호 체계를 효과적으로 우회하게 만든다.
• 현재 방법론의 한계: 본 연구는 현재의 근사적 언러닝 방법들이 특정 답변을 억제하는 데는 효과적이지만, 언러닝 과정 자체의 "지문"을 지우는 데는 실패한다는 점을 강조한다.
• 포렌식의 필요성: 이러한 결과는 언러닝을 평가할 때 단순히 망각 관련 쿼리에 대한 성능을 확인하는 것을 넘어, 진정한 삭제를 보장하기 위해 모델의 행동적 및 표현적 흔적에 대한 포렌식 분석이 필요함을 시사한다.

저자들은 언러닝 흔적이 현재의 언러닝 알고리즘의 근본적인 부산물이며, 고위험 도메인에서 잊혀진 정보를 역공학하는 데 새로운 위험 벡터를 도입한다고 결론짓는다.