A Comprehensive Evaluation of LLM Unlearning Robustness under Multi-Turn Interaction

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 저작권 침해, 개인정보 (PII), 생물학적 위협 등 유해한 정보를 학습할 수 있습니다. 이를 제거하기 위해 처음부터 모델을 다시 학습시키는 것은 비용이 너무 많이 들기 때문에, 머신 언러닝 (Machine Unlearning) 이 대안으로 제시되었습니다.
• 문제: 기존 언러닝 연구와 벤치마크는 주로 정적 (Static) 인 단일 턴 (Single-turn) 질문 - 답변 쌍을 기반으로 평가합니다. 즉, 모델이 특정 지식을 기억하지 못하는지 한 번의 질문으로만 확인합니다.
• 핵심 질문: 실제 배포 환경에서는 사용자가 AI 와 다중 턴 (Multi-turn) 대화를 나누며 피드백을 주고받거나 문맥을 축적합니다. 이러한 실제 상호작용 환경 (Self-correction, Dialogue-conditioned querying) 에서 언러닝된 지식이 다시 복원되거나 (Recovery), 모델의 안전성이 유지되는지에 대한 연구는 부족합니다.
• 가설: 정적 평가에서는 잊혀진 것으로 보이는 지식이라도 상호작용을 통해 다시 활성화될 수 있으며, 기존 언러닝 방법은 이러한 동적 환경에서 견고하지 않을 수 있습니다.

2. 방법론 (Methodology)

저자는 LLM 의 언러닝 견고성을 평가하기 위해 두 가지 주요 상호작용 패턴을 실험했습니다.

• 사용 모델 및 데이터:

  • 모델: LLaMA-3-8B-Instruct, Zephyr-7B-Beta.
  • 언러닝 대상 (Forget Set): WMDP (Weapons of Mass Destruction Proxy) 벤치마크의 Bio(생물) 및 Cyber(사이버) 하위 집합.
  • 보존 데이터 (Retain Set): Wikidata (일반 지식 보존을 위해).
  • 성능 평가: MMLU 벤치마크를 사용하여 일반적 유용성 (Utility) 유지 여부를 측정.

• 언러닝 기법:

  • GA (Gradient Ascent): 손실 함수를 최대화하여 지식을 제거.
  • NPO (Negative Preference Optimization): 선호도 최적화 프레임워크 내에서 부정적 샘플로 처리.
  • RMU (Representation Misdirection for Unlearning): 내부 표현 (Activation) 을 무작위 벡터로 왜곡시킴.
  • 규제 전략: GA 와 NPO 에는 GD(Gradient Descent) 또는 KL-divergence 를 적용하여 일반 능력 저하를 방지.

• 실험 설계 (두 가지 연구 질문):

  1. RQ1: 자기 수정 (Self-Correction) 하의 견고성
     • 프로토콜: 2 턴 프로토콜 사용.
     • 전략 1 (S1): 모델이 틀린 답을 내면 명시적으로 "틀렸습니다"라고 피드백하고 다시 답하게 함.
     • 전략 2 (S2): S1 과 동일하되, 1 턴에서 선택한 답을 후보에서 제외하고 다시 답하게 함.
     • 전략 3 (S3): 명시적 피드백 없이 "답을 다시 고려해 보라"고 요청 (내성적 수정).
  2. RQ2 & RQ3: 대화 조건부 쿼리 (Dialogue-Conditioned Querying) 하의 견고성 및 유용성
     • 프로토콜: 평가 질문 전에 5 턴의 대화 이력을 생성한 후 최종 질문을 던짐.
     • 4 가지 컨텍스트 조건:
       • Full Alignment: 주제 (WMDP) 와 형식 (MCQ) 모두 일치.
       • Semantic-Only: 주제는 일치하지만 형식은 QA(서술형) 로 변경.
       • Structural-Only: 주제는 무관 (MMLU) 하지만 형식은 MCQ 로 일치.
       • Neutral Baseline: 주제와 형식 모두 무관.

3. 주요 결과 (Key Results)

RQ1: 자기 수정 (Self-Correction)

• GA 및 NPO 기반 모델: 단일 턴 평가에서는 지식이 잘 잊혀진 것으로 보였으나, 사용자가 "틀렸다"고 지적하거나 "다시 생각해 보라"고 요청하면 지식이 쉽게 복원됨. 모델이 사용자의 교정 지시를 따르는 경향 (Instruction-following) 이 언러닝 메커니즘을 우회함.
• RMU 기반 모델: 자기 수정에 대해 상대적으로 견고했으나, 이는 지식의 진정한 삭제보다는 행동적 경직성 (Behavioral Rigidity) 때문임. 모델이 교정 신호에 반응하지 않아 안전해 보이지만, 실제 적응력이 떨어짐.
• 학습률 (Unlearning Strength) 의 영향: 학습률을 높여 언러닝 강도를 증가시키면 복원 가능성은 줄어들지만, 이는 지식 삭제 때문이 아니라 모델이 반응하지 않는 경직된 상태가 되기 때문임.

RQ2: 대화 조건부 쿼리 (Dialogue-Conditioned Interaction)

• 지식 복원: 정적 평가 (Base) 에 비해 대화 이력이 있는 조건에서 GA 및 NPO 모델의 정확도가 상승하여 잊혀진 지식이 다시 활성화됨.
• 구조적 유사성의 영향: 대화의 형식적 구조 (MCQ vs QA) 가 일치할 때 지식 복원이 가장 강력하게 발생함. 의미적 관련성보다 구조적 유사성이 복원 유발에 더 큰 영향을 미침.
• RMU 의 특성: 대화 조건에서도 상대적으로 견고하게 유지되지만, 대화 이력에 잊혀야 할 콘텐츠가 포함되면 오히려 모델의 생성 품질이 급격히 저하됨.

RQ3: 유용성 보존 (Utility Preservation)

• GA/NPO: 대화 상호작용은 모델의 일반적 성능 (MMLU 점수) 을 부분적으로 회복시키는 경향이 있음. 하지만 이는 억제된 유해 지식의 복원과 동시 발생하는 트레이드오프임.
• RMU: 대화 조건 (특히 잊어야 할 주제와 관련된 Few-shot) 에 노출되면 모델의 응답 품질과 생성 능력이 심각하게 저하됨.

4. 주요 기여 (Key Contributions)

1. 새로운 평가 패러다임 제시: 정적 단일 턴 평가를 넘어, 자기 수정 (Self-correction) 과 대화 조건부 쿼리 (Dialogue-conditioned querying) 라는 두 가지 실제 상호작용 패턴 하에서 언러닝 견고성을 체계적으로 평가함.
2. 정적 평가의 한계 규명: 정적 평가에서는 안전해 보이는 언러닝 모델이 실제 대화 환경에서는 지식이 쉽게 복원될 수 있음을 증명함. 이는 기존 평가 방식이 실제 효과를 과대평가하고 있음을 시사함.
3. 견고성과 유용성의 트레이드오프 발견: 더 강력한 언러닝 (높은 학습률) 은 복원 가능성을 낮추지만, 이는 지식의 진정한 삭제보다는 모델의 경직성 (Behavioral Rigidity) 을 초래하여 사용자의 교정 신호에 반응하지 못하게 만듦.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 재고: 현재 LLM 의 안전성 검증은 주로 정적 테스트에 의존하고 있으나, 실제 사용자 상호작용 (피드백, 문맥 축적) 을 고려하지 않으면 유해 정보가 다시 유출될 위험이 큼.
• 향후 방향: 진정한 언러닝을 위해서는 단순한 출력 확률 억제가 아닌, 내부 표현의 완전한 삭제와 상호작용 환경에서의 안정성을 동시에 보장하는 새로운 기법 개발이 필요함.
• 결론: 언러닝 기술은 정적 환경에서는 효과적일 수 있으나, 동적인 인간-AI 상호작용 환경에서는 그 견고성이 크게 저하될 수 있음을 경고하며, 실제 배포 전 멀티턴 상호작용 테스트의 필수성을 강조합니다.