기술 요약: LLM은 진정으로 망각할 수 있는가? 적대적 평가를 통한 언러닝 격차의 규명

문제 정의

기계 언러닝(Machine unlearning)은 대규모 언어 모델(LLM)의 성능을 유지하면서 특정 학습 데이터의 영향력을 제거하는 것을 목표로 한다. 현재 연구의 핵심 가정은 표준 벤치마크 지표(예: 높은 Forget Quality)에서의 강력한 성능이 대상 지식이 접근 불가능해졌음을 나타낸다는 것이다. 그러나 기존의 평가는 주로 깨끗하고 비적대적인 쿼리에 의존한다. 이는 중요한 격차를 남긴다: 즉, 표준 테스트 하에서 "망각된" 것처럼 보이는 정보가 역할 수행(role-playing), 프롬프트 인젝션, 또는 재구성을 통한 전략적 프롬프팅을 통해 복구될 수 있는지 여부가 불분명하다는 점이다. 또한, 선행 연구들은 프롬프트 기반 및 파인튜닝 기반 언러닝 방법을 서로 다른 실험 설정(서로 다른 모델, 데이터셋, 지표) 하에서 평가하여, 이들의 효과를 직접 비교하는 것을 어렵게 만든다.

방법론

저자들은 이러한 격차를 해결하기 위해 TOFU(Task of Fictitious Unlearning) 데이터셋과 Llama-3.2-3B-Instruct 모델을 활용한 통합 평가 프레ме워크를 제안한다. 방법론은 세 단계로 진행된다:

1. 통합 벤치마킹:

   • 설정: 베이스 모델을 전체 TOFU 데이터셋(200명의 가상 저자)에 대해 파인튜닝한다. 이 체크포인트는 모든 언러닝 실험의 공통 시작점이 된다.
   • 평가 대상 방법론: 1%, 5%, 10%의 forget split에 대해 6가지 방법을 비교한다:
     • 프롬프트 기반: 인컨텍스트 언러닝(ICUL) 및 소프트 프롬프팅 언러닝(SPUL). 이들은 모델 가중치를 수정하지 않는다.
     • 파인튜닝 기반: 부정 선호 최적화(NPO), 단순 NPO(SimNPO), 표현 오용을 통한 언러닝(RMU), 및 교대 선호 최적화(AltPO). 이들은 모델 파라미터나 내부 표현을 수정한다.
   • 지표: OpenUnlearning 프레임워크를 사용하여 Forget Quality(FQ), Model Utility(MU), Forget Truth Ratio(FTR), 그리고 Privacy Leakage(PrivLeak)를 측정한다.

2. 적대적 강건성 평가:

   • 범위: (높은 clean-query FQ를 보였던) 네 가지 파인튜닝 기반 방법론에 집중하며, 1% forget split을 대상으로 한다.
   • 공격 생성: "해커" 모델(Llama-3.1-8B-Instruct)을 사용하여 프롬프트를 생성하고 반복적으로 정교화하는 적대적 파이프라인을 사용한다.
   • 공격 스위트(Attack Suites): 4개 카테고리에 걸친 8가지 공격 유형을 채택한다:
     • 역할 수행(Role-playing): 페르소나 프레이밍.
     • 프롬프트 인젝션(Prompt Injection): 권위 프레이밍 및 시스템 명령.
     • 재구성(Rephrasing): 직접적, 가설적, 다지선다형, 구조화된 생각의 사슬(CoT) 형식.
     • 지식 라우팅(Knowledge Routing): 완성형 스타일의 프롬프트.
   • 평가 지표: **공격 성공률(ASR)**을 도입한다. "판사(judge)" 모델(QLoRA로 튜닝된 TOFU 모델)이 피해 모델의 응답에 대한 누출 점수(0–1)를 할당한다. 누출 점수가 0.2를 초과하면 공격이 성공한 것으로 간주한다. ASR은 성공한 공격의 비율이다.

3. 검증 및 다국어 프로빙:

   • 판사 검증: LLM 판사의 누출 점수는 ROUGE-L과 상관관계가 있으며, 10개의 적대적 응답에 대한 수동 감사를 통해 검증된다.
   • 다국어 테스트: 1% forget 세트를 7개 언어(독일어, 프랑스어, 스페인어, 힌디어, 중국어, 아랍어, 일본어)로 번로하여, 깨끗한 쿼리 하에서의 교차 언어적 복구 여부를 테스트한다.

주요 기여

1. 통합적 교차 패러다임 평가: 본 논문은 프롬프트 기반 및 파인튜닝 기반 언러닝 방법을 공유된 프레임워크 하에서 직접 비교하는 환경을 제공한다. 이를 통해 프롬프트 기반 방법의 저자가 보고한 지표(예: 토큰 수준 정확도)가 효과를 상당히 과대평가할 수 있음을 밝혀냈다. 즉, 프롬프트 기반 방법은 forget set의 크기가 커짐에 따라 Forget Quality가 거의 0에 가깝게 저하되는 반면, 파인튜닝 방법은 높은 FQ를 유지한다.
2. 공격 성공률(ASR) 도입: 저자들은 전략적 프롬프팅 조건 하에서 "망각된" 정보의 복구 가능성을 정량화하기 위해 ASR을 도입한다. 이들은 높은 Forget Quality가 반드시 전략적 프롬프팅에 대한 저항성을 의미하지는 않는다는 것을 입증한다.
3. 적대적 스트레스 테스트: 본 연구는 깨끗한 쿼리 기반의 망각과 적대적 강건성 사이의 상당한 격차를 드러낸다. 파인튜닝 방법들이 높은 FQ(0.91–0.99)를 달eric함에도 불구하고, 적대적 복구에는 매우 취약하여 ASR이 72.8%에서 84.3%에 달한다(보호되지 않은 베이스 모델의 87.5%와 비교 시).
4. 다국어 vs 적대적 비교: 본 논문은 적대적 영어 프롬프팅과 깨끗한 다국어 재구성을 대조한다. 적대적 프롬프트는 높은 누출을 유발하는 반면, 7개 언어로의 깨끗한 번역은 현저히 낮은 누출률(2.95%)을 기록했다. 이는 주요 강건성 격차가 교차 언어적 쿼리가 아닌 적대적 프롬프팅에 있음을 시사한다.

결과

• Clean-Query 성능: 파인튜닝 방법(NPO, SimNPO, AltPO)은 일관되게 높은 Forget Quality(>0.91)와 안정적인 Model Utility를 달성한다. 프롬프트 기반 방법(SPUL, ICUL)은 forget set의 크기가 증가함에 따라 Forget Quality가 급격히 하락한다(10%에서 ~0.001까지 감소).
• 적대적 취약성: 높은 FQ에도 불구하고, 4가지 파인튜닝 방법은 높은 ASR을 보인다:
  • NPO: 72.8%
  • SimNPO: 74.7%
  • AltPO: 75.3%
  • RMU: 84.3%
  • 비교: 이 값들은 보호되지 않은 베이스 모델(87.5%)보다 단 3.2~14.7 퍼센트 포인트 낮을 뿐이다.
• 공격 효과성: 프롬프트 인젝션 공격(Authority, System Injection)이 가장 효과적이었다(평균 ASR ~86.6%). 재구성 공격은 전반적으로 덜 효과적이었으나 변동성이 컸다. 다지선다형(Multiple Choice) 프롬프트는 복구에 가장 강력한 저항성을 보였으나(ASR 45–70%), 직접적(Direct) 및 가설적(Hypothetical) 프롬프트는 여전히 매우 효과적이었다.
• 지표 검증: LLM 판사의 누출 점수는 ROUGE-L과 강한 피어슨 상관관계($r = 0.924$)를 보였다. 10개 사례에 대한 수동 감사 결과, 자동화된 ASR 결정과 인간의 사실적 판단 사이에 7개 사례에서 일치함이 발견되었으며, 이는 ASR이 유용하지만 불완전한 신호임을 나타낸다.
• 다국어 누출: 깨끗한 다국어 쿼리는 2.95%의 누출률을 기록하여, 적대적 영어 공격보다 현저히 낮았다. 독일어가 가장 높은 누출(10%)을 보였고, 아랍어, 힌디어, 일본어는 0%를 기록했다.

의의 및 주장

본 논문은 표준적인 깨끗한 쿼리 지표에서의 강력한 성능만으로는 언러닝 후의 강건성을 확립하기에 불충분하다고 주장한다. 주요 의의는 표준 평가 하에서 "망각된" 것처럼 보이는 정보가 전략적 프롬프팅을 통해 쉽게 복구될 수 있음을 입증했다는 데 있다.

저자들은 현재의 언러닝 벤치마크가 잘못된 보안 의식을 제공한다고 주장한다. 이들은 언러닝 평가의 보완 요소로서 적대적 스트레스 테스트의 포함을 촉구한다. 연구 결과는 파인튜닝 기반 방법이 프롬프트 기반 방법보다 표준 지표에서 우수하지만, 두 패러다임 모두 현재로서는 표적화된 지식 복구에 대한 강력한 저항력을 제공하지 못한다는 것을 시사한다. 결론적으로, 미래의 평가는 전략적 재구성 하에서도 언러닝 동작이 지속되는지를 평가하기 위해 깨끗한 쿼리를 넘어설 필요가 있다고 제언한다.

참고: 본 논문은 범위를 Llama-3.2-3B-Instruct 모델과 합성 데이터인 TOFU 데이터셋으로 명시적으로 제한하며, 더 큰 모델, 다른 아키텍처 또는 실제 민감한 데이터로의 일반화에는 추가적인 조사가 필요함을 인정한다.