The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning

이 논문은 기존 LLM 망각 (Unlearning) 평가의 한계를 지적하고, 복잡한 다단계 추론 질문을 통해 망각의 취약점을 드러내는 동적 평가 프레임워크를 제안하며, 이를 통해 단일 단계 질문보다 다단계 질문에서 망각이 더 쉽게 실패하는 메커니즘을 규명했습니다.

핵심

이 논문은 **"LLM(거대 언어 모델) 이 정말로 '잊어버린' 걸까?"**라는 의문에서 시작합니다.

마치 **"기억을 지우는 마법"**을 연구하는 학자들이 있습니다. 그들은 AI 가 특정 정보 (예: 사생활, 유해한 정보, 저작권이 있는 내용) 를 기억하지 못하도록 '지우기 (Unlearning)' 작업을 수행합니다. 하지만 이 논문은 **"지우기 작업이 실제로 성공한 것 같지만, 사실은 '기억의 미로'에 숨어 있어서 다시 찾아낼 수 있다"**는 놀라운 사실을 밝혀냈습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "기억 지우기"는 왜 실패할까? (미러의 환상)

지금까지의 AI 지우기 기술은 마치 **"집에서 특정 물건을 치우는 것"**과 비슷했습니다.

• 기존 방식: "스티븐 킹 (Stephen King) 이라는 이름은 잊어라!"라고 AI 에게 명령하면, AI 는 "스티븐 킹"이라는 단어가 나올 때 대답을 못 하도록 만들었습니다.
• 결과: "스티븐 킹은 누구야?"라고 물으면 AI 는 "모르겠다"고 답합니다. 그래서 연구자들은 "오케이, 성공! 잊어버렸네!"라고 생각했습니다.

하지만! 이 논문은 **"그건 그냥 표면을 가린 것뿐이야"**라고 말합니다.

• 실제 상황: 만약 "잭 토런스가 주인공인 소설을 쓴 작가는 누구야?"라고 물으면 (스티븐 킹이라는 이름은 직접 언급하지 않음), AI 는 여전히 **"스티븐 킹"**이라고 대답합니다.
• 비유: 마치 "스티븐 킹"이라는 이름표만 떼어낸 것이지, 그가 쓴 책이나 그의 특징까지 지운 건 아닙니다. AI 는 이름 대신 다른 단서 (주인공 이름, 책 제목 등) 를 연결해서 그 정보를 다시 찾아냅니다.

이것을 저자들은 **"기억의 환상 (Unlearning Mirage)"**이라고 부릅니다. 겉보기엔 잊어버린 듯하지만, 실제로는 여전히 기억하고 있는 것입니다.

2. 해결책: "지능적인 탐정"이 되어라 (동적 평가 프레임워크)

이 논문은 기존의 단순한 테스트 (단어만 물어보는 것) 가 부족하다고 지적합니다. 대신 **"동적 평가 프레임워크"**라는 새로운 방법을 제안합니다.

비유: "AI 의 뇌를 먼저 스캔해서 미로 지도를 만드는 것"

1. 지도 그리기 (Knowledge Graph Creation):

   • 지우기 작업을 하기 전에, AI 가 "스티븐 킹"에 대해 무엇을 알고 있는지 먼저 물어봅니다.
   • "스티븐 킹은 누구야?", "그가 쓴 책은?", "그 책의 주인공은?", "그 주인공의 직업은?"처럼 질문을 이어가며 AI 의 지식 연결고리를 모두 찾아냅니다.
   • 이렇게 하면 AI 의 뇌 속에 "스티븐 킹"과 관련된 모든 정보의 연결 지도가 완성됩니다.

2. 미로 테스트 (N-Hop Queries):

   • 이제 AI 에게 지우기 작업을 시킵니다.
   • 그 후, 단순히 "스티븐 킹은 누구야?"라고 묻는 게 아니라, 위에서 만든 지도를 이용해 **"잭 토런스가 주인공인 책의 저자는?"**처럼 여러 단계를 거치는 복잡한 질문을 던집니다.
   • 한 걸음 (Single-hop): "스티븐 킹은 누구야?" (직접적인 질문)
   • 두 걸음 (Multi-hop): "잭 토런스가 주인공인 책의 저자는?" (간접적인 질문)
   • 세 걸음 (Three-hop): "잭 토런스의 배우자가 사는 곳의 저자는?" (더 복잡한 질문)

이렇게 하면 AI 가 진짜로 정보를 지웠는지, 아니면 단순히 이름만 숨기고 있을 뿐인지 정확히 파악할 수 있습니다.

3. 왜 이런 일이 일어날까? (뇌의 통로 분석)

논문은 AI 가 왜 이런 실수를 하는지 그 내부 원리도 분석했습니다.

• 비유: "주요 도로 vs. 뒷골목"
  • 단순 질문 (한 걸음): AI 는 "스티븐 킹"이라는 질문에 답할 때, 뇌의 **주요 도로 (중간 레이어)**를 사용합니다. 지우기 작업은 이 주요 도로를 막아놓기 때문에, 단순 질문에는 잘 작동합니다.
  • 복잡한 질문 (여러 걸음): 하지만 "잭 토런스가 주인공인 책..."처럼 복잡한 질문을 하면, AI 는 **주요 도로가 막히자 다른 길 (뒷골목, 다른 레이어)**을 찾아서 답을 냅니다.
  • 결론: 지우기 작업은 '주요 도로'만 막았지, '뒷골목'까지 다 막지는 못했습니다. 그래서 복잡한 질문을 하면 AI 는 뒷골목을 통해 다시 정보를 찾아냅니다.

4. 이 연구가 중요한 이유

• 실제 생활에서의 안전: 우리는 AI 가 "잊어버린" 정보를 다시 찾아내지 못하게 해야 합니다. 예를 들어, "잊혀질 권리 (Right to be Forgotten)"를 가진 사람의 정보를 지울 때, 이름만 지우고 다른 단서로 다시 찾아낸다면 그건 실패한 것입니다.
• 더 강력한 테스트: 이 새로운 방법은 AI 를 더 꼼꼼하게 테스트할 수 있게 해줍니다. 단순히 "단어"를 물어보는 게 아니라, "논리적 연결"을 통해 AI 의 기억이 진짜로 사라졌는지 확인합니다.
• 자동화: 예전에는 사람이 직접 복잡한 질문을 만들어야 했지만, 이 방법은 AI 가 스스로 자신의 지식을 분석해서 테스트 문제를 만들어냅니다.

요약

이 논문은 **"AI 가 정보를 지운다고 해서 진짜로 잊어버린 건 아니다. 복잡한 질문을 하면 다시 기억해낸다"**는 사실을 폭로했습니다.

그들은 **"AI 의 뇌 지도를 먼저 그려놓고, 그 지도를 따라 복잡한 미로를 통과하는 질문"**을 던지는 새로운 테스트 방법을 개발했습니다. 이를 통해 우리는 AI 가 정말로 안전한지, 아니면 여전히 위험한 정보를 숨기고 있는지 더 정확하게 알 수 있게 되었습니다.

한 줄 요약: "AI 가 이름을 잊어버린 척해도, 다른 단서로 연결하면 기억을 되찾을 수 있으니, 단순한 테스트로는 안 되고 '지능적인 미로 테스트'가 필요하다!"

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 '망각 (Unlearning)'은 모델의 안전성 강화, 편향 완화, 그리고 '잊힐 권리 (Right to be Forgotten)'와 같은 법적 요구사항 준수를 위해 필수적입니다. 그러나 기존 망각 방법론과 평가 체계에는 다음과 같은 심각한 한계가 존재합니다.

• 취약한 망각 (Brittle Unlearning): 기존 망각 방법은 단순한 질의 (Single-hop) 에서는 정보를 잊은 것처럼 보이지만, 질의의 형태를 약간 변경하거나 (별칭 사용), 다단계 추론 (Multi-hop reasoning) 을 적용하면 잊혀진 정보가 다시 복원되는 취약점을 보입니다.
• 부족한 평가 지표: 기존 벤치마크 (RWKU, TOFU 등) 는 주로 정적이고 수동으로 구성된 단순 질의 (Static Q&A) 에 의존합니다. 이로 인해 모델이 다단계 추론이나 동의어 변형을 통해 여전히 정보를 기억하고 있음에도 불구하고, 망각이 성공적으로 이루어진 것처럼 오인 (Illusion of effectiveness) 하게 만듭니다.
• 평가의 비효율성: 기존 평가는 수동으로 테스트 세트를 구축하거나 외부 LLM(GPT-4 등) 에 의존하여 생성하므로, 특정 엔티티에 대한 모델 내부 지식 구조를 정밀하게 반영하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 기존 정적 벤치마크의 한계를 극복하기 위해 모델 내부 지식에서 동적으로 추출된 지식 그래프 (Knowledge Graph, KG) 를 기반으로 한 평가 프레임워크를 제안합니다.

A. 동적 지식 그래프 구축 (Dynamic Knowledge Graph Construction)

망각 전 (Pre-unlearning) 모델의 내부 지식을 직접 추출하여 엔티티별 지식 그래프를 구성합니다.

1. 엔티티 중심 추출 (Entity-Centric Extraction): 시드 엔티티 (예: Stephen King) 를 대상으로 모델에게 다양한 질문을 하여 사실 관계 (Atomic triplets: 주어, 관계, 목적어) 를 추출합니다.
2. BFS 기반 확장 (Graph Expansion via BFS): 새로운 노드 (관련 개념) 를 발견하면 너비 우선 탐색 (BFS) 을 통해 그래프를 확장합니다. 지수적 감쇠 (Exponential Decay) 요인을 적용하여 계산 비용을 통제합니다.
3. 관련성 필터링 및 별칭 해결 (Relevance Filtering & Alias Resolution): 시드 엔티티와 무관한 노드는 필터링하고, 'Stephen King'과 'Stephen Edwin King'과 같은 별칭을 통합하여 표면적 변형에 대한 테스트를 준비합니다.

B. 구조화된 프로브 생성 (Structured Probe Generation)

구축된 지식 그래프를 기반으로 망각 후 모델의 잔여 지식을 평가하기 위해 세 가지 유형의 질의를 자동 생성합니다.

1. 단일 홉 질의 (Single-hop): "The Shining 의 저자는 누구인가?"와 같은 직접적인 질의.
2. 다중 홉 질의 (Multi-hop): "주인공이 Jack Torrance 인 책의 저자는 누구인가?"와 같이 중간 단계를 거쳐 추론해야 하는 질의.
3. 별칭 기반 질의 (Alias-based): 엔티티의 다른 이름이나 표현을 사용한 질의.

C. 평가 프로토콜 (Evaluation Protocol)

• Multi-hop Forgetting Score: 1 홉, 2 홉, 3 홉 질의의 평균 정확도를 계산합니다. 낮을수록 망각이 효과적입니다.
• Retention Score: 망각 대상과 무관하거나 인접한 사실 (1 홉/2 홉 거리) 에 대한 정확도를 측정하여 모델의 일반 성능 유지 능력을 평가합니다.
• Overall Score: 망각 효과와 유지 능력 간의 균형을 나타내는 조화 평균 (Harmonic Mean) 점수를 산출합니다.

3. 주요 기여 (Key Contributions)

1. 동적 평가 프레임워크: 수동 구축이나 외부 LLM 의존 없이, 대상 모델의 내부 지식 구조를 기반으로 엔티티별 맞춤형 테스트 세트를 자동 생성합니다.
2. 새로운 실패 모드 발견: 기존 벤치마크가 놓친 다중 홉 (Multi-hop) 추론과 별칭 (Alias) 변형을 통한 잔여 지식 복원을 성공적으로 포착했습니다.
3. 내부 메커니즘 분석 (Activation Analysis): PatchScopes 를 활용한 분석을 통해, 단일 홉 질의는 모델의 중간 층 (Intermediate layers) 에서 주로 해결되는 반면, 다중 홉 질의는 초기 층과 후기 층을 오가는 **분산된 활성화 경로 (Alternative pathways)**를 사용함을 발견했습니다. 이는 기존 망각 방법이 주된 경로만 차단하고 대체 경로는 방치하기 때문에 다중 홉에서 실패하는 원인을 설명합니다.
4. 확장성 및 재현성: 모든 엔티티에 대해 적용 가능하며, 코드와 패키지를 오픈소스로 공개했습니다.

4. 실험 결과 (Results)

LLaMA-3.1-Instruct (8B), Phi-4-mini, Granite-3.2 등 다양한 모델과 RWKU, TOFU 벤치마크를 대상으로 실험한 결과는 다음과 같습니다.

• 커버리지 및 상관관계: 제안된 프레임워크는 기존 벤치마크 (RWKU 의 약 78%, TOFU 의 약 66%) 와 유사한 커버리지를 가지며, 기존 평가 방법과의 순위 상관관계 (Spearman's rank correlation) 가 높게 나타났습니다.
• 다중 홉에서의 실패 발견:
  • 단일 홉 질의에서는 망각이 성공적으로 보였으나, 다중 홉 질의에서는 잔여 지식 복원률이 유의미하게 높았습니다 (평균 1 홉: 20.1%, 2 홉: 27.0%, 3 홉: 33.9%).
  • 질의의 복잡도가 증가할수록 잔여 정보 복원이 더 쉬워지는 경향이 확인되었습니다.
  • 별칭 (Aliasing) 을 사용하면 잔여 지식 복원률이 추가로 약 2.4% 증가했습니다.
• 망각 방법론 비교:
  • **ULD (Unlearning via Logit Difference)**가 망각 효과와 일반 지식 유지 능력 간의 최적 균형을 보였습니다.
  • GDR (Gradient Descent on Retain Set) 및 **KLR (KL Divergence Minimization)**과 같은 정규화 기법을 적용한 방법들이 일반 지식 유지 (Retention) 측면에서 성능이 크게 향상되었습니다.
  • **ICL (In-Context Unlearning)**은 일반 관계 지식은 잘 유지하지만, 망각 대상과 인접한 사실 (1 홉 거리) 에 대해서는 망각이 불완전한 것으로 나타났습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 LLM 망각 평가의 패러다임을 정적 (Static) 에서 동적 (Dynamic) 으로 전환해야 함을 강력히 주장합니다.

• 실제 적용 가능성: 실제 사용자 환경에서는 질문이 간접적이거나 (다중 홉), 재구성된 (Paraphrasing) 형태로 들어오기 때문에, 단순한 질의에 대한 망각 성공 여부는 충분하지 않습니다. 제안된 프레임워크는 이러한 실제 시나리오를 시뮬레이션하여 더 강력한 망각 보장 (Robustness) 을 제공합니다.
• 기술적 통찰: 망각이 실패하는 원인이 모델의 내부 활성화 경로 (Activation pathways) 에 있으며, 특히 다중 홉 추론이 사용하는 대체 경로를 차단하지 못하기 때문임을 규명했습니다.
• 미래 방향: 향후 연구는 지식 그래프를 기반으로 한 적응형 평가와 더 정교한 다중 홉 추론 테스트를 통해 망각 기술의 완전성을 검증하는 방향으로 나아가야 함을 시사합니다.

요약하자면, 이 연구는 "망각이 성공적이다"라는 기존의 환상을 깨뜨리고, 다중 홉 추론과 동적 질의 생성을 통해 모델이 실제로 잊었는지 여부를 검증할 수 있는 새로운 표준 평가 체계를 제시했습니다.