CiPO: Counterfactual Unlearning for Large Reasoning Models through Iterative Preference Optimization

1. 연구 배경 및 문제 정의 (Problem)

배경:
최근 대규모 언어 모델 (LLM) 이 방대한 인간 데이터로 학습되면서, 개인정보나 저작권이 있는 원치 않는 정보를 선택적으로 제거하는 '머신 언러닝 (Machine Unlearning)' 기술이 주목받고 있습니다. 특히, 복잡한 추론을 위해 긴 **생각의 사슬 (Chain-of-Thought, CoT)**을 생성하는 **대규모 추론 모델 (Large Reasoning Models, LRMs)**이 등장했습니다.

문제점:
기존의 LLM 언러닝 방법은 LRMs 에 적용 시 다음과 같은 심각한 딜레마에 직면합니다.

• CoT 추적의 누락: 기존 방법들은 최종 답변만 지우거나, CoT 추론 과정 자체를 건드리지 못해 민감한 정보가 추론 단계 (CoT traces) 에 남아있을 수 있습니다. 이는 추론 과정에서 정보가 유출되거나, 모델이 잊으려던 정보를 다시 재구성하는 원인이 됩니다.
• 추론 능력의 저하: 정보를 제거하기 위해 CoT 를 무작위 벡터로 매핑하거나 (R2MU 등), 단순히 "모른다"고 거부하는 (ReasonedIDK 등) 방식은 모델의 추론 능력을 파괴하거나, 새로운 프라이버시 위험 (거부 패턴을 통한 정보 유출) 을 초래합니다.

핵심 질문:
"LRM 의 추론 과정 (CoT) 과 최종 답변 모두에서 원치 않는 정보를 제거하면서도, 모델의 일관된 추론 능력을 유지하고 새로운 프라이버시 위험을 도입하지 않는 방법은 무엇인가?"

2. 제안된 방법론: CiPO (Methodology)

저자들은 **CiPO (Counterfactual Unlearning through Iterative Preference Optimization)**라는 새로운 프레임워크를 제안합니다. 이는 언러닝을 단순히 정보를 지우는 것이 아니라, **CoT 추론에 대한 표적 개입 (Targeted Intervention)**으로 재정의합니다.

핵심 구성 요소:

1. 인과적 관점 (Causal View):

   • 질문 (Q), CoT(C), 답변 (A), 잊을 데이터 (F) 간의 인과 그래프를 구성합니다.
   • 목표는 $F$가 $C$와 $A$에 미치는 영향을 차단 ($do(F \to \{C, A\})$) 하여, 동일한 질문 $Q$에 대해 $F$와 무관한 새로운 CoT 와 답변을 생성하도록 하는 것입니다.

2. 반사실 생성기 (Counterfactual Generator):

   • 외부 모델이 아닌, 학습 대상 모델 자체를 사용하여 반사실 (Counterfactual) 데이터를 생성합니다.
   • 2 단계 프로세스:
     1. 반사실 답변 생성: 원본 답변의 사실을 변경하여 논리적으로 타당하지만 다른 사실 (예: 출생지가 다른 도시) 을 가진 답변을 생성합니다.
     2. 역방향 추론: 생성된 새로운 답변에 도달하기 위해, 잊으려는 지식이 포함되지 않은 논리적 CoT 경로를 생성합니다.
   • 이 방식은 생성된 데이터가 모델의 스타일과 어휘에 자연스럽게 일치하도록 하여 (Stylistic Consistency), 분포 불일치를 줄이고 안정적인 학습을 가능하게 합니다.

3. 반복적 선호도 최적화 (Iterative Preference Optimization):

   • 동적 선호 쌍 (Dynamic Preference Pairs): 고정된 데이터가 아닌, 매 반복 (iteration) 마다 현재 모델이 생성한 실제 답변 (기피 대상, Dispreferred) 과 반사실 생성기에서 만든 답변 (선호 대상, Preferred) 을 쌍으로 구성합니다.
   • 온-폴리시 (On-Policy) 학습: 모델의 분포가 변함에 따라 실시간으로 선호 데이터를 업데이트하여, 모델이 새로운 유출 경로를 학습하는 것을 방지합니다.
   • 손실 함수: SimPO(Simple Preference Optimization) 를 사용하여 참조 모델 없이도 반사실 경로를 선호하도록 모델을 미세 조정합니다. 또한, 초기 안정화를 위해 SFT(Warmup) 단계를 거친 후 반복 최적화를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 문제 식별: 기존 LRM 언러닝 방법들이 추론 경로를 왜곡하거나 단순 거부를 통해 성능을 저하시키거나 새로운 프라이버시 위험을 초래한다는 한계를 명확히 지적했습니다.
2. 새로운 프레임워크 제안: 인과적 관점에서 언러닝을 재정의하고, 반사실 추론 경로를 대체하는 CiPO를 제안했습니다. 이는 온-폴리시 선호도 최적화를 통해 원본 추론을 안전하고 작업 일관성 있는 경로로 점진적으로 대체합니다.
3. 실험적 검증: R-TOFU(합성 데이터) 와 RETURN(실제 세계 데이터) 벤치마크를 통해 CiPO 가 기존 방법들 (GA, GD, NPO, R2MU, ReasonedIDK 등) 보다 뛰어난 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

• 언러닝 효율성 (Unlearning Efficacy):
  • CoT 수준 (CFE) 및 답변 수준 (AFE): CiPO 는 기존 방법들보다 CoT 추론 과정과 최종 답변 모두에서 원치 않는 정보를 훨씬 효과적으로 제거했습니다. 특히 R2MU 나 ReasonedIDK 는 CoT 유출을 완전히 막지 못하거나 답변 유출이 남는 반면, CiPO 는 두 가지 모두를 성공적으로 제거했습니다.
• 유용성 유지 (Utility Preservation):
  • 일반 능력 (MMLU, GSM8K): 기존 방법들 (특히 GA, GD) 은 언러닝 시 모델의 일반적 추론 능력을 붕괴시켰으나, CiPO 는 모델의 핵심 추론 능력을 거의 유지했습니다.
  • 유지 세트 성능 (RetainACC): 잊지 말아야 할 데이터에 대한 성능 저하가 가장 적었습니다.
• 실제 세계 시나리오: 실제 인물에 대한 개인정보 제거 실험에서도 CiPO 는 다른 방법들보다 높은 유지율과 낮은 유출률을 보여주며 모델 아키텍처 (DeepSeek, Qwen 등) 에 관계없이 강건함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 새로운 패러다임: 언러닝을 '정보의 삭제'가 아닌 '추론 경로의 건설적 대체'로 접근함으로써, LRMs 의 고유한 특성 (CoT) 을 해치지 않으면서 프라이버시를 보호하는 새로운 길을 열었습니다.
• 실용성: 단순한 거부 응답이나 추론 능력 파괴 없이, 모델이 여전히 논리적으로 사고하되 민감한 정보는 포함하지 않는 방식으로 동작하도록 만듭니다.
• 미래 방향: 이 연구는 LRM 의 안전성과 프라이버시 보호를 위한 표준적인 접근법으로 자리 잡을 수 있으며, 향후 다양한 학습 데이터 형식으로의 확장 가능성을 제시합니다.

요약하자면, CiPO는 대규모 추론 모델이 가진 '생각의 과정'까지도 안전하게 지울 수 있는 획기적인 방법으로, 반사실 추론 생성과 반복적 선호도 최적화를 결합하여 언러닝 효율성과 모델 유용성 사이의 균형을 성공적으로 달성했습니다.