CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training

이 논문은 LLM 후학습에서 발생하는 망각을 단순한 지식 손실이 아닌 행동과 사용자 경험을 저해하는 체계적인 모델 드리프트로 재정의하고, 이를 분석하기 위한 'CapTrack'이라는 능력 중심 평가 프레임워크를 제안하여 다양한 후학습 알고리즘과 모델에 대한 대규모 실증 연구를 수행했습니다.

핵심

🧠 1. 핵심 문제: "전문가 교육을 받은 학생이 기본기를 잊어버린다?"

상상해 보세요. 아주 똑똑하고 만능인 **대학생 (기존 AI)**이 있습니다. 이 학생은 역사, 수학, 요리, 외국어 등 모든 것을 잘합니다.

이제 이 학생을 **법률 변호사 (법률 데이터)**나 **의사 (의료 데이터)**로 교육시키려고 합니다.

• 기존 연구들의 생각: "아, 법률 교육을 받으면 법률 지식은 늘겠지만, '역사'나 '수학' 점수가 조금 떨어질까 봐 걱정되네." (단순 지식의 손실만 봄)
• 이 논문의 주장 (CapTrack): "아니요, 문제는 점수가 아니라 태도입니다! 법률 교육을 받은 후 이 학생은 다음과 같이 변할 수 있어요:
  • 성격 변화: 예전에는 친절하고 상세하게 설명해 줬는데, 이제는 너무 짧고 딱딱하게만 말해요. (말버릇 변화)
  • 습관 변화: "모르겠어요"라고 말하던 예전 습관이 사라져서, 엉뚱한 질문에도 무조건 대답하려다 위험한 말을 할 수도 있어요. (안전성/태도 변화)
  • 규칙 무시: "문단 나누어 써줘"라고 시켰는데, 이제 그 규칙을 잊어버리고 한 줄로만 써요. (명령 수행 능력 저하)

저자들은 이 현상을 **'CapTrack(능력 추적기)'**이라는 새로운 도구로 측정했습니다. 마치 학생의 **지식 (CAN), 태도 (WILL), 그리고 규칙 준수 (HOW)**를 세 가지 카테고리로 나누어 꼼꼼히 체크하는 거죠.

📉 2. 실험 결과: 누가 가장 많이 잊어버릴까?

연구팀은 다양한 AI 모델 (LLaMA, Qwen, Gemma 등) 을 법률과 의료 데이터로 훈련시켰습니다. 결과는 다음과 같았습니다.

• 🔥 가장 나쁜 교육 방법: "지시어 미세 조정 (IFT)"

  • 비유: 학생에게 "이렇게만 해!"라고 강압적으로 시키는 교육 방식입니다.
  • 결과: 새로운 전문 지식은 늘었지만, 기존의 모든 좋은 습관 (다국어 능력, 논리력, 친절함) 이 크게 망가졌습니다. 마치 전문 변호사가 된 학생이 이제 "안녕하세요"도 못 하고, 외국어는 전혀 못 하게 된 꼴입니다.

• 🛡️ 더 나은 교육 방법: "선호도 최적화 (DPO)"

  • 비유: 학생에게 "이 답변은 좋고, 저 답변은 나빠"라고 선택하게 가르치는 방식입니다.
  • 결과: 새로운 지식도 늘었지만, 기존의 좋은 습관 (태도, 규칙 준수) 을 훨씬 잘 지켜냈습니다. 그리고 만약 IFT 로 실수를 했다면, DPO 로 다시 다듬어주면 잃어버린 능력의 일부를 되찾을 수 있었습니다.

• 📏 모델 크기의 진실

  • "모델이 크면 (80B 파라미터) 잊어버림이 덜 하겠지?"라고 생각할 수 있지만, 크기와는 큰 상관이 없었습니다. 큰 모델도 작은 모델도 똑같이 태도와 습관을 잃어버렸습니다.

🛠️ 3. 해결책은 있을까? (완벽한 해결책은 없다)

연구팀은 "잊어버림을 막을 방법"을 세 가지로 시도해 보았습니다.

1. 데이터 섞기 (일반적인 데이터 추가): 법률 데이터만 주는 게 아니라, 일반적인 대화 데이터도 섞어주면 어떨까?
   • 결과: 효과가 일정하지 않았습니다. 어떤 능력은 좋아지고, 어떤 것은 더 나빠졌습니다. "만병통치약"은 없었습니다.
2. 모델 병합 (두 모델 섞기): 훈련된 모델과 원래 모델을 섞어서 만들면?
   • 결과: **안정성과 적응력 사이의 트레이드오프 (Trade-off)**가 있었습니다. 원래 모델의 성격을 지키면 새로운 법률 지식은 못 배우고, 법률을 잘 배우면 원래 성격은 망가집니다. 둘 다 잡을 수는 없었습니다.
3. 규제 강화 (LoRA 등): 학습할 때 너무 크게 변하지 못하도록 제한을 걸면?
   • 결과: 역시 안정성과 적응력의 딜레마가 있었습니다. 너무 많이 배우지 못하게 막으면, 새로운 전문 지식도 못 배웁니다.

💡 4. 결론: 무엇을 배워야 할까?

이 논문의 핵심 메시지는 다음과 같습니다.

"AI 를 훈련시킬 때, 단순히 '정답을 맞히는 능력'만 보면 안 됩니다. AI 가 어떻게 말하고, 어떤 태도를 보이며, 규칙을 잘 지키는지까지 지켜봐야 합니다."

지금까지 우리는 AI 가 "사실 (Fact)"을 잊었는지만 확인했지만, 이제는 AI 의 '성격'과 '행동'이 망가졌는지를 체크해야 합니다.

한 줄 요약:

"AI 에게 새로운 직업을 가르칠 때, 그 사람의 '기본 인성'과 '예절'까지 잃어버리지 않도록 꼼꼼히 지켜봐야 합니다. 단순히 지식만 늘리는 교육은 오히려 AI 를 무뚝뚝하고 위험한 존재로 만들 수 있습니다."

이 연구는 AI 개발자들이 모델을 훈련시킬 때, **단순한 점수 (Accuracy) 가 아니라 AI 의 전체적인 행동 양식 (Capability)**을 평가하는 새로운 기준 (CapTrack) 을 제시했다는 점에서 매우 중요합니다.

기술 요약

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 의 사후 학습 (Post-training, 예: Instruction Fine-tuning, Preference Optimization) 은 모델의 잠재적 능력을 향상시키고 가치 정렬을 이루며 도메인 적응을 가능하게 합니다. 그러나 기존 연구들은 사후 학습으로 인한 **'망각 (Forgetting)'**을 주로 **파라미터 지식 (Parametric Knowledge)**이나 **사실적 정확도 (Factual Accuracy)**의 감소로만 정의하고 평가해 왔습니다.

이 논문은 현대의 기초 모델 (Foundation Models) 에 있어 이러한 '정확도 중심'의 관점이 불충분하다고 주장합니다. 사후 학습은 단순한 지식 손실뿐만 아니라, **모델의 행동, 사용자 경험, 그리고 실행 신뢰성에 영향을 미치는 체계적인 모델 드리프트 (Systematic Model Drift)**를 유발합니다. 예를 들어, 법적 데이터로 학습된 모델은 사실적 정확도는 유지되더라도 다국어 안정성이나 응답의 자세함 (Verbosity) 이 크게 저하될 수 있습니다. 따라서 기존 평가 방식으로는 이러한 중요한 능력의 퇴화를 포착하지 못한다는 문제가 제기됩니다.

2. 방법론 (Methodology: CapTrack)

저자들은 포괄적인 망각 평가를 위해 CapTrack이라는 능력 중심 (Capability-centric) 프레임워크를 제안합니다. CapTrack 은 두 가지 핵심 구성 요소로 이루어져 있습니다.

가. CapTrack 분류 체계 (Taxonomy)

모델의 행동을 세 가지 상호 보완적인 그룹으로 세분화하여 망각을 분석합니다:

1. CAN (잠재적 역량): 이상적인 프롬프트 하에서 모델이 할 수 있는 것.
   • 파라미터 지식, 추론, 맥락 이해, 사실성 (Faithfulness), 강건성 (Robustness, 프롬프트 변형/도메인 이동/다국어).
2. WILL (기본 행동 선호도): 지시나 정렬에 의해 형성된 모델의 기본 응답 행동.
   • 답변 의지 (안전/부정확한 요청에 대한 거절), 유용성 및 정보 범위, 스타일 및 상세화 수준 (Verbosity, 형식 등).
3. HOW (프로토콜 준수 및 실행): 지시와 상호작용 프로토콜을 얼마나 신뢰성 있게 따르는지.
   • 지시 따르기, 출력 형식 충실도, 도구 사용, 다중 턴 상태 유지, 컨텍스트 윈도우 조작, 인용 메커니즘.

나. CapTrack 평가 스위트 (Evaluation Suite)

위 분류 체계에 기반하여 30 개의 기존 벤치마크와 맞춤형 변형을 결합한 평가 세트를 구성했습니다.

• 상대적 평가: 사후 학습된 모델을 해당 모델의 'Out-of-the-Box (OOB)' 베이스 모델과 비교하여 능력 드리프트를 측정합니다.
• 효율성: 약 14,500 개의 샘플로 구성되어 계산 비용을 절감하면서도 광범위한 능력을 커버합니다.
• 지표: 정확도뿐만 아니라 추론 품질, 거절률, 응답 길이, 형식 준수율 등 다양한 메트릭을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 망각 개념의 확장: 단순한 지식 손실을 넘어, 행동 선호도 (WILL) 와 실행 신뢰성 (HOW) 에 미치는 체계적인 드리프트를 망각의 범위로 포함시켰습니다.
2. CapTrack 프레임워크 도입: 잠재 역량, 기본 행동, 프로토콜 준수를 포괄하는 체계적인 분류 체계와 평가 도구를 개발했습니다.
3. 대규모 실증 연구: Legal(법률) 과 Medical(의료) 도메인에서 Qwen, LLaMA, Gemma 계열의 7 개 모델 (최대 80B 파라미터) 을 대상으로 IFT(지시 미세 조정) 와 DPO(선호도 최적화) 알고리즘의 영향을 분석했습니다.
4. 완화 전략 평가: 데이터, 아키텍처 (모델 병합), 정규화 (LoRA) 기반 완화 전략의 효과를 능력 수준에서 평가하여 '안정성 - 가소성 (Stability-Plasticity)' 트레이드오프를 규명했습니다.

4. 주요 결과 (Key Results)

• 망각의 범위: 망각은 파라미터 지식 (CAN) 을 넘어 **강건성 (Robustness)**과 **기본 행동 선호도 (WILL)**에서 가장 두드러지게 나타납니다. 특히 다국어 안정성과 응답 스타일 (Verbosity) 이 크게 저하됩니다.
• 알고리즘별 차이:
  • IFT (Instruction Fine-Tuning): 모든 능력 그룹에서 가장 심각한 망각을 유발합니다. 특히 LLaMA 와 Gemma 모델에서 추론 능력과 다국어 능력이 크게 떨어집니다.
  • DPO (Direct Preference Optimization): IFT 에 비해 훨씬 보수적이며, IFT 후 DPO 를 적용하면 일부 손실된 능력 (특히 WILL 그룹) 을 부분적으로 회복시킬 수 있습니다.
• 모델 계열 및 크기:
  • 망각 패턴은 모델 계열 (Family) 에 따라 뚜렷하게 다릅니다 (예: Qwen 은 상대적으로 안정적이나 LLaMA/Gemma 는 민감함).
  • 모델 크기 (Scale) 와의 관계: 모델 크기가 커진다고 해서 망각이 일관되게 줄어드는 경향은 없습니다. 오히려 특정 능력 (예: 인용 정확도) 은 작은 모델에서 더 취약합니다.
• 완화 전략의 한계:
  • 데이터 (일반 vs 도메인): 일반 데이터 (Tulu 등) 를 섞는 것이 망각을 일관되게 줄이지 못하며, 능력에 따라 효과가 엇갈립니다.
  • 아키텍처 (모델 병합) 및 정규화 (LoRA): 모델 병합이나 LoRA 를 사용하면 망각은 줄어들지만, 도메인 적응 성능 (Plasticity) 이 동시에 감소하는 명확한 안정성 - 가소성 트레이드오프가 존재합니다. 이는 전역적 규제만으로는 특정 취약 능력을 선택적으로 보호할 수 없음을 의미합니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 사후 학습의 영향을 평가할 때 정확도 중심의 벤치마크를 넘어, 능력 중심 (Capability-centric) 의 다면적 평가가 필수적임을 강조합니다.

• 실무적 함의: 모델 배포 시 단순한 점수 유지가 아니라, 다국어 지원, 안전성, 형식 준수, 응답 스타일 등 사용자 경험에 직접적인 영향을 미치는 능력들이 어떻게 변화하는지 모니터링해야 함을 시사합니다.
• 연구 방향: 기존 연구가 간과했던 행동적 드리프트를 가시화함으로써, 보다 정교하고 표적화된 (Targeted) 완화 전략 개발의 필요성을 제기합니다.
• 도구 제공: CapTrack 은 모델 압축, 지식 편집, 기타 모델 수정 작업에서도 적용 가능한 진단 도구로, 모델의 전반적인 행동 안정성을 이해하는 데 기여합니다.

결론적으로, 사후 학습은 필연적으로 능력 수준의 드리프트를 수반하며, 이를 효과적으로 관리하기 위해서는 단순한 지식 보존을 넘어 모델의 행동과 실행 능력을 종합적으로 평가하고 이해하는 새로운 패러다임이 필요합니다.