Interpretable Traces, Unexpected Outcomes: Investigating the Disconnect in Trace-Based Knowledge Distillation

1. 연구 배경 및 문제 제기 (Problem)

최근 DeepSeek R1 과 같은 대형 추론 모델 (Large Reasoning Models, LRMs) 은 Chain-of-Thought (CoT, 사고의 연쇄) 를 통해 중간 추론 과정을 생성한 후 최종 답변을 도출하는 방식으로 성능을 크게 향상시켰습니다. 이러한 CoT traces 는 추론을 돕는 도구일 뿐만 아니라, 작은 모델 (SLM) 을 학습시키기 위한 지식 증류 (Knowledge Distillation, KD) 의 감독 신호 (Supervision Signal) 로도 널리 사용됩니다.

그러나 현재 연구 및 실무에는 다음과 같은 암묵적인 가정이 존재합니다:

1. 의미적 정확성 (Semantic Correctness): 모델이 생성하는 중간 추론 과정 (traces) 은 논리적으로 옳아야 한다.
2. 해석 가능성 (Interpretability): 이러한 traces 는 최종 사용자에게 이해 가능하고 신뢰할 수 있는 설명으로 기능해야 한다.

본 논문은 이 두 가지 가정이 실제로 타당한지, 그리고 모델의 최종 성능 향상과 traces 의 정확성/해석 가능성 사이에 어떤 관계가 있는지를 검증합니다. 특히, "모델의 성능을 높이기 위해 반드시 traces 가 의미적으로 정확하거나 인간에게 해석 가능해야 하는가?"라는 핵심 질문을 던집니다.

2. 방법론 (Methodology)

저자들은 추론 과정의 의미적 정확성과 최종 답변의 정확성을 독립적으로 평가할 수 있는 실험 환경을 구축했습니다.

가. 규칙 기반 문제 분해 (Rule-based Problem Decomposition)

• 데이터셋 구성: Open Book QA (CoTemp QA, Microsoft MARCO, Facebook bAbI) 태스크를 사용하여, 복잡한 문제를 분류 (Classification) 와 정보 검색 (Information Retrieval, IR) 의 두 가지 구조화된 하위 단계로 분해했습니다.
• 정확한/부정확한 Trace 생성:
  • SFT w/ Correct Traces: 분해된 하위 단계가 사실적으로 검증 가능한 (Verifiably Correct) 정답과 짝을 이루는 데이터를 생성.
  • SFT w/ Incorrect Traces: 최종 정답은 동일하지만, 중간 추론 단계 (분류 또는 IR) 에러를 포함하도록 인위적으로 잘못된 (Incorrect) traces 를 생성.
  • 이를 통해 중간 단계의 정확성과 최종 답변의 정확성을 분리하여 분석할 수 있게 되었습니다.

나. 지식 증류 및 모델 학습

• 모델: Llama-3.2-1B, Qwen3-1.7B, Llama-3.1-8B 등 다양한 크기의 Small Language Models (SLMs) 를 사용.
• 학습 방식: Supervised Fine-Tuning (SFT) 을 수행하며, 다음과 같은 4 가지 유형의 trace 로 학습된 모델들을 비교했습니다.
  1. Correct Traces: 규칙 기반 분해로 생성된 검증 가능한 정답 trace.
  2. Incorrect Traces: 구조는 같지만 의미적으로 틀린 trace.
  3. DeepSeek R1 Traces: 원본 대형 모델이 생성한 장황한 (Verbose) 추론 과정.
  4. R1 Summaries & Explanations: GPT-4o-mini 를 이용해 R1 trace 를 요약하거나 사후 설명 (Post-hoc explanation) 으로 변환한 버전.

다. 인간 주관 연구 (Human-Subject Study)

• 참가자: Prolific 을 통해 모집한 100 명의 참가자를 4 개 그룹으로 나누어 각기 다른 trace 유형 (R1, 요약본, 설명, 검증된 정답 trace) 을 평가하게 함.
• 평가 지표:
  • 해석 가능성 (Interpretability): 예측 가능성, 이해 용이성, 신뢰성 (Likert 척도 1~5).
  • 인지 부하 (Cognitive Load): NASA-TLX 척도를 통한 정신적 요구도, 노력, 좌절감 측정.

3. 주요 결과 (Key Results)

가. Trace 정확성과 최종 성능의 불일치 (Disconnect in Accuracy)

• 역설적 발견: 잘못된 (Incorrect) traces 로 학습된 모델이 오히려 더 높은 최종 답변 정확도를 보이는 경우가 많았습니다.
  • CoTemp QA 데이터셋에서 잘못된 trace 로 학습한 모델이 가장 높은 정확도를 기록했습니다.
  • 통계적 검증: $\chi^2$ 검정 결과, "trace 의 정확성"과 "답변의 정확성"은 통계적으로 독립적임이 확인되었습니다 ($p > 0.05$).
• False Positive 현상: 모델이 정답은 맞췄지만, 그 과정 (trace) 은 완전히 틀린 경우가 매우 빈번하게 발생했습니다 (CoTemp 에서 25.7%, MARCO 에서 32.7%, bAbI 에서 71.54%). 이는 모델이 추론의 '구조'만 학습하고 의미는 무시한 채 정답을 유추하고 있음을 시사합니다.

나. 해석 가능성과 성능의 Trade-off (Interpretability vs. Performance)

• 성능 vs. 인간 이해도:
  • **DeepSeek R1 traces (장황한 원본)**로 학습한 모델이 최종 성능이 가장 높았으나, 인간 사용자에게는 가장 해석하기 어렵고 인지 부하가 큰 것으로 평가받았습니다 (해석 가능성 평균 3.39/5, 인지 부하 4.59/5).
  • 반면, **검증 가능한 정답 trace (Correct Traces)**는 인간에게 가장 이해하기 쉽고 인지 부하가 낮았으나, 최종 모델 성능은 상대적으로 낮거나 R1 traces 보다 떨어졌습니다.
• 요약 및 설명의 효과: R1 traces 를 요약하거나 설명으로 변환한 버전은 인간에게는 더 이해하기 쉬웠으나, 원본 R1 traces 로 학습한 모델만큼의 성능 향상은 제공하지 못했습니다.

4. 주요 기여 및 시사점 (Contributions & Significance)

1. 가정 붕괴 (Challenging Assumptions): 현재 LLM 감독 학습 (SFT) 의 핵심 가정인 "중간 추론 과정은 의미적으로 정확해야 하며, 인간에게 설명 가능해야 한다"는 가정이 모델 성능 향상과 직접적인 상관관계가 없음을 실증적으로 증명했습니다.
2. 목표의 분리 필요성 (Decoupling Objectives):
   • 모델 성능 최적화: 모델이 정답을 맞추기 위해서는 인간이 이해하기 쉬운 논리적 설명보다는, 오히려 구조적 패턴을 학습하거나 장황한 추론 과정 (R1 traces) 이 더 효과적일 수 있습니다.
   • 사용자 경험 최적화: 인간 사용자에게 신뢰할 수 있는 설명을 제공하려면, 모델 학습 목표와 별개로 사용자 친화적인 설명 모듈을 설계하거나 별도의 최적화 과정이 필요합니다.
3. 새로운 연구 방향 제안:
   • 단순히 "정답을 맞추는 과정"을 학습시키는 것이 아니라, 모델의 내부 추론 (Trace) 과 인간의 이해 (Interpretability) 를 분리하여 설계해야 함을 주장합니다.
   • 추론 모델의 "사고 과정"을 인간이 이해하는 것처럼 과장하여 해석 (Anthropomorphization) 하는 것에 경계해야 함을 강조합니다.

5. 결론

이 연구는 Trace 기반 지식 증류에서 **모델의 성능 (Accuracy)**과 **추론 과정의 신뢰성/해석 가능성 (Interpretability)**이 종종 상충 관계 (Trade-off) 에 있음을 밝혔습니다. 잘못된 추론 과정이더라도 모델이 정답을 맞출 수 있으며, 인간에게 가장 이해하기 쉬운 과정이 모델의 성능을 보장하지는 않는다는 사실은, 향후 LLM 의 학습 전략과 설명 가능 AI (XAI) 설계에 있어 모델의 성능 목표와 사용자의 해석 목표를 명확히 분리해야 한다는 중요한 시사점을 제공합니다.