기술 요약: 정답 조건부 사고 사슬(Chain of Thought)은 검증 가능한 추론 증류를 저하시킨다

1. 문제 정의

대규모 언어 모델(LLM)을 위한 표준 증류 파이프라인은 종종 사고 사슬(CoT)을 샘플링하고, 정답에 도달하는 것들을 필터링한 뒤, 생존한 데이터로 미세 조정(fine-tuning)하는 방식에 의존한다. 샘플링이 올바른 사고 사슬을 생성하지 못할 때 흔히 사용되는 복구 전략은 **정답 조건부 생성(answer-conditioning)**이다. 즉, 모델에게 정답(gold answer)을 힌트로 제공하고, 해당 특정 정답을 합리화하거나 그 정답에 도달하도록 하는 추론 과정을 생성하도록 지시하는 것이다.

본 논문은 생성 과정과 상관없이 정답에 도달하는 모든 사슬이 유효한 학습 대상이라는 암묵적인 가정에 이의를 제기한다. 저자들은 정답 조건부 생성이 특정한 병리 현상을 유발한다고 주장한다. 즉, 모델이 탐색을 통해 답을 **도출(derive)**하는 것이 아니라, 이미 알려진 결론으로부터 **역방향으로 합리화(rationalize backward)**하는 법을 배우게 된다는 것이다. 결정적으로, 이러한 저하 현상은 표준적인 정답 정확도 필터로는 식별할 수 없다. 왜냐나 결과물인 사고 사슬들이 구조적으로 정답을 포함하고 있기 때문이다.

## 2. 방법론: "1비트 실험(One-Bit Experiment)"

저자들은 정답 조건부 생성이 미치는 인과적 효과를 격리하기 위해, 단 하나의 이진 개입(binary intervention)을 제외한 모든 변수를 동일하게 유지하는 통제된 실험을 설계했다. 여기서 개입은 '생성 과정 중 정답의 가시성 여부'이다.

• 설정: 단일 생성 모델($G$)을 사용하여 동일한 935개의 수학 문제에 대해 두 가지 조건 하에서 CoT 사슬을 생성한다.
  1. 정답 미노출 (Answer-Blind, 대조군): 모델은 문제만을 보고 답을 도출하도록 요청받는다.
  2. 정답 노출 (Answer-Leaked, 실험군): 모델은 문제와 정답을 함께 보고, 해당 정답에 도달하는 사슬을 생성하도록 지시받는다.
• 필터링: 두 실험군 모두에서 최종 박스 안의 정답이 일치하는 사슬만을 보존한다.
• 학습: 두 모델은 각 실험군에서 필터링된 데이터셋을 사용하여 동일한 레시피로 미세 조정된다.
• 평가: 성능 차이($\Delta = \text{acc}(S_{\text{blind}}) - \text{acc}(S_{\text{leaked}})$)를 검증 가능한 추론 벤치마크(예: MATH-500, AIME)를 통해 측정한다.

또한 연구에는 지시문 변화(예: "먼저 도출하라" vs "정답을 향해 합리화하라"), 길이 매칭 대조군, 그리고 교차 계열 일반화 테스트(다른 아키텍처나 더 작은 모델을 학습시키는 경우)를 포함한 절제 연구(ablation studies)가 포함된다.

3. 주요 기여

1. 누출 페널티(Leakage Penalty)의 격리

저자들은 정답 조건부 생성이 생성 모델, 문제 세트, 정답 필터, 미세 조정 레시피가 모두 동일함에도 불구하고 상당한 정확도 저하를 초래함을 입증했다.

• MATH-500에서 Qwen3-8B 기준 페널티는 16.2 포인트였다.
• AIME(올림피아드 수준 문제)에서는 페널티가 27.2 포인트로 증가했다.
• 이 페널티는 내용에 의한 것이지 길이에 의한 것이 아니다. 길이 매칭 대조군 실험 결과, 정답 미노출 사슬의 길이를 줄이는 것으로는 이 피해를 재현할 수 없었다.

2. 메커니즘 분석: 오프-폴리시 합리화(Off-Policy Rationalization)

논문은 이 메커니즘을 **탐색(search)**에서 **합리화(rationalization)**로의 전환으로 규명한다.

• 정답 선제 제시 증상(Answer-First Symptom): 정답 조건부 사슬은 추론 블록의 초기 20% 이내에 정답을 언급하는 경우가 빈번하다(정답 선제 제시율, AFR). 반면 정답 미노출 사슬은 드물다.
• 오프-폴리시 전환: 정답 미노출 생성은 $P(c|q)$(탐색 분포)에서 샘플링하며, 이는 추론 시점에 필수적이다. 반면 정답 조건부 생성은 $P(c|q, a)$에서 샘플링하여 탐색 과정을 사후 정당화로 붕괴시킨다.
• 학습/테스트 역전(Train/Test Inversion): 누출된 사슬로 학습된 모델은 테스트 시점에 더 긴 사슬을 생성하지만, 수렴에 실패(종료 결핍, termination deficit)한다. 이는 정답을 모르는 상태에서 필요한 도출 과정을 학습하지 못했음을 나타낸다‌ها.

3. 데이터 중심적 위해 및 부분적 복구

이러한 위해는 생성 모델의 능력이 아닌 데이터 자체의 문제이다.

• 합리화된 사슬이 위해를 전달함: 단일 누출 코퍼스 내에서도 정답을 조기에 언급하는 사슬("Leaked-Early")이 대부분의 페널티를 유발한다. 이러한 사슬을 제거하는 간단한 필터링만으로도 손실된 정확도의 약 2/3를 회복할 수 있다.
• 지시문 vs 가시성: 위해의 주요 원인은 단순히 정답의 가시성이 아니라, 정답을 향해 "합리화하라"는 지시문이다. "먼저 도출하라"는 지시를 사용하면 페널티를 크게 완화할 수 있다.

4. 예측 시그니처 ($\Delta$AFR)

저자들은 사전 학습 진단 지표로 $\Delta$AFR(누출된 생성과 미노출 생성 간의 정답 선제 제시율 차이)을 제안한다.

• $\Delta$AFR은 4개 계열의 8개 모델(Qwen, DeepSeek, GLM, Nemotron)에 대해 최종 누출 페널티와 매우 높은 상관관계($r=0.96$)를 보인다.
• 이 지표를 통해 실무자는 학생 모델 학습을 시작하기 전에 후보 교사(teacher) 모델을 스크리닝하여, 페널티를 평균 절대 오차 2.9 포인트 내로 예측할 수 있다.

4. 결과 및 일반화

• 도메인 특수성: 페널티는 다단계 도출이 필요한 작업(수학, 코드)에 국한된다. 모델이 정답을 도출하는 대신 옵션을 선택하는 객관식 지식 벤치마크에서는 페널티가 관찰되지 않았다.
• 교차 모델 전이: 위해는 모델 계열을 넘어 전이된다. Llama-Nemotron 교사로부터 생성된 사슬가 Qwen3-8B 학생의 성능을 저하시키며, GLM 교사의 사슬 역시 Qwen3-8B 학생을 저하시킨다.
• 코드 도메인: "정답"이 테스트 실행으로 정의되는 코드 생성(MBPP+, HumanEval+)에서도 페널티가 지속된다. 테스트를 통과하는 누출된 코드 사슬이라 할지라도 학생 모델의 성능을 약 9~10 포인트 저하시킨다.
• 교차 학생 전이: 피해는 데이터를 따라간다. 더 큰 교사(Qwen3-8B)의 누출된 사슬로 더 작은 모델(Qwen3-1.7B)을 학습시키면, 미노출 학습 대비 약 7 포인트의 페널티가 발생한다.

5. 의의 및 실무적 시사점

본 논문은 실패한 샘플링을 "정답을 조건으로 하여 수정"하는 표준적인 관행이 검증 가능한 추론을 위해 역효과를 낸다고 결론짓는다. "정답 정확도 필터"는 불충분한데, 이는 해당 필터가 탐색을 통해 도출된 사슬과 정답으로부터 역방향으로 합리화된 사슬을 구분할 수 없기 때문이다.

실무적 시사점:

1. 정답 미노출 생성(Generate Answer-Blind): 가장 효과적인 방어책은 정답을 보여주지 않고 사슬을 생성하는 것이다. 만약 샘플링이 실패한다면, 정답을 보여주며 재생성하는 대신 해당 데이터를 폐기해야 한다.
2. 지시문 추상화: 정답 가시성이 불가피하다면, 지시문을 "먼저 도출한 후 정답을 말하라"로 수정해야 하며, 이를 통해 손실된 정확도의 약 2/3를 회복할 수 있다.
3. 사전 학습 스크리닝: 실무자는 후보 교사 모델의 생성물 중 레이블이 없는 작은 샘플을 통해 $\Delta$AFR을 측정함으로써, 정답 조건부 증류가 학생 모델에 해를 끼칠지 여부를 예측할 수 있다.

저자들은 이러한 발견이 특히 최종 정답 확인이 가능한 검증 가능한 추론 증류(수학, 코드)에 적용되며, 이 위해가 모델 아키텍처의 특성이 아니라 데이터 생성 레시피의 속성임을 강조한다.