기술 요약: 정답이 포함된 장형 CoT 학습 흔적에서의 유해한 연속성 진단

문제 제기

장형 사고 연쇄 (CoT) 흔적은 추론 지향 대형 언어 모델 (LLM) 의 지도 미세 조정 (SFT) 을 위한 감독 신호로 널리 활용된다. 기존 문헌은 정답이 맞는 흔적조차 스타일이나 구조에 따라 학습 유용성이 달라질 수 있음을 인정하지만, 이러한 흔적의 내부 실패 양상은 아직 충분히 탐구되지 않았다. 구체적으로, 최종 정답이 맞다면 긴 추론 흔적이 균일하게 유용한지 여부는 불분명하다.

본 논문은 정답이 포함된 장형 CoT 데이터에서 발생하는 특정 현상인**결론 후 연속성 (post-conclusion continuation)**을 조사한다. 이는 추론 흔적에 이미 정답이 충분히 뒷받침되었음에도 불구하고, 생성이 여전히 감독 대상의 일부인 추가 추론 단계로 이어지는 경우를 말한다. 저자들은 이 단계가 지속적인 국소적 불확실성과 약은 은닉 상태 진행을 특징으로 하는 "저가치" 단계일 수 있으며, 정답의 정확성은 유지하면서도 SFT 결과를 저하시키는 "유해한 연속성"으로 작용할 수 있다고 가정한다.

방법론

1. 운영적 분할 및 진단

선천적 유해성을 사전에 가정하지 않고 이 현상을 진단하기 위해, 저자들은 OpenR1-Math-220k 데이터셋의 4,780 개의 정답이 포함된 장형 CoT 궤적을 처리하기 위해삭제 전용 편집기(Qwen3.5-27B)를 활용한다.

• 운영 그룹: 편집기는 최종 정답을 복원하는 데 필요한 추론을 보존하면서 제거할 수 있는 문장을 표시한다. 이를 통해 각 흔적은 다음과 같이 분할된다:
  • 유지된 추론: 최종 정답을 뒷받침하는 접두사.
  • 편집기 제거 연속성: 제거 가능으로 표시된 결론 후 접미사.
• 불확실성 진단: 저자들은 정답 수준의 엔트로피와 음의 로그 가능도 (NLL) 를 분석한다. 유지된 추론은 정답 NLL 을 감소시키지만, 편집기에 의해 제거된 연속성은 종종 정답 엔트로피와 NLL 을 증가시켜 정답 지원의 포화 상태 이후 불안정한 탐색이 이루어짐을 보여준다.
• 기하학적 진단: 은닉 상태 분석 (은닉 이동 및 말단 상태로의 전진) 을 사용하여, 저자들은 편집기에 의해 제거된 연속성이 유지된 추론에 비해 더 약한 상태 이동과 더 낮은 말단 방향 진행을 보임을 발견한다.
• 불확실성 - 기하학 불일치: 핵심 진단 결과는 결론 후 접미사가 국소적으로 비용이 많이 들며 (높은 불확실성) 약한 기하학적 진행을 보이는 불일치이다.

2. 유해한 연속성 절단 (HCC)

학습 중 대규모 오프라인 편집기에 의존하지 않고 이 진단을 운영화하기 위해, 저자들은 가벼운 경계 프록시인**유해한 연속성 절단 (Harmful Continuation Cut, HCC)**을 제안한다.

• 아키텍처: HCC 는 컷 헤드가 있는 고정된 Qwen2.5-0.5B-Instruct 백본을 사용한다.
• 메커니즘: 문장 수준의 은닉 상태를 추출하여 다음을 공동 추정한다:
  • 국소 불확실성 신호(엔트로피/NLL 통계 기반).
  • 운영적 진행 신호(은닉 상태 이동 기반).
• 학습 목표: 모델은 다음을 결합하여 편집기가 식별한 경계를 예측하도록 훈련된다:
  • 순차적 잠재 정규화 (변분 오토인코더 스타일).
  • 불확실성 및 기하학 회귀 손실.
  • 경계 예측 및 문장 수준 삭제 분류 손실.
• 목표: HCC 는 유해한 연속성을 제거하기 위해 SFT 데이터 준비 중에 편집기가 식별한 결론 후 연속성 경계를 근사한다.

주요 결과

1. 유해한 연속성에 대한 개입적 증거

저자들은 LLaMA3.2-3B 와 Qwen2.5-Math-7B 백본을 사용하여 세 가지 데이터 처리 방법 (Vanilla(원본), 휴리스틱 절단, 편집기 처리(제거에 대한 기준)) 으로 SFT 실험을 수행한다.

• 성능 향상: 편집기가 식별한 결론 후 연속성을 제거하는 것은 MATH500, AMC23, GSM8K 벤치마크에서 원본 흔적으로 학습하는 것보다 하류 SFT 성능을 일관되게 향상시킨다.
• HCC 유효성: HCC 는 27B 편집기 처리 참조와 비교 가능한 성능을 달성하며, 일부 경우 (예: MATH500 에서의 LLaMA3.2-3B) 이를 능가한다. 이는 가벼운 프록시가 대규모 모델 흔적 편집의 이점을 효과적으로 복원할 수 있음을 보여준다.
• 길이 대 품질: HCC 처리된 흔적은 Vanilla 흔적보다 훨씬 짧지만 단순한 휴리스틱 절단보다 성능이 우수하다. 이는 성장이 제거된 콘텐츠의 품질(유해한 연속성) 에 기인한 것이지 단순한 길이 감소 때문이 아님을 시사한다. 무작위 절단 기준선은 임의의 단축이 성능을 저하시킨다는 것을 확인시켜 준다.

2. 학습 후 진단

HCC 처리된 흔적으로 훈련된 모델은 유해한 연속성 제거와 일관된 추론 역학을 보인다:

• 안정성: 이들은 생성 전반에 걸쳐 안정적인 정답 NLL 과 감소하는 세그먼트 엔트로피를 유지하며, Vanilla 모델에서 관찰되는 "엔트로피 반등"을 피한다.
• 기하학적 진행: 이들은 Vanilla 모델에 비해 더 강력한 토큰 정규화 은닉 이동과 감소된 엔트로피 - 진행 불일치를 보인다.

3. 일반화 및 RL 초기화

• 교차 도메인: HCC 기반 SFT 는 비수학적 MMLU 주제 (예: 생물학, 물리학) 에서 성능을 향상시켜, 유해한 연속성 제거의 이점이 지식 집약적 작업으로 전이될 수 있음을 시사한다. 다만 저자들은 이것이 비수학 흔적에서도 동일한 패턴이 존재함을 증명하지는 않는다고 명시한다.
• 강화 학습: HCC 기반 SFT 로 초기화된 모델은 후속 GRPO(강화 학습) 훈련을 위한 더 강력한 시작점으로 작용하여, RL 단계 전반에 걸쳐 Vanilla 초기화 모델을 일관되게 능가한다.

중요성 및 주장

본 논문은 정답이 포함된 장형 CoT 흔적 내의결론 후 연속성에 대한 최초의 진단적 관점을 제공한다. 주요 기여점은 다음과 같다:

1. 형식화: 정답이 뒷받침되지만 생성이 높은 불확실성과 약한 진행으로 이어지는 추론 흔적 내의 저가치 단계를 정의한다.
2. 실증적 검증: 정답을 보존하는 제거를 통해 이 연속성이 연구된 설정에서 SFT 결과에 실증적으로 "유해함"을 입증한다.
3. 특성화: 불확실성 - 기하학 불일치를 이 유해한 단계의 특징으로 식별한다.
4. 실용적 도구: 유해한 연속성 제거를 근사하는 계산 효율적인 (27B 편집기 대비 54 배 저렴) 프록시인HCC를 도입하여 추론 모델을 위한 확장 가능한 데이터 정제를 가능하게 한다.

저자들은 겸손한 입장을 유지하며, "유해한"이라는 라벨은 SFT 결과에 의해 실증적으로 뒷받침되며, 편집기의 레이블은 고유한 유해성의 기준이 아닌 운영적 개입으로 기능함을 명확히 한다. 이 작업은 정답이 포함된 장형 CoT SFT 의 특정 설정에 초점을 맞추며, 더 세부적인 구성 요소 수준의 귀인과 광범위한 적용 가능성은 향후 과제로 남긴다.