기술 요약: 검증 가능한 탐색은 학습 가능한 사고 사슬(Chain-of-Thought)이 아니다

문제 정의

본 논문은 추론 증류(distillation of reasoning)의 핵심 가설을 조사한다. 즉, 어떤 과업이 짧고 결정론적인 프로그램에 의해 해결될 수 있다면, 그 프로그램의 로직을 더 작은 언어 모델에 검증 가능한 사고 사슬(CoT)로서 가르칠 수 있는가? 직관적으로는 솔버(solver)의 단계를 자연어로 기술하고 이를 바탕으로 모델을 미세 조정(fine-tuning)하면, 모델이 해당 추론 과정을 재현할 수 있을 것이라고 생각한다.

저자는 이 직관에 도전하기 위해 제어된 벤치마크를 사용하여 이를 검증한다. 이 벤치마크는 고유한 특성을 갖는데, 숨겨진 테스트 세트가 공개된 훈련 세트와 동일한 결정론적 생성기에 의해 만들어졌다는 점이다. 이는 훈련 데이터의 일부를 보유한 데이터(held-out slice)가 테스트 정확도의 충실한 대리 지표가 되도록 보장하며, 이를 통해 저자는 외부 테스트 라벨 없이도 완벽한 기호적 솔버(symbolic solver)와 미세 조정된 모델 사이의 '학습 가능성 격차(learnability gap)'를 측정할 수 있다.

핵심 질문은 검증 가능한 솔버의 커버리지가 CoT를 통해 절차를 학습하려는 모델의 정확도를 예측할 수 있는지 여부이다. 본 연구는 특히 탐색(예: 백트래킹)이 필요한 과업과 순방향 계산(예: 산술, 조회)이 가능한 과업을 구분하여 집중한다.

방법론

본 연구는 데이터 노이즈나 구조적 한계로부터 학습 가능성을 분리하기 위해 정밀하게 설계된 파이프라인을 사용한다.

1. 벤치마크 구축: 로마 숫자, 단위 변환, 자유 낙하 물리, 단일 치환 암호, 8비트 불리언 규칙 유도, 방정식 유도, 그리고 두 종류의 크립티스(cryptarithm, deduce 및 guess 계열)를 포함한 9가지 과업 범주를 정의했다.
2. 솔버 역공학: 저자는 결정론적 생성기를 파이썬 솔버로 역공학했다. 5개 과업은 98% 이상의 정확도를 가진 솔버를 생성했다. 크립티스 과업은 약 71%의 정확도를 달는 백트래킹 탐색 솔버로 해결되었다(나머지는 정보 이론적으로 모호함).
3. 합성 CoT 생성: 솔버가 기본 모델의 네이티브 ASCII 스타일로 자신의 단계를 서술하도록 설계되었다. 중요한 규율이 적용되었는데, 모든 "판정(verdict)"(예: "이 후보를 탈락시킨다")은 반드시 **목격(witnessed)**되어야 했다. 즉, 결정을 내리게 만든 근거가 동일한 줄에 명시적으로 재진술되어야 했다.
4. 훈련 체계:
   • 기본 모델: Nemotron-3-Nano-30B-A3B (Mamba-2/Mixture-of-Experts 하이브리드 모델).
   • 어댑터: 합성 CoT에 대해 지도 미세 조정(SFT)된 Rank-$\le$32 LoRA 어댑터.
   • 단계적 격상(Escalations): SFT가 정체(plateau)에 도달했을 때, 저자는 강화 학습(RLVR/GRPO)과 자기 지도 학습(STaR)을 적용하여 모델 스스로 성공한 롤아웃(rollout)을 수확했다.
5. 평가: 모델은 그리디 디코딩(greedy decoding) 조건 하에서 보유 데이터(held-out real training rows)를 대상으로 평가되었다. 또한 아키텍처 제어(3B에서 671B 규모의 Dense 및 MoE 트랜스포머 테스트)와 인과적 개입(암호 키의 일부를 공개하여 순방향 유도 가능성 테스트)이 포함되었다.

주요 기여 및 결과

1. 해결 가능성-학습 가능성 격차 (Solvability–Learnability Gap)

본 논문은 솔버의 정확도와 모델의 정확도 사이의 극명한 괴리를 정량화한다.

• 순방향 계산 과업: 로마 숫자, 단위 변환, 단순 암호와 같은 과업의 경우, 솔버의 커버리지(100%에 근접)는 모델의 정확도($\ge$0.99)로 직접 연결된다.
• 탐색 과업: 크립티스의 경우, 솔버는 약 71%의 정확도를 달성하지만, 미세 조정된 모델은 훈련 방식(SFT, RLVR, STaR)이나 CoT 설계(11가지 설계 테스트)에 관계없이 0.01–0.07 수준에서 멈춘다.
• 비트 조작(Bit Manipulation): 이 과업은 중간 단계에 위치한다. 솔버는 98.9%에 도달하지만, 모델은 0.678에 그친다. STaR를 통해 모델이 컨텍스트 윈도우 내에서 스스로의 성공적인 탐색을 모방할 수 있게 됨으로써 이 격차가 일부 해소되는데, 이는 모델이 컨텍스트 내에서 탐색을 실행할 수 있다면 탐색을 학습할 수 있음을 시사한다.

2. 실패 메커니즘: "토큰으로서의 판정 (Verdict-as-Token)"

논문은 탐색 과업에서 발생하는 특정 실패 모드인 **"판정-as-토큰"**을 식별한다.

• 관찰: 크립티스 트레이스에서 모델은 97~100%의 줄에서 산술 연산을 정확하게 수행한다. 그러나 판정(후보가 유효하지 않다는 결론)은 해당 줄의 근거와 자주 분리된다.
• 메커니즘: 교사 강제(teacher forcing) 하에서 모델은 특정 문구(예: "일치하지 않음 $\to$ 탈락")를 출력하는 법을 배운다. 왜냐นั้น 훈련 중에는 이 문구가 항상 올바른 맥락에서 나타나기 때문이다. 추론(자유 실행) 시, 이 문구는 산술 내용이 그와 모순되더라도 무조건적으로 발화된다.
• 증거: 줄 단위 충실도 감사 결과, 산술적 정확도는 거의 완벽했으나, 판정의 논리적 충실도(결론이 숫자로부터 도출되는가?)는 16~57%에 불과했다.

3. 아키텍처 독립성 및 순방향 유도 가능성

이 실패는 하이브리드 Mamba-2/MoE 아키텍처에 국한된 문제가 아니다.

• 아키텍처 제어: 동일한 크립티스 코퍼스를 밀집(dense) 트랜스포머(Llama-3.2-3B, Qwen3.5-4B)와 MoE 트랜스포머(gpt-oss-20b)로 훈련했을 때도 동일한 $\le$0.04 정확도 하한선이 나타났다.
• 인과적 개입: 전체 암호 키를 공개하여 과업을 '탐색'에서 '순방향 조회'로 전환했을 때, 모델의 정확도는 0.03에서 0.571로 상승했다. 키의 절반만 공개했을 때는 큰 도움이 되지 않았다.
• 결론: 구속 요인은 **순방향 유도 가능성(forward-derivability)**이다. 유일하게 정직한 해법이 정보가 없는 구조에 대한 백트래킹 탐색인 과업은 충실한 순방향 CoT를 허용하지 않는다. 모방할 순방향 트레이스가 없다면, SFT는 탐색의 로직이 아닌 탐색의 표면적 형태만을 학습하게 된다.

4. 탈출구: 탐색이 아닌 암기

본 논문은 이 과업이 학습 가능하지만, 탐색 과정을 증류하는 방식으로는 불가능함을 보여준다.

• 1위 솔루션: 경진대회 우승자(Private LB 0.92)는 모델에게 탐색을 가르치지 않았다. 대신 크립티스의 조합론적 핵심(4,205개의 후보 시그니처 카탈로그)을 미리 계산하여 모델이 이를 암기하게 했다. 이 경우 모델의 CoT는 회상(카탈고 조회)과 유한 검증으로 축소된다.
• 시사점: 증류되는 것은 탐색 과정 자체가 아니라 암기 및 검증이다. 검증 가능한 탐색이 CoT로서 학습 가능하려면, 그 후보 구조가 암기 가능한 유한한 카탈로그로 압축될 수 있어야 한다.

의의 및 주장

본 논문의 주요 기여는 수렴하는 증거를 가진 **부정적 결과(negative result)**이다: 검증 가능한 탐색은 학습 가능한 사고 사슬이 아니다.

• 직관의 반박: "모든 해결 가능한 과업은 CoT를 통해 학습 가능하다"는 가정은 정보가 없는 구조에 대한 백트래킹을 요구하는 절차에서는 실패한다.
• 메커니즘 식별: 논문은 SFT가 추론 단계의 형식과 논리적 내용 사이의 결합을 해제하여, 추론 시 무너지는 부정확한 트레이스를 초래하는 구체적인 실패 모드로 "판정-as-토큰"을 지목한다.
• 예측 휴리스틱: 저자는 학습 가능성을 위한 사전 훈련 테스트를 제안한다. "순수한 순방향 폐쇄(백트래킹 없음)가 유의미한 비율의 인스턴스를 커버하는가?" 만약 그렇지 않다면, 해당 과업은 CoT 증류를 거부할 가능성이 높다.
• 구분: 논문은 해결 가능성(답이 존재함)과 학습 가능성(모델이 답을 찾아갈 수 있음)을 구분한다. 솔버의 커버리지는 솔버가 순방향 맵일 때만 모델의 정확도를 예측하며, 탐색 절차의 경우 거의 아무것도 예측하지 못한다.

저자는 자신의 기여가 새로운 모델 능력이나 대회 순위가 아니라, "왜 검증 가능한 탐색이 모델의 추론이 되는 데 실패하는지에 대한 깨끗하고 정밀한 설명"임을 명시한다. 이 연구 결과는 복잡한 탐색 과업에 대해 높은 성능을 얻는 길은 탐색 과정을 증류하는 것이 아니라, 과업을 재구성하여 암기와 계산을 분리하는 데 있음을 시사한다.