Reasoning Models Don't Just Think Longer, They Move Differently

기술 요약: 추론 모델은 단순히 더 오래 생각하는 것이 아니라, 다르게 움직입니다

문제 제기
추론 훈련을 거친 대규모 언어 모델 (LLM) 은 어려운 문제에 대해 테스트 시간 계산량을 더 많이 할당하여, 결과적으로 훨씬 긴 사고의 사슬 (chains of thought) 을 생성합니다. 그러나 기존 문헌은 이러한 모델들이 단순히 더 많은 계산 단계를 수행하는 것인지, 아니면 근본적으로 내부 추론 궤적을 변경하는 것인지 구별하는 데 어려움을 겪어 왔습니다. 숨겨진 상태 (hidden-state) 궤적을 분석할 때 발생하는 중요한 교란 요인은 생성 길이입니다. 길이가 더 긴 경로는 모델의 내부 논리와 관계없이 기계적으로 덜 직접적이고 더 '구불구불한 (tortuous)' 경향이 있습니다. 따라서 원시 기하학적 분석은 종종 경로 길이의 기계적 효과를 문제 난이도나 모델 아키텍처의 효과로 잘못 귀속시켜, 추론 훈련이 고유한 내부 역학을 유발하는지 여부를 흐리게 만듭니다.

방법론
저자들은 경쟁 프로그래밍 (Codeforces), 수학 (MATH), 부울 만족도 문제 (SAT) 의 세 가지 도메인에서 일치된 실험 설계를 적용했습니다.

1. 난이도 보정: 플랫폼별 레이블에 독립적인 연속 난이도 척도를 확립하기 위해, 저자들은 1,500 개의 항목에 걸친 32 개 모델의 성능을 사용하여 라슈 모델 (Rasch model, 항목 반응 이론) 을 적합시켰습니다. 이를 통해 각 문제에 대한 잠재적 난이도 변수 ($b_i$) 를 도출했습니다.
2. 궤적 추출: 숨겨진 상태 궤적은 솔루션 세그먼트 생성 중 다섯 개의 균등하게 간격이 떨어진 레이어의 잔여 스트림 (residual stream) 에서 추출되었습니다. 추론 모델의 경우 이 세그먼트는 명시적인 사고 블록이며, 지시 튜닝된 베이스라인의 경우 감지된 답변 경계 앞의 텍스트입니다.
3. 기하학적 지표: 두 가지 주요 통계량이 계산되었습니다:
   • 직진성 ($D$): 총 경로 길이에 대한 순 변위의 비율 ($\Delta / L$) 로, 종점 효율성을 측정합니다.
   • 곡률 변동성 ($V$): 연속된 세 쌍에 대한 멘거 곡률 (Menger curvature) 의 표준 편차로, 국부적 굽힘 이질성을 측정합니다.
4. 길이 보정: 원시 기하학이 생성 길이 ($N$) 에 의해 지배된다는 점을 인식하여, 저자들은 잔차화 (residualization) 절차를 수행했습니다. 각 모델과 레이어에 대해 길이 전용 회귀 ($\bar{D} \sim \log N$) 를 적합시킨 후, 잔차 ($D_\perp$) 를 항목 난이도 ($b_i$) 와 상관관계 분석했습니다. 이를 통해 경로 길이와 독립적인 난이도 - 기하학 결합을 분리해냈습니다.
5. 비교 분석: 본 연구는 R1 증류, SFT+RL, 또는 o3-mini 증류를 사용한 여섯 쌍의 추론 훈련 모델과 지시 튜닝된 베이스라인을 비교했습니다.
6. 보조 분석: 저자들은 프롬프트 단계에서 난이도 해독 가능성을 테스트하기 위해 선형 프로브 (linear probes) 를 사용했으며, 독립적인 LLM 판정자를 활용하여 생성된 흔적 (traces) 에 전략 전환, 불확실성 모니터링 등의 추론 행위를 주석 달았습니다.

주요 결과

1. 길이 보정을 통한 부호 반전: 원시 궤적에서는 더 어려운 문제가 더 긴 경로를 생성하기 때문에 덜 직접적으로 나타납니다. 길이 보정 후 이 관계는 세 가지 도메인 전반에 걸쳐 반전됩니다: 더 어려운 문제는 더 직접적인 보정된 궤적을 유발합니다. 이는 원시 기하학이 추론 조직의 충실한 표현이 아니라 길이의 구조적 산물임을 시사합니다.
2. 도메인 의존적 추론 분리:
   • 경쟁 프로그래밍: 가장 명확한 차이가 나타납니다. 여섯 개의 추론 모델 모두 난이도와 보정된 직진성 사이에 강한 양의 상관관계를 보인 반면 ($\rho_{D_\perp} \approx +0.41$), 일치된 베이스라인은 0 에 가깝거나 음수였습니다 ($\approx -0.06$). 추론 모델 또한 어려운 문제에서 곡률 변동성이 감소하는 것을 보여주었습니다.
   • 수학: 분리는 더 약하고 이질적입니다 (추론 모델의 경우 $\rho_{D_\perp} \approx +0.05$, 베이스라인의 경우 $-0.07$).
   • 부울 만족도 문제: 추론 모델과 베이스라인 모델 모두 보정된 양의 결합을 보여주어, 이 도메인에서는 특정 추론 훈련 없이도 지시 튜닝된 모델에서 난이도 - 기하학 결합이 나타날 수 있음을 시사합니다.
3. 선형 프로브와의 분리: 프롬프트 단계의 선형 프로브는 보정된 기하학에서 관찰된 추론 - 베이스라인 분리를 반영하지 않습니다. 코드 도메인에서는 기하학적 격차가 크지만 선형 난이도 해독 가능성의 차이는 미미합니다. 이는 효과가 단순히 난이도 정보에 대한 더 강력한 선형 접근이 아니라 생성 중 궤적의 진화 방식 변화임을 시사합니다.
4. 행동적 상관관계: 더 강한 보정된 기하학적 결합은 관찰 가능한 추론 행위, 특히 R1 증류 모델에서 '전략 전환'과 '불확실성 모니터링'과 공존합니다. 이러한 주석은 동일한 흔적에서 측정된 기술적 상관관계일 뿐 인과 메커니즘은 아닙니다.

의의 및 주장
본 논문은 생성 시간 궤적 분석에서 생성 길이가 구조적 교란 요인이며, 유효한 해석을 위해서는 길이 보정이 전제되어야 함을 입증합니다. 저자들은 추론 훈련이 고유한 보정된 궤적 기하학과 연관되어 있다고 주장하지만, 이 효과는 도메인에 의존적이며 경쟁 프로그래밍에서 가장 두드러집니다.

이 발견들은 추론 모델이 단순히 '더 오래 생각하는' 것이 아니라, 문제 난이도가 증가함에 따라 더 직접적이고 국부적 이질성이 적은 내부 경로를 따름을 시사하며, 이는 특히 복잡한 전략 선택이 필요한 도메인에서 두드러집니다. 논문은 이 기하학적 신호가 선형 난이도 해독 가능성의 단순한 재진술이 아니라 이를 보완하는 것임을 제기합니다. 마지막으로, 저자들은 추론의 내부 역학에 대한 향후 연구를 촉진하기 위해 생성된 사고의 사슬과 샘플링된 숨겨진 상태 궤적을 짝지어 대규모 궤적 아카이브를 공개합니다.

한계점
저자들은 본 분석이 인과 메커니즘이 아닌 견고한 기하학적 연관성을 식별했다고 인정합니다. 솔루션 세그먼트의 분할은 베이스라인의 경우 휴리스틱에 의존하며, 행동 주석은 기하학과 동일한 데이터에서 파생된 기술적 상관관계이므로 특정 행위가 기하학적 신호를 어떻게 주도하는지에 대한 인과적 주장은 배제됩니다. 또한 고정 간격 샘플링은 더 미세한 시간적 구조를 놓칠 수 있습니다.