기술 요약: 추론 언어 모델의 실시간 진행 상황 예측

문제 제기

최근의 추론 언어 모델 (Reasoning LMs), 특히 긴 잠재적 사고 연쇄 (CoT) 를 활용하는 모델들은 복잡한 에이전트 작업에서 뛰어난 성능을 보여주고 있습니다. 그러나 이러한 모델들이 점점 더 긴 시간 범위를 거치면서, 그 내부 진행 상황은 사용자에게 불투명해집니다. 이러한 불투명성은 기대치 관리와 실시간 감독과 관련하여 사용자 상호작용에 상당한 도전을 제기합니다. 사용자는 작업이 얼마나 걸릴지, 또는 모델이 해결책으로 진정한 진전을 이루고 있는지 쉽게 판단할 수 없습니다. 일부 선행 연구는 고정된 추론 예산을 강제하려는 시도를 했지만, 이 전략은 쿼리만으로는 필요한 예산을 추론할 수 없을 때 실패하며, 이는 조기 종료나 잘못된 답변으로 이어질 수 있습니다.

이 논문이 다루는 핵심 질문은, 추론 언어 모델이 최종 답변까지의 남은 계산 거리에 대한 정보를 숨은 상태 (hidden states) 내에 인코딩하는지, 그리고 이 정보를 실시간 진행 상황 예측에 활용할 수 있는지 여부입니다.

방법론

저자들은 **기존 모델의 진단적 프로빙 (diagnostic probing)**과 **명시적 진행 보고를 생성하기 위한 지도 미세 조정 (SFT)**이라는 두 가지 접근법을 사용합니다.

1. 진단적 프로빙 (숨은 상태 분석)

모델 표현에 진전 정보가 본질적으로 인코딩되어 있는지 확인하기 위해, 저자들은 중간 숨은 상태에 선형 프로브를 훈련시켰습니다.

• 데이터셋: OpenR1-Math 에서 약 25,000 개의 수학 추론 흔적 (traces).
• 레이블링: 길이 $m$인 흔적 내의 정규화된 토큰 위치 ($k/m$) 를 기반으로 추론 진전을 10 개의 구간 (0–10%, 11–20%, ..., 91–100%) 으로 이산화했습니다.
• 프로브 아키텍처: 두 가지 유형의 선형 프로브를 훈련했습니다.
  • $f_{token}$: 현재 토큰의 숨은 상태에서 진전 구간을 예측합니다.
  • $f_{q+token}$: 현재 상태와 앞선 $n=2$개 토큰의 숨은 상태를 연결한 값에서 예측합니다.
• 평가: 도메인 내 데이터와 분포 외 (OOD) 긴 흔적 (>16K 토큰) 에 대해 탑 -1 정확도와 평균 절대 오차 (MAE) 를 사용하여 성능을 측정했습니다.

2. 지도 미세 조정 (명시적 진행 보고)

저자들은 CoT 내에 직접 진행 백분율을 출력하도록 모델을 훈련시켜 명시적 감독이 진행 상황 추정을 개선할 수 있는지 조사했습니다.

• 데이터 구성: OpenR1-Math 의 흔적에 문단 세그먼트 뒤에 <progressbar> X% </progressbar> 토큰을 삽입하여 증강했습니다. 진행 값 $a_i$는 전체 흔적 길이에 대한 세그먼트의 누적 토큰 수로 계산되었습니다.
• 훈련 변형:
  • 표준 SFT: 모델은 크로스 엔트로피 손실과 함께 LoRA 를 사용하여 미세 조정되었으며, 진행 주석 내 토큰의 가중치를 높였습니다.
  • 마스킹 스케줄: 모델이 추론 내용 대신 마커의 규칙적인 간격에 의존하는 것을 방지하기 위해, 훈련 중 앞선 진행 주석이 무작위로 마스킹되는 스케줄 (0 에서 0.5 까지의 코사인 스케줄) 을 적용했습니다.
• 평가된 모델: DEEPSCALER-1.5B, QWEN3-0.6B, QWEN3-4B.
• 베이스라인: 토큰 위치 베이스라인 (전체 평균 길이, 작업 평균/중앙값 길이) 과 이전 보고서에서 외삽하는 "이전 마커" 베이스라인과 비교했습니다.

3. 고유 모호성 분석

진전 레이블의 고유한 불확실성을 정량화하기 위해, 저자들은 동일한 부분 접두어에서 시작하는 여러 확률적 연속체 (stochastic continuations) 에 걸쳐 진전 값의 분산을 측정했습니다.

• 지표: $r=8$개의 샘플링된 연속체에 걸쳐 실현된 진전 값 ($g_{i,\ell}$) 의 평균 절대 편차 (MAD) 와 평균 절대 백분율 편차 (MAPD).

주요 결과

숨은 상태 인코딩

선형 프로브는 숨은 상태가 정규화된 흔적 위치와 상관관계를 가진 정보를 포함하고 있음을 보여주었으나, 이 신호는 순수한 의미론적이지는 않습니다.

• 정확도: 프로브는 무작위 추측 (10%) 보다 훨씬 높은 정확도를 달성했으며, 가장 좋은 도메인 내 결과는 약 35.9% (QWEN3-4B, 중간 레이어) 에 달했습니다.
• 일반화: OOD 긴 흔적에서 성능이 크게 저하되어 길이 일반화의 어려움을 나타냈습니다.
• 해석: 저자들은 이러한 결과가 토큰 위치 ($k/m$) 에서 파생된 레이블이므로, 의미론적 진전 추적을 결정적인 증거라기보다는 "표상 진단 (representation diagnostic)"으로 작용한다고 지적합니다.

진행 보고 성능

미세 조정된 모델은 성공적으로 진행 상황 추정을 생성하는 법을 학습했으며, 성능은 모델 크기와 훈련 전략에 따라 다양했습니다.

• 최고 성능: 마스킹된 QWEN3-4B 체크포인트가 수학 추론 흔적에서 MAE 0.161, 분포 외 BBEH (Big-Bench Extra Hard) 세트에서 0.157의 MAE 로 가장 강력한 결과를 달성했습니다.
• 마스킹 효과: 마스킹은 일반적으로 진행 예측 품질을 향상시켰습니다 (MAE 감소). 그러나 때로는 하류 작업 정확도와 트레이드오프가 발생했습니다. 예를 들어, 마스킹된 QWEN3-4B 는 마스킹되지 않은 대응 모델에 비해 수학 벤치마크에서 약간 낮은 매크로 정확도를 보였지만, 진행 상황 추정은 훨씬 더 우수했습니다.
• 베이스라인 비교: 수학 벤치마크에서 최상의 진행-SFT 체크포인트는 집계적으로 토큰 위치 베이스라인보다 우수했습니다. 그러나 BBEH 에서는 단순 길이 기반 베이스라인이 매우 경쟁력이 있었으며, 이는 분포 외 진행 추정치가 내용 민감적 추론보다는 구조적 규칙성에 크게 의존할 수 있음을 시사합니다.

고유 모호성

이 연구는 확률적 추론에 내재된 "노이즈"를 정량화했습니다.

• 분산: QWEN3-4B 는 가장 낮은 롤아웃 분산 (MAD = 0.027) 을 보였으며, 이어 DEEPSCALER-1.5B (0.059) 와 QWEN3-0.6B (0.065) 순이었습니다.
• 상관관계: 가장 낮은 분산을 보인 모델 (QWEN3-4B) 이 또한 가장 낮은 예측 MAE 를 달성했습니다. 이는 더 큰 모델이 남은 해결책 길이의 변동을 줄임으로써 진전 레이블을 더 안정적으로 만들 수 있음을 시사합니다.
• 격차: 관찰된 MAE 는 고유 분산 (MAD) 보다 여전히 높으며, 이는 확률성이 오류의 일부 부분을 설명하지만 추정 알고리즘에는 여전히 개선의 여지가 있음을 나타냅니다.

중요성과 주장

이 논문은 네 가지 주요 기여를 주장합니다:

1. 실시간 가시성: 추론 언어 모델의 실시간 진행 상황 예측을 위한 프레임워크를 도입하여 긴 추론 경로의 불투명성에 대한 잠재적 해결책을 제시합니다.
2. 표상 증거: 선형 프로브의 성공을 통해 추론 모델이 내부 표상에 진전 관련 정보를 인코딩하고 있음을 입증합니다.
3. 직접 통합: SFT 를 통해 진행 보고를 생성 과정에 직접 통합할 수 있음을 보여주며, 마스킹된 QWEN3-4B 체크포인트가 수학 흔적에서 0.161 의 MAE 를 달성했습니다.
4. 모호성 정량화: 롤아웃 분산을 측정하여 진전 레이블의 고유 모호성을 정량화했으며, 더 큰 모델 (QWEN3-4B) 이 남은 해결책 길이의 변동이 줄어들어 더 안정적인 진행 추정을 생성함을 발견했습니다.

저자들은 진전 신호가 종종 토큰 위치와 흔적 길이의 규칙성과 연관되어 있으며 순수한 의미론적 이해보다는 구조적 통제에 상대적이어야 함을 인정하며 겸손한 입장을 유지합니다. 진행 보고는 분포 외에서도 구문 분석 가능하고 수치적으로 정렬되어 있지만, 그 해석은 구조적 통제에 상대적이어야 한다고 지적합니다. 이 연구는 세 가지 소형 모델과 주로 수학 추론에 국한되었으며, 훈련 분포보다 긴 흔적에서는 예측 성능이 저하됩니다.