기술 요약: 언어 모델 "추론" 의 불확실성 추적

문제 제기

언어 모델 (LM) 은 increasingly 검증 가능한 작업 (수학적 및 논리적 추론 등) 의 성능을 향상시키는 "추론" 흔적 (예: 사고의 사슬 또는 테스트 시간 확장) 이라고 불리는 긴 중간 토큰 시퀀스를 생성합니다. 그러나 이 생성 과정을 뒷받침하는 역학은 여전히 잘 이해되지 않고 있습니다. 흔적의 길이와 성능 간의 상관관계는 확립되었지만, 올바른 추론과 잘못된 추론을 구분하는 메커니즘은 불투명합니다. 이러한 흔적을 검증하거나 개선하기 위한 기존 접근법들은 종종 정보를 집계 (시간적 구조를 폐기) 하거나 의미론적 내용에 의존하는데, 이는 신뢰할 수 없는 것으로 입증되었습니다. 또한, AI 에서 "추론"의 정의는 여전히 논쟁의 여지가 있으며, 모델이 올바른 답변을 산출하는 의미적으로 유효하지 않은 흔적을 생성하거나, 유효해 보이는 흔적이 실패하는 경우가 있음을 시사하는 증거가 있습니다.

본 논문은 "추론" 흔적을 정적 의미 객체가 아닌 불확실성을 특징으로 하는 진화하는 모델 상태로 취급함으로써 생성 과정에 대한 이해의 공백을 해소합니다. 저자들은 생성 과정에서 불확실성의 역학이 흔적의 의미론적 내용과 무관하게 최종 답변의 정확성에 대한 예측 신호를 포함한다고 주장합니다.

방법론

불확실성 정량화 프레임워크

저자들은 생성 과정을 시계열로 모델링하기 위해 불확실성 정량화 (UQ) 를 적용합니다. 그들은 불확실성을 정밀 분석을 위해 세분화된 두 가지 주요 범주로 분해합니다:

1. 인지적 불확실성 ($U_E$): 훈련 데이터에 기반한 예측에 대한 모델의 지식 부족을 반영합니다. 이는 1 차 델타법 (first-order delta-method) 확장을 통해 유도된 모델 매개변수에 대한 예측 확률의 기울기 (gradient) 의 제곱 $L_2$ 노름을 사용하여 추정됩니다.
2. 우연적 불확실성: 작업의 고유한 무작위성을 반영합니다. 저자들은 두 가지 하위 유형을 구분합니다:
   • 결정적 우연적 불확실성 ($U_C$): 선택된 토큰의 예측 확률의 베르누이 분산입니다. 이는 모델이 특정 토큰에 얼마나 "결정적"으로 집중하는지 (농도) 대 여러 가지 가능성이 낮은 대안들 사이에서 소거를 통해 토큰을 선택하는지를 측정합니다.
   • 분포적 우연적 불확실성 ($U_D$): 전체 어휘에 대한 예측 분포의 기대 조건부 엔트로피입니다. 이는 모드뿐만 아니라 전체 분포의 형태를 포착합니다.

흔적 및 답변 채널

생성된 흔적의 모든 토큰 위치 $t$에 대해 저자들은 두 가지 채널에 걸쳐 이 세 가지 불확실성 유형을 계산합니다:

• 흔적 불확실성 ($U_{Tr}$): 목표 $y$는 다음 토큰 $v_t$입니다. 이는 즉각적인 생성 단계에 대한 모델의 상태를 특징짓습니다.
• 답변 불확실성 ($U_A$): 목표 $y$는 최종 답변 $\hat{y}$입니다. 이는 흔적 접두사에 조건부이지만 최종 답변 스팬에 적용되는 순방향/역방향 패스를 통해 최종 출력에 대한 모델의 상태를 특징짓습니다.

이로써 생성당 여섯 개의 시계열 ($U_{Tr}^D, U_{Tr}^C, U_{Tr}^E, U_{A}^D, U_{A}^C, U_{A}^E$) 이 생성됩니다.

특징 공학 및 예측

이 시계열을 요약하기 위해 저자들은 각 불확실성 흔적에 대한 특징 집합인 불확실성 흔적 프로파일을 추출합니다:

• 정적 특징: 흔적의 초기 ($\mu_{early}$), 중간 ($\mu_{mid}$), 후기 ($\mu_{late}$) 구간에서의 평균 불확실성.
• 동적 특징: 불확실성 궤적의 선형 기울기 ($m$) 와 이 선형 추세의 적합도 ($r^2$).

이러한 특징들은 흔적이 올바른 최종 답변을 산출하는지 여부를 예측하기 위해 이진 분류기 (로지스틱 회귀 및 그래디언트 부스팅) 를 훈련하는 데 사용됩니다. 본 연구는 강화 학습으로 훈련된 표준 LM 에서 "추론" 모델 (RM) 에 이르기까지 다섯 가지 모델 (Llama-3.1, Llama-3.2, Qwen-2.5, DeepSeek R1, Qwen-3) 을 GSM8K(수학) 와 ProntoQA(논리) 라는 두 가지 데이터셋에 걸쳐 평가합니다.

주요 결과

예측 성능

불확실성 흔적 프로파일은 기존 베이스라인을 크게 능가하는 강력한 정확성 예측자입니다:

• AUROC 점수: 이 방법은 Qwen-2.5 의 GSM8K 에서 0.807까지의 AUROC 점수를 달성하여, 최첨단 회로 기반 추론 검증 (CRV) 보다 11.5% 향상되었고, 자기 확신 (Self-Certainty) 보다 최대 59% 향상되었습니다.
• 조기 감지: 정확성은 처음 수백 개의 토큰만으로도 높은 정확도로 예측할 수 있습니다. GSM8K 에서 모델은 300 번째 토큰에서 0.801의 AUROC 에 도달하여, 생성 과정 초기에 오류를 감지할 수 있음을 시사합니다.
• 강건성: 예측력은 표준 LM 대 RM 과 같은 서로 다른 모델 아키텍처 및 훈련 체계 전반에 걸쳐 유지되는 반면, 이전 방법인 자기 확신은 모델 유형에 따라 변동적인 성능을 보였습니다.

불확실성 역학의 질적 차이

올바른 흔적과 잘못된 흔적에 대한 상세 분석은 뚜렷한 패턴을 드러냅니다:

• 우연적 불확실성: 잘못된 흔적은 일반적으로 올바른 흔적에 비해 생성 전반에 걸쳐 더 높은 수준의 결정적 및 분포적 불확실성을 보입니다.
• 인지적 불확실성: 행동은 반직관적입니다. 잘못된 흔적은 종종 추론 모델에서 더 낮은 흔적 수준 인지적 불확실성 ($U_{Tr}^E$) 을 보입니다. 이는 잘못된 결론으로 이어지는 잘못된 흔적의 단계들이 훈련 데이터에 의해 놀라울 정도로 잘 지지받고 있음을 의미합니다. 반면, 최종 잘못된 답변은 종종 올바른 답변보다 낮은 답변 수준 인지적 불확실성을 가집니다.
• 시간적 역학: 올바른 흔적은 생성이 진행됨에 따라 불확실성이 더 가파르고 선형적으로 감소하는 경향 (더 높은 $r^2$) 을 보입니다. 잘못된 흔적은 종종 더 평탄하고 덜 선형적인 궤적을 보이거나, RM 의 경우 잘못된 잘 지지된 답변으로 수렴하는 더 가파른 감소를 보입니다.

중요성 및 주장

본 논문은 불확실성 하의 의사결정에 기반한 LM "추론"의 생성 과정을 연구하기 위한 원칙적인 렌즈를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 시간적 특성화: 이전 작업들이 불확실성을 집계하거나 숨겨진 상태에 의존한 것과 달리, 이 접근법은 흔적을 진화하는 시계열로 취급하여 추론의 질이 어떻게 그리고 어디에서 변화하는지를 포착합니다.
2. 진단 신호: 본 연구는 우연적 불확실성과 인지적 불확실성이 서로 반대 방향의 진단 신호를 전달함을 입증합니다. 실패 모드는 증가된 우연적 불확실성 (어려움 또는 결핍을 나타냄) 과 감소된 인지적 불확실성 (잘못된 경로가 모델에게 친숙함을 나타냄) 이 결합된 것으로 특징지어집니다. 어느 하나의 측정치만으로는 이러한 실패 모드를 드러내지 못합니다.
3. 실용적 유용성: 초기 흔적 역학의 높은 예측력은 선택적 생성 및 테스트 시간 확장에 대한 실용적 응용을 시사합니다. 이는 전체 생성이 완료되기 전에 불확실성 프로파일에 기반하여 흔적을 재샘플링하거나 조기 종료할 수 있음을 의미합니다.
4. 의미론적 분석에 대한 보완성: 저자들은 불확실성 기반 분석이 의미론적 검사가 놓치는 실패를 식별할 수 있다고 주장합니다. 이는 모델이 비율 대 차이와 같은 잘못된 해석에 결정적으로 집중할 때 의미론적 분석이 간과할 수 있는 뚜렷한 불확실성 스파이크가 있는 사례 연구에 의해 입증됩니다.

저자들은 자신의 방법이 불확실성의 근사 (특히 인지적 불확실성을 위한 등방성 근사) 에 의존하며, 분포 이동으로 인해 데이터셋 (예: GSM8K 대 ProntoQA) 간에 결과가 달라질 수 있음을 인정하며 겸손한 입장을 유지합니다. 그들은 이 작업을 추론 흔적 전반에 걸친 불확실성 측정의 정보 가치에 대한 개념 증명 (proof-of-concept) 으로 위치시키고, 향후 연구가 다른 작업 및 아키텍처로 확장되기를 초대합니다.