기술 요약: Conformal Thinking: 계산 예산 하의 추론을 위한 위험 제어

1. 문제 제기

추론형 대규모 언어 모델 (LLM) 은 토큰 예산이 증가함에 따라 성능이 향상되는 '테스트 시간 확장 (test-time scaling)'을 가능하게 합니다. 그러나 이는 언제 추론을 중단할지 결정해야 한다는 실용적인 과제를 야기합니다. 기존 적응형 추론 메커니즘은 일반적으로 모델이 충분히 확신 있는 것으로 보일 때 생성을 중단시키기 위해 신뢰도 (또는 불확실성) 의 단일 상한 임계값에 의존합니다. 이 접근법은 두 가지 중요한 비효율성에 직면합니다:

1. 과도한 추론 (Over-thinking): 이미 정답이 존재함에도 불구하고 모델이 추론을 계속하여 계산 자원을 낭비합니다.
2. 어려운 사례에서의 추론 부족 (Under-thinking on hard instances): 어렵거나 해결 불가능한 문제에서는 모델의 신뢰도가 상한 임계값에 도달하지 못해, 시스템이 성공 없이 최대 토큰 예산을 모두 소진하게 됩니다.

또한, 구체적인 임계값을 설정하는 것 자체가 실용적인 과제입니다. 임계값과 이로 인해 발생하는 오류율 간의 관계는 종종 해석 불가능하며, 신호에 의존적이고 작업마다 달라집니다. 현재 방법들은 실제 발생 오류율 (위험) 에 대한 이론적 보장이 없는 수동 조정 컷오프나 휴리스틱 스윕에 자주 의존합니다.

저자들은 추론 예산 설정 문제를 하이퍼파라미터 튜닝 작업이 아닌 위험 제어 (risk control) 문제로 재정의합니다. 목표는 계산 비용을 최소화하면서 사용자 지정 허용 오차 ($\epsilon$) 내로 오류율을 제한하는 것입니다.

2. 방법론: Conformal Thinking

제안된 프레임워크인 Conformal Thinking은 분포 무관 위험 제어 알고리즘에 의해 제어되는 이중 임계값 중단 메커니즘을 도입합니다.

2.1 이중 임계값 중단 정책

단일 상한 임계값 대신, 이 방법은 두 가지 유형의 위험을 관리하기 위해 두 개의 임계값을 사용합니다:

• 상한 임계값 ($\lambda_+$): **위양성 위험 (False Positive Risk)**을 제어합니다. 모델이 정답을 찾았다고 충분히 확신할 때 추론을 중단합니다. 이는 이미 정답이 알려진 해결 가능한 사례에서 토큰을 낭비하는 것을 방지합니다.
• 하한 임계값 ($\lambda_-$): **위음성 위험 (False Negative Risk)**을 제어합니다. 모델의 신뢰도가 충분한 속도로 증가하지 않을 때 추론을 중단하여, 해당 사례가 남은 예산 내에서 해결 불가능할 가능성이 높음을 나타냅니다. 이는 희망 없는 사례에서 토큰을 낭비하는 것을 방지합니다.

중단 시간 $\tau$는 다음과 같이 정의됩니다:
$$\tau = \min \{ t \ge 1 : \tilde{s}_t \ge \lambda_+ \lor \tilde{s}_t \le \lambda_- \}$$
여기서 $\tilde{s}_t$는 $t$단계에서의 안정화된 불확실성 신호 (예: 신뢰도 또는 엔트로피) 입니다.

2.2 동적 하한 임계값

주요 혁신 중 하나는 매개변수화 된 하한 임계값입니다. 정적 상한 임계값과 달리, 하한 임계값은 추론 단계 (또는 토큰 사용량) 의 동적 함수입니다. 이는 진전의 '스케줄'을 강제합니다: 모델은 계속하기 위해 규칙적인 신뢰도 증가를 보여야 합니다.
하한 임계값은 시그모이드 함수로 모델링됩니다:
$$\lambda_-(t; c, s, l, u) = \sigma(c (\omega_t - sB), l, u)$$
여기서 $\omega_t$는 생성된 누적 토큰 수, $B$는 총 예산이며, 매개변수 $c, s, l, u$는 신뢰도 요구 사항의 기울기, 이동, 및 경계를 제어합니다. 모델의 신뢰도 궤적이 이 동적 스케줄을 충족하지 못하면 추론이 선제적으로 중단됩니다.

2.3 손실 함수

프레임워크는 트레이드오프를 정량화하기 위해 특정 손실 함수를 정의합니다:

• 예측 손실 (Predictive Losses):
  • $\ell_+$: 잘못된 답변에서 조기 중단하는 위양성을 측정합니다.
  • $\ell_-$: 나중에 해결되었을 수도 있는 사례에서 중단하는 위음성을 측정합니다. 이는 '원근감 있는 (farsighted)' 것으로, 미래의 임의의 단계 $k \in (t, T]$에서 정답이 존재하는지 확인합니다.
• 효율성 손실 (Efficiency Losses):
  • $J_+$: 정답이 처음 올바르게 된 시점인 '오라클' 중단 시간 이후 낭비된 토큰을 측정합니다.
  • $J_-$: 결국 해결 불가능했던 사례에서 낭비된 토큰을 측정합니다.

2.4 UCB 를 통한 위험 제어

유한한 검증 세트에 과적합되지 않고 임계값 ($\lambda_+$) 과 동적 매개변수 ($c$) 를 선택하기 위해, 저자들은 Upper Confidence Bound (UCB) 알고리즘 (Bates et al., 2021) 을 사용한 분포 무관 위험 제어를 적용합니다.

1. 보정 (Calibration): 홀드아웃 검증 세트에서 알고리즘은 유한 표본 보정 항을 포함한 조정된 위험 추정치를 계산합니다.
2. 선택 (Selection): 추정된 효율성 손실을 최소화하면서 높은 확률 ($1-\delta$) 로 사용자 지정 위험 허용 오차 ($\epsilon$) 를 만족하는 신호와 임계값 쌍을 선택합니다.
3. 이 단계 절차 (Two-Step Procedure): 이 방법은 최적화를 단순화하기 위해 상한 및 하한 임계값 선택을 분리합니다. 먼저 위양성을 제어하기 위해 상한 임계값을 고정하고, 그 다음 위음성을 제어하기 위해 하한 임계값 매개변수를 선택합니다.

3. 주요 기여

1. 위험 제어 프레임워크: 사용자 지정 위험 허용 오차를 중단 기준에 직접 매핑하여 불투명한 임계값 튜닝을 대체하는 적응형 추론을 위한 중단 규칙 설정을 위한 원칙적인 접근법.
2. 이중 임계값 메커니즘: 표준 상한 임계값을 보완하여 해결 불가능한 사례에서 추론을 중단시키는 새로운 매개변수화 된 하한 임계값의 도입.
3. 손실 함수 정의: 추론 LLM 의 조기 중단에 특화된 예측 오류 (위양성/위음성) 와 효율성 비용 (낭비된 토큰) 을 모두 포착하는 손실 함수 집합.
4. 실증적 검증: 이 접근법이 높은 확률로 사용자 지정 위험 목표를 달성하고 단일 임계값 또는 단순 베이스라인 방법보다 계산 효율성을 향상시킨다는 입증.

4. 실험 결과

저자들은 Qwen3-8B/30B 및 DeepSeek-R1-Distill 와 같은 모델을 사용하여 다양한 추론 작업 (AIME, DeepScaleR, GPQA-Diamond, MathVision) 에서 이 프레임워크를 평가했습니다.

• 위험 제어 유효성: 실험은 UCB 기반 선택이 실현된 테스트 위험이 높은 확률로 사용자 지정 목표 $\epsilon$ 이하로 유지됨을 확인했습니다. 반면, 단순 교차 검증은 특히 하한 임계값에 의해 제어되는 위음성 위험의 경우 위험 목표를 자주 위반했습니다.
• 효율성 향상:
  • 신호 앙상블: 이 프레임워크는 주어진 위험 수준에 대해 가장 효율적인 불확실성 신호 (예: 신뢰도, 프로브, EAT) 를 자동으로 선택하여 단일 신호 베이스라인보다 우수한 성능을 발휘했습니다.
  • 하한 임계값의 영향: 하한 임계값은 특히 해결 불가능한 사례의 비율이 높은 데이터셋에서 상당한 토큰 절감을 제공했습니다. 해결 불가능한 사례가 흔한 시나리오 (1:1 또는 1:3 비율) 에서 '상한만 (Upper-Only)' 접근법은 최대 예산까지 실행되어 토큰을 절약하지 못했지만, 이중 임계값 접근법은 정확도 - 계산 곡선을 현저히 왼쪽으로 이동시켰습니다.
• 견고성: 이 방법은 분포 변화 (예: 다른 데이터셋 난이도 또는 추론 길이) 하에서도 견고하게 유지된 반면, 단순 방법은 심각한 초과 위험을 겪었습니다.

5. 중요성 및 주장

이 논문은 Conformal Thinking이 휴리스틱 임계값 튜닝에서 해석 가능한 위험 관리로의 필수적인 전환을 제공한다고 주장합니다. 임의의 신뢰도 값이 아닌 허용 가능한 오류율 (위험 허용 오차) 을 사용자가 지정할 수 있게 함으로써, 이 프레임워크는 적응형 추론을 더 신뢰할 수 있고 배포 가능하게 만듭니다.

저자들은 그들의 방법이 디코딩 과정을 재설계하거나 완료된 궤적 간에 선택하는 것이 아니라, 진행 중인 추론을 위한 사례 수준 (instance-level) 중단 규칙을 제공한다고 강조합니다. 그 중요성은 다음과 같은 능력에 있습니다:

1. 유한 표본 설정에서 위험 경계를 보장합니다.
2. 과도한 추론과 추론 부족의 비효율성을 동시에 해결합니다.
3. 엄격한 안전/오류 제약 조건을 준수하면서 사례 난이도에 따라 계산 예산을 적응적으로 할당합니다.

저자들은 위험 함수의 단조성 가정과 불확실성 신호가 잘 정의된 구조화된 추론 작업 (수학/과학) 으로의 현재 제한을 포함한 한계를 지적합니다. 향후 작업으로는 에이전트 프레임워크 및 대체 테스트 시간 확장 방법에 대한 연구가 제안됩니다.