기술 요약: 예산 효율적 사고 (BET)

문제 정의

OpenAI-o1 및 DeepSeek-R1 과 같은 대규모 추론 모델 (LRM) 은 확장된 다단계 추론을 통해 문제 해결 능력을 향상시킵니다. 그러나 이러한 능력은 지속 불가능한 추론 시간 비용을 수반합니다. 해당 논문에서 식별된 핵심 비효율성은 테스트 시간 컴퓨팅의 잘못된 배분입니다. 기존 효율성 방법들은 일반적으로 두 가지 범주로 나뉩니다:

1. 균일 압축: 추론 흔적을 전역적으로 단축하거나 사고의 연쇄를 압축하는 기법들입니다. 이러한 방법들은 종종 난이도는 높지만 해결 가능한 쿼리에서의 생산적인 탐색을 억제합니다.
2. 난이도 조건부 제어: 인지된 쿼리 난이도에 따라 추론 깊이를 조절하는 방법들입니다. 이러한 방법들은 종종 더 깊은 추론의 혜택을 받는 "난이도는 높지만 해결 가능한" 쿼리와, 예산과 무관하게 모델의 능력 부족으로 인해 "실질적으로 해결 불가능한" 쿼리를 구분하지 못합니다.

핵심 문제는 현재 방법들이 **해결 가능성 인식 (solvability awareness)**을 결여하고 있다는 점입니다. 이들은 모델의 능력을 초과하는 쿼리에 상당한 컴퓨팅 자원을 낭비 (불필요한 탐색) 하는 동시에, 충분한 투자가 이루어진다면 해결될 수 있는 난이도 높은 쿼리에 대한 추론을 조기에 중단시킵니다. 과제는 단순히 인지된 난이도가 아닌, 추론의 기대 수익에 기반하여 테스트 시간 컴퓨팅을 할당하는 것입니다.

방법론: 예산 효율적 사고 (BET)

저자들은 불확실성 하의 컴퓨팅 투자로 테스트 시간 컴퓨팅을 취급하는 프레임워크인 **예산 효율적 사고 (BET)**를 제안합니다. BET 는 세 가지 구별된 행동을 학습하는 것을 목표로 합니다:

1. Short Solve: 쉬운 쿼리를 간결하게 답변합니다.
2. Nice Fold: 계속된 추론의 기대 수익이 거의 제로일 때 (즉, 현재 정책으로 쿼리가 해결 불가능할 때) 조기에 포기합니다.
3. Hero Call: 더 깊은 추론이 답변을 바꿀 수 있는 난이도 높지만 해결 가능한 쿼리에 충분한 컴퓨팅 자원을 보존합니다.

핵심 구성 요소

BET 는 해결 가능성이 정책에 의존적이라는 원칙에 따라 작동합니다. 어떤 쿼리는 현재 정책에게는 해결 불가능할 수 있지만, 더 능력이 있는 정책에게는 해결 가능할 수 있습니다. 따라서 BET 는 정적인 난이도 레이블에 의존하는 대신 모델의 자체 행동에서 동적으로 해결 가능성을 추정합니다.

이 프레임워크는 두 단계로 구성됩니다:

1. 행동 콜드스타트 (지도 미세 조정)

• 목표: 필요한 구조화된 출력 형식과 행동 레퍼토리를 가진 정책을 초기화합니다.
• 과정: 모델은 베이스 모델의 오프라인 프로파일링에서 파생된 큐레이션된 데이터셋으로 미세 조정됩니다. 쿼리는 다음과 같이 분할됩니다:
  • Short Solve: 낮은 효율적 비용으로 해결 가능한 쿼리.
  • Hero Call: 높은 효율적 비용으로 해결 가능한 쿼리.
  • Nice Fold: 베이스 모델이 $K$번의 롤아웃에서 올바른 솔루션을 생성하지 못하는 쿼리.
• 출력: 모델은 추론 흔적을 생성하기 전에 해결 가능성 추정치 ($\hat{s}$) 와 예산 추정치 ($\hat{b}$) 를 포함하는 구조화된 <predict> 블록을 발행하도록 학습합니다.

2. 투자 비용 인식 훈련 (GRPO)

• 목표: 해결 또는 포기 결정을 경험적 해결 가능성과 정렬되도록 정책을 최적화합니다.
• 메커니즘: 저자들은 그룹 상대 정책 최적화 (GRPO) 를 사용합니다. 각 쿼리에 대해 정책은 $K=16$개의 독립적인 롤아웃을 생성합니다.
• 그룹 프로파일: 이러한 롤아웃으로부터 두 가지 통계량이 온라인으로 계산됩니다:
  • 그룹 성공률 ($\hat{s}(x)$): 올바른 롤아웃의 비율로, 해결 가능성 추정치 역할을 합니다.
  • 효율적 솔루션 비용 ($\hat{c}^*(x)$): 가장 짧은 올바른 궤적 (예: 상위 30%) 의 평균 길이로, 생산적인 추론을 위한 비용 상한을 나타냅니다.
• 복합 보상 함수: 보상 $R(y|x)$는 세 가지 항으로 구성됩니다:
  • $R_{VAL}$ (포기 게이트가 있는 가치): 해결 불가능한 쿼리 ($\hat{s}(x) < \epsilon_{abs}$) 에 대해 포기를 할 경우 양의 보상 ($+\delta$) 을 부여하고, 해결 가능한 쿼리에 대해 포기를 할 경우 가중 패널티 ($-\lambda$) 를 부과합니다. 잘못된 시도는 비용에 비례하는 패널티를 받습니다.
  • $R_{EFF}$ (쿼리 적응형 효율성): 효율적 비용 추정치 $\hat{c}^*(x)$보다 짧은 올바른 솔루션에 보상을 부여합니다. 이는 난이도 높은 해결 가능한 쿼리에 필요한 깊이를 패널티하지 않으면서 쉬운 쿼리에 간결성을 장려합니다.
  • $R_{CAL}$ (해결 가능성 보정): 모델이 예측한 해결 가능성/예산과 경험적 그룹 프로파일 간의 불일치를 패널티합니다. 이는 모델의 사전 추론 추정치가 현실에 기반하도록 보장합니다.

주요 기여

1. 해결 가능성 인식 진단: 해당 논문은 기존 적응형 추론 방법들이 해결 가능성을 간과하여 능력 초과 쿼리에 과도한 컴퓨팅 자원을 할당하고 난이도 높지만 해결 가능한 쿼리에는 과소 투자하게 만든다고 지적합니다.
2. 투자 인식 훈련 (BET): 행동 콜드스타트와 복합 보상 하의 GRPO 를 결합한 2 단계 프레임워크입니다. 이는 롤아웃에서 파생된 해결 가능성과 결정을 정렬함으로써 세 가지 목표 행동 (Short Solve, Nice Fold, Hero Call) 을 유도합니다.
3. 규모에서의 증거: BET 가 토큰 사용을 줄이면서도 정확도를 유지하거나 향상시키고, 도메인 외 작업에도 일반화됨을 보여주는 광범위한 실험 결과가 있습니다.

실험 결과

저자들은 세 가지 베이스 모델(Qwen3-4B, DeepSeek-R1-Distill-7B, 14B) 을 사용하여 일곱 가지 벤치마크(네 가지 도메인 내 수학, 세 가지 도메인 외) 에서 BET 를 평가했습니다.

• 효율성 및 정확도: 모든 모델에서 BET 는 전체 성능 향상을 달성하면서 추론 토큰을 평균 약 55% 감소시켰습니다.
  • Qwen3-4B 에서 Omni-Math 의 정확도는 73.64% 에서 74.41% 로 증가한 반면, 토큰 수는 10,516 에서 4,561 로 감소했습니다.
  • DeepSeek-R1-Distill-7B 에서 BET 는 최상의 정확도에서 0.54 포인트 이내로 유지하면서 평균 토큰 비용을 가장 낮게 달성했습니다.
• 선택적 압축: 균일하게 압축하는 베이스라인과 달리, BET 는 해결 불가능한 쿼리에 대해 토큰을 선택적으로 감소시켜 (이러한 경우 사용량을 90% 이상 절감) 가치 있는 쿼리에 대해서는 깊이를 보존합니다.
• 제로샷 전이: 수학 추론만으로 훈련된 BET 는 과학적 QA(GPQA-Diamond), 다단계 내러티브 추론 (MUSR), 논리적 추론 (LSAT-AR) 으로 효과적으로 전이되어 동등한 정확도 향상과 함께 53–59% 의 토큰 절감을 달성했습니다.
• 파레토 프론티어: BET 는 정확도 - 효율성 트레이드오프의 파레토 프론티어에 위치하며, Length-Penalty, DR.SAF, DiffAdapt 와 같은 베이스라인을 능가합니다.

중요성 및 주장

해당 논문은 BET 가 난이도 조건부 압축에서 해결 가능성 인식 예산 투자로의 전환을 나타낸다고 주장합니다. 수익이 불확실한 투자로서 컴퓨팅을 취급함으로써 모델은 다음과 같이 학습합니다:

• 기대 수익이 제로일 때 조기에 중단 (Nice Fold) 하여 불필요한 탐색을 방지합니다.
• 쿼리가 해결 가능하고 추론이 답변을 바꿀 가능성이 있을 때만 깊이 투자 (Hero Call) 합니다.
• 솔루션이 직관적일 때 간결하게 대응합니다 (Short Solve).

저자들은 "Nice Fold" 행동이 본질적인 불가능성을 주장하는 것이 아니라 정책 의존적 포기임을 강조합니다. 이는 현재 모델과 예산 하에서 추가 추론이 올바른 답변을 도출할 가능성이 낮음을 신호합니다. 이러한 능력 인식 불확실성은 계단식 시스템에서 어려운 쿼리를 더 강력한 모델로 라우팅하여 시스템 수준의 효율성을 최적화하는 데 활용될 수 있습니다.

이 연구는 BET 가 정확도와 비용 간의 트레이드오프를 조정 (예: 포기 보상 $\delta$를 통해) 할 수 있는 조정 가능한 정책 군을 제공하며, 문제 해결 능력을 희생하지 않고 테스트 시간 컴퓨팅을 관리하는 원칙적인 접근법을 제공한다고 결론지었습니다.