🤖 AI

CoBa: Cost-Effective Test-Time Scaling via Compute-Balanced Routing

이 논문은 생성과 검증 사이에 추론 자원을 동적으로 할당함으로써 테스트 시간 스케일링을 최적화하고, 전통적인 스케일링 방식에 비해 계산 비용을 크게 절감하면서 수학적 추론 벤치마크에서 최첨단 정확도를 달리는 컴퓨트 균형 라우팅 정책인 CoBa를 소개한다.

원저자: Yan Zhou, Yue Ouyang, Kaiyang Zheng, Suncheng Xiang

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yan Zhou, Yue Ouyang, Kaiyang Zheng, Suncheng Xiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 까다로운 수수께력을 풀려고 노력하고 있다고 상상해 보세요. 당신에게는 사용할 수 있는 에너지가 한정되어 있고, 이 에너지를 사용하는 세 가지 방법이 있습니다. 새로운 답을 생각하거나, 이미 가지고 있는 답을 재확인하거나, 아니면 그냥 "좋아, 다 됐어, 이게 내 최선의 추측이야"라고 말하는 것입니다. 오랫동안 어려운 문제(수학 퍼즐 같은)를 풀기 위해 컴퓨터를 사용하는 사람들은 이 중 하나를 반복하면서 계속 "더 열심히 노력하라"는 지시를 받아왔습니다. 그들은 백 개의 서로 다른 답을 생성한 뒤 가장 인기 있는 것을 고르거나, 혹은 아주 똑똑하지만 느린 로봇 판사에게 모든 답을 확인하도록 엄청난 양의 에너지를 쓰기도 합니다. 문제는 이것이 마치 호두를 깨기 위해 대형 망치를 사용하는 것과 같다는 점입니다. 답이 명확하다면, 그것을 백 번 확인하는 것은 낭비입니다. 만약 답을 찾기가 매우 어렵다면, 무작정 추측하는 것만으로는 결코 답을 찾지 못할 수도 있습니다. 핵심적인 질문은, 우리가 어떻게 제한된 에너지를 사용하여 배터리를 소진하지 않고 정답을 얻을 것인가 하는 점입니다.

여기서 CoBa라고 불리는 새로운 아이디어가 등장합니다. CoBa를 작업자 팀의 스마트한 매니저라고 생각해 보세요. 모든 작업자에게 똑같은 일을 하라고 지시하는 대신, CoBa는 상황을 관찰하고 다음에 취할 가장 최선의 단계를 결정합니다. 작업자들이 쉽고 명확한 답에 이미 동의하고 있다면, CoBa는 "좋아, 멈춰! 끝났어"라고 말합니다. 만약 그들이 혼란스러워한다면, CoBa는 "아이디어를 두 명에게 더 요청하자"라고 말할 수 있습니다. 하지만 만약 그들이 정말 어려운 문제에 막혀 있다면, CoBa는 "좋아, 가장 괜찮은 아이디어 두 개를 엄선해서 최고의 전문가 판사에게 보내서 확인하자"라고 말합니다. 연구진들이 이를 수천 개의 수학 문제에 테스트한 결과, CoBa는 스마트한 매니저가 됨으로써 "브루트 포스(모든 것을 시도하는 방식)" 방법들과 같은 높은 점수를 얻으면서도, 훨씬 더 적은 양의 비싼 "에너지 단위(parameter-weighted tokens라고 불리는)"를 사용했습니다. 이는 마치 똑같이 맛있는 식사를 하면서 재료는 절반만 사용하는 것과 같습니다.

문제점: "다다익선"의 함정

한동안 AI를 문제를 해결하는 데 더 똑똑하게 만드는 가장 좋은 방법은 단순히 더 많은 컴퓨팅 파워를 쏟아붓는 것이었습니다. 더 나은 답을 원한다면, AI에게 더 많은 솔루션을 생성하라고 요구했습니다. 확신을 얻고 싶다면, 두 번째 AI에게 그 모든 것을 확인하도록 했습니다. 이것은 마치 바늘을 찾기 위해 천 명의 사람을 데려와 건초더미 전체를 뒤지게 하는 것과 같습니다. 바늘이 바로 눈앞에 놓여 있을 때조차 말이죠. 이 방식은 효과는 있지만, 엄청나게 비싸고 느립니다.

이 논문은 이러한 "일률적인(one-size-fits-all)" 접근 방식이 낭비적이라고 주장합니다. 어떤 문제는 쉬워서 빠르게 훑어보기만 하면 되지만, 어떤 문제는 깊은 사고가 필요합니다. 그러나 기존의 방식들은 모든 문제를 동일하게 취급했습니다. 그들은 단순한 수학 질문에도 복잡한 올림피아드 수준의 퍼즐과 똑같은 엄청난 양의 에너지를 썼습니다. 저자들은 이 문제를 해결하기 위해 '테스트 시간 스케일링(테스트 중에 AI가 더 깊이 생각하게 만드는 것)'을 자원 배분 문제로 전환하고자 했습니다. 그들은 다음과 같이 물었습니다. "정해진 에너지 예산이 주어졌을 때, 다음 에너지 단위를 새로운 아이디어를 생성하는 데 써야 할까, 기존의 것을 확인하는 데 써야 할까, 아니면 그냥 멈춰야 할까?"

해결책: 스마트 매니저 (CoBa)

저자들은 AI의 두뇌를 조절하는 교통 통제관 역할을 하는 CoBa(Compute-Balanced test-time scaling)를 소개했습니다. 작동 방식은 다음과 같습니다:

웜업(Warm-up): 먼저, Co-Ba는 AI에게 작고 다양한 답의 집합을 생성하도록 요청합니다(마치 두 친구에게 아이디어를 묻는 것과 같습니다). 이것이 "웜업" 단계입니다.
저렴한 확인(Cheap Check): 다음으로, 모든 답에 대해 빠르고 에너지가 적게 드는 확인 과정을 거칩니다. 이것은 친구에게 "이게 맞는 것 같아?"라고 묻는 것과 같습니다. 빠르고 저렴합니다.
결정(Decision): 저렴한 확인 결과에 따라, Co-Ba는 선택을 내립니다:
- 중단(Stop): 모두가 동의하고 저렴한 확인 결과가 확신을 가진다면, CoBa는 즉시 멈춥니다. 에너지를 낭비할 필요가 없습니다.
- 추가 생성(Generate More): 만약 답들이 제각각이라면, 더 많은 옵션을 얻기 위해 몇 가지 아이디어를 더 요청합니다.
- 강력 검증(Strong Verify): 만약 몇몇 유망한 답들이 있지만 여전히 불확실하다면, Co-Ba는 오직 그 특정 후보들만 "슈퍼 판사"(훨씬 더 강력하고 비싼 AI 모델)에게 보내 심도 있고 철저한 확인을 받습니다.

이것이 핵심적인 차이점입니다. 모든 것을 슈퍼 판사에게 확인하는 대신, Co-Ba는 가장 흥미로운 후보들만을 보냅니다. 이를 통해 값비싼 에너지를 실제로 필요한 순간에만 집중할 수 있습니다.

결과: 더 열심히가 아닌, 더 똑똑하게

연구진은 표준 학교 수학부터 매우 어려운 경시대회 수준의 퍼즐(AIME 및 AMC 등)에 이르는 3,000개 이상의 수학 문제에 이 시스템을 테스트했습니다. 그들은 Co-Ba를 기존의 "브루트 포스" 방식들과 비교했습니다.

큰 승리: 가장 뛰어난 버전인 Co-Ba-Routed-Strong은 **85.13%**의 정확도를 달성했습니다. 이는 자기 평가 가중 투표(self-evaluation weighted voting) 방식을 사용한 가장 비싼 방법의 점수인 **85.20%**나, "best-of-16" 다수결 투표 방식의 **85.12%**와 거의 동일한 수준입니다.
절감 효과: 놀라운 점은 바로 여기 있습니다. 그 높은 점수를 얻기 위해 비싼 방식들은 엄청난 양의 컴퓨팅 파워를 사용했습니다. 반면 Co-Ba-Routed-Strong은 자기 평가 방식보다 49.1% 적은 parameter-weighted token을 사용했으며, best-of-16 방식보다는 58.9% 적은 양을 사용했습니다.
트레이드오프(Trade-off): 논문은 16개의 답을 생성하고 가장 흔한 것을 고르는 "best-of-16" 방식이 아주 미세하게(0.01 포인트) 더 정확했지만, 실행 비용이 2.43배 더 많이 들었다고 언급했습니다. Co-Ba는 대부분의 실질적인 용도에서 그 미세한 정확도 향상이 엄청난 비용을 감수할 만큼의 가치가 있지는 않다고 제안합니다.

이것이 미래에 의미하는 바

이 논문은 AI의 미래가 단순히 더 크고 강한 모델을 만드는 것에 있지 않다고 시사합니다. 그것은 우리가 가진 자원을 얼마나 똑똑하게 사용하느냐에 달려 있습니다. 저자들은 가장 큰 병목 현상이 항상 '확인' 과정에 있는 것이 아니라, 때로는 AI가 처음에 제대로 된 답을 내놓지 못하는 것(즉, 초기 아이디어의 부재)에 있다는 것을 발견했습니다. 가장 어려운 문제들(AIME 2025 등)의 경우, 초기 "아이디어 풀"에 정답이 포함되어 있지 않다면 가장 똑똑한 매니저라도 정답을 찾아낼 수 없었습니다.

하지만 대다수의 문제에 대해 Co-Ba는 우리가 에너지를 낭비하는 것을 멈출 수 있음을 보여주었습니다. "트리아지(triage, 우선순위 분류)" 시스템(모두를 위한 저렴한 확인, 그리고 까다로운 것들만을 위한 비싼 확인)을 사용함으로써, 우리는 큰 비용을 들이지 않고도 최선의 결과를 얻을 수 있습니다. 이 논문은 이 접근 방식이 '오라클 갭(AI가 정답을 알았을 때 할 수 있는 능력과 실제로 하는 능력 사이의 차이)'을 유용한 신호로 바꾸어 준다고 결론짓습니다. 만약 AI가 실패한다면, 이제 우리는 정확히 어디를 살펴봐야 할지 알 수 있습니다. 너무 일찍 멈춘 것일까요? 잘못된 후보를 확인한 것일까요? 아니면 애초에 더 나은 아이디어를 생성해야 했던 것일까요?

요약하자면, Co-Ba는 AI의 세계에서 타이밍과 타겟팅이 원초적인 힘만큼이나 중요하다는 것을 가르쳐 줍니다. 얼마나 열심히 생각하느냐가 아니라, 언제 깊이 생각하고 언제 멈춰야 하는지를 아는 것이 핵심입니다.

기술 요약: CoBa – 계산 균형 기반 라우팅을 통한 비용 효율적 테스트 타임 스케일링

1. 문제 정의

본 논문은 대규모 언어 모델(LLM)의 테스트 타임 스케일링(test-time scaling) 과제를 다룹니다. 현재의 전략들은 일반적으로 단일 축을 따라 계산량을 확장합니다: 즉, 더 많은 솔루션을 샘플링하거나, 추론 체인을 연장하거나, 더 강력한 평가기를 적용하는 방식입니다. 고정된 추론 예산 하에서 이러한 전략들은 서로 경쟁 관계에 있습니다. 즉, 한 가지 동작에 계산량을 소비하면 다른 곳에는 사용할 수 없게 됩니다.

저자들은 테스트 타임 추론을 계산 할당 문제(compute-allocation problem) 로 정식화합니다. 임의의 결정 상태 $t$ 에서 시스템은 다음을 포함하는 공간으로부터 최적의 다음 동작을 결정해야 합니다:

샘플링(Sampling): 새로운 후보 솔루션 생성.
검증(Verification): 기존 후보들에 대해 경량( $V_1$ ) 또는 강력한( $V_L$ ) 검증기 적용.
중단(Stopping): 최종 답변 확정.

목표는 고정된 예산 $B$ 내에서 태스크 유틸리티(정확도)를 극대화하는 동시에 비용(토큰, 모델 호출, 파라미터 가중치 토큰으로 측정됨)을 최소화하는 것입니다. 핵심 가설은 정확도 향상과 비용 절감이 모든 사례에 균등하게 비싼 동작을 적용하는 것이 아니라, 특정 사례에 대한 '다음 계산 단위의 가치'에 따라 동적으로 계산량을 라우팅할 때 가장 잘 달성된다는 것입니다.

2. 방법론: CoBa 라우팅 정책

제안된 솔루션인 CoBa (Compute-Balanced test-time scaling) 는 추론을 계산 할당 프로세스로 취급하는 단계별 라우팅 정책(Algorithm 1)을 구현합니다. 이 방식은 라우팅 결정 중에 정답 레이블 없이 작동합니다.

주요 구성 요소:

상태 표현(State Representation): 시스템 상태 $s_t$ 는 현재 후보 집합 $C_t$ , 관찰된 검증기 점수 $S_t$ , 남은 예산 $B_t$ , 그리고 히스토리 특징(예: 답변 다양성, 토큰 캡)을 포함합니다.
웜업 단계(Warm-up Phase): 시스템은 초기 후보 다양성을 확보하기 위해 고정된 작은 수의 생성( $k=2$ )으로 시작합니다.
트리아지 레이어(Triage Layer, 저가형 검증): 모든 후보는 경량 검증기(예: 더 작은 LLM 또는 규칙 기반 빈도 체크)에 의해 점수가 매겨집니다. 이는 답변 일치도 및 신뢰도에 관한 "저렴한 증거"를 제공합니다.
라우팅 로직:
- 중단(Stop): 최상위 답변이 안정적(높은 일치도)이고 경량 점수가 높으면 시스템은 중단합니다.
- 샘플링(Sample): 시스템이 불확실한 경우, 추가 후보를 생성합니다.
- 강력한 검증으로 라우팅(Route to Strong Verification): 특정 후보가 불확실하거나 가치가 높은 경우, 더 강력하고 비싼 검증기( $V_L$ )로 라우팅됩니다.
최종 순위 결정(Final Ranking): 최종 답변은 답변 빈도, 경량 점수, 강력한 검증기 점수를 결합한 융합 순위 점수 $R(c)$ 를 사용하여 선택됩니다 (Eq. 6).
변형 모델(Variants): 본 논문은 세 가지 구성을 평가합니다:
- CoBa-Routed-Light: 웜업 + 경량 검증만 수행.
- CoBa-Routed: 웜업 + 최대 4개의 후보 생성 + 2개를 강력한 검증으로 라우팅.
- CoBa-Routed-Strong: 웜업 + 최대 8개의 후보 생성 + 4개를 강력한 검증으로 라우팅.

비용 지표:
본 논문은 전체 토큰 비용과 파라미터 가중치 토큰 비용( $C_{ptok}$ )을 구분합니다. 후자는 더 큰 모델(예: 14B 모델은 8B 모델보다 가중치가 높음)의 계산적 비용을 반영합니다.

3. 실험 설정

데이터셋: MATH-500, AIME 2024/2025, AMC 2023, 그리고 절차적 기호 추론 서브셋(Reasoning Gym)에 걸쳐 3,129개의 예시-생성기 쌍을 평가합니다.
모델: 생성기로는 Qwen3-14B, Phi-4-reasoning, Qwen3-8B가 사용됩니다. Qwen3-8B는 경량 판사(lightweight judge) 역할을 하며, Qwen3-14B는 강력한 검증기 역할을 합니다.
프로토콜: 오프라인 리플레이 프로토콜(offline replay protocol) 이 사용됩니다. 모든 방법은 문제당 $N=16$ 개의 사전 생성된 후보 풀 위에서 작동합니다. 이는 할당 전략을 생성 능력으로부터 격리함으로써 공정한 비교를 보장합니다.
베이스라인(Baselines): Greedy decoding, 고정 길이 추론, Best-of-N 다수결 투표, Self-consistency, 그리고 다양한 적응형 할당 프록시(예: self-evaluation weighted voting)를 포함하여 비교합니다.

4. 주요 결과

정확도 vs 비용: CoBa-Routed-Strong은 **85.13%**의 매크로 정확도를 달성했습니다. 이는 Self-Evaluation Weighted-Voting 프록시(85.20%)와 통계적으로 차이가 없으나, 49.1% 적은 파라미터 가중치 토큰을 사용합니다.
Best-of-N과의 비교: Co-Ba-Routed-Strong은 Best-of-16 다수결 투표(85.12% vs 85.13%)와 대등한 성능을 보이면서도, 58.9% 적은 파라미터 가중치 토큰을 사용합니다.
유의성: 쌍체 부트스트랩 테스트(Paired bootstrap tests) 결과, Co-Ba-Routed-Strong은 greedy decoding 대비 유의미하게 우수하며(+3.74 포인트), 고비용 베이스라인들과 통계적으로 대등함을 확인했습니다.
데이터셋별 특이사항:
- AIME 2024에서 라우팅은 정확도를 크게 향상시켰습니다 (Greedy의 65.6%에서 82.2%로).
- AIME 2025에서는 CoBa와 "풀 오라클(Pool Oracle, 풀 안에 정답이 존재할 때의 이론적 최대치)" 사이에 큰 격차가 여전히 존재합니다. 이는 가장 어려운 문제들의 경우, 병목 현상이 할당이 아닌 후보 생성으로 전이됨을 시사합니다 (즉, 생성된 풀 안에 정답이 없음).
액션 분포(Action Distribution): 분석 결과 CoBa는 행동을 적응시킵니다: 쉬운 예제는 경량 검증 후 조기에 중단되는 반면, 어려운 예제는 추가 샘플링과 강력한 검증을 트리거합니다. 이는 모든 예제에 동일한 계산 예산을 적용하는 균등 베이스라인들과 대조적입니다.

5. 기여 및 의의

본 논문은 세 가지 주요 기여를 주장합니다:

정식화: 테스트 타임 추론을 생성, 검증, 중단 동작에 대한 통합된 계산 할당 문제로 재정의했습니다.
방법론: 2단계 검증 시스템(경량 및 강력)을 활용하여 적응형 할당 결정을 내리는 재현 가능한 로컬 라우팅 정책(CoBa)을 도입했습니다.
실증적 증거: 통제된 리플레이 실험을 통해, 적응형 라우팅이 훨씬 더 비싼 샘플링 및 평가기 스케일링 베이스라인들의 정확도에 도달하면서도 현저히 낮은 비용을 사용할 수 있음을 입증했습니다.

의의 및 주장:

파레토 개선(Pareto Improvement): 본 논문은 CoBa가 일반적인 중간 비용 베이스라인들에 대해 파레토 개선을 달성하여, 현저히 적은 계산량으로 높은 정확도를 제공한다고 주장합니다.
실행 가능한 실패 모드(Actionable Failure Modes): "오라클 격차(oracle gap)" 분석은 진단 도구를 제공합니다. 만약 격차가 할당 오류(풀 안에 정답이 있으나 놓침) 때문이라면 더 나은 라우팅이 필요하며, 생성 오류(풀 안에 정답이 없음) 때문이라면 더 나은 후보 생성이 필요합니다.
운영 스케일링(Operational Scaling): 저자들은 향후 테스트 타임 시스템이 생성과 검증을 공유 예산으로 취급해야 한다고 제안합니다. 가장 효과적인 스케일링 전략은 "모든 곳에 더 많은 계산량을 투입하는 것"이 아니라, "가장 가치 있는 곳에 계산량을 투입하는 것"입니다.
보고 규범(Reporting Norms): 본 논문은 할당 메커니즘을 검증 가능하고 투명하게 만들기 위해 정확도 및 비용과 함께 "액션 믹스(action mix, 샘플링 대 검증기 비율)"를 보고할 것을 권장합니다.

결론적으로, Co-Ba는 가용한 계산량을 효과적으로 최적화하지만, 가장 어려운 데이터셋에서의 남은 성능 한계는 향후의 발전이 더 날카로운 불확실성 추정, 더 풍부한 프로세 신호, 그리고 개선된 후보 생성의 결합을 필요로 한다는 것을 보여줍니다.