기술 요약: HyPER – 확장 가능한 LLM 추론을 위한 탐색과 활용의 연결

1. 문제 제기

다중 경로 사고연쇄 (CoT) 추론을 통한 테스트 시간 컴퓨팅 확장은 복잡한 작업의 정확도 향상에 효과가 있음이 입증되었으나, 그 효과성은 탐색(다양한 가설 경로 생성) 과 활용(유망한 경로 정제) 간의 효과적인 균형에 달려 있습니다. 기존 방법들은 이 균형을 역동적으로 유지하는 데 어려움을 겪습니다:

• 트리 구조 탐색(예: ToT, MCTS) 은 경직되고 취약한 확장 일정을 강제하여, 사전 훈련된 모델의 고유한 연속적 추론 흐름을 방해하고 불필요한 탐색에 컴퓨팅 자원을 낭비합니다.
• 병렬 추론(예: Self-Consistency, Best-of-N) 은 고유한 생성 방식을 유지하지만, 중복되거나 거의 동일한 경로를 과도하게 탐색하는 동시에 유망한 가설을 충분히 활용하지 못합니다. 이는 약한 답변 선택 전략에 의존하며, 효율적인 테스트 시간 정제를 위한 메커니즘이 부족합니다.
• 적응형 변형들은 종종 감산 (pruning) 에 초점을 맞추고, 절약된 컴퓨팅 자원을 더 강력한 활용으로 명시적으로 재배분하지 않아 유망한 가설이 충분히 정제되지 않은 채 방치됩니다.

또한, 최근 관찰에 따르면 올바른 추론 경로와 잘못된 추론 경로는 종종 후기 단계에서만 분기하며, 단순히 올바른 경로를 생성한다고 해서 그것이 선택되는 것을 보장하지는 않습니다. 이는 노이즈가 많은 경로가 투표 메커니즘을 지배하는 "존재–선택 간극 (existence–selection gap)" 때문입니다.

2. 방법론: HyPER 프레임워크

저자들은 가설 경로 풀(pool) 에 대한 동적 확장–축소 제어 문제로 테스트 시간 확장을 재개념화하는 훈련 없는 온라인 제어 정책인 HyPER(Hypothesis Path Expansion and Reduction) 를 소개합니다. HyPER 는 Mixture-of-Experts(MoE) 모델을 위해 설계되었지만 밀집 아키텍처에도 일반화됩니다. 고정된 컴퓨팅 예산 하에 작동하며 세 가지 핵심 구성 요소로 이루어집니다:

2.1. 온라인 확장–축소 컨트롤러

정적 일정이 아닌 HyPER 는 신뢰도, 엔트로피, 합의, 다양성과 같은 경량 실시간 경로 통계를 모니터링하여 매 $T$ 디코딩 단계마다 동적으로 행동을 선택하는 폐루프 컨트롤러를 사용합니다. 컨트롤러는 생존 경로 풀 $S_t$에 대해 다음 네 가지 행동 중 하나를 선택합니다:

• NONE: 풀이 신뢰할 수 있고, 신뢰도가 높으며, 다양할 때 표준 디코딩을 계속합니다.
• BRANCH(탐색): 다양성이 낮거나 합의가 약할 때 생존 경로를 여러 자식으로 분기시켜 풀을 명시적으로 확장합니다.
• SINGLETOKEN(활용): 경로의 수를 변경하지 않고 다음 토큰 결정을 정제하기 위해 토큰 수준의 확장–축소 연산을 적용합니다. 이는 국소적 불안정성 (낮은 신뢰도, 높은 엔트로피) 을 대상으로 합니다.
• MULTITOKEN(하이브리드): 짧은 시간 범위 확장 ($m$개 토큰 디코딩) 을 수행한 후 집계하여, 가장 높은 신뢰도를 가진 자식을 선택해 다시 병합합니다. 이는 다양성은 낮지만 신뢰도 분산이 높을 때 사용됩니다.

2.2. 단일 토큰 확장 및 집계 원시 연산

전체 경로 재샘플링 없이 효율적인 활용을 가능하게 하기 위해 HyPER 는 MoE 아키텍처의 고유한 라우팅 다양성을 활용합니다. SINGLETOKEN 행동의 경우:

1. Gumbel 노이즈 라우팅 샘플링: MoE 라우터 로지트에 Gumbel 노이즈를 가해 현재 토큰에 대한 $K$개의 확률적 전문가 라우팅 제안 (proposals) 을 생성합니다.
2. 이중 패스 전문가 샘플링: 벡터화된 이중 패스 방식은 $K$개 경로 전반에 걸쳐 전문가 충돌을 패널티로 부과하여 토큰 내 다양성을 강제하며, 서로 다른 전문가 하위 집합이 샘플링되도록 보장합니다.
3. 신뢰도 가중 집계: 예측 분포에서 도출된 신뢰도 가중치를 사용하여 $K$개 후보 로지트 벡터를 집계하여 꼬리 부분의 신뢰도를 안정화하고 토큰 예측을 정제합니다.
   메모리 최적화: 이 방법은 $K$개 제안 간 접두사 KV 상태를 공유하여, 메모리가 확장 계수 $K$가 아닌 생존 경로 수에 따라 확장되도록 합니다.

2.3. 길이 및 신뢰도 인식 투표

존재–선택 간극을 극복하기 위해 HyPER 는 최종 답변에 대한 새로운 집계 규칙을 도입합니다. 경험적 분석에 따르면, 신뢰도 기반 감산 하에서 올바른 경로는 잘못된 경로보다 체계적으로 더 긴 경향을 보입니다 (오류가 있는 경로는 일찍 종료되기 때문). 투표 규칙은 빈도나 단순 신뢰도 가중치에만 의존하는 대신, 지지 경로에 대한 정규화된 경로 길이와 글로벌 평균 신뢰도를 집계하여 최종 답변을 선택합니다.

3. 주요 기여

1. 동적 제어 정책: 위상 의존적 유용성에 기반하여 탐색에서 활용으로 전환하는 훈련 없는 온라인 컨트롤러로, 경량 신호 (신뢰도, 다양성) 를 활용하여 컴퓨팅 예산을 실시간으로 재배분합니다.
2. 효율적인 토큰 수준 정제: 전체 경로 재샘플링의 오버헤드 없이 전문가 라우팅 다양성을 통해 토큰 품질을 정제하는 생성 시간 활용을 위한 MoE 기반 원시 연산입니다.
3. 강건한 답변 선택: 감산으로 인해 유도된 경로 길이의 구조적 신호를 활용하여 올바른 답변을 신뢰성 있게 선택하는 길이 및 신뢰도 인식 투표 규칙으로, 단순 다수결 투표의 실패 모드를 해결합니다.

4. 실험 결과

저자들은 네 가지 MoE 모델 (Qwen3-30B, Qwen3-Next-80B, OLMoE, DeepSeek-V2-Lite) 과 다양한 벤치마크 (AIME24/25, HMMT25, HLE, GSM8K, MATH500, ARC) 에서 HyPER 를 평가했습니다.

• 정확도–컴퓨팅 트레이드오프: HyPER 는 일관되게 정확도–컴퓨팅 파레토 최선집합을 달성합니다. 벤치마크 전반에 걸쳐 기존 방법들 (Self-Consistency, DeepConf, RoE) 보다 8–10 퍼센트 포인트만큼 높은 정확도를 달성하면서도 동등한 컴퓨팅 예산 하에서 토큰 소비를 25–40% 감소시킵니다.
• Ablation 연구:
  • 동적 컨트롤러를 제거하고 수동 일정을 사용할 경우 최적이지 않은 트레이드오프가 발생하여 적응형 제어의 필요성을 확인했습니다.
  • SINGLETOKEN 원시 연산은 국소 토큰 품질을 향상시키지만, 풀의 조기 붕괴를 방지하기 위해 컨트롤러가 필요합니다.
  • 길이 인식 투표 규칙은 다수결 및 신뢰도 가중 투표보다 일관되게 우월한 성능을 보여주어, 감산 하에서 정확도 신호로서 경로 길이의 유용성을 검증했습니다.
• 아키텍처 일반성: MoE 토큰 정제 없이 밀집 모델에서 수행한 실험은 컨트롤러와 투표 로직만으로도 베이스라인 대비 성능이 향상됨을 보여주어, 이 프레임워크가 MoE 구조에 절대적으로 의존하지 않음을 시사합니다.
• 트리 탐색과의 비교: 사전 훈련된 "사고" 모델에 단계별 트리 탐색을 적용한 결과는 경로 기반 Self-Consistency 보다 성능이 저하되어, HyPER 의 경로 기반 확장–축소 접근 방식을 동기화했습니다.

5. 중요성 및 주장

이 논문은 HyPER 가 경직된 검색 일정에서 폐루프 자원 제어로 전환함으로써 확장 가능한 LLM 추론에서 중요한 진전을 이루었다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 훈련 없는 효율성: 미세 조정, 특수 보상 모델, 추가 학습 데이터 없이 최첨단 결과를 달성합니다.
• 동적 적응: 경로의 분기에 대한 경험적 관찰에 기반하여 초기에는 탐색에, 후기에는 활용에 컴퓨팅을 할당함으로써 추론의 위상 의존적 특성을 효과적으로 해결합니다.
• 간극 연결: 올바른 경로의 존재가 선택된 올바른 답변으로 이어지도록 보장하는 존재–선택 간극에 대한 원칙 있는 해결책을 제공합니다.

저자들은 HyPER 를 학습된 검증자와 직교 (orthogonal) 하는 것으로 위치시키며, 동적 정책과 프로세스 보상 모델 (PRMs) 을 결합하는 것이 향후 연구에 유망한 방향임을 시사합니다. 코드는 공개되어 테스트 시간 확장에 대한 추가 연구를 촉진합니다.