기술 요약: 효율적인 테스트 시간 확장을 위한 협업 병렬 사고

1. 문제 제기

테스트 시간 확장 (TTS) 은 추가적인 추론 연산 자원을 할당하여 해답 공간을 탐색함으로써 대규모 언어 모델 (LLM) 의 추론 능력을 향상시킵니다. 병렬 TTS 방법은 탐색을 가속화하기 위해 여러 추론 분기를 동시에 생성하지만, 치명적인 정보 격리 병목 현상에 시달립니다.

기존의 병렬 TTS 접근법에서는 탐색 과정에서 추론 분기들이 서로 격리되어 있습니다. 한 분기에 의해 발견된 중간 발견물 (예: 제약 조건, 반례, 또는 부분 결론) 은 해당 궤적에만 국한되며 실시간으로 다른 분기를 안내할 수 없습니다. 이러한 격리는 다음과 같은 결과를 초래합니다:

• 중복 탐색: 서로 다른 분기들이 다른 분기들이 이미 발견한 정보를 반복적으로 재발견합니다.
• 비효율적인 수렴: 분기들이 올바른 답에 도달하는 데 필요한 완전한 결정 정보를 수집하기 위해 더 많은 탐색 단계를 필요로 합니다.
• 낭비되는 연산 자원: 새로운 탐색보다는 한계 정보 획득이 감소하는 부분에 상당한 계산 자원이 소모됩니다.

저자들은 예비 연구를 통해 이러한 병목 현상을 검증했는데, 그 결과 독립적인 병렬 샘플링은 탐색이 진행됨에 따라 중복 정보 단위가 증가하는 반면, 공유 정보를 오프라인으로 주입하면 정확도와 수렴 속도가 크게 향상됨을 보여주었습니다.

2. 방법론: 협업 병렬 사고 (CPT)

정보 격리 문제를 해결하기 위해 저자들은 훈련이 필요 없는 추론 프레임워크인 **협업 병렬 사고 (CPT)**를 제안합니다. CPT 는 병렬 TTS 를 격리된 탐색에서 탐색 시간 정보 공유 과정으로 전환합니다. 이는 세 가지 조정된 구성 요소를 통해 작동합니다:

A. 협업 병렬 탐색

CPT 는 $K$개의 추론 분기를 병렬로 시작합니다. 생성 중간에 흔적을 재작성하거나 내용을 주입하는 방법과 달리, CPT 는 고정된 토큰 탐색 단계 (예: 매 $C$개 토큰마다) 에서만 분기들을 동기화합니다.

• 개인 히스토리: 각 분기는 자체적인 개인 추론 히스토리 ($h_i$) 를 유지합니다.
• 공유 컨텍스트: 동기화 지점에서 공유 정보 블록이 후속 생성 청크를 위한 추가 컨텍스트로 제공되어, 분기들이 개인 탐색 궤적을 변경하지 않고도 발견물을 재사용할 수 있게 합니다.

B. 공유 정보 풀링

원시 추론 흔적은 직접 공유하기에는 너무 노이즈가 많습니다. CPT 는 동일한 정책 모델 $\pi$를 사용하여 새로 생성된 구간에서 컴팩트한 정보 단위 ($Z$) 를 추출합니다.

• 추출: 모델은 중간 결론, 제약 조건, 관찰 사항, 반례, 유용한 확인 사항과 같은 특정 단위를 추출합니다.
• 중복 제거: 추출된 단위는 쿼리 수준의 공유 풀 ($P$) 에 추가됩니다. 시스템은 기존 항목에 대한 텍스트 임베딩을 통한 의미적 유사성을 사용하여 후보들을 필터링합니다. 유사도 임계값 ($\tau_{dup}$) 이하인 단위만 허용되어 풀이 컴팩트하고 정보 밀도가 높게 유지되도록 합니다.
• 방송: 고정된 단계에서, 중복 제거된 풀에서 최대 $M$개의 항목이 모든 분기를 위한 입력 컨텍스트 ("블랙보드") 로 직렬화됩니다.

C. 적응형 방송 스케줄링

조기 수렴이나 탐색 다양성 상실을 방지하기 위해 CPT 는 한계 정보 획득에 기반한 적응형 스케줄을 사용합니다:

1. 탐색 (Probe) 단계: 분기들이 독립적으로 탐색합니다. 추출된 정보는 풀에 기록되지만 아직 방송되지 않습니다.
2. 방송 (Broadcast) 단계: 풀에 허용된 새로운 정보의 비율이 시작 임계값 ($\tau_{start}$) 아래로 떨어지면 트리거됩니다. 공유 풀이 모든 분기에 방송됩니다.
3. 자유 실행 (Free-Run) 단계: 획득률이 중지 임계값 ($\tau_{stop}$) 아래로 떨어지면 트리거됩니다. 동기화가 중단되고 분기들은 종료될 때까지 독립적으로 디코딩합니다.

3. 주요 기여

1. 정보 격리 식별: 이 논문은 병렬 TTS 에서 탐색 시간 정보 공유가 부재함으로써 중복 재발견이 발생하고 수렴이 지연된다는 점을 식별하고 검증합니다.
2. CPT 프레임워크: 컴팩트한 추출, 중복 제거된 풀링, 그리고 적응형 방송을 통해 병렬 분기들이 결정 관련 정보를 공유할 수 있게 하는 훈련이 필요 없는 방법을 제안합니다.
3. 실증적 검증: 다양한 모델 규모 (QWEN3-4B 및 QWEN3-30B) 와 롤아웃 예산에 걸쳐 까다로운 수학 추론 벤치마크 (HMMT24/25, AIME24/25/26) 에서 광범위한 평가를 수행했습니다.

4. 실험 결과

저자들은 CPT 를 베이스 병렬 샘플링, DeepConf (신뢰도 기반 선택), 그리고 LeaP (자기 수정을 위한 피어 경로 라우팅) 와 같은 강력한 베이스라인과 비교 평가했습니다.

• 정확도–지연 시간 파레토 프론티어: CPT 는 베이스라인보다 일관되게 더 강력한 정확도–지연 시간 프론티어를 구축합니다. 다양한 모델 크기와 문제 분포에서 동일한 월클락 지연 시간에서 더 높은 정확도를 달성합니다.
• 중복성 감소: 정보 통계 분석 결과, CPT 는 새로운 정보 발견률을 유지하면서 단계당 발견된 중복 정보 단위의 수를 크게 줄임이 확인되었습니다.
• 효율성 향상:
  • Pass@1 및 MV@K: CPT 는 개별 분기 품질 (Pass@1) 과 다수결 투표 정확도 (MV@K) 를 모두 향상시켜, 정보 공유가 단순히 분기들을 조기에 정렬하는 것이 아니라 개별 궤적의 품질을 향상시킴을 나타냅니다.
  • 토큰 효율성: CPT 는 더 강력한 정확도–토큰 프론티어를 달성하여 알려진 정보를 재발견하는 데 소모되는 불필요한 디코딩을 줄입니다.
  • FLOPs 트레이드오프: CPT 는 중복 토큰을 줄이지만, 표준 구현은 방송 중 업데이트된 컨텍스트를 다시 채우는 (re-prefilling) 과정으로 인해 추가 FLOPs 를 발생시킵니다. 저자들은 향후 캐시 인식 메커니즘이 이를 완화할 수 있다고 지적합니다.

5. 중요성과 주장

이 논문은 병렬 테스트 시간 확장의 효율성이 단순히 더 많은 추론 분기를 시작하는 것뿐만 아니라, 분기들이 탐색 중에 결정 관련 정보를 공유하고 재사용할 수 있도록 하는 것에 달려 있다고 주장합니다.

• 패러다임 전환: CPT 는 병렬 TTS 를 "사후 집계와 함께 하는 독립적 샘플링"에서 "실시간 정보 풀링을 통한 협업 탐색"으로 이동시킵니다.
• 훈련 불필요: 이 방법은 추가 훈련, 보상 모델, 또는 외부 검증자가 필요 없으며, 정책 모델이 공유 컨텍스트를 추출하고 활용하는 능력에만 의존합니다.
• 확장성: 이 접근법은 다양한 모델 규모 (4B 에서 30B 파라미터까지) 와 문제 난이도에서 효과적이므로, 탐색 시간 협업은 효율적인 추론을 위한 일반화 가능한 메커니즘임을 시사합니다.

저자들은 탐색 시간 협업을 통한 중복 재발견 감소를 효율적인 병렬 TTS 를 위한 효과적인 방향이라고 결론지으며, 순차적 정제 방법의 지연 시간 오버헤드 없이 추론 연산 자원을 확장할 수 있는 실용적인 경로를 제시합니다.