기술 요약: 롤아웃 낭비 금지: 검색 경험 재활용을 통한 효율적인 테스트 시간 확장

문제 제기

현재의 테스트 시간 확장 (TTS) 전략은 추론에 추가적인 추론 연산을 할당하여 대형 언어 모델 (LLM) 의 추론 능력을 향상시키지만, 근본적인 비효율성인 정보 낭비에 시달립니다. 병렬 샘플링, 순차적 정제, 또는 트리 기반 검색이든 기존 패러다임들은 개별 롤아웃 (추론 궤적) 을 일회성 샘플로 취급하는 경향이 있습니다. 한 번의 시도가 완료되거나 폐기되면, 해당 궤적 내에 포함된 가치 있는 중간 통찰력, 검증된 명제, 그리고 식별된 실패 패턴은 사실상 손실됩니다.

이러한 '기억 상실' 접근법은 상당한 계산적 중복을 초래합니다. 모델은 다른 롤아웃에서 이미 발견된 결론을 반복적으로 재도출하고, 알려진 막다른 골목으로 다시 진입하며, 검색 과정에서 생성된 누적 지식을 활용하지 못합니다. 이 논문은 테스트 시간 연산의 잠재력을 극대화하기 위해서는 단순히 롤아웃의 양을 늘리는 것이 아니라, 일회성 시도를 누적적이고 경험에 기반한 과정으로 전환함으로써 탐색의 질을 최적화해야 한다고 주장합니다.

방법론: 검색 경험 재활용 (RSE)

이 비효율성을 해결하기 위해 저자들은 **검색 경험 재활용 (Recycling Search Experience, RSE)**을 제안합니다. 이는 외부 학습 없이 작동하는 자기 주도적 추론 전략입니다. RSE 는 테스트 시간 검색을 고립된 일련의 시도로 재정의하는 대신, 이전 궤적에서 얻은 가치 있는 통찰력을 정제하여 재사용함으로써 후속 탐색을 안내하는 누적 과정으로 재구성합니다.

이 방법론은 세 가지 조율된 구성 요소를 통해 작동합니다:

1. 배치 기반 경험 안내 검색:
   불안정한 실시간 동기화나 컨텍스트 창에 제한되는 순수한 순차적 정제 대신, RSE 는 롤아웃 예산을 $R$라운드로 분할합니다. 각 라운드 $r$에서 모델은 $K_r$개의 궤적을 병렬로 생성합니다. 각 라운드 시작 전에 글로벌 **경험 은행 (Experience Bank)**이 프롬프트에 직렬화되어, 해당 배치 내의 모든 롤아웃이 이전 라운드에서 축적된 지식을 포함한 동기화된 상태에서 시작하도록 보장합니다.

2. 자기 주도적 경험 정제:
   원시적이고 장황한 추론 체인을 연결하는 것 (이는 컨텍스트 오버플로우와 노이즈의 위험이 있음) 대신, RSE 는 경량 프롬프팅 단계를 통해 각 완료된 궤적을 구조화된 이산 항목으로 정제합니다. 이 과정은 외부 감독 없이 모델의 고유한 자기 평가 능력을 활용합니다:

   • 긍정적 경험 ($E^{pos}$): 검증된 명제, 보조 정리, 또는 중간 결론을 추출하여 불필요한 유도를 단축하는 '진실 앵커'로 활용합니다.
   • 부정적 경험 ($E^{neg}$): 치명적인 함정, 전략적 막다른 골목, 또는 논리적 오류를 식별하여 검색 공간을 가지치기하는 '부정적 제약'으로 작용합니다.

3. 의미론적 경험 중복 제거:
   컨텍스트 폭발을 방지하고 높은 정보 밀도를 유지하기 위해 RSE 는 의미론적 중복 제거 전략을 사용합니다. 새로 정제된 경험은 유사도 임계값 ($\tau$) 을 사용하여 기존 은행과 비교됩니다. 의미적으로 구별되는 항목만 추가되어 반복적인 통찰력을 필터링하고, 은행이 중복 목록이 아닌 실행 가능한 지침의 다양한 집합으로 유지되도록 보장합니다.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

• RSE 프레임워크: 롤아웃 수준의 경험을 재활용함으로써 테스트 시간 검색을 누적적이고 경험에 기반한 과정으로 전환하는 학습 불필요 전략의 제안.
• 이론적 분석: RSE 가 독립 샘플링보다 샘플 효율성 우위를 제공함을 보여주는 공식적 분석. 저자들은 건전한 경험 추출 하에서 RSE 를 통해 올바른 해를 찾을 확률이 독립 샘플링보다 나쁘지 않으며, 여러 중간 결론이 필요한 복잡한 작업에서는 기하급수적인 이득이 있을 수 있음을 증명합니다. 또한 불완전한 경험 추출이 발생하는 시나리오에 대해서는 제한된 저하 결과를 제공합니다.
• 실증적 검증: 다양한 벤치마크와 모델 계열에 걸친 광범위한 실험을 통해 강력한 베이스라인 대비 일관된 성능 향상을 입증.

실험 결과

저자들은 RSE 를 까다로운 수학 추론 벤치마크 (HMMT24, HMMT25, IMO-Bench, HLE-Math-text) 에서 평가했으며, 코딩 (LiveCodeBench-v6), 전문가급 QA(GPQA-Diamond), 그리고 장기 계획 (TravelPlanner) 으로 평가 범위를 확장했습니다.

• 성능 우위: RSE 는 Qwen3-30B, Qwen3-4B, Phi-4, DeepSeek-V3.2 등 모든 테스트된 모델에서 표준 샘플링, 다수결 투표, Self-Refine, 그리고 동시 개발된 PaCoRe 방법을 포함한 베이스라인을 일관적으로 능가했습니다. 예를 들어, Qwen3-30B 모델을 사용한 HMMT25 에서 RSE 는 3 번째 반복 시 Pass@1 점수 83.9% 를 기록하여 PaCoRe(80.2%) 와 Self-Refine(72.6%) 을 앞섰습니다.
• 확장 역학: 3 번째 반복 시 '검증 중심 병목 현상'으로 인해 PaCoRe 가 한계에 도달하는 등 베이스라인들이 초기 포화를 보이는 것과 달리, RSE 는 지연된 수렴을 보이며 후속 반복을 통해 지속적인 성능 향상을 입증하여 더 높은 경험적 한계를 나타냈습니다.
• 계산 효율성: RSE 는 계산 비용 (FLOPs) 대비 정확도 측면에서 우월한 파레토 프론티어를 구축했습니다. 단순 집계나 검증 기반 연결에 비해 계산 단위당 더 높은 정확도 향상을 달성했습니다.
• 일반화 능력: 이 방법은 수학 외에서도 효과임이 입증되었습니다. 특히 TravelPlanner 작업에서 PaCoRe 는 컨텍스트 과부하로 인해 0.00% 의 통과율로 붕괴된 반면, RSE 는 34.44% 의 통과율을 달성하여 합의 투표가 적용되지 않는 개방형 계획 작업을 처리할 수 있음을 보여주었습니다.

중요성과 주장

이 논문은 RSE 가 테스트 시간 확장에서의 패러다임 전환을 나타낸다고 주장합니다. 롤아웃을 일회성 샘플이 아닌 재사용 가능한 경험의 원천으로 취급함으로써, RSE 는 현재의 '기억 상실' 검색의 체계적 비효율성을 해결합니다.

• 효율성: 저자들은 현재 TTS 의 주요 병목 현상은 연산 부족이 아니라 롤아웃 수준의 경험을 축적하고 재사용하기 위한 체계적 메커니즘의 부재라고 주장합니다. RSE 는 이 간극을 메워 모델이 알려진 사실을 재도출하거나 막다른 골목을 다시 방문하는 대신, 솔루션 공간의 유망하고 미탐색 영역에 연산을 집중할 수 있게 합니다.
• 자기 주도적 성격: RSE 의 중요한 의미는 외부 보상 모델, 정답 레이블, 또는 아키텍처 변경이 필요 없다는 점입니다. 이는 모델이 자신의 추론을 비판하고 정제하는 능력에만 의존하므로 일반적인 검색 환경에 적용 가능합니다.
• 이론적 기반: 이 연구는 유효한 중간 결론을 '체크포인트'화함으로써 후속 롤아웃이 분산된 부분적 성공을 기반으로 구축할 수 있다는 직관에 대한 이론적 토대를 제공합니다. 이는 복잡한 추론 체인과 관련된 확률 감소를 크게 줄여줍니다.

결론적으로, 이 논문은 테스트 시간 연산의 잠재력을 극대화하기 위해서는 경험 재활용을 통해 탐색의 질을 최적화하고, 고립된 시도를 누적적이고 지능적인 검색 과정으로 전환해야 한다고 주장합니다.