기술 요약: TMAS – 다중 에이전트 시너지를 통한 테스트 시간 컴퓨팅 확장

1. 문제 제기

테스트 시간 확장 (Test-time scaling, TTS) 은 추론 과정에서 추가적인 컴퓨팅 자원을 할당하여 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 패러다임으로 부상했습니다. 초기 접근 방식은 단일 생성 궤적 확장 (예: Chain-of-Thought) 이나 병렬 독립적 해결책의 집계 (예: Self-Consistency) 에 중점을 두었으나, 최근의 구조화된 방법들은 여러 궤적 및 정제 라운드에 걸쳐 추론을 조직화하려는 시도를 하고 있습니다.

그러나 기존 구조화된 TTS 방법들은 탐색(다양한 해결책 경로 시도) 과 활용(유망한 방향 정제) 사이의 균형을 맞추는 데 상당한 한계에 직면해 있습니다:

• 약한 조정: 궤적 집계 방법은 무엇을 유지할지 명시적으로 필터링하지 않고 노이즈가 포함된 과거 정보에 의존하는 경우가 많아, 비최적의 신호 재사용을 초래합니다.
• 불충분한 협력: 검증 - 정제 시스템은 명시적인 피드백을 도입하지만, 종종 서로 다른 궤적 간의 결합이 약하게 유지되어 시도 간에 재사용 가능한 중간 발견 사항이나 지역적 피드백을 공유하지 못합니다.
• 메모리 세분성: 현재 접근 방식은 저수준의 신뢰할 수 있는 중간 결론 (지역적 신호) 과 고수준의 전략적 통찰력 (전역적 패턴) 을 구분하지 못해 효과적인 정보 공유를 제한합니다.

핵심적인 과제는 다중 에이전트 협업을 명시적으로 조정하고, 지역적 경험과 전역적 전략을 분리하기 위해 계층적 메모리를 관리하며, 모델이 비최적 패턴에 갇히지 않고 이 구조를 효과적으로 활용하도록 정렬하는 프레임워크를 설계하는 것입니다.

2. 방법론: TMAS 프레임워크

저자들은 추론을 전문 에이전트 간의 협업 과정으로 조직화하는 TMAS(다중 에이전트 시너지를 통한 테스트 시간 컴퓨팅) 프레임워크를 제안합니다. 이 시스템은 병렬적 탐색과 순차적 활용 사이의 균형을 유지하며 반복적으로 작동합니다.

2.1. 다중 에이전트 아키텍처

TMAS 는 추론 파이프라인을 관리하기 위해 다섯 가지 전문 에이전트를 사용합니다:

1. 솔루션 에이전트 ($A_{sol}$): 병렬로 $N$개의 후보 해결 궤적을 생성합니다. 이는 $\epsilon$-greedy 전략을 사용하며, 확률 $1-\epsilon$로 축적된 경험과 이전 롤아웃을 활용하고, 확률 $\epsilon$로 중복을 피하기 위해 고수준 가이드라인에 따라 탐색합니다.
2. 검증 에이전트 ($A_{ver}$): 각 후보에 대해 $M$개의 독립적인 검증 패스를 수행하여 분석적 피드백과 스칼라 점수 (정확성, 부분 정확성, 또는 오류) 를 제공합니다.
3. 요약 에이전트 ($A_{sum}$): 검증 결과를 간결한 롤아웃 수준 요약으로 집계하여 검증된 단계와 논리적 결함을 강조합니다.
4. 경험 에이전트 ($A_{exp}$): 현재 롤아웃에서 저수준 재사용 가능 신호를 추출하여 **경험 은행 (Experience Bank)**을 업데이트합니다. 여기에는 검증된 중간 결론, 구체적인 기술, 그리고 특정 오류 회피 휴리스틱이 포함됩니다.
5. 가이드라인 에이전트 ($A_{guide}$): 병렬 롤아웃에서 고수준 전략적 접근 방식을 추상화하여 **가이드라인 은행 (Guideline Bank)**을 업데이트합니다. 이는 이전에 시도되었으나 실패한 패턴에서 후속 에이전트를 벗어나게 하는 전역적 해결 방향과 구조적 통찰력을 기록합니다.

2.2. 계층적 메모리 관리

TMAS 는 구조화된 정보 흐름을 촉진하기 위해 두 가지 구별된 메모리 은행을 도입합니다:

• 경험 은행: 구체적인 궤적별 추론 신호 (예: "검증된 앵커 $T(2)=3$") 를 저장합니다. 이는 지역적 추론을 정제하고 특정 실수를 반복하는 것을 방지하기 위해 재사용됩니다.
• 가이드라인 은행: 고수준 전략 로그 (예: "분할 논증으로 유도법 시도") 를 저장합니다. 이는 다양성을 강제하여 새로운 롤아웃이 이전에 탐색된 전략적 프레임워크를 단순히 반복하지 않도록 합니다.

2.3. 하이브리드 보상 강화 학습

모델을 TMAS 협업 과정에 정렬하기 위해, 저자들은 GRPO(그룹 상대 정책 최적화) 기반의 하이브리드 보상 시스템을 설계했습니다. 최종 정확성만을 최적화하는 표준 RL 과 달리, 이 시스템은 세 가지 상호 보완적인 목표를 포함합니다:

1. 표준 정확성 보상: 기본 추론 능력을 유지합니다 (정답 시 +1 보상, 그 외 -1).
2. 경험 활용 보상: 모델이 경험 은행을 효과적으로 사용하도록 장려합니다. 은행 없이는 해결하기 어렵지만 은행이 있으면 해결 가능한 문제의 경우, 은행이 없을 때의 문제 난이도에 비례하는 보너스를 받습니다. 이는 은행을 수동적인 컨텍스트로 취급하는 것을 방지합니다.
3. 신규 전략 탐색 보상: 새로운 고수준 해결 전략의 발견을 장려합니다. 기존 은행에 포함되지 않은 가이드라인을 따르는 롤아웃은 더 높은 보상을 받고, 알려진 전략을 반복하는 것은 정답이라도 패널티를 받습니다.

3. 주요 기여

1. TMAS 프레임워크: 에이전트, 궤적, 반복에 걸쳐 정보 흐름을 명시적으로 조직화하는 새로운 다중 에이전트 시스템입니다. 이는 전문적인 경험 및 가이드라인 에이전트를 통해 독립적인 추론 시도를 조정된 반복 과정으로 변환합니다.
2. 계층적 메모리 메커니즘: 저수준 경험 (재사용 가능한 지역적 신호) 과 고수준 가이드라인 (전략적 회피) 을 위한 별도의 은행을 도입하여, 신뢰할 수 있는 발견 사항의 활용과 다양한 경로 탐색 사이의 균형을 맞춥니다.
3. 하이브리드 보상 RL 방식: 기본 추론 능력, 효과적인 경험 활용, 그리고 신규 전략 탐색을 공동으로 최적화하도록 TMAS 에 맞춤화된 학습 목표로, 반복적 추론에서의 탐색 - 활용 트레이드오프를 해결합니다.

4. 실험 결과

저자들은 Qwen3-30B 와 Qwen3-4B 를 베이스 모델로 사용하여 도전적인 추론 벤치마크인 IMO-AnswerBench-50과 HLE-Math-100에서 TMAS 를 평가했습니다.

• 반복적 확장: TMAS 는 기존 베이스라인 (Self-Refine, Verify-Refine, PaCoRe, RSE) 보다 강력한 반복적 확장을 보여주었습니다. 다른 방법들은 후기 반복에서 정체되거나 저하되는 반면, TMAS 는 계속 개선되어 19 번째 반복에서 Qwen3-30B 를 사용한 IMO-AnswerBench-50 에서 40.50% 의 최우수 후기 성능을 달성했습니다.
• 하이브리드 RL 의 영향: 하이브리드 보상 시스템으로 학습하면 확장 효과가 크게 증폭되었습니다. Qwen3-4B 모델에서 TMAS+Hybrid-RL 은 더 높은 피크 정확도를 달성했을 뿐만 아니라, 후기 반복 동안 순수 정확성 보상만으로 학습한 Vanilla-RL 에서 관찰된 성능 저하를 완화했습니다.
• 모델 효율성: 하이브리드 RL 학습은 4B 와 30B 모델 간의 성능 격차를 크게 좁혔습니다. IMO-AnswerBench-50 에서 격차는 23.44 에서 9.62 포인트로 축소되어, 효과적인 반복적 테스트 시간 컴퓨팅이 더 작은 모델이 훨씬 큰 모델의 성능에 접근할 수 있게 할 수 있음을 시사합니다.
• Ablation 연구:
  • 경험 또는 가이드라인 모듈 중 하나를 제거하면 성능이 저하되었으며, 둘 다 제거할 경우 가장 심각한 감소가 발생했습니다.
  • 중간 탐색 계수 ($\epsilon=0.2$) 가 최적의 결과를 도출하여 발견과 활용 사이의 균형 필요성을 확인했습니다.
  • 과도한 검증 횟수 (예: 16) 또는 병렬 솔루션 (예: 12) 은 점진적인 개선을 보이지 않아 한계 수확 체감과 잠재적 노이즈 도입을 나타냈습니다.

5. 의의 및 한계

본 논문은 TMAS 가 단순한 궤적 집계나 검증을 넘어 테스트 시간 컴퓨팅을 조직화하는 중요한 진전이라고 주장합니다. 정보 흐름을 명시적으로 구조화하고 메모리를 계층적 수준으로 분리함으로써, TMAS 는 추론 궤적 간의 더 효과적인 협력을 가능하게 합니다. 하이브리드 보상 방식은 이러한 복잡한 구조를 활용하도록 모델을 학습시키는 데 중요한 촉진제로 제시됩니다.

한계:

• 검증 병목 현상: 저자들은 "공유 능력 경계"를 지적하는데, 가장 어려운 문제들에서 동일한 모델 계열로 구현된 검증 에이전트가 그럴듯하지만 결함이 있는 해결책과 정답을 구분하는 데 어려움을 겪을 수 있습니다. 이는 정제 루프에 대한 신뢰할 수 없는 피드백 신호로 이어질 수 있습니다.
• 컴퓨팅 제약: 비용 및 API 제약으로 인해 최첨단 모델 (예: GPT-5.5) 에 대한 평가는 수행되지 않았습니다.
• 데이터 구성: 현재 RL 파이프라인은 콜드스타트 궤적과 메모리 기반 학습 데이터를 사전 구성하기 위해 외부 교사 모델이 필요합니다. 저자들은 향후 작업이 이전 반복의 궤적을 동적으로 통합하여 데이터 소스를 확장할 수 있음을 제안합니다.

결론적으로, TMAS 는 다중 에이전트 시너지와 계층적 메모리를 통해 탐색과 활용을 효과적으로 균형 잡는 구조화된 테스트 시간 컴퓨팅 확장 접근법을 제공하며, 올바르게 조직될 경우 추가적인 컴퓨팅이 향상된 추론 성능으로 전환될 수 있음을 보여줍니다.