기술 요약: MASPRM (Multi-Agent System Process Reward Model)

문제 정의

다중 에이전트 시스템(MAS)에서의 추론 시간 탐색(Inference-time search)은 기존 방법들이 어떤 특정 에이전트의 중간 메시지가 해결책을 향한 진전을 이루었는지 식별하는 데 어려움을 겪기 때문에 계산 자원을 낭비하는 경우가 많습니다. 정답 수준의 방법들(예: 다수결 투표, 검증기 재순위화)은 완성된 솔루션들 사이에서 선택을 할 수는 있지만, 단계별 가이드를 제공하지는 못합니다. 결과적으로, 몬테카를로 트리 탐색(MCTS)이나 빔 서치(Beam Search)와 같은 탐색 절차는 정책(policy)에는 부합하지만 최종적인 정답과는 일치하지 않는 접두사(prefix)를 계속 확장하게 되어 비생산적인 탐색을 초래할 수 있습니다.

단일 에이전트 프로세스 보상 모델(PRM)을 MAS로 확장하는 것은 네 가지 구체적인 도전 과제로 인해 쉽지 않습니다:

1. 점수 세분도(Score Granularity): MAS에서의 "단계(step)"는 토큰이 아니라 에이전트의 행동(계획, 라우팅, 도구 사용)이며, 이는 라우팅된 트랜스크립트 접두사의 점수 산출을 요구합니다.
2. 스케줄 및 그래프: 트랜스크립트의 가치는 에이전트 행동의 특정 순서와 메시지 라우팅에 따라 달라집니다.
3. 이질성(Heterogeneity): 에이전트들은 서로 다른 역할, 도구 접근 권한, 프롬프트를 가지며, 이는 중간 접두사가 서로 다른 분포에서 기원함을 의미합니다.
4. 부분 관측 가능성(Partial Observability): 각 에이전트는 글로벌 트랜스크립트의 로컬 뷰만을 관찰하지만, 일관된 가이드를 위해서는 글로벌 스코러가 필요합니다.

방법론

저자들은 라우팅된 트랜스크립트 접두사와 에이전트가 제안한 행동을 점수화하여, 단계별 빔 서치(SBS) 및 MCTS를 위한 추론 시간 컨트롤러 역할을 하는 MASPRM을 제안합니다.

핵심 아키텍처

• 상태 표현: 상태 $s_t$는 $(x, H_{t-1}, i_t)$로 정의됩니다. 여기서 $x$는 입력, $H_{t-1}$은 전체 라우팅된 트랜스크립트 접두사, $i_t$는 행동 중인 에이전트입니다.
• 관측 가능성: 행동하는 에이전트들은 자신의 로컬 뷰($H^{(i)}_{t-1}$)를 바탕으로 행동을 생성하지만, MASPRM 스코러는 전체 라우팅된 트랜스크립트 접두($H_{t-1}$)와 행동하는 에이전트의 정체성을 조건으로 합니다. 이를 통해 스코러는 입력 표현 내에서 이질성과 스케줄링을 암시적으로 처리할 수 있습니다.
• 학습 데이터 생성 (MAS-MCTS): 이 모델은 인간의 단계별 주석 없이 학습됩니다. 대신, 저자들은 최종 결과 보상($R(s_T) \in \{+1, -1\}$)으로만 레이블링된 MAS-MCTS 롤아웃을 사용합니다.
  • 최종 보상은 에지(edge)로 역전파되어 행동 가치 $\hat{Q}(s, a)$를 추정하는 데 사용됩니다.
  • 선호 쌍(Preference pairs)은 형제 관계인 후속 상태들(동일한 부모의 자식들)을 비교하여, 하나가 더 높은 역전파된 값을 가질 때 구성됩니다.
• 학습 목적 함수: MASPRM은 이러한 선호 쌍에 대해 브래들리-테리(Bradley-Terry) 랭킹 손실을 사용하여 학습됩니다. 이는 스코러의 주요 역할이 점수 회귀(pointwise regression)가 아니라 탐색 중 후보 후속 상태들을 순위 매기는 것이기 때문입니다.
• 추론 가이드:
  • MCTS: MASPRM은 새로 확장된 에지의 점수를 매겨 가상 방문(virtual visits)을 초기화하고 UCT 선택을 유도합니다.
  • SBS: MASPRM은 각 빔 깊이에서 샘플링된 모든 후속 상태의 점수를 매겨, 알고리즘이 유망하지 않은 브랜치를 제거하고 상위 후보를 유지할 수 있도록 합니다.

주요 기여

1. MASPRM의 정식화: 협업형 다중 에이전트 환경에서 에이전트 행동과 라우팅된 트랜스크립트 접두사를 점수화하여 에이전트 인지적 크레딧 할당(agent-aware credit assignment)을 가능하게 하는 프로세스 보상 모델을 설계했습니다.
2. MAS-MCTS 감독: 인간의 단계별 주석 없이도 에이전트 행동 가치로 최종 보상을 역전파하여 프로세스 모델을 학습시키는 학습 패러다임을 제시했습니다.
3. 가이드된 탐색 알고리즘: 사전 정의된 MAS 구성에서 유망하지 않은 브랜치를 효과적으로 제거하고 결정 품질을 개선하는 MASPRM 가이드 SBS 및 MCTS를 도입했습니다.

실험 결과

저자들은 GSM8K 및 MATH(수학적 추론), 그리고 MMLU 및 LOGIQA(지식/독해 이해)의 네 가지 벤치마크에서 MASPRM을 평가했습니다. 실험에는 에이전트 및 스코러의 베이스 모델로 Qwen2.5-1.5B와 Qwen2.5-7B가 사용되었습니다.

• 결과 보상 모델(ORM) 대비 성능: 동일한 스코러 크기와 유사한 MCTS 예산 하에서, MAS-PRM은 크기가 매칭된 ORM보다 일관되게 우수한 성능을 보였습니다.
  • 1.5B 스코러 크기: MASPRM은 모든 벤치마크에서 ORM보다 +2.0 ~ +3.0 포인트 높았습니다.
  • 7B 스코러 크기: MASPRM은 ORM보다 +4.1 ~ +14.5 포인트 높았습니다.
• 정책 가능도(Policy Likelihood) 대비 성능: MASPRM은 특히 단계별 탐색 방법에서 정책 가능도 가이드보다 Hit@1 성능을 크게 향상시켰습니다.
  • 7B 스코러와 1.5B 에이전트를 사용한 MCTS 환경에서, MASPRM은 정책 가능도 대비 평균 +13.4 포인트의 이득을 얻었습니다.
  • GSM8K에서 7B MASPRM + MCTS 구성은 82.9%의 Hit@1에 도달했으며, 이는 싱글 패스 베이스라인(47.2%) 및 1.5B ORM(66.8%)보다 실질적으로 향상된 수치입니다.
• 순위 품질: MASPRM은 솔루션의 순위 품질을 개선하여, Hit@1과 Hit@5 사이의 격차를 최대 10.3 포인트까지 줄였으며, 이는 탐색 초기 단계에서 올바른 궤적을 더 잘 식별함을 나타냅니다.
• 일반화 능력:
  • 교차 데이터셋: 한 데이터셋(예: GSM8K)에서 학습된 MAS-PRM은 관련 데이터셋(예: MATH)으로 제로샷 전이가 가능했으며, 정책 가능도 대비 +5.4 ~ +11.1 포인트의 이득을 보였습니다. 다만 인도메인 학습이 여전히 더 우수했습니다.
  • 교차 에이전트: Qwen2.5-1.5B 롤아웃으로 학습된 MAS-PRM은 재학습 없이 Llama3.2 3B 에이전트를 성공적으로 가이드하여, 정책 가능도 대비 Hit@1을 +8.7 ~ +13.0 포인트 향상시켰습니다.

의의 및 주장

본 논문은 최종 보상으로부터만 학습된 학습된 프로세스 가치 모델에 의해 가이드될 때, 추론 시간 다중 에이전트 탐색이 실질적으로 더 신뢰할 수 있게 된다고 주장합니다.

이 연구의 의의에 관한 주요 주장은 다음과 같습니다:

• 작은 에이전트의 효율성: 이 접근 방식은 학습된 프로세스 보상 모델 및 구조화된 탐색과 결래될 때 작은 LLM(예: 1.5B)이 복잡한 추론 작업에서 높은 성능을 달ей 수 있음을 보여주며, 모델 파라미터를 키우는 것에 대한 비용 효율적인 대안을 제시합니다.
• 단계별 가이드: 프로세스 가이드는 단순히 최종 답변을 선택하는 것보다 반복적인 중간 탐색 결정(MCTS와 같은)을 수행하는 알고리즘에 가장 유익하다는 것을 시사합니다.
• 확장성: 방법론은 스코러 크기에 따라 효과적으로 확장됩니다. 1.5B에서 7B 스코러로 이동함에 따라, 특히 MCTS 설정에서 상당한 추가 이득을 얻었습니다.
• 한계점: 저자들은 MAS-PRM이 대규모 모델 스케일링을 보완하지만, 가장 어려운 추론 작업(예: LOGIQA에서 GPT-4o-mini 및 Mistral 24B보다 낮은 성능을 보임)을 완전히 대체하지는 못한다고 겸허히 언급했습니다. 현재 범위는 검증 가능한 최종 답변 작업을 수행하는 사전 정의된 역할 파이프라인 MAS 구성으로 제한됩니다.

결론적으로, 본 연구는 인간의 단계별 주석 없이 추출된 학습된 프로세스 수준의 가치 신호가 다중 에이전트 탐색을 가이드하는 데 유용하고 효과적인 구성 요소임을 보여줍니다.