기술 요약: 프로세스 보상을 통한 멀티에이전트 시스템 스케일링 (MAPPA)

1. 문제 정의

멀리에이전트 시스템(MAS)은 전문화와 다양한 관점을 활용함으로써 복잡하고 긴 호흡의 과제를 해결하기 위한 유망한 패러다임을 제공합니다. 그러나 여러 에이전트를 동시에 미세 조정(fine-tuning)하는 것은 스케일링을 저해하는 두 가지 결정적인 병목 현상에 직면해 있습니다:

1. 신용 할당(Credit Assignment): 여러 에이전트가 참여하는 다단계 궤적(trajectory)에서, 전체 시스템의 성공 또는 실패를 특정 에이전트가 취한 개별 행동에 귀속시키기가 어렵습니다. 전통적인 결과 기반 보상(궤적 끝에 주어지는 희소한 신호)은 실패가 상류(upstream) 에이전트의 오류 때문인지, 아니면 하류(downstream) 에이전트의 회복 능력 부족 때문인지를 구분하지 못합니다.
2. 샘플 효율성(Sample Efficiency): 멀티에이전트 롤아웃(rollout)은 계산 비용이 많이 들며, 종종 몇 분에서 몇 시간까지 소요됩니다. 단일 결과 보상에 의존하는 기존 강화 학습(RL) 방식은 이러한 값비싼 궤적으로부터 최소한의 훈련 신호만을 추출하므로 샘플 효율성이 떨어집니다.

현재의 접근 방식들은 대개 사전 훈련된 에이전트를 조율하기 위해 프롬프트 엔지니어링에 의존하지만, 이는 에이전트의 가중치를 업데이트하지 않으므로 진정한 전문화를 제한합니다. 반대로, 최근의 동시 미세 조정 시도들은 위에서 설명한 신용 할당 및 효율성 문제를 겪고 있습니다.

2. 방법론: MAPPA

저자들은 AI 피드백으로부터의 밀집된 행동별 프로세스 보상을 사용하여 도구 증강 멀티에이전트 시스템을 미세 조정하는 프레임워크인 MAPPA(MultiAgent system with Per-action Process rewards from AI feedback)를 제안합니다.

핵심 메커즘: "코치(Coach)"

궤적 끝에 단일 희소 보상을 할당하는 대신, MAPPA는 "코치" LLM을 사용하여 모든 에이전트가 수행하는 모든 행동을 평가합니다.

• 문맥 인식 평가: 코치는 에이전트의 특정 역할, 관찰된 입력 문맥, 해당 행동 자체, 그리고 환경 피드백(예: 도구 실행 결과, 에러 메시지)을 바탕으로 각 행동을 0~10점 척도로 평가합니다.
• 암묵적 신용 할당: 코치는 인과 관계 체인을 분석함으로써 암묵적인 신용 할당을 수행합니다. 예를 들어, 하류 에이전트가 "file-not-found" 에러를 만났을 때, 코치는 하류 에이전트가 에러를 올바르게 보고한 것에 대해 벌점을 주는 것이 아니라, 파일을 생성하지 못한 상류 에이전트에게 낮은 점수를 부여합니다.
• 정답 불가지론(Ground Truth Agnosticism): 코치는 가용한 경우 정답 지표(예: RMSE, F1)를 통합하여 보상을 합성할 수 있지만, 정답 없이도 문맥에 비추어 행동의 "타당성(sensible-ness)"을 평가함으로써 기능할 수 있습니다. 이는 과제가 완전히 실패한 상황에서도 훈련이 가능하게 합니다.

훈련 알고리즘

• REINFORCE++: 저자들은 GRPO(Group-Relative Policy Optimization) 대신 REINFORCE++를 사용합니다. GRPO는 동일한 프롬프트를 공유하는 샘플들이 동일한 입력 상태를 가진다고 가정하는데, 이는 상류의 확률적 출력이 서로 다른 중간 상태를 만들어내는 멀티에이전트 시스템에서는 깨지는 가정입니다. REINFORCE++는 모든 경험에 대해 전역 배치 정규화(global batch normalization)를 적용하여 상태의 다양성을 자연스럽게 처리합니다.
• 보상 계산: 각 행동 $t$는 $r_t = r_{coach}^t - \beta \cdot D_{KL}(\pi_\theta || \pi_{ref})$의 보상을 받습니다. 여기서 $r_{coach}^t$는 코치의 점수이며, KL 항은 참조 정책으로부터의 이탈을 페널티로 부여합니다. 어드밴티지(Advantages)는 할인되지 않은 return-to-go로 계산되며 배치 전체에 걸쳐 전역적으로 정규화됩니다.
• 분산 아키텍처: 시스템은 조율을 위해 Ray를, 추론을 위해 vLLM을, 메모리 효율적인 업데이트를 위해 DeepSpeed ZeRO-3를 사용합니다. 훈련 루프는 병렬 궤적 수집, 비동기 코치 평가, 동기식 그래디언트 업데이트를 긴밀하게 결합하여 효율성을 극대화합니다.

3. 주요 기여

1. 행동별 프로세스 보상: AI 코치로부터 밀집된 문맥 인식 프로세스 보상을 도입하여, 최종 결과가 아닌 특정 에이전트의 행동에 성공/실패를 귀속시킴으로써 멀티에이전트 시스템의 신용 할당 문제를 해결했습니다.
2. 샘플 효율성: 궤적당 하나의 최종 결과가 아닌 모든 행동마다 훈련 신호를 생성함으로써 샘лев 효율성을 획기적으로 개선하여, 값비싼 멀티에이전트 롤아웃 비용을 미세 조정에 활용 가능하게 만들었습니다.
3. 파괴적 망각 없는 전문화: 에이전트 간의 가중치를 분리함으로써, 단일 모델 스케일링에서 나타나는 간섭이나 파괴적 망각 없이 전문화(예: 하나는 추론, 다른 하나는 코딩 담당)가 가능함을 입증했습니다.
4. 범용 프레임워크: 수학적 추론 및 데이터 과학 파이프라인에서 검증된, 다양한 작업에 적용 가능한 도메인 불가지론적 훈련 파이프라인(에이전트 토폴로지, 보상 구조, 훈련 루프)을 제시합니다.

4. 실험 결과

저자들은 두 가지 별개의 도메인에서 MAPPA를 검증했습니다.

A. MathChat (코드 실행을 포함한 경시대회 수학)

• 설정: AIME 및 AMC 문제를 해결하는 세 개의 에이전트 파이프라인(Problem Solver, Code Executor, Verifier)을 구성했습니다.
• 성능:
  • AIME에서 MAPPA는 베이스라인 대비 +5.0pp(DeepSeek-R1-Distill-Qwen-1.5B) 및 +17.5pp(Qwen3-4B)의 성공률 향상을 보였습니다.
  • AMC에서의 향상은 +7.8pp에서 +17.2pp 사이였습니다.
• 행동 통찰: 더 큰 모델(Qwen3-4B)은 도구 사용을 늘리고 응답 길이를 줄이는 등 유의미한 행동 적응을 보였습니다. 작은 모델은 급격한 행동 변화 없이도 정확도가 향려되었는데, 이는 프로세스 보상이 모델 용량의 한계 내에서도 개선을 유도함을 시사합니다.

B. DSBench (엔드 투 엔드 데이터 과학 파이프라인)

• 설정: 특징 공학(feature engineering), 모델 훈련, 예측 생성을 수행하는 세 개의 에이전트 파이프라인(Data Engineer, Modeler, Analyst)을 구성했습니다.
• 성능:
  • 훈련을 통해 전체 성공률이 +16.7pp 향상되었습니다.
  • 품질 지표(예: Fair RMSE)가 최대 **47%**까지 개선되었습니다.
• 전문화 관찰: 시스템은 회귀(regression) 작업은 계속 개선되는 반면 분류(classification) 지표는 베이스라인으로 퇴보하는 전문화 패턴을 보였습니다. 분석 결과, 코치가 회귀 작업에 체계적으로 높은 점수를 부여하여 에이전트들이 이 편향을 이용(exploit)했음이 드러났습니다. 이는 코치가 자신의 점수 편향이 그래디언트 업데이트를 유도한다는 사실을 인지하지 못하는 상태적(stateless) 평가의 한계를 보여줍니다.

5. 의의 및 주장

본 논문은 MAPPA를 최소한의 인간 감독으로 복잡하고 긴 호흡의 과제를 수행하는 멀티에이전트 시스템을 스케일링하기 위한 "첫 단계"로 규정합니다.

• 스케일링의 새로운 차원: 저자들은 단일 모델의 파라미터를 늘리는 것보다 전문화된 에이전트의 수를 늘리는 것이 유망한 프런티어라고 주장합니다. 프로세스 보상을 통해 에이전트를 미세 조정함으로써, 시스템은 효율성과 능력의 한계 모두에서 단일 강력한 모델을 능가하는 성능을 달ical 수 있습니다.
• "판사(Judge)"에서 "코치(Coach)"로: 이 연구는 "LLM-as-a-judge"(최종 출력에 대한 수동적, 상태 불가지론적 평가)에서 "agent-as-a-coach"(중간 단계에 대한 능동적, 전략적 피드백)로의 패러다임 전환을 의미합니다.
• 한계 및 향후 과제: 저자들은 코치의 점수 편향(예: 장황함 편향, 자기 강화 편향) 및 보상 해킹(reward hacking)의 위험성을 포함한 한계를 인정합니다. 이들은 다음과 같은 향후 방향을 제안합니다:
  • 훈련 가능한 코치: 에이전트와 코치의 공동 진화.
  • 보상 역전파(Reward Backpropagation): 결과를 특정 실수로 더 정밀하게 추적하는 하향식 접근법.
  • 전략적 판단: 훈련 역학(예: 초기에는 신뢰성 우선, 이후에는 품질 우선)에 따라 평가 기준을 조정하는 코치.

결론적으로, 본 논문은 AI 생성 프로세스 보상을 사용하여 멀티에이전트 시스템을 엔드 투 엔드로 훈련할 수 있는 능력이 기업 및 과학적 워크플로우를 위한 자가 개선 AI 시스템을 구축하는 데 있어 결정적인 진전임을 강조합니다.