기술 요약: STRONGER-MAS

문제 정의

본 논문은 대규모 언어 모델(LLM)을 위한 다중 에이전트 시스템(MAS)에 온폴리시(on-policy) 강화 학습(RL)을 적용하는 과정에서 발생하는 미개척 과제를 다룹니다. MAS는 역할 기반 오케스트레이션을 통해 성능을 향상시키며, RL은 환경 보상(예: GRPO, Group Relative Policy Optimization)을 통해 정책을 강화하지만, 이 둘을 결합할 때 두 가지 결정적인 병목 현상이 발생합니다.

1. 알고리즘 불일치: 표준 GRPO는 단일 에이전트가 동일한 프롬프트에 대해 여러 응답을 생성하여 비교 그룹을 형성한다고 가정합니다. 그러나 MAS에서는 진화하는 상호작용 이력과 역할별 컨텍스트로 인해 턴마다 프롬프트가 크게 달라집니다. 표준 그룹화 방식을 적용하면 후보들이 동일한 프롬프트를 공유하지 않게 되어, 신용 할당(credit assignment)에 필요한 공정성을 위반하고 유효한 어드밴티지(advantage) 추정을 방해합니다.
2. 시스템적 한계: 기존의 온폴리시 RL 프레임워크(예: VERL, AReaL)는 단일 모델, 단일 정책 학습을 위해 설계되었습니다. 이들은 여러 개의 이질적인 에이전트가 동시에 롤아웃(rollout)을 수행하고, 다양한 MAS 워크플로우를 관리하며, 여러 정책 모델에 대해 독립적인 온폴리시 업데이트를 동시에 수행할 수 있는 인프라가 부족합니다.

방법론

저자들은 새로운 알고리즘(AT-GRPO)과 전용 MAS 학습 시스템으로 구성된 STRONGER-MAS 프레임워크를 제안합니다.

1. AT-GRPO 알고리즘

**에이전트 및 턴 단위 그룹 상대 정책 최적화(AT-GRPO)**는 다중 에이전트 환경에 맞게 그룹 상대 최적화를 조정합니다.

• 트리 구조 샘플링: 초기 상태로부터 $K$개의 전체 궤적(trajectory)을 샘플링하는 대신(이 경우 첫 번째 턴 이후 그룹 간 비교가 불가능해짐), 시스템은 각 턴 $t$에서 각 에이전트 $i$에 대해 현재 상태로부터 $K$개의 후보 행동을 샘플링합니다.
• 에이전트 및 턴 단위 그룹화: 경험은 행동하는 에이전트와 특정 턴 번호를 기준으로 그룹화됩니다. 각 에이전트-턴 쌍에 대해 고유한 그룹 키가 생성됩니다. 이를 통해 그룹 내의 $K$개 후보는 모두 동일한 프롬프트(관찰 컨텍스트 + 역할별 지침 + 상호작용 이력)를 공유하게 되어, 공정한 어드밴티지 계산을 위한 요구 사항을 충족합니다.
• 탐욕적 실행(Greedy Execution): 샘플링된 $K$개의 후보 중 가장 높은 보상을 가진 행동을 선택하여 다음 턴으로 진행함으로써, 협업에 결정적인 의사결정에 탐색을 집중합니다.
• 신용 할당: 보상 함수는 혼합 계수 $\alpha$를 통해 글로벌 팀 보상($r_{team}$)과 에이전트별 로컬 보상($r_{loc}$)을 결합합니다: $r_{t,i} = \alpha r_{team} + r_{loc}$. 이는 공유된 목표와 역할별 인센티브 사이의 균형을 맞춥니다.

2. MAS 학습 시스템

AT-GRPO를 지원하기 위해 저자들은 서로 다른 정책을 위한 리소스 풀을 분리하는 새로운 학습 시스템을 설계했습니다.

• 독립적 리소스 풀: 각 정책(공유 정책 또는 역할별 정책)에는 RolloutWorker(추론용)와 UpdateWorker(최적화용)를 포함하는 독립적인 GPU 리소스 풀이 할당됩니다.
• 동시 롤아웃: 시스템은 여러 에이전트가 CPU 기반 환경 풀과 상호작용하는 다양한 MAS 워크플로우를 조율합니다.
• 동적 라우팅: 에이전트에 의해 생성된 궤적 데이터는 할당된 정책에 해당하는 특정 UpdateWorker로 라우팅되어, 여러 모델에 대한 진정한 의미의 독립적인 온폴리시 업데이트를 가능하게 합니다.

주요 기여

1. AT-GRPO 알고리즘: 초기 프롬프트만이 아닌 에이전트 정체성과 턴 번호를 기준으로 경험을 그룹화함으로써, 다중 턴, 다중 에이전트 환경에서 유효한 어드밴티지 추정을 가능하게 하는 새로운 RL 알고리즘을 제시합니다.
2. MAS 학습 시스템: 다양한 MAS 워크플로우를 위한 롤아웃을 실행하고, 여러 정책(역할 공유 및 역할 특화 모두 포함)에 대해 독립적인 온폴리시 업데이트를 수행할 수 있는 확장 가능한 인프라를 제공합니다.
3. 실증적 검증: 네 가지 도메인(게임, 계획, 코딩, 수학)에 걸친 광범한 실험을 통해 AT-GRPO가 단일 에이전트 RL 및 표준 MAS 베이스라인을 크게 상회함을 입증했습니다.
4. 정책 분석: 역할 공유 정책(모든 에이전트를 위한 하나의 모델)과 역할 특화 정책(역할당 별도의 모델) 사이의 트레이드오프에 대한 체계적인 조사를 통해, 최적의 선택이 작업 특성(예: 코딩은 특화가 유리하고, 수학은 공유가 유리함)에 따라 달라짐을 보여줍니다.

결과

이 방법은 다양한 벤치마크에서 Qwen3 모델(1.7B 및 8B)을 대상으로 평가되었습니다.

• 장기 계획(Long-Horizon Planning): AT-GRPO는 단일 에이전트 RL의 핵심 병목 현상을 극복했습니다. Sokoban 및 Plan-Path와 같은 작업에서 정확도를 베이스라인 **14.0–47.0%**에서 **96.0–99.5%**로 끌어올렸습니다.
• 코딩 및 수학: 이 접근 방식은 일관된 이득을 가져왔습니다.
  • 코딩: LiveCodeBench 및 APPS와 같은 벤치마크에서 평균 **3.87–7.62%**의 개선을 보였습니다.
  • 수학: AIME 및 OlympiadBench와 같은 벤치마크에서 평균 **9.0–17.93%**의 개선을 보였습니다.
• 역할 특화:
  • 코딩 작업(Coder vs. Tester)에서는 역할 특화 정책이 공유 정책보다 우수했으며, 정확도를 약 3포인트 향상시켰습니다(Qwen3-1.7B).
  • 수학 작업에서는 공유 정책이 때때로 특화된 정책보다 우수한 성능을 보였는데, 이는 기능적 중첩이 단일 모델이 추론과 도구 사용 역할 모두의 데이터를 활용할 수 있게 함을 시사합니다.
• 확장성: 시스템은 앙상블 크기(예: 1명에서 7명으로 증가)에 따라 효과적으로 확장됨을 보여주었으며, 베이스라인 방법들이 포화 상태에 이르는 지점에서도 지속적인 성능 향상을 달しまいました.
• 비교: AT-GRPO는 특히 다중 턴 반복 정렬(iterative alignment) 시나리오에서 MAPoRL, MARFT, CURE와 같은 기존 MARL 프레임워크보다 뛰어난 성능을 보였습니다.

의의 및 주장

본 논문은 STRONGER-MAS가 협력적 LLM 기반 MAS를 훈련하기 위한 일반적인 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다.

• 격차 해소: MAS의 강점(협업, 역할 특화)과 온폴리시 RL의 성능 향상을 성공적으로 통합하였으며, 이는 이전에는 알고리즘 및 시스템적 한계로 인해 어려움이 있었습니다.
• 창발적 협업: 결과는 MAS 내의 온폴리시 RL이 창발적 협업을 촉진함을 시사합니다. 즉, 에이전트들이 전문화된 기술을 공동 진화시키고 행동을 더 효율적으로 정렬하도록(작업 해결을 위한 턴 수를 줄임) 학습합니다.
• 작업 의존적 아키텍처: 본 연구는 "원 사이즈 피츠 올(one-size-fits-all)" 정책 아키텍처는 존재하지 않음을 강조합니다. 공유 정책과 특화 정책 사이의 선택은 작업의 구체적인 특성(예: 기능적 중첩 여부 vs. 뚜렷한 역할 구분)에 따라 결정되어야 합니다.
• 강건성: 이 방법은 희소한 결과 중심 보상(outcome-only rewards)을 사용할 때도 효과적으로 작동하며, 이는 AT-GRPO의 알고리즘적 개선이 복잡한 보상 형성(reward shaping)에만 의존하는 것이 아님을 나타냅니다.

저자들은 자신들의 프레임워크가 협력적 LLM 에이전트를 훈련하기 위한 확장 가능하고 충실한 추상화를 제공하며, 현재의 단일 에이전트 또는 단순한 다중 에이전트 RL이 가진 협업 병목 현상을 극복한다고 결론짓습니다.