기술 요약: GRPO는 멀티 에이전트 협업 격차를 해소하지 못한다

문제 정의

본 논문은 대규모 언어 모델(LLM)이 공통 자원을 공유하는 다중 에이전트로서 협업하는 능력, 즉 LLM이 자율적인 작업자, 크롤러 또는 분석가로 작용하는 시스템에서 매우 중요한 능력을 조사한다. 저자들은 식사하는 철학자 문제(Dijkstra [1971])를 깨끗한 테스트베드로 활용한다. 이 설정에서 $N$명의 에이전트는 원형 테이블에 앉아 있으며, 각 에이전트는 인접한 두 개의 포크를 가져야 한다. 그룹은 모든 에이전트가 교착 상태(모든 에이전트가 포크 하나를 쥐고 무한히 기다리는 상태) 없이 식사를 마쳐야만 성공한다.

본 연구는 다음 두 가지 주요 질문을 다룬다:

1. 현재의 프런티어 및 오픈 웨이트 모델들이 이러한 멀기 에이전트 설정에서 얼마나 잘 협업하는가?
2. 해당 태스크의 롤아웃(rollout)을 통해 미세 조정된 GRPO(Group Relative Policy Optimization)가 약한 오픈 웨이트 모델과 프런티어 시스템 사이의 성능 격차를 줄일 수 있는가?

방법론

실험 설정

• 평가 모델: 630개의 에피소드(철학자 수 $N \in \{5, 10, 15\}$에 대해 모델당 30개 에피소드)에 걸쳐 7개의 모델을 평가한다.
  • 프런티어 폐쇄형 모델: Claude Opus 4.7, GPT-5.4, Gemini 3.1 Pro, Grok 4.2.
  • 오픈 소스 베이스라인: Mistral-Small 24B.
  • 대상 모델: Qwen3-14B (Base) 및 GRPO로 미세 조정된 Qwen3-14B.
  • 보충 모델: Qwen3-8B, Qwen3-8B+GRPO, DeepSeek-R1-Distill-Qwen-7B를 포함한 더 작은 규모의 실험(270 에피소드).
• 환경: 각 철학자는 LLM을 래핑한 LangGraph 에이전트로 구현된다. 에이전트는 pick-up-left, pick-up-right, put-down-left, put-down-right, eat, think라는 6개의 도구를 통해 상호작용한다.
• 보상 함수: 에피소드당 4가지 구성 요소의 스칼라 보상($r$)이 계산된다:
  $$r = \alpha \cdot r_{nd} + \beta \cdot r_{thru} - \gamma \cdot r_{fair} - \delta \cdot r_{idle}$$
  여기서:
  • $r_{nd}$: 교착 상태가 없음(deadlock)을 나타내는 이진 지표 (가중치 $\alpha=1.0$).
  • $r_{thru}$: 정규화된 처리량 (섭취한 식사 수).
  • $r_{fair}$: 철학자당 식사 수의 분산 (패널티).
  • $r_{idle}$: think (no-op) 액션의 비율 (패널티).
  • 참고: 가중치는 $\alpha=1.0, \beta=0.5, \gamma=0.3, \delta=0.1$이다.

훈련 절차

• 알고리즘: OpenPipe ART에 구현된 GRPO(Group Relative Policy Optimization).
• 구성:
  • 베이스 모델: Qwen3-14B 및 Qwen3-8B.
  • 어댑터: LoRA (rank 8).
  • 데이터: $N=5$명의 철학자, 에피소드당 5라운드에서 수집된 롤아웃.
  • 훈련 단계: 총 16단계, 각 단계마다 3개의 에피소드를 가진 2개의 그룹 샘플링.
  • 체크포인팅: 기본 정책은 마지막 단계(Step 15)의 어댑터를 저장한다.

주요 결과

1. 협업 격차 (The Coordination Gap)

프런티어 모델과 오픈 웨이트 Qwen3-14B 사이에 통계적으로 유의미한 성능 격차가 존재한다:

• 프런티어 모델: $N=5$에서 평균 보상 0.45에서 0.87 사이를 달성한다. 교착 상태 발생률은 0.10에서 0.53 사이이다.
• Mistral-Small 24B: $N=5$에서 0.83의 평균 보상을 달성하며(더 큰 규모에서는 최대 0.99), 더 큰 규모에서 여러 프런티어 모델을 능가한다.
• Qwen3-14B (Base): $N=5$에서 단 0.13의 평균 보상을 달성하며, 교착 상태 발생률은 0.87에 달한다.

2. 나이브(Naive) GRPO 미세 조정의 비효iveness

태스크 롤아웃을 통한 Qwen3-14B의 GRPO 미세 조정은 격차를 좁히지 못했다:

• 통계적 유의성: $N=5$에서의 에피소드당 보상에 대한 Welch's t-test 결과 $p=0.66$ 및 Hedges' $g = -0.11$이 나왔다. 훈련된 모델(0.092)은 베이스 모델(0.128)보다 수치적으로 약간 나빴으나, 그 차이는 통계적으로 유의미하지 않았다.
• 확장성: 개선의 부재는 $N=10$ 및 $N=15$에서도 지속되었다.
• 결론: 14B 모델의 병목 현상은 컴퓨팅 용량이 아니라 훈련 방법론에 있다.

3. 훈련 역학 및 체크포인트 문제

• 보상 붕괴 (Reward Collapse): 8B 및 14B 훈련 궤적 모두 Step 9에서 정점을 찍은 후 이후 감소했다.
• 최적이 아닌 체크포인트: 기본 저장된 체크포인트(Step 15)는 훈련 궤적의 정점인 Step 9보다 훈련 분포에서 엄격하게 더 나쁜 성능을 보였다. 저자들은 검증 세트(validation set)가 없는 상태에서 기본 "마지막 단계 저장" 정책이 퇴화된 모델을 선택했다고 언급했다.

4. 보상 함수의 퇴화 (Reward Function Degeneracy)

논문은 보상 공식의 결정적인 결함을 식별했다:

• 퇴화된 최댓값: 보상 공식은 교착 상태가 발생하지 않는 한(즉, $r_{nd}=1$이고 나머지 항은 0인 경우), 식사가 전혀 없고(zero meals) 액션이 전혀 없는(zero actions) 에피소드에 대해서도 최대 점수 1.0을 허용한다.
• 경험적 증거:
  • DeepSeek-R1-Distill-Qwen-7B: 파싱 가능한 도구 호출을 내뱉지 않음으로써(무작위 행동 없음/inaction) 모든 구성에서 1.0을 기록했다. 이는 교착 상태를 피했기 때문이다.
  • Mistral-Small 24B: $N=5$에서 식사 횟수가 0임에도 평균 보상 0.83을 달성했다. 이는 모델이 식사로 이어지지 않는 액션을 취하면서도 교착 상태는 피했음을 나타낸다.
• 시사점: 보상 신호가 "진전을 만드는 것"(식사하기)보다 "실패하지 않는 것"(교착 상태 피하기)을 우선시하여, 아무것도 하지 않거나 사소한 전략을 취하도록 유도할 수 있다.

의의 및 주장

본 논문은 용량(capacity) 그 자체만으로는 오픈 웨이트 14B 규모에서 조율된 멀티 에이전트 행동을 생성할 수 없다고 주장한다. 주요 기여는 다음과 같다:

1. 경험적 무효 결과 (Empirical Null Result): 태스크 롤아웃에 대한 표준 GRPO 미세 조정이 Qwen3-14B의 멀티 에이전트 협업을 개선하는 데 실패함을 입증하였으며, 이를 통해 모델이 프런티어 모델 및 심지어 24B 오픈 소스 베이스라인보다 훨씬 뒤처져 있음을 보여주었다.
2. 방법론적 비판: RL 미세 조정의 "기본 레시피"(특히 체크포인트 선택 및 보상 형성)가 불충분함을 식별하였다. 저자들은 병목 현상이 모델의 내재적 능력이 아니라 훈련 방법론에 있다고 주장한다.
3. 세 가지 개입 방안: 결과를 개선하기 위한 세 가지 구체적인 향후 개입 분야를 제안한다:
   • 보상 형성 (Reward Shaping): 퇴화된 최댓값을 방지하기 위해 보상을 수정한다 (예: 교착 상태 보너스를 받기 위해 최소 한 번의 식사를 요구함).
   • 체크포인트 규율 (Checkpoint Discipline): 최종 단계가 아닌 훈련 보상이나 별도의 검증 세트를 기준으로 최적의 체크포인트를 선택한다.
   • 커리큘럼 (Curriculum): 본 연구에서 테스트되지 않은, 문제 규모(철학자 수)에 따른 커리큘럼을 구현한다.

저자들은 자신들의 연구 결과가 특정 "기본 레시피"를 적용한 Qwen3-14B의 $N=5$ 상황에 국한되어 있음을 명시하며 신중한 입장을 유지한다. 그들은 GRPO가 근본적으로 이 문제를 해결할 수 없다고 주장하는 것이 아니라, 사용된 특정 구현과 하이퍼파라미터가 협업 격차를 메우는 데 실패했음을 밝히고 있다.