기술 요약: 언어 에이전트의 개방형 다중 에이전트 협업 벤치마킹

문제 정의

대규모 언어 모델(LLM)이 자율 에이전트로 점점 더 많이 배치됨에 따라, 이들은 타인과의 협업을 통해 장기적인 목표를 달est해야 하는 다중 에이전트 환경에서 작동해야 합니다. 그러나 기존의 평가 방식은 이러한 요구사항들을 동시에 테스트하는 경우가 드뭅니다. 현재의 벤치마크들은 대개 단일 에이전트 작업, 짧은 상호작용, 또는 고도로 구조화된 다중 에이전트 설정(예: 고정된 역할, 미리 지정된 목표)에 집중되어 있습니다. 장기적 상호작용, 개방형 작업 구조, 그리고 명시적이고 절차적으로 생성된 협업 요구사항을 결합한 평가는 부족한 실정입니다. 결과적으로, 의도를 전달하고, 역할을 할당하며, 공유된 계획을 유지하고, 시간에 따라 행동을 정렬하는 것과 같은 지속적인 다해 다중 에이전트 협업에 필요한 메커니즘은 여전히 제대로 이해되지 않고 있습니다.

방법론: ALEM 벤치마크

이러한 격차를 해소하기 위해, 저자들은 Craftax와 유사한 역학을 기반으로 구축된, JAX 기반의 개방형 다중 에이전트 협업 벤치마크인 ALEM(아므라어(Amharic)로 '세계'를 뜻함)을 소개합니다.

환경 설계

ALEM은 에이전트들이 탐험하고, 거래하고, 제작하고, 건설하고, 전투를 벌이는 절차적으로 생성된 환경을 특징으로 하는 부분 관측 가능한 확률적 게임(POSG)입니다. 이 벤치마크는 네 가지 핵심 축으로 구분됩니다:

1. 절차적 협업 생성: 협업 요구사항이 고정된 기존 연구와 달리, ALEM은 매 에피소드마다 협업 구조 자체를 절차적으로 생성합니다. 작업(채굴, 건설, 전투, 제작)에는 협업 유형(동기식 또는 핸드오버)과 필요한 에이전트 수(2명에서 N명)가 할당됩니다.
2. 협업 스펙트럼: 본 벤치마크는 결합된 행동 사이의 시간적 간격($\Delta t$)에 따른 협업 결합의 전체 스펙트럼을 포괄합니다:
   • 장거리(Long-range): 한 에이전트가 자원을 수집하면 다른 에이전트가 나중에 이를 사용합니다 (큰 $\Delta t$).
   • 핸드오버(Handover): 한 에이전트가 작업을 시작하면, 다른 에이전트가 짧은 시간 내에 이를 완료해야 합니다 (작은 $\Delta t$).
   • 동기식(Synchronous): 에이전트들이 동일한 타겟에 대해 동일한 타임스텝에 행동합니다 ($\Delta t = 0$).
3. 연성 전문화(Soft Specialisation): 엄격한 역할 제한 대신, 에이전트들은 "연성" 전문화를 가집니다. 전문가(Specialist)는 결정론적으로 성공하는 반면, 비전문가는 $1-\alpha$의 확률로 성공합니다. 이는 온라인 적응을 허용하면서도 효과적인 역할 할당을 유도합니다.
4. 조절 가능한 난이도: 단일 스칼라 파라미터 $\alpha \in [0, 1]$를 통해 세계의 레이아웃을 변경하지 않고도 협업 난이도를 조절할 수 있습니다. $\alpha$가 높아질수록 실행 제약 조건이 엄격해집니다 (예: 더 짧은 핸드오버 창, 더 높은 N-에이전트 요구사항, 더 낮은 비전문가 효율성).

평가 프로토콜

저자들은 Easy, Medium, Hard 설정에서 제로샷 동종 팀(zero-shot homogeneous teams)을 대상으로 13개의 현대적 LLM을 평가했습니다.

• 모델: 독점 모델(GPT-5.4-High, Gemini-3.1-Pro-High)과 오픈 웨이트 모델(Gemma-4, Llama-3.1/3.3, Qwen-3.5/3.6)이 포함되었습니다.
• 베이스라인: 최대 10억 스텝까지 학습된 훈련된 다중 에이전트 강화학습(MARL) 에이전트(IPPO, MAPPO, PQN-VDN, HyperMARL-IPPO)가 참조점으로 사용되었습니다.
• 인터페이스: 에이전트들은 관찰값, 팀원의 메시지, 스크래치패드를 수신하고 구조화된 행동을 반환하는 구조화된 텍스트 인터페이스를 통해 상호작용했습니다.
• 지표: 성능은 정규화된 에피소드 리턴(normalised episode return)을 통해 측정되었으며, 이는 Base%(개별 작업 진행도)와 Coord.%(협업 특화 성취도)로 분해되었습니다.

주요 결과

1. 협업은 별개의 병목 구간이다

현재의 LLM 에이전트들은 ALEM을 해결하는 데 있어 여전히 미흡하며, 난이도 전반에 걸쳐 평균 ~6%의 정규화된 리턴만을 기록했습니다.

• Base vs. Coordination 역량: 높은 개별 작업 역량이 반드시 협업 역량을 의미하는 것은 아닙니다. 예를 들어, GPT-5.4-High는 강력한 기본 작업 보상을 달려냈으나, Gemma-4-26B-A4B-it와 같은 더 작은 모델들에 비해 협업 보상은 현저히 낮았습니다.
• MARL 비교: 가장 어려운 설정에서, Gemini-3.1-Pro-High(17.5% Coord.%)는 10억 스텝 동안 학습된 MARL 에이전트(17.6% Coord.%)의 성능에 근접했습니다. 이는 LLM이 어려움을 겪고 있음에도 불구하고, 최상위 모델들은 특정 맥락에서 준수한 수준의 협업 능력을 보여줄 수 있음을 입증합니다.

2. 에이전트 구성 요소에 대한 절제 연구(Ablation Studies)

저자들은 협업에 미치는 영향을 파악하기 위해 에이전트 하네스의 세 가지 구성 요소를 절제 실험했습니다.

• 통신(Communication): 협업 성능에 대한 가장 큰 기여 요인이었습니다. 통신을 제거했을 때 협업 성능(Coord.%)의 하락이 가장 컸습니다 (예: Gemini-3.1-Pro-High가 17.5%에서 5.3%로 하락). 에이전트들은 주로 의도를 브로드캐스트하고, 행동을 할당하며, 타이밍을 맞추기 위해 통신을 사용했습니다.
• 메모리(Scratchpad): 메모리의 효용성은 모델마다 달랐습니다. Gemini-3.1-Pro-High는 스크래치패드를 미래 지향적 플래너(다중 행, 미래 시제, 턴 인덱스 기반 계획)로 사용했으며, 이를 제거했을 때 성능이 저하되었습니다. 반면 Gemma-4-31B-it는 스크래치패드를 주로 상태 요약용으로 사용했으며, 제거 시의 영향은 미미했습니다.
• 추론(Reasoning): 추론 능력을 낮추면 두 모델 모두에서 Base%와 Coord.%가 모두 감소했습니다. 질적 분석 결과, 추론 능력이 감소하면 플래너와 같은 행동(예: 턴 인덱스 기반 계획)이 사라지고, 더 짧고 덜 지시적인 통신으로 이어지는 것을 확인했습니다.

3. 이종 팀(Heterogeneous Teams)

서로 다른 모델을 혼합한 이종 팀에 대한 초기 실험에서, 성능은 가장 강력한 구성원을 따라가는 것이 아니라 구성된 동종 베이스라인들의 평균에 근접했습니다. 이는 강력한 모델을 추가한다고 해서 자동으로 팀의 성능이 올라가는 것이 아님을 시사하며, 이는 아마도 통신 규약과 계획 범위(planning horizons)의 불일치 때문일 것입니다.

4. 실패 모드

• 작업 구조: 에이전트들은 동시 행동을 요구하는 Synchronous-Hard 작업에서 가장 어려움을 겪었으며, 최상위 LLM조차 약 18%의 커버리지만을 달성했습니다. Handover 작업은 상대적으로 접근하기 용이했습니다.
• 규모(Scale): 성능은 파라미터 수에 따라 선형적으로 확장되지 않았습니다. 모델 패밀리 내에서(예: Gemma-4, Qlen), 협업 성능은 밀집(dense) 모델과 혼합 전문가(MoE) 변체 사이에서 비단조적(non-monotonically)으로 변화했습니다.

의의 및 기여

본 논문은 다음과 같은 세 가지 주요 기여를 합니다:

1. ALEM 벤치마크: 제어 가능한 난이도와 연성 전문화를 갖춘, 장기적이고 개방적인 다중 에이전트 협업을 위한 JAX 기반의 절차적 생성 벤치마크를 제공합니다.
2. 인터페이스: MARL과 제로샷 LLM 에이전트 모두를 동일한 협업 요구사항 하에서 평가할 수 있도록 픽셀, 심볼릭, 텍스트 인터페이스를 제공합니다.
3. 체계적 평가: 13개의 LLM과 4개의 MARL 베이스라인을 종합적으로 평가하여, 협업이 기본 작업 역량과는 별개의 독특한 병목 구간임을 식별했습니다.

저자들은 협업이 프런티어 LLM 에이전트의 별개 병목 구간이라고 결론짓습니다. 현재의 모델들은 생존하고 개별 작업을 수행할 수는 있지만, 개방적이고 장기적인 설정에서 효과적으로 소통하고, 역할을 할당하며, 공유된 계획을 실행하는 데에는 실패합니다. ALEM은 이러한 복잡한 협력 행동을 수행할 수 있는 에이전트를 개발하기 위한 측정 가능하고 통제된 테스트베드를 제공합니다. 코드는 https://github.com/alem-world/alem-env에서 확인할 수 있습니다.