기술 요약: MARFT: 다중 에이전트 강화 미세 조정 (Multi-Agent Reinforcement Fine-Tuning)

문제 정의

대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(LaMAS)은 다면적인 추론과 협업을 요구하는 복잡한 에이전트적 과제를 해결하는 데 있어 상당한 잠재력을 입증해 왔습니다. 그러나 이러한 시스템을 최적화하는 것은 여전히 도전적인 과제입니다. 강화 학습(RL)은 단일 에이전트 LLM에 대한 강화 미세 조정(RFT)을 통해 효과적임이 증명되었지만, 전통적인 다중 에이전트 강화 학습(MARL)을 LaMAS에 직접 적용하는 것은 상당한 마찰을 유발합니다.

핵심 문제는 전통적인 MARL의 가정과 LaMAS의 고유한 특성 사이의 불일치에 있습니다. 전통적인 MARL은 흔히 동기식 에이전트 실행, 동질적 에이전트 구조, 정적 시스템 구성을 가정합니다. 반면, LaMAS는 다음과 같이 작동합니다:

• 비동기적 상호작용: 에이전트들은 종종 순차적으로 행동하거나 타인의 출력에 의존합니다.
• 이질성: 에이전트들은 서로 다른 베이스 모델, 어휘, 외부 도구 및 입출력 형식을 가질 수 있습니다.
• 프로필 인식 설계: 에이전트들은 역할을 정의하기 위한 특정 시스템 프롬프트(프로필)를 필요로 하며, 이는 표준 MARL 벤치마크에는 존재하지 않습니다.
• 동적 조직: 과제 분해 및 에이전트 조정은 문제 맥락에 따라 동적으로 변할 수 있습니다.

단일 에이전트 RFT나 표준 MARL(예: Independent PPO)을 이러한 설정에 나이브하게 적용하면 불안정한 학습, 에이전트의 비활성화, 비효식적인 통신이 발생합니다. 즉, RFT 원칙을 다중 에이전트 LLM의 특정 역학에 통합하는 통일된 프레임워크가 부족한 실정입니다.

방법론

1. 이론적 정식화: Flex-MG

이러한 불일치를 해결하기 위해 저자들은 $\langle V, N, S, A, T, R, \gamma, D \rangle$로 표기되는 새로운 게임 이론적 정식화인 **Flex-MG (Flexible Markov Game)**를 제안합니다.

• 의존성 함수 ($D$): $D: A \times A \rightarrow \{0, 1\}$인 새로운 구성 요소는 에이전트 간의 의존성을 명시적으로 모델링합니다. 만약 $D(a_i, a_j) = 1$이라면, 에이전트 $j$의 결정은 에이전트 $i$의 행동에 조건부로 의존합니다. 이를 통해 프레임워크는 LaMAS 워크플로의 비동기적 및 순차적 특성을 포착할 수 있습니다.
• 상태 및 행동 공간: 이 프레임워크는 행동 공간과 관측 공간이 에이전트마다 다를 수 있는 이질적 에이전트를 수용하며, 에이전트 프로필을 관측 벡터에 포함합니다.

2. MARFT 프레임워크

본 논문은 RFT를 다중 에이전트 도메인에 적응시키는 패러다임인 **다중 에이전트 강화 미세 조정(MARFT)**을 소개합니다. 주요 방법론적 구성 요소는 다음과 같습니다:

• 순차적 의사결정 재정립: 다중 에이전트 이득 분해 정리(Multi-Agent Advantage Decomposition Theorem)를 활용하여, MARFT는 다중 에이전트 문제를 순차적 의사결정 과정으로 재구성합니다. 에이전트들은 특정 순서(또는 순열)에 따라 행동을 생성하며, 이전 에이전트들의 행동($a_{1:m-1}$)에 조건부로 정책을 결정합니다.
• 에이전트별 업데이트: 단조적 개선과 안정성을 보장하기 위해, MARFT는 에이전트들을 동시에 업데이트하는 대신 하나씩 순차적으로 업데이트하는 순차적 업데이트 방식을 채택합니다. 이는 동시 업데이트 시 발생하는 비정상성(non-stationarity) 문제를 완화합니다.
• 행동 및 토큰 정규화: LLM이 생성하는 출력의 가변적인 길이(예: 사고 사슬(CoT) vs 직접 답변)를 처리하기 위해, 본 프레임워크는 결합 확률을 토큰 또는 단어 길이로 나누는 정규화 기법을 도입하여 짧거나 긴 시퀀스에 대한 편향을 방지합니다.
• 두 가지 인스턴스화:
  • 행동 레벨(Action-Level): 완전한 에이전트 행동(토큰 시퀀스) 수준에서 정책을 최적화합니다.
  • 토큰 레벨(Token-Level): 모든 토큰을 개별 행동으로 취급합니다. 이는 최적화 복잡도를 $O(|V|^L)$에서 $O(|V| \times L)$로 줄이지만 보상의 희소성을 초래합니다. 저자들은 지연된 보상 신호를 처리하기 위해 이 토큰 레벨 MG를 위한 특정 벨만 백업(Bellman backups)을 도출했습니다.
• 구현 전략: 프레임워크는 효율적인 미세 조정을 위해 **LoRA (Low-Rank Adaptation)**를 활용하여, 에이전트들이 특정 역할을 위한 별도의 어댑터를 유지하면서도 베이스 모델을 공유할 수 있도록 합니다. 또한, 분산 실행을 유지하면서 글로벌 가치 추정을 위한 중앙 집중형 크리틱(centralized critic)을 사용합니다.

주요 기여

1. MARFT의 개념화: 본 논문은 LaMAS의 고유한 제약 조건(비동기성, 이질성, 프로필 의존성)을 강조함으로써, 단일 에이전트 RFT 및 전통적인 MARL과 구별되는 다중 에이전트 강화 미세 조정을 공식적으로 정의합니다.
2. Flex-MG 정식화: 정적 MARL 환경과 동적 LaMAS 워크플로 사이의 간극을 메우는, 에이전트 간 의존성을 명시적으로 모델링하는 Flexible Markov Game을 도입했습니다.
3. 알고리즘 프레임워크: 순차적 이득 분해, 에이전트별 업데이트 및 토큰 레벨 적응을 통합하는 확장 가능하고 모듈화된 알고리즘(Algorithm 3)을 제시합니다.
4. 오픈 소스 구현: 연구 채택 및 추가 연구를 촉진하기 위해 MARFT 프레임워크의 완전한 오픈 소스 구현을 제공합니다.

실험 결과

저자들은 Qwen2.5 베이스 모델을 사용하여 수학적 추론(DeepScaler, AIME2024, MATH500 등) 및 코딩 작업(DeepCoder, LiveCodeBench, CodeForces)에 대해 MARFT를 평가했습니다.

• Independent PPO (MAPoRL) 대비 성능: MARFT는 다양한 벤치마크에서 Independent PPO(다중 에이전트 LLM의 표준 베이스라인)를 일관되게 능가했습니다. 성능 격차는 에이전트 수가 증가함에 따라(Duo에서 Quad 구성까지) 더 커졌으며, 이는 MARFT가 시스템 복잡성에 따라 더 잘 확장됨을 시사합니다.
• 학습 안정성: 학습 곡선은 MARFT가 단조적 개선을 달 Ach성하며, 학습 중 Independent PPO에서 관찰되는 "충돌(crash)"이나 불안정성을 피한다는 것을 보여주었습니다.
• 역할 지정 절제 실험(Ablation Study): 사전 구성된 역할 설명(예: "Planner", "Solver")과 익명 에이전트를 비교했습니다. 놀랍게도, 익명 설정(에이전트에게 시스템 프롬프트를 통해 명시적인 역할을 할당하지 않은 경우)이 초기 및 중간 학습 단계에서 사전 구성된 설정을 능가했습니다. 이는 미세 조정 과정 동안 에이전트가 역할 분담을 스스로 진화하도록 허용하는 것이 인간이 정의한 엄격한 역할보다 더 효과적일 수 있음을 시사합니다.
• 스케일링 관찰: 동질적 에이전트의 수를 늘리는 것이 (수익 체감 및 중복된 추론 경로로 인해) 비례적인 성능 향상을 가져오지는 않았지만, MARFT는 모든 규모에서 시스템의 절대적 능력을 일관되게 향상시켰습니다.

의의 및 주장

본 논문은 MARFT를 에이전트 시스템 분야의 필수적인 진화로 규정합니다. 그 의의는 다음과 같습니다:

• 이론과 실제의 연결: 정적이고 동질적인 MARL 가정의 한계를 넘어, 다중 에이전트 LLM의 복잡하고 실제적인 역학에 강화 학습 미세 조정을 적용하는 원칙적인 접근 방식을 제공합니다.
• 회복 탄력적인 협업 가능성: 사전 학습된 LLM의 기초적인 언어 능력을 보존하면서 협업 추론 능력을 강화함으로써, MARFT는 견고하고 적응 가능하며 인간의 의도에 부합하는 시스템을 만드는 것을 목표로 합니다.
• 미래 연구를 위한 로드맵: 저자들은 동적인 학습 환경의 부재, 낮은 샘플 효율성, 통일된 통신 프로토콜의 부재, 표준화된 프레임워크의 필요성 등 중요한 개방형 과제들을 식별했습니다. 이들은 MARFT를 복잡한 오픈 월드 문제를 해결할 수 있는 확장 가능한 협업 AGI 시스템을 실현하기 위한 기초적인 단계로 제안합니다.

결론적으로, 본 연구는 여전히 중요한 과제들이 남아 있지만, MARFT 패러다임이 특히 분산 추론과 동적 조정이 필요한 영역에서 LLM 기반 다중 에이전트 시스템의 집단 지성을 발전시키는 강력한 메커니즘을 제공한다고 밝히고 있습니다.