기술 요약: UnityMAS-O

문제 정의

현재 대규모 언어 모델 (LLM) 기반 다중 에이전트 시스템은 일반적으로 복잡한 작업을 상호작용하는 역할 (예: 플래너, 검색기, 코더) 로 분해하지만, 프롬프트, 도구, 제어 규칙으로 정의된 수동 오케스트레이션 워크플로우에 의존합니다. 이러한 시스템은 추론 단계에서 효과적이지만, 에이전트 자체는 통합된 강화 학습 (RL) 인터페이스를 통해 최적화되는 경우가 거의 없습니다. 기존 RL 사후 학습 프레임워크 (예: TRL, OpenRLHF, verl) 는 주로 단일 정책 최적화를 목표로 합니다. 이들은 구조화된 상호작용, 역할별 신용 할당, 구성 가능한 매개변수 공유가 필요한 임의의 사용자 정의 다중 에이전트 시스템을 최적화하는 데 필요한 추상화를 결여하고 있습니다. 결과적으로 다중 에이전트 파이프라인의 학습은 종종 다른 매개변수 공유 체제를 쉽게 비교하거나 워크플로우 간 인프라를 재사용할 수 없는 작업별 구현으로 이어집니다.

방법론: UnityMAS-O

UnityMAS-O 는 단일 응답이나 정책 궤적이 아닌 완전한 다중 에이전트 워크플로우를 최적화의 단위로 취급하도록 설계된 범용 RL 최적화 프레임워크입니다. Ray 기반 스타 토폴로지 런타임을 통해 verl 프레임워크를 확장하여 구축된 이 프레임워크는 논리적 에이전트 설계를 물리적 모델 매개변수로부터 분리하는 네 가지 1 급 추상화를 도입합니다:

1. 논리적 에이전트 역할: 사용자는 특정 프롬프트, I/O 스키마, 도구 접근 권한을 가진 역할 (예: 플래너, 검증자) 을 정의합니다. 이들은 고유한 매개변수 세트에 묶이지 않는 워크플로우 수준의 객체입니다.
2. 에이전트 - 모델 매핑 ($\phi$): 논리적 역할을 물리적 LLM 인스턴스로 연결하는 구성 가능한 매핑입니다. 이는 세 가지 체제를 지원합니다:
   • 전체 공유: 모든 역할이 단일 모델에 매핑됩니다.
   • 전체 분리: 각 역할이 독립적인 모델에 매핑됩니다.
   • 부분 공유: 관련된 역할 그룹은 매개변수를 공유하는 반면, 다른 역할들은 별도의 모델을 사용합니다.
3. 워크플로우 그래프 ($G$): 실행 흐름 (순차, 병렬, 반복 또는 하이브리드) 을 나타내는 방향성 계산 그래프입니다. 실행은 상태, 행동, 제어 의존성을 포함하는 구조화된 궤적을 생성합니다.
4. 역할별 보상 함수: 보상은 노드, 턴, 궤적 수준에서 정의됩니다. 이 프레임워크는 지연 보상과 한계 개선 신호 (예: $\Delta$F1 또는 $\Delta$score) 를 지원하며, 중간 상태나 최종 결과에 책임이 있는 특정 에이전트에게 신용을 할당합니다.

시스템 아키텍처:
이 시스템은 중앙 컨트롤러와 모델 로컬 작업자 그룹을 사용합니다.

• 중앙 컨트롤러: 사용자 정의 워크플로우를 실행하고, $\phi$에 따라 논리적 에이전트 호출을 적절한 작업자 그룹으로 라우팅하며, 구조화된 궤적을 기록하고 보상을 조립합니다.
• 작업자 그룹: 특정 물리적 LLM 인스턴스와 연관된 이 그룹들은 비동기 추론을 처리하고, 롤아웃 텐서 (로그 확률, 값) 를 버퍼링하며, 이점을 계산하고, 분산 PPO 스타일 정책 업데이트를 수행합니다.
• 데이터 분리: 워크플로우 제어 메타데이터는 "얇고" 중앙에 유지되는 반면, 무거운 학습 텐서는 "두껍고" 작업자 그룹 로컬에 유지되어 통신 오버헤드를 최소화합니다.

주요 기여

본 논문은 다음과 같은 기여를 제시합니다:

• 통합 추상화: 사용자 정의 워크플로우 그래프, 논리적 에이전트 역할, 에이전트 - 모델 매핑, 구조화된 다중 에이전트 궤적을 공동으로 표현하는 프레임워크.
• 구성 가능한 매개변수 공유: 전체 공유, 전체 분리, 부분 공유에 대한 네이티브 지원으로, 학습 파이프라인을 다시 작성하지 않고도 전문화, 리소스 비용, 최적화 행동 간의 통제된 연구를 가능하게 함.
• 분산 런타임: 중앙 워크플로우 제어, 비동기 롤아웃, 모델 로컬 버퍼링, 모델별 정책 업데이트를 특징으로 하는 Ray + verl 기반 아키텍처.
• 범용 최적화 인터페이스: 하부 최적화 인프라를 수정하지 않고도 다양한 시스템에 대한 워크플로우, 에이전트, 모델 매핑, 보상을 정의할 수 있는 인터페이스.
• 오픈소스 구현: https://github.com/chenyiqun/UnityMAS-O에서 프레임워크 공개.

실험 결과

저자들은 검증 가능한 두 가지 작업 계열인 검색 증강 질문 응답 (QA) 과 반성적 코드 생성에 UnityMAS-O 를 구현했습니다.

QA 및 에이전트 검색:
자연어 질문 (NQ) 과 HotpotQA 에서 병렬 검색부터 반복적 검색 루프 (M-ASK) 까지 다양한 워크플로우를 사용하여 실험을 수행했습니다.

• 성능 향상: 다중 에이전트 RL (MARL) 학습은 평가된 모든 워크플로우와 모델 규모 (0.5B 에서 14B) 에서 성능을 향상시켰습니다.
• 소규모 모델 영향: 향상은 특히 소규모 모델에서 두드러졌습니다 (예: NQ 에서 0.5B 에이전트의 F1 점수가 약 0.02 에서 약 0.44 로 향상). 이는 MARL 이 역할 전문화 에이전트가 워크플로우 프로토콜을 충족하고 효과적으로 조정하는 데 도움이 됨을 시사합니다.
• 매개변수 공유: 공유 모델과 독립 모델 (예: 3B 공유 대 4x3B 독립) 을 비교한 실험 결과, 공유 모델은 수렴 속도가 약간 느리지만 유사한 최종 성능 수준에 도달하는 것으로 나타났으며, 이는 공유 물리적 매개변수로 논리적 다중 에이전트 워크플로우를 학습할 수 있음을 입증했습니다.

반성적 코드 생성:
홀드아웃 코드 작업에서 3 라운드 계획 - 코드 - 검증 - 반성 워크플로우를 테스트했습니다.

• 엄격한 지표: 엄격한 "모두 통과" 지표 하에서 3xQwen3-4B 워크플로우는 0.255 에서 0.686 으로, 3xQwen3-8B 는 0.290 에서 0.738 로 향상되었습니다.
• 효율성: MARL 학습은 문제 해결에 필요한 평균 검증 턴 수를 줄였습니다 (약 2.5 에서 약 1.7 로 감소). 이는 내부 중지 행동과 실행 효율성이 개선되었음을 나타냅니다.

중요성 및 주장

본 논문은 많은 LLM 기반 다중 에이전트 시스템의 주요 병목 현상은 워크플로우 자체의 설계가 아니라, 워크플로우 설계 후 이를 위한 원칙 있는 최적화 인터페이스의 부재라고 주장합니다. UnityMAS-O 는 수동으로 지정된 다중 에이전트 시스템을 학습 가능한 다중 에이전트 정책으로 변환함으로써 이를 해결합니다.

저자들은 UnityMAS-O 를 다음과 같은 기능을 가능하게 하는 재사용 가능한 최적화 기저로 위치시킵니다:

1. 체계적 최적화: 명시적 신용 할당을 통해 다양한 워크플로우를 학습 가능한 RL 시스템으로 변환.
2. 유연성: 구성 가능한 매개변수 공유를 통해 전문화와 리소스 효율성 간의 트레이드오프 연구.
3. 효율성: 최종 정확도뿐만 아니라 다중 에이전트 상호작용의 조정 및 실행 효율성 개선.

이 작업은 특정 작업을 위한 벤치마킹 도구가 아니라 복잡한 다중 에이전트 시스템 학습을 위한 실용적인 시스템 기저이자, 이러한 시스템에서의 조정, 전문화, 확장성 연구 플랫폼으로 제시됩니다. 저자들은 프레임워크의 일반성을 더욱 검증하기 위해 구체적 에이전트와 소프트웨어 공학 분야에서의 진행 중인 실험이 있다고 밝혔습니다.