기술 요약: Uno-Orchestra

문제 정의

현재의 대규모 언어 모델 (LLM) 다중 에이전트 시스템은 일반적으로 작업 분해, 작업자 선택, 추론 예산을 공동으로 최적화하지 못하는 경직된 오케스트레이션 패턴에 의존합니다. 기존 접근법은 일반적으로 두 가지 병렬적이지만 제한된 흐름으로 나뉩니다:

1. 모델 라우팅: 단일 호출 라우터는 전체 쿼리를 단일 전문가 모델로 전달합니다. 이 접근법은 복잡한 작업의 병렬 구조를 놓치고, 분해 깊이와 실행 예산 간의 트레이드오프를 처리할 수 없습니다.
2. 계층적 오케스트레이션: 플래너는 작업을 서브 에이전트로 분해하지만, 서브 작업을 특정 실행기에 할당하는 과정은 종종 수동으로 설계되거나 프롬프트에 의존하거나 단일 독점 최첨단 모델에 묶여 있습니다.

결과적으로, 작업을 분해할지 여부 및 분해 깊이와 각 서브 작업을 어느 전문가로 라우팅할지라는 두 가지 핵심 결정은 통일된 목적 함수 하에서 최적화되지 않습니다. 이로 인해 단순한 쿼리가 과도하게 오케스트레이션되거나 복잡한 작업이 비최적 모델로 라우팅되는 비효율이 발생합니다.

방법론: Uno-Orchestra

저자들은 UNO-ORCHESTRA를 소개합니다. 이는 선택적 위임을 단일 인과적 언어 모델 (LM) 작업으로 취급하는 통일된 오케스트레이션 정책입니다. 이 시스템은 단일 어시스턴트 턴 내에서 모든 서브 작업에 대한 작업 분해 계획과 특정 (모델, 원시) 라우팅 결정을 공동으로 생성하도록 학습됩니다.

핵심 아키텍처

• 통일된 정책: 별도의 플래너와 디스패처 모듈 대신, 단일 인과적 LM 백본이 분해 그래프와 라우팅 쌍을 동시에 생성합니다.
• 액션 공간: 정책은 이질적인 작업자 모델 풀 $\mathcal{M}$과 "원시"(직접 답변, 체인 오브 씽킹 추론, 도구 호출, 코드 실행과 같은 원자적 작업) 의 폐쇄적 어휘 $\mathcal{S}$로 구성된 희소 집합 $P \subseteq \mathcal{M} \times \mathcal{S}$ 중 허용 가능한 쌍을 선택합니다.
• 선택적 위임: 정책은 단순 쿼리를 단일 직접 답변으로 축소 (제로 디스패치 비용) 하거나 복잡한 쿼리를 서브 작업의 방향성 비순환 그래프 (DAG) 로 분해할 수 있습니다. 독립적인 서브 작업은 병렬로 디스패치됩니다.

학습 파이프라인

이 정책은 실제 작업자 상호작용을 사용하여 두 단계로 학습됩니다:

1. 검증자 게이트형 감독 미세 조정 (SFT):

   • 38 개의 공개 데이터셋에서 추출한 61,201 개의 교사 증류 궤적으로 구성된 커리큘럼이 구축됩니다.
   • "검증자 게이트" 메커니즘이 궤적을 필터링합니다: 콜드스타트 라우터가 해결한 작업은 폐기되고, 강력한 교사 오케스트레이터가 해결한 작업은 SFT 를 위해 유지되며, 교사가 실패한 작업은 강화 학습 (RL) 을 위해 예약됩니다.
   • 특히, 코드 및 도구 서브 작업은 실제 샌드박스에서 실행되어 관찰 결과가 시뮬레이션된 추적이 아닌 런타임 출력임을 보장합니다.

2. 에이전트-GRPO (강화 학습):

   • 정책은 "잔여 하드 풀"(교사가 실패한 작업) 에서 Agentic-GRPO를 사용하여 정제됩니다. 이는 그룹 상대 정책 최적화 (GRPO) 의 멀티 턴 확장 버전입니다.
   • 중간 크레딧 할당: 전체 궤적에 단일 보상을 할당하는 일반 GRPO 와 달리, Agentic-GRPO 는 개별 턴 단위로 크레딧을 할당합니다. 이는 스키마 유효성, 복구 지표와 같은 바운드된 턴별 형성 신호를 종단 보상에 추가하여 장기적 크레딧 할당 문제를 해결합니다.
   • 목적: 컨트롤러는 소스별 검증자로 검증된 정확성과 토큰 수준 비용 간의 트레이드오프를 이루는 유틸리티 함수 $J(\theta)$를 최대화하며, 불필요한 디스패치에 페널티를 부과합니다.

주요 기여

1. 통일된 선택적 위임: 작업 분해와 서브 작업별 라우팅을 단일 인과적 LM 정책으로 공식화하여 별도 모듈 간의 불필요한 컨텍스트 전달을 제거합니다.
2. 에이전트-GRPO: 멀티 턴 오케스트레이션을 위한 구조화된 크레딧 할당을 가능하게 하는 에이전트 적응형 RL 목적 함수를 도입하여, 모델이 중간 관찰에 기반하여 언제 복구, 분해 또는 집계할지 학습하도록 합니다.
3. 검증자 게이트형 커리큘럼: 실제 세계 샌드박스 실행과 엄격한 검증을 활용하여 고품질이고 비용 인식을 갖춘 궤적을 생성하는 학습 파이프라인으로, 정책이 실제 런타임 결과로부터 학습하도록 보장합니다.

실험 결과

저자들은 수학적 추론, 코드/소프트웨어 공학, 지식 검색, 긴 컨텍스트 읽기, 에이전트 도구 사용 등 다섯 가지 능력 영역에 걸친 13 개의 벤치마크 세트를 사용하여 UNO-ORCHESTRA 를 평가했습니다.

• 성능: UNO-ORCHESTRA 는 77.0% 의 매크로 pass@1을 달성하여, 가장 강력한 워크플로우 베이스라인 (AgentOrchestra) 보다 약 16% 높았습니다.
• 효율성: 이 시스템은 더 높은 정확도를 유지하면서 쿼리당 비용을 약 10 배 낮게(베이스라인 대비 약 $0.10 대$1.20) 운영합니다.
• 비용 - 정확도 프론티어: 이 방법은 정확도 - 효율성 트레이드오프의 유리한 구석을 차지하여, 분해가 불가능한 평면 라우터와 분해에서 이탈할 수 없는 계층적 오케스트레이터 모두를 능가합니다.
• 일반화: 성능 향상은 도메인 내, 근접 도메인, 도메인 외 영역 전반에 걸쳐 유지됩니다. 제거 실험은 개선 사항이 특정 최첨단 모델에 대한 의존성이 아니라 학습된 라우팅 정책에서 비롯된 것임을 확인시켜 주며, 시스템이 "약한" 오픈 가중치 모델 풀로 제한되더라도 베이스라인을 능가합니다.

중요성과 주장

이 논문은 선택적 위임—단일 목적 함수 하에서 분해와 분해 유지를 모두 수행하는 능력—이 비용 인식을 갖춘 다중 에이전트 시스템을 발전시키기 위한 핵심 조직 원칙이라고 주장합니다.

• 구조적 효율성: 분해와 디스패치를 단일 공유 백본으로 축소함으로써 Uno-Orchestra 는 모듈식 시스템에 내재된 조정 오버헤드를 피합니다.
• 동적 적응: 시스템은 단순 쿼리에 대해서는 분해를 "유보"하여 (저렴한 단일 작업자로 축소) 진정한 복합 작업에만 멀티 호출 오케스트레이션을 예약하도록 학습합니다.
• 확장성: 이 접근법은 높은 정확도가 고비용의 단일화 워크플로우를 필요로 하지 않음을 보여줍니다. 오히려 이는 작업 복잡성에 따라 이질적인 자원을 동적으로 할당하는 학습된 컨트롤러에서 비롯됩니다.

저자들은 Uno-Orchestra 가 정확도 - 효율성 프론티어를 발전시켜, 단순히 더 많은 작업을 호출하는 것이 아니라 올바른 작업자를 선택하는 데 용량을 할당하는 확장 가능한 패러다임을 제공한다고 결론지었습니다.