Learning to Orchestrate Agents in Natural Language with the Conductor

이 논문은 강화 학습을 통해 다양한 대규모 언어 모델 (LLM) 간의 최적의 협업 전략과 통신 구조를 자동으로 학습하는 'Conductor' 모델을 제안하며, 이를 통해 개별 모델의 성능을 넘어선 최첨단 추론 능력을 달성하고 동적 테스트 시간 확장을 가능하게 함을 보여줍니다.

핵심

이 논문은 **"지능형 오케스트라 지휘자 (The Conductor)"**라는 새로운 AI 모델을 소개합니다.

기존의 AI(대형 언어 모델) 들은 각각 특정 분야에 매우 능숙하지만, 혼자서는 복잡한 문제를 해결하기 어렵거나 비용이 많이 듭니다. 이 논문은 **"작은 두뇌 (70 억 개의 파라미터) 가 가진 '지휘자'가, 여러 개의 거대한 AI 들을 어떻게 조율하면 최고의 성과를 낼 수 있는지"**를 증명합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 개념: "지휘자 (Conductor)"란 무엇인가요?

상상해 보세요. **세계적인 음악가들 (거대 AI 모델들)**이 한곳에 모여 있습니다.

• 어떤 음악가는 피아노 (코딩) 를 잘 치고,
• 어떤 음악가는 바이올린 (수학) 을 잘 치며,
• 어떤 음악가는 작곡 (논리 추론) 을 잘합니다.

하지만 이들을 그냥 방치하면 각자 제멋대로 연주해서 소음만 날 뿐입니다. 여기서 등장하는 것이 바로 **이 논문의 주인공인 '지휘자 (Conductor)'**입니다.

이 지휘자는 거대한 음악가들보다 작고 단순합니다 (70 억 파라미터). 하지만 이 지휘자는 어떤 악보를 어떻게 연주할지, 누가 언제 어떤 소리를 내야 할지, 서로의 연주를 어떻게 섞을지를 실시간으로 결정하는 능력을 배웠습니다.

2. 이 지휘자는 어떻게 배웠을까요? (강화 학습)

지휘자는 인간이 "이렇게 해라, 저렇게 해라"라고 가르친 것이 아닙니다. 대신 수천 번의 '시행착오'를 통해 스스로 배웠습니다.

• 게임 같은 학습: 지휘자는 문제를 풀 때마다 여러 가지 전략을 시도했습니다.
  • "이번엔 A 가 먼저 아이디어를 내고 B 가 코딩을 해보자."
  • "아니야, 이번엔 B 가 먼저 검증하고 A 가 다시 고쳐보자."
• 점수 획득: 만약 그 전략으로 정답을 맞히면 "좋아! 점수!"를 받고, 틀리면 "아쉽네, 다음엔 다르게 해보자"라고 배웠습니다.
• 결과: 이 과정을 반복하며 지휘자는 **"어떤 문제가 오면 어떤 음악가들을 어떻게 배치해야 가장 멋진 연주가 나오는지"**를 본능적으로 터득하게 되었습니다.

3. 이 지휘자의 놀라운 능력 3 가지

이 지휘자는 단순히 순서만 정하는 게 아니라, 훨씬 더 똑똑한 일을 합니다.

① 맞춤형 지시 (Prompt Engineering)

지휘자는 음악가들에게 "피아노 쳐"라고만 하지 않습니다.

• "너는 이런 스타일로, 이런 주의사항을 지키면서 코딩해 줘."
• "너는 이전 친구의 실수를 보고 다시 한번 점검해 줘."
  이처럼 각 음악가의 장점을 극대화하도록 정교한 지시문을 만들어냅니다.

② 유연한 팀 구성 (Adaptive Topology)

문제에 따라 팀 구성을 바꿉니다.

• 쉬운 문제: "너 하나만 해. 바로 끝내!" (1 명만 호출)
• 어려운 문제: "A 는 기획하고, B 는 실행하고, C 는 검증하고, D 는 최종 수정해!" (여러 명을 순서대로 배치)
• 복잡한 문제: "A 와 B 는 동시에 다른 각도에서 접근하고, C 가 그 결과를 합쳐줘!" (나무 모양의 복잡한 구조)

③ 자기 반성 (Recursive Scaling)

지휘자는 자신의 실수를 인정하고 고칠 수도 있습니다.

• "잠깐, 우리가 만든 답이 뭔가 이상하네. 내가 다시 한번 지휘해서 고쳐보자."
• 이렇게 스스로를 다시 지휘자이자 음악가로 불러들여 답을 다듬는 '재귀 (Recursion)' 방식을 통해, 더 많은 시간을 투자할수록 정확도가 올라갑니다.

4. 왜 이것이 중요한가요?

기존에는 복잡한 문제를 풀기 위해 비싼 AI 모델들을 무작정 여러 번 호출하거나, 인간이 직접 "이렇게 팀을 짜라"라고 정해줘야 했습니다. 하지만 이 '지휘자'는 다음과 같은 이점이 있습니다.

• 비용 절감: 작은 두뇌 (70 억) 가 거대한 AI 들을 효율적으로 조율하므로, 비싼 모델을 덜 써도 더 좋은 결과를 냅니다.
• 최고의 성능: LiveCodeBench(코딩) 나 GPQA(과학) 같은 어려운 시험에서, 가장 강력한 AI 들보다도 더 높은 점수를 기록했습니다.
• 유연성: 어떤 새로운 AI 모델이 등장하든, 지휘자는 그 모델들의 특징을 빠르게 파악해 최적의 팀을 꾸릴 수 있습니다.

5. 한 줄 요약

"작은 지휘자가 거대한 오케스트라를 완벽하게 조율하여, 혼자서는 불가능했던 최고의 연주를 만들어냈다."

이 연구는 AI 가 서로 협력하는 방법을 인간이 일일이 설계하는 것이 아니라, AI 스스로가 협력의 지혜를 배워내게 할 수 있다는 것을 보여줍니다. 마치 작은 지휘자가 거대한 오케스트라를 이끌며 세상을 놀라게 한 것과 같습니다.

기술 요약

논문 요약: 자연어 기반 에이전트 조율을 위한 '지휘자 (Conductor)' 학습

이 논문은 다양한 제공업체의 대규모 언어 모델 (LLM) 들이 각기 다른 도메인에 특화되어 있지만, 이를 효과적으로 조율하여 단일 모델의 성능을 넘어서는 집단 지성을 구현하는 새로운 방법론인 RL Conductor를 제안합니다.

1. 문제 정의 (Problem)

현대 LLM 은 방대한 학습과 파인튜닝을 통해 복잡한 작업을 해결할 수 있는 잠재력을 가지고 있지만, 이를 최대한 활용하는 것은 여전히 어렵습니다.

• 모델의 한계: 단일 LLM 은 모든 작업에서 최적의 성능을 내지 못하며, 특정 데이터셋이나 도메인에 특화되어 있습니다.
• 수동 조율의 비효율성: 현재 상용 AI 제품이나 연구에서는 수동으로 설계된 에이전트 워크플로우나 프롬프트 엔지니어링에 의존하고 있습니다. 이는 비용이 많이 들고, 유연성이 부족하며, 모델 간의 시너지를 최적화하지 못합니다.
• 필요성: 다양한 LLM 의 상호 보완적인 능력을 자동으로 발견하고, 작업에 따라 동적으로 통신 구조 (topology) 와 하위 작업을 설계할 수 있는 지능형 조율기가 필요합니다.

2. 방법론 (Methodology)

저자들은 **강화 학습 (Reinforcement Learning, RL)**을 사용하여 자연어로 에이전트 간 조율을 학습하는 'Conductor' 모델을 개발했습니다.

2.1 Conductor 의 역할

Conductor 는 입력된 문제를 해결하기 위해 다음과 같은 작업을 수행하는 LLM 입니다:

1. 작업 분해: 복잡한 문제를 자연어 하위 작업 (subtasks) 으로 분할합니다.
2. 할당: 각 하위 작업을 가장 적합한 워커 (Worker) LLM 에 할당합니다.
3. 통신 토폴로지 설계: 에이전트 간 정보 공유 방식을 정의합니다 (예: 이전 에이전트의 결과를 참조할지, 독립적으로 수행할지).
4. 프롬프트 엔지니어링: 각 워커에게 최적의 지시사항을 생성합니다.

2.2 학습 프레임워크 (GRPO 기반)

• 출력 형식: Conductor 는 사고 과정 (Chain-of-Thought) 후, 3 개의 Python 리스트로 구성된 워크플로우를 출력합니다.
  • model_id: 할당된 에이전트 ID
  • subtasks: 자연어 하위 작업 지시문
  • access_list: 이전 단계의 어떤 결과를 참조할지 정의
• 보상 함수 (Reward):
  1. 형식 조건: 올바른 파싱 가능한 형식이 아니면 음수 보상.
  2. 정확도 조건: 최종 답이 정답과 일치하면 양수 보상, 그렇지 않으면 낮은 보상.
• 알고리즘: GRPO (Group Relative Policy Optimization) 를 사용하여 end-to-end 로 학습합니다. 이는 모델이 직접 사고 과정을 생성하고, 이를 바탕으로 보상을 최적화하도록 합니다.

2.3 확장 기능

• 적응형 워커 풀 (Adaptive Worker Selection): 무작위로 샘플링된 에이전트 풀로 학습시켜, 사용자가 원하는 특정 모델 세트 (오픈소스 또는 클로즈드소스) 에도 일반화되도록 합니다.
• 재귀적 토폴로지 (Recursive Topologies): Conductor 가 스스로를 워커로 지정하여, 초기 전략의 결과를 검토하고 필요시 재귀적으로 새로운 전략을 수립하게 합니다. 이는 테스트 시간 (Test-time) 에 컴퓨팅 자원을 동적으로 확장하는 새로운 축을 제공합니다.

3. 주요 기여 (Key Contributions)

1. RL Conductor 도입: 자연어만으로 복잡한 문제 분해, 하위 작업 할당, 통신 토폴로지 설계를 end-to-end 강화 학습으로 학습한 새로운 언어 모델을 제안했습니다.
2. 소규모 모델의 성능 극대화: 7B 파라미터의 작은 Conductor 가 강력한 워커 모델들을 조율하여, 개별 워커나 기존 다중 에이전트 베이스라인보다 월등히 높은 성능을 달성함을 증명했습니다.
3. 유연한 확장성: 짧은 파인튜닝을 통해 임의의 에이전트 풀에 적응하거나, 재귀적 호출을 통한 테스트 시간 스케일링을 가능하게 하여 비용과 성능의 트레이드오프를 해결했습니다.

4. 실험 결과 (Results)

• 성능 기록: 7B Conductor 는 LiveCodeBench, GPQA-Diamond, AIME25 등 까다로운 추론 벤치마크에서 SOTA(State-of-the-Art) 성능을 기록했습니다.
• 비교 우위:
  • 기존 수동 설계 다중 에이전트 시스템 (MASRouter, MoA 등) 과 5 회 이상의 자기 반성 (Self-reflection) 전략보다 훨씬 높은 정확도를 보였습니다.
  • 비용 효율성 측면에서도 Conductor 는 평균 3 단계의 워크플로우로 높은 성능을 내어, 더 많은 에이전트 호출이 필요한 기존 방법들보다 훨씬 저렴했습니다.
• 재귀적 스케일링: 재귀 기능을 활성화한 Conductor 는 BigCodeBench 등에서 추가적인 성능 향상을 보였으며, GPT-5 와 같은 모델이 특정 작업에서 비최적일 때 다른 모델을 동적으로 선택하여 문제를 해결하는 것을 확인했습니다.
• 모델 크기 분석: 3B 와 7B Conductor 를 비교한 결과, 두 모델 모두 유사한 에이전트 선택 분포를 보였으나, 7B 모델은 더 정교한 프롬프트 엔지니어링 능력을 통해 추가적인 성능 향상을 이뤘습니다.

5. 의의 및 결론 (Significance)

이 연구는 다음과 같은 중요한 시사점을 제공합니다:

• 자동화된 집단 지성: RL 을 통해 LLM 이 스스로 최적의 협업 전략을 발견할 수 있음을 보여주었습니다. 이는 수동으로 설계된 복잡한 에이전트 파이프라인을 대체할 수 있는 범용적이고 강력한 접근법입니다.
• 프롬프트 엔지니어링의 자동화: Conductor 는 각 워커 모델의 강점에 맞춰 동적으로 프롬프트를 생성하고 조정함으로써, 모델의 잠재력을 극대화합니다.
• 새로운 스케일링 축: 재귀적 호출을 통해 테스트 시간 (Inference-time) 에 컴퓨팅 자원을 유연하게 확장할 수 있는 새로운 가능성을 열었습니다.
• 미래 전망: 이 프레임워크는 LLM 뿐만 아니라 다른 모달리티 (로봇, 생물학 등) 를 가진 에이전트들을 자연어로 조율하는 '메타 에이전트'로서의 역할을 수행할 수 있는 기반을 마련했습니다.

결론적으로, RL Conductor는 다양한 LLM 을 지휘하여 단일 모델의 한계를 넘어선 집단 지성을 실현하는 획기적인 방법론으로, 향후 AI 시스템의 자동화와 효율성 향상에 중요한 기여를 할 것으로 기대됩니다.