💬 NLP

AOrchestra: Automating Sub-Agent Creation for Agentic Orchestration

AOrchestra는 에이전트를 '지시문, 컨텍스트, 도구, 모델'의 튜플로 추상화하여, 복잡한 과업 수행 시 필요한 하위 에이전트를 실시간으로 자동 생성하고 최적화함으로써 성능과 비용 효율성을 동시에 높이는 프레임워크입니다.

원저자: Jianhao Ruan, Zhihao Xu, Yiran Peng, Fashen Ren, Zhaoyang Yu, Xinbing Liang, Jinyu Xiang, Yongru Chen, Bang Liu, Chenglin Wu, Yuyu Luo, Jiayi Zhang

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jianhao Ruan, Zhihao Xu, Yiran Peng, Fashen Ren, Zhaoyang Yu, Xinbing Liang, Jinyu Xiang, Yongru Chen, Bang Liu, Chenglin Wu, Yuyu Luo, Jiayi Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 AI의 문제점: "만능 해결사 혹은 고집불통 전문가"

지금까지의 AI 시스템은 크게 두 가지 방식이었습니다.

만능 해결사 방식 (Single Agent): 혼자서 모든 걸 다 하려고 합니다. 요리, 청소, 운전, 회계까지 혼자 다 하려다 보니, 일이 조금만 복잡해져도 머릿속이 엉키고(Context Rot) 실수를 연발합니다. 마치 **"모든 걸 다 잘한다고 장담하지만, 막상 복잡한 요리를 시키면 레시피를 까먹는 요리사"**와 같습니다.
고정된 팀 방식 (Static Multi-Agent): 미리 정해진 전문가 팀을 꾸려놓습니다. "너는 요리사, 너는 청소부"라고 딱 정해두는 거죠. 하지만 갑자기 "우주선 수리"라는 업무가 들어오면, 팀에 우주선 전문가가 없어서 당황하게 됩니다. **"팀원은 많지만, 상황에 따라 새로운 전문가를 부를 수 없는 경직된 회사"**와 같습니다.

2. AORCHESTRA의 해결책: "천재적인 오케스트라 지휘자"

AORCHESTRA는 이 문제를 **'지휘자(Orchestrator)'**라는 개념으로 해결합니다. 이 지휘자는 직접 악기를 연주(실제 업무 수행)하지 않습니다. 대신, 눈앞에 놓인 악보(사용자의 복잡한 질문)를 보고 그 순간 가장 필요한 연주자를 즉석에서 만들어냅니다.

이 지휘자는 연주자를 만들 때 **'4가지 마법의 레시피(4-Tuple)'**를 사용합니다.

지시서 (Instruction): "지금 당장 해야 할 일은 이것이야!" (정확한 목표)
요약 노트 (Context): "지금까지 진행된 상황은 이 정도야. 쓸데없는 건 빼고 핵심만 적었어." (필요한 정보만 골라 담은 메모)
도구 상자 (Tools): "이 일을 하려면 망치와 드라이버가 필요하겠군." (해당 업무에 꼭 필요한 도구)
연주자 모델 (Model): "이건 아주 어려운 곡이니까, 실력이 아주 뛰어난 베테랑 연주자를 불러야겠어." (업무 난이도에 맞는 AI 모델 선택)

이게 왜 대단할까요?
업무가 들어올 때마다 **"그 업무에 딱 맞춘 맞춤형 전문가"**를 실시간으로 생성하기 때문입니다. 아주 쉬운 일에는 저렴하고 빠른 AI를 보내고, 아주 어려운 일에는 비싸고 똑똑한 AI를 보내서 **'가성비'와 '성능'**을 동시에 잡습니다.

3. 요약하자면 (비유 마무리)

AORCHESTRA는 마치 **"어떤 주문이 들어와도 그 즉시 최적의 전문가 팀을 구성해내는 마법의 매니저"**와 같습니다.

손님이 "스테이크 구워줘"라고 하면: 고기 굽기 전문가를 즉석에서 소환합니다.
손님이 "갑자기 자동차 고쳐줘"라고 하면: 당황하지 않고 즉시 자동차 정비 전문가를 만들어냅니다.
심지어: "이건 간단한 거니까 저렴한 알바생을 쓰고, 저건 엄청 중요한 거니까 최고급 전문가를 써!"라고 판단까지 합니다.

4. 결과는 어땠나요?

연구진이 이 시스템을 실제 어려운 시험(코딩, 컴퓨터 조작, 일반 상식 등)에 적용해봤더니, 기존의 유명한 AI 시스템들보다 성공률이 훨씬 높았습니다. 특히, 똑똑한 AI(Gemini-3-Flash)와 결합했을 때 기존 방식보다 약 16%나 더 높은 성적을 거두며 "지휘자가 얼마나 중요한지"를 증명해냈습니다.

[기술 요약] AORCHESTRA: 에이전트 오케스트레이션을 위한 서브 에이전트 생성 자동화

1. 문제 정의 (Problem Statement)

최근 언어 에이전트(Language Agents)는 복잡하고 장기적인(long-horizon) 작업을 수행하기 위해 '서브 에이전트를 도구처럼 사용하는(sub-agent-as-tools)' 패러다임을 채택하고 있습니다. 그러나 기존 방식은 다음과 같은 한계점을 가집니다.

동적 추상화 부족: 서브 에이전트를 단순히 독립된 컨텍스트 스레드로만 취급하여 전문화된 능력을 활용하지 못하거나(Context-isolated threads), 미리 정의된 고정된 역할(Static roles)로만 사용하여 변화하는 환경에 유연하게 대응하지 못합니다.
과도한 엔지니어링 필요: 새로운 작업이 나타날 때마다 사람이 직접 서브 에이전트의 역할과 도구를 설계해야 하므로 확장성이 떨어집니다.
컨텍스트 관리 문제: 불필요한 정보가 섞여 성능이 저하되는 '컨텍스트 부패(Context rot)' 현상이 발생하거나, 중요한 정보가 누락되는 문제가 있습니다.

2. 제안 방법론 (Methodology)

본 논문은 서브 에이전트를 고정된 역할이 아닌, 필요에 따라 즉석에서 생성되는 '온디맨드 전문화(On-demand specialization)' 단위로 정의하는 AORCHESTRA 프레임워크를 제안합니다.

2.1. 통합 4-튜플 추상화 (Unified 4-tuple Abstraction)

모든 에이전트를 다음과 같은 네 가지 요소의 조합인 $\Phi = \langle \text{Instruction, Context, Tools, Model} \rangle$ 로 모델링합니다.

Instruction (지시): 달성해야 할 목표와 성공 기준.
Context (컨텍스트): 현재 서브 태스크에 꼭 필요한 핵심 정보만 선별하여 주입 (컨텍스트 부패 방지).
Tools (도구): 해당 태스크 수행에 필요한 최소한의 도구 세트.
Model (모델): 태스크의 난이도와 비용을 고려하여 선택된 기반 모델.

2.2. 오케스트레이터 중심 설계 (Orchestrator-centric Design)

중앙 오케스트레이터는 환경에 직접 개입하지 않고, 오직 **태스크 분해(Decomposition)**와 **서브 에이전트 생성 및 위임(Delegation)**에만 집중합니다. 오케스트레이터는 위 4-튜플을 구성하여 Delegate(Φ) 함수를 호출함으로써 맞춤형 실행기(Executor)를 생성합니다.

2.3. 학습 가능한 오케스트레이션 (Learnable Orchestration)

AORCHESTRA는 두 가지 방식으로 정책을 최적화할 수 있습니다.

SFT (Supervised Fine-Tuning): 전문가의 궤적을 학습하여 태스크 분해 및 4-튜플 합성 능력을 향상시킵니다.
ICL (In-context Learning) 기반 비용 최적화: 반복적인 상호작용을 통해 성능과 비용 사이의 최적의 균형(Pareto-efficient)을 찾는 모델 라우팅 전략을 학습합니다.

3. 주요 기여 (Key Contributions)

동적 서브 에이전트 생성: 고정된 역할이 아닌, 태스크 요구사항에 맞춰 실시간으로 최적화된 서브 에이전트를 생성하는 프레임워크를 제안했습니다.
프레임워크 불가지론(Framework-agnostic): 특정 에이전트 구현에 종속되지 않고 다양한 에이전트를 플러그 앤 플레이(Plug-and-play) 방식으로 결합할 수 있습니다.
성능-비용 트레이드오프 제어: 모델 라우팅을 통해 성능을 유지하면서도 운영 비용을 효율적으로 관리할 수 있는 구조를 마련했습니다.

4. 실험 결과 (Results)

세 가지 도전적인 벤치마크(GAIA, SWE-Bench-Verified, Terminal-Bench 2.0)에서 Gemini-3-Flash와 결합하여 테스트한 결과, 기존의 강력한 베이스라인 모델들 대비 뛰어난 성능을 보였습니다.

종합 성능: 가장 강력한 베이스라인 대비 평균 16.28%의 상대적 성능 향상을 달립니디.
GAIA: Gemini-3-Flash 사용 시 Pass@1 기준 **80.00%**를 기록하며 압도적인 성능을 보였습니다.
Terminal-Bench 2.0: Mini-SWE 대비 Pass@1 기준 약 64.29%p의 큰 폭의 향상을 보였습니다.
비용 효율성: ICL 최적화를 통해 성능을 높이면서도 평균 비용을 18.5% 절감하여 효율적인 Pareto frontier를 형성했습니다.

5. 의의 (Significance)

AORCHESTRA는 복잡한 에이전트 시스템을 설계할 때 사람이 일일이 모든 시나리오를 프로그래밍할 필요 없이, **"어떻게 에이전트를 생성하고 관리할 것인가"**라는 상위 수준의 오케스트레이션 전략에 집중할 수 있는 길을 열었습니다. 이는 향후 자율적으로 진화하고 스스로 최적화되는 고도화된 AI 에이전트 시스템 구축의 핵심적인 방법론이 될 것으로 기대됩니다.