💻 computer science

QueenBee Planner: Skill-Evolving Communication Topologies for Token-Efficient LLM Multi-Agent Systems

QueenBee Planner 프레임워크는 에이전트 간 통신 토폴로지를 자기 개선형 설계 기술로 취급함으로써 토큰 효율적인 LLM 멀티 에이전트 시스템을 강화하며, 여기서 학습 가능한 플래너는 고정된 방식이나 콜드 스타트 베이스라인보다 정확도와 비용 측면에서 현저히 뛰어난 최적의 메시지 전달 구조를 생성하고 실행 흔적을 견고하고 반증 저항력이 있는 설계 규칙으로 증류한다.

원저자: Congjia Tian, Yuhang Yao, Jiaming Cui

게시일 2026-06-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Congjia Tian, Yuhang Yao, Jiaming Cui

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 8명의 아주 똑똑하지만 서로 고립된 전문가들(이하 "작업자들")이 있다고 상상해 보세요. 각 전문가는 거대한 퍼즐의 작은 조각(데이터의 "파편")을 가지고 있지만, 그 누구도 전체 그림을 볼 수는 없습니다. 그들의 임무는 최종 정답을 찾아내는 것이지만, 오직 서로 대화함으로써만 이를 수행할 수 있습니다.

이 논문이 던지는 핵심 질문은 다음과 같습니다: 이 전문가들은 서로 어떻게 대화해야 하는가?

모두가 동시에 소리를 질러야 할까요? 원형으로 둘러앉아야 할까요? 아니면 줄을 지어 쪽지를 전달해야 할까요? 혹은 누군가가 노트를 모아서 위로 전달하는 특정 계층 구조를 형성해야 할까요?

대부분의 컴퓨터 시스템에서 엔지니어들은 이 전문가들을 연결하는 한 가지 방식(고정된 토폴로지)을 선택하고 그것을 고수합니다. 이 논문은 단순히 연결 방식을 선택하는 것에 그치지 않고, 작업에 가장 적합한 대화 흐름을 설계하는 법을 학습하여 매번 시도할 때마다 더 똑똑해지는 시스템인 QueenBee Planner를 소개합니다.

이 시스템의 작동 원리를 쉬운 개념으로 나누어 설명하면 다음과 같습니다.

1. "설계자(Architect)" vs "작업자(Workers)"

시스템을 두 가지 뚜렷한 역할로 나누어 생각해보세요:

작업자(The Workers): 실제 수학 계산이나 추론을 수행하는 전문가들입니다. 이 시스템에서 이들은 **고정(frozen)**되어 있습니다. 이들은 새로운 것을 배우지 않으며, 단지 항상 해왔던 방식 그대로 자신의 일을 수행할 뿐입니다.
QueenBee Planner: 이들은 "설계자(Architect)"입니다. 이들은 수학 계산을 하지 않습니다. 이들의 유일한 임무는 "이 단계에서는 A 전문가가 B 전문가에게 노트를 보낸다. 다음 단계에서는 B 전문가가 자신의 노트와 이를 합쳐서 C 전문가에게 보낸다"라고 명시하는 "지도(통신 DAG)"를 그리는 것입니다.

여기서 마법은 설계자가 학습한다는 점입니다. 설계자는 다양한 지도를 그려보고, 어떤 지도가 가장 적은 대화로 정답을 얻어내는지 확인하며, 좋은 지도를 다음을 위해 기억합니다.

2. "기술 저장소(Skill Bank)" (설계자의 노트)

설계자는 단순히 추측하는 대신, "설계 기술"이 담긴 노트를 관리합니다. 이것은 특정 문제에 대한 답이 아니라, 사람들을 어떻게 연결할지에 대한 규칙입니다.

보존(Preserve): "지난번에 이 방식으로 쪽지를 전달했을 때 결과가 아주 좋았다. 이번에도 이 방식을 유지하자."
수정(Modify): "이 패턴이 효과적이었지만, 지금은 약간 다른 퍼즐을 다루고 있다. 이 방식을 조금 수정해보자."
회피(Avoid): "지난번에 이 특정 패턴을 시도했을 때 모두가 혼란을 겪었고 답도 틀렸다. 다시는 이렇게 하지 말자."

3. "안전 게이트(Safety Gates)" (나쁜 습관 방지)

논문은 설계자가 학습하는 과정에 매우 주의를 기울입니다. 설계자는 때때로 운 좋게 맞히거나 우연히 성공할 수 있다는 점을 알고 있습니다. 만약 설계자가 단순히 운 좋게 얻은 성공을 모두 기억한다면, 잘못된 결정을 내리기 시작할 것입니다.

따라서 시스템은 노트에 무언가를 기록하기 전에 엄격한 "안전 게이트"를 거칩니다:

"홀드아웃(Held-Out)" 테스트: 설계자는 단순히 "연습 문제에서 잘했으니 나는 똑똑하다"라고 말할 수 없습니다. 반드시 본 적 없는 새로운 테스트에서도 잘 해낼 수 있음을 증명해야 합니다.
"운 좋은 실행(Lucky Run)" 체크: 만약 어떤 설계가 우연히 한 번만 성공한 것이라면, 시스템은 이를 무시합니다. 설계가 일관되게 작동하는 것을 확인해야만 노트에 추가됩니다.
"반증(Falsification)" 체크: 만약 설계자가 특정 설계가 왜 효과적인지에 대해 화려한 설명을 내놓는다면, 시스템은 그 설명이 틀렸음을 증명하려고 시도합니다. 그 설명이 테스트를 견뎌내지 못한다면, 그 설계는 추가되지 않습니다.

4. 결과: 더 똑똑한 지도, 더 적은 노이즈

연구진은 이 시스템을 두 가지 유형의 과업에 대해 테스트했습니다:

빈도 계산(Counting Frequency, CF): 팀이 거대한 목록에서 숫자가 나타나는 횟수를 세어야 하는 과업입니다.
사일로 과업(Silo Tasks): 정보가 별도의 "사일로"에 숨겨져 있어, 팀이 전역적인 답을 찾기 위해 협력해야 하는 과업입니다.

결과는 어떠했을까요?

고정된 토폴로지(Fixed Topologies): 팀이 미리 정해진 연결 방식(트리나 원형 구조 등)을 사용했을 때, 오류가 발생했고 많은 "토큰"(컴퓨터 에너지/비용)을 소모했습니다.
콜드 생성(Cold Generation): 설계자가 기억 없이 처음부터 지도를 그리려고 했을 때는 불안정하고 자주 틀렸습니다.
QueenBee (자기 진화형): 몇 차례의 학습 과정을 거친 후, 설계자는 하이브리드 지도를 그리기 시작했습니다. 이 지도들은 기존의 고정된 방식보다 훨씬 단순하고 직접적이었습니다.
- 계산 작업에서 QueenBee 시스템은 오류를 37% 줄였고, 비용(메시지 및 컴퓨터 호출)을 가장 뛰어난 고정 방식과 비교했을 때 절반 이상 절감했습니다.
- "사일로" 과업에서, 시스템은 "완벽한" 고정 지도보다 더 나은 협업 능력을 학습했습니다.

핵심 요약

이 논문은 아키텍처(에이전트들이 어떻게 연결되는가)가 에이전트 자체의 지능만큼이나 중요하다는 점을 주장합니다.

"에이전트를 연결하는 방법"을 고정된 설정이 아닌 학습 가능한 기술로 취급함으로써, 시스템은 시간이 지남에 따라 더 나은 통신 네트워크를 구축하는 법을 배웁니다. 단순히 답을 암기하는 것이 아니라, 문제를 효율적으로 해결하기 위한 청사진을 배우는 것입니다. 작업자들은 그대로이지만, 그들이 대화하는 방식은 더 빠르고, 저렴하며, 정확하게 진화합니다.

기술 요약: QueenBee Planner

문제 정의

대규모 언어 모델(LLM) 멀티 에이전트 시스템의 설계 패러다임은 개별 에이전트의 추론(예: 프롬프팅, 사고의 사슬)을 최적화하는 것에서 에이전트 간 상호작용의 조직화(organization)를 최적화하는 것으로 이동했습니다. 최근 연구들은 통신 토폴로지(communication topology)가 시스템의 정확성, 비용 및 견고성을 결정하는 제1의 요인임을 입증했지만, 기존 방식들은 특정 태스크를 위해 토폴로지를 설계하고 그 단계에서 멈춘다는 결정적인 한계를 공유합니다. 이들은 태스크 전반에 걸쳐 재사용 가능한 설계 지식을 축적하지 못합니다. 또한, 현재의 방법들은 태스크 해결 행동과 아키텍처 설계를 혼동하거나, 명시적인 토폴로지 교훈을 저장하지 않은 채 라우팅만을 최적화하곤 합니다.

본 논문이 다루는 핵심 과제는 자기 개선형 설계 루프(self-improving design loop)가 노이즈(운 좋게 성공한 실행, 그럴듯하지만 틀린 설명)를 정책(policy)으로 오인하여 학습하는 것을 방지하는 것입니다. 신뢰할 수 있는 자기 진화형 아키텍트(self-evolving architect)에게는 개선된 통신 구조가 실제적이고 재현 가능하며, 하위 워커 에이전트의 능력과는 구별된다는 것을 보장하기 위한 명시적인 규율이 필요합니다.

방법론

본 논문은 QueenBee Planner를 소개합니다. 이 프레임워크는 에이전트 간 통신 토폴로지를 검색 가능하고 자기 개선이 가능한 '설계 기술(design skill)'로 취급합니다. 시스템은 다음과 같은 엄격한 관심사 분리(separation of concerns) 하에 작동합니다.

1. 플래너-워커 분리 (Planner-Worker Separation)

동결된 워커 (Frozen Workers): 학습 과정 동안 워커 에이전트 풀, 태스크 어댑터, 스코어링 함수는 고정됩니다. 워커들은 태스크의 개인적인 파편(private shards)만을 관찰하며, 수신된 메시지에 기반하여 자신의 신념 상태(belief states)를 업데이트합니다.
생성형 플래너 (Generative Planner): 외부 LLM이 아키텍트 역할을 수행합니다. 이의 유일한 학습 목표는 **시계열 통신 유향 비순환 그래프(Temporal Communication Directed Acyclic Graphs, DAGs)**를 생성하는 것입니다. 이 DAG는 누가, 어느 라운드에, 누구에게 정보를 보내는지, 누가 메시지를 병합하는지, 그리고 누가 최종 답변을 내놓는지를 명시합니다.

2. 시계열 통신 DAG (Temporal Communication DAG)

플래너는 시간적으로 펼쳐진 그래프 $G = (N, T, E, h, I, R)$ 를 생성합니다:

$N$ 은 워커의 수입니다.
$T$ 는 통신 라운드의 수입니다.
$E$ 는 방향성을 가진 시계열 엣지(메시지 흐름)를 나타냅니다.
$h$ 는 최종 답변 보유자입니다.
그래프는 토큰 비용과 병합 복잡도를 제어하기 위해 라운드 수( $T_{max}$ ), 총 엣지 수( $M$ ), 최대 팬인(fan-in) 수( $\beta$ )에 대한 실행 가능성 제한을 따릅니다.

3. 스킬 뱅크와 설계 규칙 (Skill Bank and Design Rules)

플래너의 메모리는 증거에 기반한 설계 규칙을 담고 있는 **스킬 뱅크(Skill Bank)**입니다. 각 스킬 $s = (z, r, a, q, E)$ 는 다음으로 구성됩니다:

조건 ( $z$ ): 태스크 특징 (예: 에이전트 수, 예산).
규칙 ( $r$ ): 구조적 패턴 (예: "단계적 축소(staged reduction)", "감사 엣지(audit edge)").
행동 ( $a$ ): 다음 세 가지 행동 중 하나:
- 보존 (Preserve): 구조를 실행 가능한 스캐폴드(scaffold)로서 유지함.
- 수정 (Modify): 약간 다른 태스크 조건에 맞춰 핵심 구조를 적응시킴.
- 회피 (Avoid): 과거의 실패 사례에 근거하여 해당 구조를 부정적 제약 조건으로 취급함.
증거 ( $E$ ): 뒷받받는 데이터 및 반례.

4. 규율 있는 자기 진화 루프 (Disciplined Self-Evolution Loop)

드리프트(drift)와 오버피팅을 방방지하기 위해, 시스템은 스킬 뱅크를 업데이트하기 전 몇 가지 엄격한 메커니즘을 적용합니다:

모티프 수준의 크레딧 할당 (Motif-Level Credit Assignment): 전체 그래프에 크레딧을 할당하는 대신, 시스템은 그래프를 구조적 모티프(예: 팬인 제한, 축소 깊이)로 분해합니다. 크레딧은 이러한 모티프에 할당되며, 단일 실행의 운 좋은 성공이 지배하지 않도록 분산 인지 페널티(variance-aware penalty)가 부여됩니다.
홀드아웃 승인 게이트 (Held-Out Acceptance Gate): 업데이트( $\Delta S$ )는 단순히 훈련 데이터뿐만 아니라, **홀드아웃 태스크 및 시드(held-out tasks and seeds)**에서도 성능 향상을 입증했을 때만 장기 스킬 뱅크에 수용됩니다.
분산 인지 크레딧 (Variance-Aware Credit): 규칙은 안정성을 보장하기 위해 최소 샘플 수와 보수적인 손실 추정치를 요구합니다.
통찰력 반증 (Insight Falsification): 플래너가 제안한 자연어 통찰은 가설로 취급되며, 스킬이 되기 전 홀드아웃 증거를 통한 반증 검사를 통과해야 합니다.
전이 신뢰 (Transfer Trust): 스킬이 모든 태스크에 자동으로 적용되지는 않습니다. 특정 태스크 슬롯에 대한 직접적 또는 간접적인 성공 증거가 있는 경우에만 배포됩니다.
구조적 중복 제거 (Structural Deduplication): 동형(isomorphic) 그래프 명세는 병합되어 스킬 뱅크가 실행 라운드에 따라 선형적으로 증가하는 것을 방지합니다.

주요 기여

토폴로지를 기술(Skill)로 재정의: 본 논문은 멀티 에이전트 통신 토폴로지를 검색 가능하고 자기 개선 가능한 설계 기술로 재구성하여, "아키텍트"(플래너)와 "워커"를 분리합니다. 학습되는 대상은 태스크 해결 행동이 아니라 통신 설계 지식입니다.
규율 있는 자기 개선 메커니즘: 홀드아웃 게이트, 모티프 수준의 귀속, 분산 인지 크레딧, 통찰력 반증을 특징으로 하는 시계열 DAG 생성 프레임워크를 도입하여 신뢰할 수 있는 진화를 보장합니다.
아키텍처 학습에 대한 경험적 주장: 저자들은 이러한 규율 하에서, 워커 풀이 고정된 상태에서도 플래너가 홀드아웃 태스크에 대해 통신 구조를 개선할 수 있음을 입증함으로써, 시스템이 단순히 정답을 암기하는 것이 아니라 조직을 설계하는 법을 배운다는 것을 보여줍니다.

실험 결과

방법론은 Count-Frequency (CF) 집계와 Silo-Bench 스타일의 분산 조정이라는 두 가지 태스크 패밀리에 대해 평가되었습니다.

Count-Frequency (CF) 태스크:
- DeepSeek-V4-Flash fulltest 설정에서, 자기 진화된 최적의 그래프(하이브리드 축소-감사 구조)는 RMSE를 12.53(가장 강력한 고정 토폴로지)에서 7.87로 감소시켰습니다.
- 이 개선은 상당한 효율성 이득을 동반했습니다: 최상의 고정 토폴로지 대비 메시지 74.2% 감소, 모델 호출 54.5% 감소, 토큰 비용 59.6% 감소를 달고 왔습니다.
- 개선 효과는 다양한 워커 모델(DeepSeek, Qwen, GPT-4o, MiMo)에서 일관되게 나타났으며, RMSE 감소 폭은 14%에서 56% 사이였습니다.
Silo-Bench 스타일 태스크:
- 자기 진화된 그래프 생성은 0.539의 Exact Match (EM)를 달성했습니다(3라운드 후). 이는 콜드 생성(0.125), 최상의 단일 고정 토폴로지(0.333), 심지어 케이스별 오라클 고정 토폴로지(0.417)보다 우수한 성능입니다.
- 이는 시스템이 단순히 고정된 토폴로지 집합에서 선택하는 것이 아니라, 미세하고 태스크에 특화된 구조를 학습함을 시사합니다.
진화 궤적 (Evolution Trajectory):
- 라운드별 분석 결과, 탐색 과정에서 노이즈(RMSE 변동)가 발생하지만, 유지된 "최적의 기록(best-so-far)" 아카이브는 지속적으로 개선되었습니다. 이는 시스템이 시간이 지남에 따라 재사용 가능한 설계 지식(예: 단계적 축소, 싱크 커버리지)을 축적하고 있음을 보여줍니다.

의의 및 주장

본 논문은 멀티 에이전트 시스템의 아키텍처가 단순한 구현 세부 사항이 아니라 명시적인 학습 대상임을 주장합니다. QueenBee Planner는 멀리 에이전트 시스템이 단순히 태스크의 답을 암기하는 것이 아니라, 재사용 가능한 아키텍처 설계 지식(언제 통신 패턴을 보존, 수정 또는 회피할 것인가)을 학습할 수 있음을 보여줍니다.

저자들은 현재 결과가 특정 태스크 패밀리(CF 및 Silo 스타일)와 제한된 진화 라운드에 기반하고 있음을 언급하며 범위에 대해 겸손한 태도를 유지합니다. 그들은 시스템이 단 하나의 보편적으로 최적 인 토폴로지를 발견하는 것이 아니라, 전이 가능한 사전 지식(priors)을 축적한다고 상정합니다. 이 논문의 주요 기여는 규율 있고 증거에 기반한 자기 성찰을 통해, 고정된 워커 시스템이 통신 설계 정책을 진화시킴으로써 성능을 개선할 수 있음을 검증한 데 있습니다.