Drop the Hierarchy and Roles: How Self-Organizing LLM Agents Outperform Designed Structures

이 논문은 사전에 할당된 역할이나 계층 구조 없이도 LLM 에이전트들이 자율적으로 전문화되고 협력하며, 특히 모델 성능이 일정 수준 이상일 때 중앙 집중식 조정보다 더 뛰어난 성과를 낸다는 것을 25,000 건의 실험을 통해 입증했습니다.

핵심

이 논문은 **"인공지능 에이전트 (AI) 들이 어떻게 함께 일할 때 가장 잘 성과를 내는지"**에 대한 거대한 실험 결과를 담고 있습니다.

핵심 결론은 매우 간단하지만 놀랍습니다: "AI 팀을 관리할 때, 상사가 모든 일을 지시하거나 (중앙 통제), 아무런 규칙 없이 자유롭게 맡겨두는 것 (완전 자율) 모두 실패합니다. 대신, '순서만 정해두고 역할은 스스로 정하게' 하는 방식이 가장 훌륭합니다."

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎵 오케스트라의 비밀: 악보 vs 지휘자

이 논문의 핵심 비유는 오케스트라입니다.

1. 기존의 생각 (중앙 통제): 지휘자가 악기 하나하나를 지시하며 모든 것을 통제합니다. (논문의 'Coordinator' 방식)
   • 결과: 지휘자가 실수하면 전체가 망가집니다. 악기들이 지휘자의 지시만 기다리느라 창의성이 떨어집니다.
2. 완전 자율: 악기들끼리 아무런 규칙 없이 즉흥 연주를 합니다. (논문의 'Shared' 방식)
   • 결과: 바이올린과 트럼펫이 같은 멜로리를 불거나, 누가 무엇을 해야 할지 몰라 소란스럽습니다. (역할 중복, 혼란)
3. 이 논문의 발견 (순차적 자율): 연주 순서만 정해두고, 각 악기는 앞선 악기들의 소리를 듣고 "내가 지금 어떤 소리를 내야 할지" 스스로 결정합니다. (논문의 'Sequential' 방식)
   • 결과: 가장 훌륭합니다! 앞선 악기의 소리를 들었으니, 다음 악기는 그 소리를 보완하거나 이어갈 수 있습니다. 지휘자의 미세한 지시 없이도 완벽한 조화가 이루어집니다.

🔑 3 가지 핵심 발견 (일상 언어로)

1. "순서만 정해주면, 역할은 스스로 찾는다"

연구진은 25,000 번이 넘는 실험을 했습니다. 그 결과, AI 들에게 "너는 개발자야, 너는 디자이너야"라고 미리 역할을 정해주지 않아도, 순서만 정해두면 AI 들이 스스로 "아, 내가 지금 이 문제를 해결해야겠구나"라고 역할을 만들어냈습니다.

• 비유: 축구 드래프트처럼, 앞선 팀이 어떤 선수를 뽑았는지 보고 다음 팀이 부족한 포지션을 스스로 채우는 것과 같습니다.

2. "능력이 부족한 AI 에게는 자유가 독이 됩니다"

이게 가장 중요한 점입니다. **똑똑한 AI(고성능 모델)**에게는 자유가 주면 더 잘하지만, **덜 똑똑한 AI(저성능 모델)**에게는 자유가 오히려 해가 됩니다.

• 비유:
  • 실력 있는 음악가: 악보 없이도 즉흥 연주를 잘합니다.
  • 초보 음악가: 악보 (엄격한 규칙) 가 없으면 엉망이 됩니다.
  • 결론: AI 가 충분히 똑똑하지 않으면, 인간이 역할을 딱 정해주는 게 낫습니다. 하지만 AI 가 똑똑하다면, "미션만 주고 나머지는 알아서 해"라고 하는 게 훨씬 좋습니다.

3. "사람이 많다고 좋은 게 아닙니다"

팀원 수를 4 명에서 256 명으로 늘려봤는데, 성과는 거의 변하지 않았습니다. 오히려 비용만 24 배 더 들었습니다.

• 비유: 좋은 요리사를 100 명 모으는 것보다, 실력 있는 요리사 1 명을 잘 활용하는 게 더 중요합니다. AI 팀도 "양"보다 "질 (모델의 능력)"과 "협업 방식 (프로토콜)"이 훨씬 중요합니다.

🚀 흥미로운 현상들 (AI 들이 스스로 한 일)

이 실험에서 AI 들은 인간이 시키지 않아도 놀라운 일들을 했습니다.

• 스스로 "안 할게"라고 말합니다: "이 일은 내가 못 해, 다른 사람이 해"라고 스스로 판단하고 일을 포기 (Self-abstention) 했습니다. 덕분에 쓸데없는 일을 줄이고 효율이 올랐습니다.
• 역할을 계속 바꿉니다: 한 AI 가 한 번은 '기획자'였다가 다음엔 '분석가'가 됩니다. 인간처럼 "나는 기획자야"라고 고정된 역할에 갇히지 않고, 상황에 맞춰 변신합니다.
• 스스로 계급을 만듭니다: 복잡한 문제가 생기면 AI 들이 스스로 "이 사람은 이 일을 하고, 그 사람은 그 일을 하라"는 계층 구조를 만들어냈습니다. 하지만 이 구조는 인간이 만든 것보다 훨씬 얕고 유연했습니다.

💡 우리가 배울 점 (실생활 적용법)

이 논문을 통해 우리가 AI 팀을 운영할 때 기억해야 할 세 가지가 있습니다.

1. 역할을 정하지 마세요: "너는 개발자야"라고 말하지 말고, "이 문제를 해결해 줘"라는 미션만 주세요.
2. 규칙은 최소한으로: "순서대로 일해"라는 최소한의 규칙만 두고, 나머지는 AI 가 알아서 하게 하세요.
3. 똑똑한 AI 를 쓰세요: 팀원 수를 늘리는 것보다, 더 똑똑한 AI 모델을 쓰는 게 훨씬 효과적입니다. (열린 소스 AI 도 똑똑한 AI 의 95% 실력을 24 배 더 싸게 쓸 수 있다고 합니다!)

📝 한 줄 요약

"AI 팀을 잘 이끌려면, 지휘자가 모든 것을 통제하거나 아무것도 하지 않는 게 아니라, '연주 순서'만 정해두고 각 악기 (AI) 가 앞선 소리를 듣고 스스로 역할을 만들어내게 하세요. 그게 가장 멋진 연주가 됩니다."

이 연구는 AI 가 단순히 도구가 아니라, 스스로 조직을 만들어가는 자율적인 파트너가 될 수 있음을 보여줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

기존의 다중 에이전트 LLM 시스템 연구는 크게 두 가지 방향으로 나뉩니다.

• 수직적 자기 개선 (Vertical Self-Improvement): 개별 에이전트의 능력을 향상시키는 연구 (예: DGM-Hyperagents).
• 수평적 조정 (Horizontal Coordination): 에이전트 간의 협업 구조를 설계하는 연구. 현재 대부분의 시스템 (ChatDev, MetaGPT 등) 은 인간 조직의 패턴을 모방하여 **고정된 역할 (Fixed Roles)**과 **중앙 집중식 위계 (Centralized Hierarchy)**를 전제로 합니다.

핵심 문제:
LLM 에이전트는 인간과 근본적으로 다릅니다. 즉각적인 전문성 변경, 전체 조직 문맥의 처리, 유휴 상태에서의 0 한계 비용 등을 가집니다. 따라서 인간 조직에 맞춰 설계된 '고정된 역할'과 '위계'가 LLM 에이전트 군집의 최적 성능을 방해할 수 있다는 가설을 검증하기 위해, 에이전트의 자율성 정도 (중앙 집중식 vs 완전 자율 vs 하이브리드) 가 집단적 성능에 미치는 영향을 체계적으로 분석할 필요가 있었습니다.

2. 방법론 (Methodology)

이 연구는 다중 에이전트 LLM 시스템의 조정 아키텍처를 비교하는 25,000 건 이상의 대규모 계산 실험을 수행했습니다.

• 실험 규모:
  • 모델: 8 개 LLM 모델 (Claude Sonnet 4.6, GPT-5.4, DeepSeek v3.2, GLM-5 등 폐쇄형 및 오픈소스 포함).
  • 에이전트 수: 4 명에서 256 명까지 확장.
  • 작업 복잡도: L1(단일 도메인) 에서 L4(대립적 다수 이해관계자) 까지 4 단계.
  • 조정 프로토콜: 8 가지 (중앙 집중식, 순차적, 브로드캐스트, 공유, 생체 영감 프로토콜 등).
• 조정 프로토콜 분류:
  1. Coordinator (중앙 집중식): 외부 조정자가 역할을 할당하고 병렬 실행.
  2. Sequential (하이브리드): 에이전트 순서는 고정되지만, 각 에이전트가 이전 에이전트의 완료된 결과를 보고 자율적으로 역할 선택 및 참여/중단 결정. (핵심 제안)
  3. Broadcast (신호 기반): 역할 의도를 동시에 브로드캐스트 후 최종 결정.
  4. Shared (완전 자율): 공유 메모리를 기반으로 동시 독립적 결정.
• 평가 지표:
  • 품질 (Q): 정확성, 완전성, 일관성, 실행 가능성, 미션 관련성 (LLM-as-a-Judge 를 통해 4 점 척도 평가).
  • **비용 (C), 시간 (T), 리스크 (R), 미션 관련성 (M)**을 종합한 균형 지수 (Balance Index).

3. 주요 기여 및 발견 (Key Contributions & Results)

A. 내생성 역설 (The Endogeneity Paradox)

가장 중요한 발견은 **"최대 통제 (중앙 집중식) 나 최대 자율 (완전 자율) 이 모두 최적의 결과를 내지 못한다"**는 것입니다.

• Sequential (하이브리드) 프로토콜의 우위:
  • 고정된 순서 (구조적 지지대) 와 자율적인 역할 선택 (내생적 전문성) 을 결합한 Sequential 프로토콜이 가장 높은 성능을 보였습니다.
  • 성능 비교: 완전 자율 (Shared) 대비 44% 향상 (Cohen's d = 1.86, p < 0.0001), 중앙 집중식 (Coordinator) 대비 14% 향상 (p < 0.001).
  • 이유: 에이전트가 '의도'나 '과거 기록'이 아닌, 현재 작업에서 **이전 에이전트의 실제 완료된 결과 (Factual Outputs)**를 기반으로 정보를 얻기 때문입니다. 이는 스포츠 드래프트와 유사하게 각 에이전트가 이전 선택을 보완하는 역할을 자연스럽게 수행하게 합니다.

B. 모델 능력과 프로토콜의 상호작용

• 모델 능력 임계값 (Capability Threshold): 자기 조직화는 강력한 모델에게만 유리합니다.
  • 강력한 모델 (Claude, DeepSeek 등): 자율적 운영 시 고정 역할보다 성능이 향상됨.
  • 약한 모델: 자율성 부여 시 성능이 저하되며, 오히려 **경직된 구조 (고정 역할)**가 더 효과적입니다.
  • 결론: 강력한 모델과 올바른 프로토콜이 모두 필요합니다. 강력한 모델 중에서는 프로토콜 선택이 모델 선택보다 성능 변동 (44% vs 14%) 에 더 큰 영향을 미칩니다.

C. 확장성 및 비용 효율성

• 비선형 확장 (Sub-linear Scaling): 에이전트 수를 4 명에서 256 명으로 늘려도 품질 저하가 통계적으로 유의미하지 않았습니다 (p = 0.61).
• 비용 최적화: 256 에이전트 시스템에서 약 45% 의 에이전트가 **자발적 기피 (Voluntary Self-Abstention)**를 통해 불필요한 작업을 수행하지 않고 비용을 절감했습니다.
• 오픈소스 대 폐쇄형: DeepSeek v3.2 (오픈소스) 가 Claude Sonnet 4.6 (폐쇄형) 대비 24 배 낮은 비용으로 95% 수준의 품질을 달성했습니다.

D. 창발적 행동 (Emergent Properties)

시스템은 외부 지시 없이 다음과 같은 행동을 보였습니다:

1. 동적 역할 발명 (Dynamic Role Invention): 8 개 에이전트로 5,006 개의 고유한 역할이 생성되었으며, 에이전트는 고정된 역할이 아닌 매 작업마다 전문성을 재정의했습니다 (Role Stability Index → 0).
2. 자발적 기피: 자신의 역량이 부족하다고 판단할 때 작업을 기피하여 전체 품질을 높였습니다.
3. 얕은 자기 조직화 위계: 작업 복잡도가 증가할수록 위계 깊이 (Hierarchy Depth) 가 1.0 에서 2.0 으로만 증가하여, 시스템이 스스로 얕은 관리 계층을 형성함을 보였습니다.

4. 논의 및 시사점 (Significance)

• 수직적 vs 수평적 지능: 개별 에이전트의 능력 향상 (수직) 과 집단 조정 구조 설계 (수평) 는 상호 보완적이며 곱셈적 관계에 있습니다.
• 역할의 재정의: LLM 에이전트에게 '역할'은 조직도상의 직함이 아니라, 작업 맥락에 의해 활성화되는 계산적 기능이어야 합니다. 고정된 역할 할당은 인간적 한계를 LLM 에 부과하는 안티패턴입니다.
• 실무적 가이드:
  1. 미션과 가치를 정의하되, 역할 할당은 하지 마세요.
  2. Sequential 프로토콜과 같은 적절한 조정 방식을 선택하세요.
  3. 에이전트 수를 늘리기보다 모델의 품질에 투자하세요.
  4. 혼합 모델 전략 (고성능 모델 + 비용 효율적 모델) 을 활용하세요.
• 헌법적 프레임워크 제안: 자율 조직을 거버넌스하기 위한 3 단계 링 (1 단계: 인간만 관여하는 미션/가치, 2 단계: 인간과 시스템이 공유하는 표준, 3 단계: 시스템이 자율적으로 최적화하는 프로토콜) 을 제안했습니다.

5. 결론

이 논문은 다중 에이전트 LLM 시스템에서 최적의 조정은 외부의 완전한 통제나 완전한 자율성이 아닌, 최소한의 구조적 지지 (고정 순서) 와 최대의 역할 자율성 (자기 조직화) 을 결합한 하이브리드 접근법에서 나온다는 것을 입증했습니다. 이는 AI 조직 설계의 패러다임을 '위계와 역할'에서 '미션, 프로토콜, 능력 있는 모델'로 전환해야 함을 시사합니다.