Self-Organizing Multi-Agent Systems for Continuous Software Development

1. 문제 정의 (Problem)

기존 대규모 언어 모델 (LLM) 기반의 소프트웨어 개발 에이전트 시스템 (ChatDev, MetaGPT, SWE-Agent 등) 은 다음과 같은 한계를 가지고 있어 지속적이고 장기적인 소프트웨어 개발을 수행하는 데 부적합했습니다.

• 지속성 부족 (Limited Persistent Orchestration): 대부분의 시스템은 단일 세션 (Single-session) 기반으로 설계되어 있습니다. 한 번의 실행이 끝나면 컨텍스트가 초기화되며, 며칠 또는 몇 주에 걸친 반복적인 개선과 진화를 위한 누적 진행 상황 추적, 검증 피드백의 이관, 중단 후 재개 등의 메커니즘이 부재합니다.
• 정적 팀 구성 (Static Team Composition): 기존 프레임워크는 실행 시작 시점에 에이전트의 역할 (CEO, 개발자, 테스터 등) 을 고정합니다. 프로젝트의 진화에 따라 보안 전문가가 필요해지거나 프로토타이핑 역할이 불필요해지는 등, 실제 소프트웨어 팀이 겪는 동적이고 지속적인 팀 구성의 변화를 반영하지 못합니다.
• 동기식 인간 감독 (Synchronous Human Oversight): 기존 시스템은 사용자의 실시간 개입이나 세션 종료 후 검토에 의존합니다. 하지만 실제 개발 환경에서는 비동기적으로 이슈가 제기되고 우선순위가 조정되며, 에이전트가 작업 중단을 피하고 적절한 시점에 이를 반영하는 비동기적 감독이 필요합니다.

2. 방법론 (Methodology): TheBotCompany

저자들은 위 문제를 해결하기 위해 TheBotCompany라는 오픈소스 오케스트레이션 프레임워크를 제안했습니다. 이는 지속적이고 자기 조직화되는 다중 에이전트 시스템을 구현합니다.

2.1 핵심 아키텍처 및 혁신

1. 3 단계 마일스톤 라이프사이클 (Three-Phase Milestone Lifecycle):

   • 프로젝트는 **전략 (Strategy) → 실행 (Execution) → 검증 (Verification)**의 3 단계로 구성된 마일스톤 단위로 반복적으로 진행됩니다.
   • 전략 (Athena): 프로젝트 상태를 평가하고 다음 마일스톤의 목표와 예산을 정의합니다.
   • 실행 (Ares): 마일스톤을 달성하기 위해 작업자 에이전트 (Worker Agents) 를 동적으로 고용하고 작업을 할당합니다.
   • 검증 (Apollo): 독립적으로 결과를 평가하여 통과/불합격을 결정합니다. 불합격 시 구조화된 피드백을 제공하여 수정 사이클을 트리거합니다. (개발과 QA 의 역할을 분리하여 편향을 방지)

2. 자기 조직화 에이전트 팀 (Self-Organizing Agent Teams):

   • 3 명의 관리자 에이전트 (Athena, Ares, Apollo) 만 영구적으로 존재합니다.
   • 작업자 에이전트는 마일스톤의 요구사항에 따라 관리자가 동적으로 **고용 (Hire), 전문화 (Specialize), 재배치, 은퇴 (Retire)**시킵니다.
   • 각 작업자는 '기술 파일 (Skill file)'로 정의되며, 프로젝트의 필요에 따라 팀 구성이 유연하게 변합니다.

3. 비동기 인간 감독 (Asynchronous Human Oversight):

   • 웹 기반 모니터링 대시보드를 통해 사용자는 프로젝트 진행 상황을 실시간으로 확인하고, 이슈를 제기할 수 있습니다.
   • 사용자의 개입은 에이전트의 현재 작업을 중단시키지 않고, 다음 자연스러운 전환점 (마일스톤 경계 등) 에서 관리자가 이를 흡수하여 반영되도록 설계되었습니다.

4. 지속적 상태 관리 및 예산 제어:

   • SQLite 기반의 이슈 트래커와 로컬 스토리지를 통해 세션 간 컨텍스트, 결정 이력, 비용 장부를 영구적으로 저장합니다.
   • 24 시간 롤링 예산 제한을 두어 비용 초과를 방지하고, 예산이 부족할 경우 에이전트 간 대기 시간을 조정하는 적응형 스케줄링을 수행합니다.

3. 주요 기여 (Key Contributions)

1. TheBotCompany 프레임워크: 지속적이고 마일스톤 기반의 개발을 지원하는 오픈소스 오케스트레이션 프레임워크와 비동기적 인간 감독 모델을 구현했습니다.
2. 자기 조직화 팀 모델: 고정된 역할 대신, 마일스톤 요구사항에 따라 동적으로 팀을 구성하고 해체하는 적응형 인력 구성 모델을 제시했습니다.
3. 실증적 평가: 실제 소프트웨어 프로젝트 (4 개) 와 벤치마크 (ProjDevBench) 를 통해 장기간 운영 시의 적응 패턴, 검증 주도 품질 향상, 비용 효율성, 그리고 미래 시스템 설계에 대한 실용적 교훈을 도출했습니다.

4. 실험 결과 (Results)

저자들은 4 개의 실제 프로젝트 (M2Sim, GroundDB, RustLaTex, PyInterpreter) 와 ProjDevBench 의 5 개 난이도 높은 문제에 대해 TheBotCompany 를 평가했습니다.

• 지속적 개발 효과성 (RQ1): 4 개 프로젝트 모두에서 인간의 개입 없이 164 개의 마일스톤과 616 개의 사이클을 성공적으로 완료하며, 퇴화 상태 (Degenerate state) 없이 진전을 이뤘습니다.
• 단일 에이전트 대비 성능 (RQ2): ProjDevBench 벤치마크에서 TheBotCompany(단일 모델 Claude Sonnet 4.5 기반) 는 동일한 모델을 사용하는 단일 에이전트 (Claude Code) 보다 평균 실행 점수에서 +9.6 점, 전체 점수에서 +10.7 점 더 높은 성능을 보였습니다. 특히 복잡한 문제 (P3, P17) 에서 반복적 개선이 필요한 경우 다중 에이전트 조율이 큰 우위를 점했습니다. (단, 단순한 문제에서는 오버헤드로 인해 단일 에이전트가 더 효율적이었습니다.)
• 검증 단계의 역할 (RQ3): Apollo(검증 에이전트) 는 명확한 기준이 없는 반복적 품질 목표 (예: 렌더링 유사도) 에서 18.6% 의 높은 불합격률을 보이며 결함을 적발했습니다. 이는 피드백 루프를 통해 '반대 패턴 (Anti-pattern)' 지식을 축적하고 향후 탐색 공간을 제한하는 데 기여했습니다.
• 비용 분석 (RQ4): 총 비용의 약 **70.6%**가 실제 구현 작업 (Worker) 에 사용되었으며, 오케스트레이션 오버헤드는 약 9.8% 로 안정적이었습니다. 단일 에이전트 대비 토큰 소비는 약 1.65 배 많았으나, 복잡한 문제 해결 능력 향상과 균형을 이뤘습니다.
• 실패 모드 및 복구 (RQ5): 실패는 주로 도메인 특정 문제 (정확도 회귀 등) 에서 발생했으며, 오케스트레이션 자체의 실패는 드물었습니다. 시스템은 타임아웃이나 도구 오류 시 다음 사이클에서 자동으로 복구되었으며, 해결 불가능한 문제에 대해서는 에이전트가 스스로 종료 결정을 내리는 '자기 인식 (Self-aware termination)' 기능을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 논문은 단순한 코드 생성을 넘어, 실제 소프트웨어 공학의 수명 주기를 모방한 장기적 다중 에이전트 시스템의 가능성을 입증했습니다.

• 구조적 설계의 중요성: 모델의 능력뿐만 아니라, 단계 분리 (Phase Separation), 지속적 상태 (Persistent State), **분리된 검증 (Decoupled Verification)**과 같은 구조적 선택이 장기적 개발 성공에 결정적임을 보였습니다.
• 적용 범위: 다중 에이전트 조율은 구현이 한 세션으로 끝날 수 없거나, 품질 기준이 연속적/반복적인 프로젝트에서 가장 효과적입니다.
• 미래 방향: 인간과 에이전트 간의 적절한 감독粒度 (Granularity) 와 비용 효율적인 조율 전략에 대한 연구가 필요함을 시사합니다.

결론적으로 TheBotCompany 는 자동화된 소프트웨어 개발이 단기적인 작업 완료를 넘어, 수주에서 수개월에 걸친 복잡한 프로젝트의 진화와 유지보수를 가능하게 하는 새로운 패러다임을 제시합니다.