Can AI Models Direct Each Other? Organizational Structure as a Probe into Training Limitations

논문 개요

이 연구는 고비용의 AI 모델 (Manager) 이 저비용의 AI 모델 (Worker) 을 지시하여 소프트웨어 엔지니어링 (SWE) 태스크를 해결할 수 있는지, 그리고 이러한 조직적 구조가 현재 언어 모델의 훈련 한계를 어떻게 드러내는지 탐구합니다. 저자는 단일 에이전트 (IC, Individual Contributor) 방식의 한계를 극복하기 위해 인간 조직의 '매니저 - 워커' 구조를 AI 에이전트 설계에 적용한 MANAGERWORKER 파이프라인을 제안하고 실험했습니다.

1. 문제 정의 (Problem)

• 현재의 한계: 기존 AI 코딩 에이전트 (SWE-agent, OpenHands 등) 는 대부분 단일 모델이 요구사항 분석부터 코드 실행, 리뷰까지 전 과정을 수행하는 '단일 에이전트 (Monolithic Agent)' 방식입니다.
• 질문: 고비용의 강력한 모델이 모든 작업을 수행하는 대신, 저렴한 모델이 실행을 담당하고 강력한 모델이 지시 및 리뷰만 수행하는 '비대칭적 역할 분담'이 비용 효율성과 성능을 동시에 개선할 수 있는가?
• 핵심 가설: 조직적 구조 (매니저 - 워커) 는 모델의 능력 차이를 활용하여 비용은 줄이고 품질은 유지할 수 있으며, 이는 모델의 훈련 분포 (Training Distribution) 와의 불일치를 해결하는 열쇠가 될 수 있다.

2. 방법론: MANAGERWORKER 파이프라인

연구팀은 두 가지 비대칭적인 역할을 가진 에이전트와 4 단계의 반복적 루프로 구성된 파이프라인을 설계했습니다.

• 역할 분담:
  • Manager (고비용 모델, 텍스트 전용): 리포지토리 접근 권한이 없음. 이슈 분석, 탐험 (Exploration) 태스크 지시, 실행 결과 리뷰, 구현 계획 수립, 수정 피드백 제공을 담당합니다.
  • Worker (저비용 모델, 풀 액세스): 리포지토리 전체 접근 및 코드 실행 권한 보유. Manager 의 지시에 따라 파일 탐색, 코드 수정, 테스트 실행 등을 수행합니다.
• 프로세스 (4 단계, 2 개의 반복 루프):
  1. 분석 (Analysis): Manager 가 이슈를 분석하여 2~3 개의 구체적인 탐험 태스크를 생성합니다.
  2. 탐험 루프 (Exploration Loop, 최대 3 회): Worker 가 태스크를 병렬로 실행하고 자연어 보고서를 작성합니다. Manager 는 보고서를 검토하여 추가 탐험이 필요한지, 아니면 구현 계획 (Plan) 을 수립할지 결정합니다.
  3. 계획 (Planning): Manager 는 탐험 결과를 바탕으로 구체적인 구현 계획 (파일, 위치, 코드 변경 사항) 을 수립합니다.
  4. 구현 루프 (Implementation Loop, 최대 3 회):
     • 1 회차 (Guided): Worker 는 Manager 의 계획을 바탕으로 자율적으로 코드를 작성합니다.
     • 2 회차 이후 (Strict): Manager 가 패치를 리뷰하여 오류를 지적하면, Worker 는 Manager 의 수정 지시를 엄격하게 따릅니다.
     • 이 'Guided-then-Strict' 전략은 Worker 의 자율성과 Manager 의 통제력을 균형 있게 조절합니다.

3. 주요 기여 (Key Contributions)

1. MANAGERWORKER 파이프라인 제안: SWE 태스크에 인간 조직의 IC/Manager 구조를 적용하고, 탐험과 구현에 대한 반복적 감독 루프를 도입했습니다.
2. 품질 - 비용 트레이드오프 분석: 200 개의 SWE-bench Lite 인스턴스를 대상으로 5 가지 설정 (강력한 단일 에이전트, 약한 단일 에이전트, 약한 매니저 + 약한 워커 등) 을 비교했습니다.
3. 구조의 가치 규명: 단순한 리뷰 (Simple Loop) 와 구조화된 지시 (Full Pipeline) 의 차이를 분석하여, Manager 의 핵심 가치는 '리뷰'가 아니라 '지시 (Direction)'와 '계획'에 있음을 증명했습니다.
4. 훈련 분포에 대한 진단: 현재 모델들이 '단일 에이전트'로 훈련되었기 때문에, 역할 분담 시 발생하는 실패 원인 (할루시네이션, 지시 불이행 등) 을 규명하고 이를 우회하는 설계 전략을 제시했습니다.

4. 실험 결과 (Results)

SWE-bench Lite 200 개 인스턴스 기준 주요 결과는 다음과 같습니다.

• 핵심 발견 1: 강력한 Manager 가 약한 Worker 를 지시하면 (62%), 강력한 단일 에이전트 (60%) 와 유사한 성능을 내면서 강력한 모델의 토큰 사용량을 약 5 배 줄일 수 있습니다. (고비용의 추론 능력이 고비용의 실행을 대체함)
• 핵심 발견 2: 능력 격차 (Capability Gap) 가 필수적입니다. Manager 와 Worker 모두 약할 경우 (Weak→Weak), 구조적 오버헤드만 발생하여 성능이 오히려 떨어집니다.
• 핵심 발견 3: Manager 의 가치는 단순한 '리뷰'가 아니라 '구조화된 지시 (탐험 및 계획)'에 있습니다. 단순 리뷰 루프 (53%) 보다 구조화된 파이프라인 (62%) 이 훨씬 효과적입니다.
• 비용 효율성: MANAGERWORKER 는 전체 토큰의 약 90% 를 저렴한 Worker 모델로 전환하면서도 높은 해결율을 달성했습니다.

5. 분석 및 의미 (Analysis & Significance)

A. 훈련 분포의 불일치 (The Training Distribution Mismatch)

현재의 LLM 은 '단일 에이전트'로 훈련되어 있습니다. 즉, 분석, 실행, 리뷰를 하나의 컨텍스트에서 수행하도록 학습되었습니다. 이를 Manager/Worker 로 분리하면 다음과 같은 문제가 발생합니다.

• Manager 의 문제: 리포지토리 접근 권한을 주면, 훈련된 대로 파일을 직접 읽어서 결론을 내리려 합니다 (할루시네이션). 따라서 텍스트 전용 (Text-only) 으로 제한하여 추상적 추론과 위임을 강제해야 합니다.
• Worker 의 문제: 지시를 받으면 실행 대신 "내가 이렇게 할 계획입니다"라는 설명을 생성하는 경향이 있습니다. 따라서 구체적이고 엄격한 (Strict) 지시가 필요합니다.
• 약한 모델의 한계: 약한 모델은 지시 (Delegation) 라는 인지적 태스크를 수행할 능력이 부족합니다. 잘못된 계획을 세우고 Worker 가 이를 따르면서 오류가 증폭됩니다.

B. 파이프라인이 작동하는 이유

이 구조가 성공한 이유는 모델의 훈련 분포를 '극복'한 것이 아니라, 우회 (Design-around) 했기 때문입니다.

1. Manager: 텍스트 생성 (훈련 분포와 일치) 에만 집중.
2. Worker: 도구 호출 및 실행 (훈련 분포와 일치) 에만 집중.
3. 코드 (Pipeline): 조직적 구조, 단계 전환, 반복 루프 등 모델이 스스로 유지하기 어려운 구조를 코드로 외부화 (Externalize) 했습니다.

C. 시사점 및 향후 방향

• 훈련 데이터의 개선 필요: 현재 모델은 '위임 (Delegation)'과 '범위 내 실행 (Scoped Execution)' 능력이 부족합니다. 매니저 - 워커 대화, 코드 리뷰, 기술 명세서 등의 데이터로 추가 훈련이 필요합니다.
• 모드 전환 (Mode Switching): 탐험 단계와 실행 단계에서 모델이 스스로 행동을 전환할 수 있도록 훈련해야 합니다. (현재는 프롬프트 엔지니어링으로 이를 우회함)
• 실무 적용: 고비용 모델의 추론 능력을 활용하고 저비용 모델의 실행 능력을 활용하는 '하이브리드 에이전트' 설계가 비용 효율적인 SWE 자동화의 핵심이 될 수 있습니다.

결론

이 논문은 AI 모델 간의 지시 관계가 단순한 역할 분담을 넘어, 모델의 훈련 한계를 드러내는 진단 도구임을 보여줍니다. MANAGERWORKER는 강력한 모델의 추론 능력과 약한 모델의 실행 능력을 결합하여 비용 대비 최고의 성능을 달성했으나, 이는 모델이 훈련된 방식 (단일 에이전트) 과 충돌하지 않도록 구조를 외부화 (코드화) 했기 때문에 가능했습니다. 향후 더 효과적인 다중 에이전트 시스템을 위해서는 '위임'과 '범위 내 실행'을 위한 전용 훈련이 필수적입니다.