Verified Multi-Agent Orchestration: A Plan-Execute-Verify-Replan Framework for Complex Query Resolution

이 논문은 복잡한 쿼리 해결을 위해 하위 질문의 DAG 기반 병렬 실행, LLM 기반 검증, 그리고 적응적 재계획을 통합한 '검증 기반 다중 에이전트 오케스트레이션 (VMAO)' 프레임워크를 제안하며, 이를 통해 단일 에이전트 대비 답변의 완전성과 소스 품질을 크게 향상시켰음을 보여줍니다.

핵심

복잡한 질문을 해결하는 '검증된 멀티 에이전트 오케스트레이션 (VMAO)' 설명

이 논문은 인공지능 (AI) 이 혼자서 복잡한 문제를 해결하려다 실패할 때, 여러 명의 전문가 AI 팀이 협력하고, 중간에 감독자가 확인하며, 부족하면 다시 계획하는 새로운 방식을 소개합니다.

이 기술을 쉽게 이해할 수 있도록 **'고급 탐정 사무소'**와 **'건축 현장'**에 비유해서 설명해 드릴게요.

---

1. 문제: 혼자서 모든 걸 하려는 AI 의 한계

기존의 AI 는 보통 '혼자서 모든 걸 해결하려는 천재'처럼 작동합니다. 복잡한 질문 (예: "우리 회사의 서비스 질이 왜 떨어졌고, 이게 수익에 어떤 영향을 미쳤을까?") 을 받으면, 한 명의 AI 가 모든 정보를 찾아서 분석하고 답을 내놓으려 합니다.

하지만 이는 마치 혼자서 고층 빌딩을 짓는 건축가와 같습니다. 자재도 구하고, 설계도 하고, 시공까지 다 하려다 보니 실수가 생기거나, 중요한 자료가 빠질 수 있습니다.

2. 해결책: VMAO (검증된 멀티 에이전트 오케스트레이션)

이 논문이 제안한 VMAO는 전문가들로 구성된 탐정 사무소를 운영합니다.

🕵️‍♂️ 1 단계: 계획 세우기 (Plan) - "작업 지시서 작성"

복잡한 질문을 받으면, 팀장 AI 가 이를 작은 조각으로 나눕니다.

• 비유: "이 사건을 해결하려면 A 형사는 고객 불만 기록을, B 형사는 경쟁사 동향을, C 형사는 재무 데이터를 조사해야 해."
• 이때 각 조사 과제는 **의존 관계 (DAG)**를 가집니다. (예: "재무 데이터 분석은 고객 불만 기록을 먼저 봐야 해"처럼 순서를 정합니다.)

⚡ 2 단계: 실행하기 (Execute) - "동시 작업"

각 형사 (전문가 AI) 들이 동시에 일을 시작합니다.

• 비유: 한 명만 일하는 게 아니라, 3~4 명이 동시에 자료를 찾아옵니다. 한 명이 자료를 찾으면, 그 내용은 다음 단계의 동료에게 자동으로 전달됩니다.

🔍 3 단계: 검증하기 (Verify) - "감독관의 점검"

여기가 이 시스템의 가장 중요한 핵심입니다. 모든 형사가 일을 끝냈다고 해서 바로 결론을 내지 않습니다.

• 비유: **엄격한 감독관 (Verifier)**이 와서 "자, A 형사, 고객 불만 기록을 다 찾았니? B 형사, 경쟁사 자료는 빠진 게 없니?"라고 확인합니다.
• 감독관은 AI 가 만든 답이 완벽한지, 중요한 부분이 빠진 건 아닌지를 평가합니다.

🔄 4 단계: 재계획하기 (Replan) - "빠진 부분 채우기"

만약 감독관이 "아, 경쟁사 자료에 2023 년 데이터가 빠져있네!"라고 지적하면?

• 비유: 팀은 즉시 "2023 년 경쟁사 자료를 찾아오는 미션"을 새로 추가하거나, 실수한 형사에게 "다시 찾아와"라고 지시합니다.
• 이 과정을 검증이 끝날 때까지 반복합니다.

📝 5 단계: 종합하기 (Synthesize) - "최종 보고서 작성"

모든 조사가 완벽하게 끝났다고 판단되면, 팀장 AI 가 모든 정보를 모아 최종 보고서를 작성합니다. 이때 출처를 명확히 밝힙니다.

---

3. 왜 이 방식이 더 좋은가요? (결과)

이 논문은 실제 시장 조사 (시장 분석, 경쟁사 분석 등) 질문 25 가지를 가지고 실험했습니다.

• 기존 방식 (혼자 하는 AI): 답이 3.1 점 (5 점 만점) 정도 나왔고, 출처가 명확하지 않아 신뢰도가 2.6 점이었습니다.
• VMAO 방식 (팀 + 검증): 답의 완성도가 4.2 점으로 크게 올랐고, 출처의 신뢰도도 4.1 점으로 높아졌습니다.

핵심 비유:

• 기존 방식: 혼자서 급하게 만든 보고서. 빠진 내용이 많고, 어디에서 가져온 정보인지 모호함.
• VMAO 방식: 팀원들이 서로의 작업을 점검하고, 빠진 부분을 채워 넣은 후, 감독관이 최종 확인을 한 완벽한 보고서.

4. 언제 멈출까? (비용과 품질의 균형)

무한정 반복하면 비용이 너무 많이 듭니다. 그래서 시스템은 5 가지 조건을 보고 멈춥니다.

1. 완성도 80%: 더 이상 중요한 게 없으면 멈춤.
2. 높은 확신: 이미 답이 확실하면 멈춤.
3. 수익 감소: 더 찾아도 달라지는 게 없으면 멈춤.
4. 예산 제한: 돈 (토큰 비용) 이 다 떨어지면 멈춤.
5. 최대 반복 횟수: 3 번만 시도하고 멈춤.

5. 결론

이 기술은 **"혼자서 완벽하게 하려고 애쓰는 것보다, 팀을 꾸리고 중간중간 점검하며 부족한 부분을 채워가는 것"**이 훨씬 더 똑똑하고 신뢰할 수 있는 답을 준다는 것을 증명했습니다.

특히 **"무엇을 찾아야 할지 처음부터 정확히 알기 어려운 복잡한 질문"**일수록 이 방식이 빛을 발합니다. 마치 미스터리 사건을 해결할 때, 한 명의 형사보다 팀을 꾸리고 서로의 실수를 잡아주는 것이 더 빠르고 정확한 해결책을 찾는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 기반의 멀티 에이전트 시스템은 복잡한 작업을 해결하기 위해 발전하고 있으나, 다음과 같은 주요 과제가 존재합니다.

• 조정 (Coordination) 의 어려움: 이질적인 소스와 다양한 분석 전문성이 필요한 복잡한 쿼리에 대해, 에이전트들을 어떻게 조직하고 하위 작업에 할당할지 명확한 전략이 부재합니다.
• 품질 보장 및 검증 부재: 기존 프레임워크 (AutoGen, MetaGPT 등) 는 유연한 상호작용을 제공하지만, 결과의 완전성 (Completeness) 을 검증하거나 누락된 정보를 자동으로 식별하여 적응적으로 재계획하는 메커니즘이 부족합니다.
• 인간 개입 의존성: 생산 환경에서 결과물의 신뢰성을 보장하기 위해 지속적인 인간의 감독이 필요한 경우가 많습니다.
• 시장 조사 도메인의 특수성: 내부 데이터, 공개 문서, 뉴스, 경쟁사 보고서 등 다양한 소스에서 정보를 수집하고 모순을 해결하며 통찰력을 도출해야 하는 시장 조사와 같은 도메인에서는 기존 방식이 한계를 보입니다.

2. 방법론 (Methodology)

저자들은 Verified Multi-Agent Orchestration (VMAO) 라는 새로운 프레임워크를 제안합니다. 이는 계획 (Plan) - 실행 (Execute) - 검증 (Verify) - 재계획 (Replan) 의 반복적 루프를 통해 작동합니다.

2.1 아키텍처 및 핵심 프로세스

1. 계획 (Plan):
   • 복잡한 쿼리를 방향성 비순환 그래프 (DAG) 형태의 하위 질문들로 분해합니다.
   • 각 하위 질문에 적절한 에이전트 유형을 할당하고, 의존성 (Dependencies) 과 실행 우선순위를 설정합니다.
   • 에이전트는 3 단계 계층으로 구성됩니다:
     • Tier 1 (데이터 수집): RAG, 웹 검색, 금융/경쟁사 데이터 수집.
     • Tier 2 (분석): 데이터 기반 추론 및 분석.
     • Tier 3 (출력): 문서 생성 및 시각화.
2. 실행 (Execute):
   • DAGExecutor 는 의존성을 고려하여 하위 질문들을 병렬로 실행합니다.
   • 상위 단계의 결과가 하위 단계의 컨텍스트로 자동 전파되도록 설계되었습니다.
3. 검증 (Verify):
   • LLM 기반의 ResultVerifier가 실행 결과의 완전성을 orchestration(오케스트레이션) 수준에서 평가합니다.
   • 각 결과에 대해 '완전/부분/불완전' 상태, 완전성 점수 (0~1), 누락된 요소, 모순 등을 식별합니다.
4. 재계획 (Replan):
   • 검증 단계에서 누락 (Gap) 이 발견되면 AdaptiveReplanner가 작동합니다.
   • 낮은 점수의 하위 질문을 재시도하거나, 누락된 요소를 해결하기 위한 새로운 하위 질문을 생성합니다.
   • 이전의 성공적인 결과는 유지하면서 점진적으로 결과를 정제합니다.
5. 합성 (Synthesize):
   • 중지 조건이 충족되면, 그룹화된 결과를 계층적으로 요약하여 최종 답변과 출처를 명시한 보고서를 생성합니다.

2.2 중지 조건 (Stop Conditions)

자원 효율성과 품질 간의 균형을 위해 5 가지 configurable 중지 조건을 제공합니다:

• 완전성 임계값 도달 (예: 하위 질문의 80% 완료).
• 높은 신뢰도 (Partial coverage 하에서도 신뢰도 75% 이상).
• 체감 수익 감소 (이전 반복 대비 개선폭 <5%).
• 토큰 예산 및 최대 반복 횟수 제한.

3. 주요 기여 (Key Contributions)

1. DAG 기반 의존성 인식 병렬 실행: 하위 질문을 DAG 로 구성하여 의존성을 자동으로 파악하고, 컨텍스트 전파를 통해 효율적인 병렬 처리를 가능하게 합니다.
2. 검증 주도 적응형 재계획 (Verification-Driven Adaptive Replanning): 개별 에이전트 구현과 분리된 오케스트레이션 수준의 LLM 기반 검증기를 통해 결과의 완전성을 평가하고, 누락 시 적응적으로 재계획하는 메커니즘을 도입했습니다.
3. 구성 가능한 중지 조건: 품질과 비용 (리소스) 간의 트레이드오프를 명시적으로 관리할 수 있는 중지 기준을 제공합니다.

4. 실험 결과 (Results)

저자들은 전문가가 선별한 25 개의 시장 조사 쿼리를 사용하여 VMAO 를 평가했습니다. 비교 대상은 단일 에이전트 (Single-Agent) 와 정적 파이프라인 (Static Pipeline) 입니다.

• 성능 향상:
  • 완전성 (Completeness): 단일 에이전트 (3.1 점) 대비 VMAO 는 4.2 점으로 크게 향상되었습니다 (약 35% 증가).
  • 소스 품질 (Source Quality): 단일 에이전트 (2.6 점) 대비 VMAO 는 4.1 점으로 향상되었습니다 (약 58% 증가).
• 도메인별 효과:
  • **전략적 평가 (Strategic Assessment)**와 같은 개방형, 다차원 쿼리에서 가장 큰 개선 (+53% 완전성) 을 보였습니다. 이는 초기 분해에서 누락된 요소를 검증 단계에서 찾아내기 때문입니다.
  • **성능 분석 (Performance Analysis)**과 같이 데이터 소스가 명확한 쿼리에서는 개선폭이 상대적으로 작았습니다.
• 리소스 사용:
  • VMAO 는 단일 에이전트 대비 약 8.5 배의 토큰 (850K vs 100K) 과 실행 시간을 소모했으나, 이는 검증 및 재계획 오버헤드이며 품질 향상을 위한 합리적인 비용으로 판단됩니다.

5. 의의 및 결론 (Significance & Conclusion)

• 오케스트레이션 수준의 검증: 개별 에이전트의 성능 향상이 아닌, 시스템 전체가 원래 쿼리에 대해 충분한 답변을 제공했는지를 평가하는 검증 주도 루프가 멀티 에이전트 시스템의 품질 보증을 위한 효과적인 메커니즘임을 입증했습니다.
• 생산 환경 적용 가능성: 명시적인 조정 메커니즘과 자동화된 품질 검증은 인간의 개입 없이도 신뢰할 수 있는 출력을 생성할 수 있어, 실제 비즈니스 환경 (시장 조사, 금융 분석 등) 에 적용 가능한 프레임워크를 제시합니다.
• 확장성: DAG 분해, 검증, 재계획의 핵심 구성 요소는 도메인에 구애받지 않으므로, 법률 문서 검토나 과학 문헌 조사 등 다른 복잡한 작업 영역으로도 확장 가능합니다.

이 논문은 복잡한 쿼리 해결을 위해 단순한 에이전트 협업이 아닌, 검증과 피드백 루프를 통한 적응적 오케스트레이션의 중요성을 강조하며, 고품질 멀티 에이전트 시스템 구축을 위한 새로운 패러다임을 제시합니다.