EVOLVEROUTER: 다중 에이전트 질문 응답을 위한 라우팅과 프롬프트의 공진화 (Co-Evolving)

이 논문은 대규모 언어 모델 (LLM) 기반 에이전트들이 상호 보완적인 강점을 가지고 있음을 인식하고, 기존 다중 에이전트 질문 응답 (QA) 시스템의 한계를 극복하기 위해 제안된 EVOLVEROUTER 프레임워크를 소개합니다.

1. 문제 정의 (Problem)

기존의 다중 에이전트 라우팅 및 협업 방법론은 두 가지 주요 한계에 직면해 있습니다.

1. 고정된 에이전트 풀 (Fixed Agent Pool): 기존 연구들은 에이전트들의 성능을 개선하지 않은 채, 주어진 에이전트 풀 내에서 어떤 에이전트를 선택할지 (라우팅) 만 최적화합니다. 그러나 LLM 의 성능은 프롬프트의 미세한 변화에 매우 민감하며, 특히 중소규모 모델이나 특정 역할 (Role) 에서 프롬프트 최적화가 부재할 경우 라우팅만으로는 협업의 잠재력을 완전히 끌어낼 수 없습니다.
2. 경직된 협업 구조 (Rigid Collaboration Schemes): 대부분의 방법은 모든 쿼리에 대해 고정된 수의 에이전트를 사용하거나 단일 에이전트만 선택합니다. 이는 불필요한 계산 자원을 낭비하거나 (관련 없는 에이전트 포함), 필요한 경우 충분한 전문가 집단을 활용하지 못하게 합니다. 쿼리의 난이도에 따라 참여하는 에이전트의 수와 역할을 동적으로 조절하는 적응형 구조가 부재합니다.

2. 방법론 (Methodology)

EVOLVEROUTER 는 **라우팅 (Routing)**과 **에이전트 프롬프트 개선 (Prompt Refinement)**을 폐쇄 루프 (Closed-loop) 공진화 과정으로 결합하고, 적응형 추론 (Adaptive Inference) 전략을 도입합니다.

2.1. 폐쇄 루프 공진화 (Closed-Loop Co-Evolution)

이 과정은 두 단계가 교대로 반복되며 수행됩니다.

• 단계 1: 라우터 훈련 및 진단 (Router Training & Diagnostics)

  • 지식 그래프 (KG) 구성: 각 QA 인스턴스를 쿼리, 에이전트, 엔티티 노드와 다양한 관계 (쿼리-엔티티, 에이전트-엔티티 등) 로 구성된 이종 지식 그래프로 변환합니다.
  • RouterGNN: 이종 그래프 신경망 (Heterogeneous GNN) 을 사용하여 쿼리별 에이전트 적합도 점수를 학습합니다.
  • 진단 신호 수집: 모든 에이전트의 성능 (F1 점수) 을 평가하고, 실패 사례 (Failure Archive), 에이전트별 심각도, 라우터 가중치 통계 등을 수집합니다. 이는 이후 프롬프트 개선의 근거가 됩니다.

• 단계 2: 폐쇄 루프 프롬프트 정제 (Closed-Loop Prompt Refinement)

  • 타겟 선정: 단순히 성능이 낮은 에이전트를 고르는 것이 아니라, 라우터가 많이 의존하지만 (High Weight) 성능이 낮은 (Low F1) 에이전트를 우선적으로 선정합니다. 또한, 특정 백본 모델만의 문제가 아닌 역할 (Role) 전반의 약점을 필터링합니다.
  • 프롬프트 재작성 (Rewriting): 선정된 에이전트의 실패 사례와 진단 데이터를 기반으로 LLM 을 이용해 프롬프트를 재작성합니다. 핵심 전략은 유지하되, 명확성을 높이고 오류 패턴을 교정하는 방향으로 제한적으로 수정합니다.
  • 검증 및 업데이트: 재작성된 프롬프트는 검증 세트를 통해 평가되며, 성능이 향상된 경우만 채택됩니다. 이후 업데이트된 에이전트 풀을 기반으로 라우터를 미세 조정 (Fine-tuning) 합니다. 이 과정에서 초기 라우팅 지식을 유지하기 위해 처음부터 다시 학습하는 것이 아닌 체크포인트에서 재개합니다.

2.2. 적응형 추론 (Adaptive Inference via Answer Agreement)

추론 단계에서는 고정된 에이전트 수 대신 쿼리별 동적 협업 크기를 결정합니다.

• 순위 기반 질의: 학습된 라우터가 예측한 에이전트 순위대로 에이전트를 순차적으로 질의합니다.
• 가중치 기반 합의 (Weighted Agreement): 질의된 에이전트들의 답변과 라우터 가중치를 바탕으로 '합의 점수 (Agreement Score)'를 계산합니다.
• 동적 중단: 미리 설정된 최소 에이전트 수 ($k_{min}$) 이상을 질의한 후, 합의 점수가 임계값 ($\tau$) 을 초과하면 즉시 추론을 중단합니다. 이는 쉬운 질문에는 적은 에이전트만, 어려운 질문에는 더 많은 에이전트를 활용하여 계산 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 라우팅과 에이전트 전문성의 공진화: 정적인 에이전트 행동을 개선하기 위해, 라우터의 진단 신호로 에이전트 프롬프트를 개선하고, 개선된 에이전트가 라우터 학습을 위한 더 깨끗한 감독 신호를 제공하는 폐쇄 루프 프레임워크를 제안했습니다.
2. 동적 에이전트 선택을 통한 적응형 협업: 고정된 풀이나 단일 에이전트 선택의 한계를 넘어, 라우터 순위와 답변 합의도를 기반으로 쿼리별 최적의 협업 규모 ($K$) 를 동적으로 결정하는 메커니즘을 도입했습니다.
3. 종합적인 실험 및 분석: 5 개의 QA 벤치마크에서 SOTA 라우팅 베이스라인을 일관되게 능가하는 성능을 입증했으며, 폐쇄 루프 정제와 적응형 협업의 효과를 검증했습니다.

4. 실험 결과 (Results)

• 벤치마크: HotpotQA, 2WikiMultihopQA, NewsQA, TriviaQA, NGQA 등 5 개 데이터셋.
• 성능: EVOLVEROUTER 는 F1 및 Exact Match (EM) 지표에서 모든 기존 라우팅 베이스라인 (Heuristic, Training-free, Adaptive, Structure-aware 등) 을 능가했습니다. 특히 TriviaQA 에서 AgentRouter 대비 F1 7.08, EM 8.67 포인트의 큰 개선을 보였습니다.
• 안정성: 프롬프트 최적화를 통해 시스템의 일관성이 향상되어, TriviaQA 의 F1 표준편차가 3.69 에서 0.32 로 크게 감소했습니다.
• 효율성: 적응형 $K$ 전략을 통해 전체 에이전트 풀 (24 개) 대비 평균 질의 수를 2.97.4 개로 줄여 **6988% 의 계산 비용 절감** 효과를 얻으면서도 성능은 유지하거나 향상되었습니다.
• 애블레이션 연구: 프롬프트 최적화 (PO) 가 전체 성능 향상의 주된 동인이었으며, 적응형 $K$ 는 이를 보완하는 역할을 했습니다. 또한, 라우팅 지식은 데이터셋 간 전이가 어렵지만, 최적화된 프롬프트는 부분적인 전이 효과를 보였습니다.

5. 의의 및 결론 (Significance)

EVOLVEROUTER 는 다중 에이전트 시스템 설계에 있어 **'어떤 에이전트를 선택할 것인가 (Routing)'**와 **'에이전트를 어떻게 구성할 것인가 (Prompting)'**가 분리된 문제가 아님을 보여줍니다. 이 두 요소가 상호 의존적으로 진화할 때 가장 큰 시너지를 낼 수 있음을 입증했습니다.

또한, 고정된 협업 구조에서 벗어나 쿼리의 복잡도에 따라 자원을 동적으로 할당하는 적응형 메커니즘을 통해, 고성능과 고효율을 동시에 달성하는 새로운 패러다임을 제시했습니다. 이는 제한된 컴퓨팅 자원을 가진 실제 환경에서 LLM 에이전트 시스템을 배포할 때 매우 실용적인 해결책이 될 것입니다.