Build, Judge, Optimize: A Blueprint for Continuous Improvement of Multi-Agent Consumer Assistants

이 논문은 프로덕션 수준의 AI 장바구니 쇼핑 도구를 위해 다차원 평가 기준과 LLM 기반 심사 파이프라인을 구축하고, GEPA 기반의 개별 에이전트 최적화 및 MAMuT GEPA를 통한 시스템 전체의 다중 턴 최적화 전략을 제시하여 다중 에이전트 소비자 도구의 지속적인 개선 청사진을 마련합니다.

핵심

🛒 배경: "내 장바구니를 도와줘!"라는 주문이 왜 어려운가?

상상해 보세요. 당신이 AI 비서에게 "이번 주 장 봐줘. 평소 먹던 거로, 2 만 원 이하로, 그리고 와인도 하나 고르라고"라고 말합니다.
이때 AI 는 단순히 검색만 하는 게 아니라, 당신의 취향을 기억하고, 재고를 확인하고, 예산을 지키면서 장바구니를 채워야 합니다.

하지만 문제는 AI 가 실수할 때입니다.

• "평소 먹던 거"가 정확히 무엇인지 모를 때,
• 예산을 초과했을 때,
• 와인을 고르다가 알코올 함량이 높은 술을 잘못 골랐을 때...

기존의 AI 는 이런 복잡한 상황을 처리하느라 고군분투했습니다. 이 논문은 바로 이 복잡한 쇼핑 AI 팀을 어떻게 평가하고 최적화할지 해결책을 제시합니다.

---

📋 1 단계: "심사위원"을 세우다 (평가 기준 만들기)

먼저, AI 가 잘했는지 나빴는지 판단할 **엄격한 심사 기준 (Rubric)**을 만들었습니다. 이를 4 가지 영역으로 나누었습니다.

1. 장보기 실행 (Shopping Execution): 필요한 물건을 다 샀나요? 예산을 지켰나요?
2. 개인화 (Personalization): 당신이 싫어하는 채소는 넣지 않았나요? 좋아하는 브랜드를 골랐나요?
3. 대화 품질 (Conversation Quality): 말이 자연스럽고 논리적인가요?
4. 안전 (Safety): 유해한 내용을 말하거나 위생에 문제가 없는 음식은 추천하지 않았나요?

💡 핵심 아이디어:
과거에는 "AI 가 친절했나요? (1~5 점)"처럼 주관적으로 점수를 매겼다면, 이번 연구는 **"실제로 장바구니에 담긴 물건이 맞나요? (O/X)"**처럼 구체적인 사실로만 점수를 매기게 했습니다.

그리고 이 점수를 매기는 **심사위원 (LLM-as-Judge)**을 훈련시켰습니다. 인간 심사위원과 AI 심사위원의 의견이 84% 에서 91% 이상으로 맞춰지도록 'GEPA'라는 도구를 써서 심사위원의 눈을 똑똑하게 만든 것입니다.

---

🤖 2 단계: 두 가지 최적화 전략 (AI 팀을 어떻게 훈련시킬까?)

이제 점수가 나오는 '심사위원'을 바탕으로 AI 팀을 훈련시킵니다. 두 가지 방법이 있습니다.

방법 A: "개별 선수 훈련" (Sub-agent GEPA)

• 비유: 축구팀에서 공격수만 골키퍼 연습을 시키고, 수비수는 공격 연습을 시키는 방식입니다.
• 방식: AI 팀을 여러 명으로 나누어 (검색 담당, 장바구니 담당, 대화 담당), 각자 맡은 일만 잘하도록 따로따로 훈련시킵니다.
• 결과: 개별 실수는 줄어들지만, 팀워크 문제는 해결되지 않습니다.
  • 예: 검색 담당이 너무 많은 정보를 가져와서 대화 담당이 말문이 막히는 경우, 혹은 장바구니 담당이 검색 담당의 정보를 제대로 못 받아서 실수하는 경우.

방법 B: "팀 전체 훈련" (MAMUT GEPA) - 이 논문의 하이라이트!

• 비유: 축구 감독이 팀 전체를 한 번에 훈련시키는 방식입니다. 공격수, 수비수, 골키퍼가 서로 어떻게 협력해야 골을 넣을지, 실수를 막을지 함께 연습합니다.
• 방식: 모든 AI 팀원들의 말과 행동을 한 번에 시뮬레이션 (가상 실행) 해보고, 전체적인 결과 (장바구니 완성도) 가 좋으면 점수를 줍니다.
• 효과: 개별 실수뿐만 아니라, 팀원 간의 오해와 소통 실수까지 해결합니다.
  • 실제 성과: 이 방법으로 훈련한 AI 는 **안전성 (Safety)**과 대화 품질에서 훨씬 큰 향상을 보였습니다. 특히 "개인화" 부분에서, 검색 담당이 찾아온 정보를 대화 담당이 잘 전달하는 등 팀워크가 획기적으로 좋아졌습니다.

---

🏆 결론: 왜 이 연구가 중요한가?

이 논문은 "AI 가 혼자 일하는 게 아니라, 여러 AI 가 팀을 이뤄 일할 때" 어떻게 해야 실패를 줄이고 성공할 수 있는지 보여줍니다.

• 기존 방식: 각자 잘하라고 가르치면, 팀워크는 망가질 수 있음.
• 이 논문의 방식: **전체 시나리오 (Trajectory)**를 보고 점수를 매겨, 팀 전체가 협력하도록 훈련시킴.

마치 훌륭한 슈퍼마켓 매니저가 각 직원의 업무 능력만 보는 게 아니라, 고객이 만족하며 장을 보고 나가는 전체 과정을 보고 팀을 지휘하는 것과 같습니다.

이 연구는 앞으로 우리가 쇼핑, 여행, 의료 등 복잡한 일을 AI 에게 맡길 때, AI 가 단순히 "말은 잘하는" 수준을 넘어, 실제로 "일을 잘해내는" 생산적인 파트너가 될 수 있는 길을 열어주었습니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반의 대화형 쇼핑 어시스턴트 (CSA) 는 단말기 검색에서 협업적 대화 경험으로 진화하고 있습니다. 하지만 프로토타입을 실제 생산 환경 (Production) 으로 전환할 때 두 가지 주요 과제가 드러납니다.

• 복잡한 다중 턴 상호작용 평가의 부재: 기존 검색 및 랭킹 지표는 다중 턴 (Multi-turn) 대화의 질을 평가하기에 부족합니다. 특히 식료품 쇼핑은 사용자의 요구사항이 모호하고 ("평소 구매하는 것"), 예산 및 재고 제약이 있으며, 선호도에 민감하여 평가가 어렵습니다.
• 강하게 결합된 멀티 에이전트 시스템 최적화의 어려움: 개별 서브 에이전트 (Sub-agent) 를 최적화한다고 해서 전체 시스템의 성능이 향상된다는 보장이 없습니다. 에이전트 간의 긴밀한 결합 (Coupling) 으로 인해 지연된 효과 (Delayed effects) 와 상호작용 오류가 발생하며, 어떤 에이전트의 오류가 전체 트래젝토리 (Trajectory) 에 영향을 미치는지 파악하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 실제 생산 환경의 식료품 어시스턴트인 MAGIC (Multi-Agent Grocery Intelligent Concierge) 를 사례 연구로 삼아 평가 및 최적화를 위한 통합 프레임워크를 제시합니다.

A. 다면적 평가 루브릭 및 LLM-as-Judge 파이프라인

• 구조화된 루브릭 (Rubric): 시스템 품질을 4 가지 직교 도메인으로 분해하여 평가합니다.
  1. 쇼핑 실행 (Shopping Execution): 장바구니 완성도, 수량 정확성, 중복 제거 등 (가중치 50%).
  2. 개인화 및 컨텍스트 (Personalization & Context): 선호도 반영, 기억 유지 (가중치 20%).
  3. 대화 품질 (Conversational Quality): 명확성, 정보 정확성, 흐름 (가중치 10%).
  4. 안전 및 준수 (Safety & Compliance): 정책 위반 여부 (가중치 20%, 필수 조건).
• 보정된 LLM-as-Judge: 모호한 순위 매기기가 아닌, 관찰 가능한 트레일 (Trace) 증거에 기반한 이진 (Boolean) 체크 방식을 도입하여 점수의 결정론적 (Deterministic) 성을 확보했습니다.
• GEPA 를 통한 보정: 인간 라벨러와의 일치를 높이기 위해 GEPA (Prompt Optimizer) 를 사용하여 판사 (Judge) 의 프롬프트를 최적화했습니다. 그 결과 인간과의 일치율이 84.1% 에서 91.4% 로 향상되었습니다.

B. 에이전트 최적화 전략 비교

최적화 목표는 기존 모델을 재학습 (Retraining) 하지 않고 프롬프트 수준에서 개선하는 것입니다. 두 가지 전략을 비교했습니다.

1. Sub-agent GEPA (국소 최적화):
   • 각 서브 에이전트 (Orchestrator, Search Agent 등) 를 독립적으로 최적화합니다.
   • 각 에이전트의 호출 (Invocation) 단위에 국소화된 마이크로 루브릭을 적용하여 해당 노드의 오류를 수정합니다.
2. MAMUT GEPA (시스템 수준 최적화):
   • MAMUT (Multi-Agent Multi-Turn) 은 전체 에이전트 시스템의 프롬프트 묶음 (Prompt Bundle) 을 공동으로 최적화합니다.
   • 시뮬레이션 기반: 실제 사용자 로그를 기반으로 한 하이브리드 시뮬레이터를 사용하여, 에이전트 행동이 변경되었을 때 사용자의 다음 응답을 생성하거나 실제 로그를 재사용합니다.
   • 전체 트래젝토리 점수: 개별 에이전트가 아닌 전체 대화 흐름 (Trajectory) 의 루브릭 점수를 최대화하는 방향으로 프롬프트를 조정합니다. 이는 에이전트 간의 트레이드오프 (예: 오케스트레이터의 간결함을 희생하여 검색 에이전트의 정보량 확보) 를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 생산급 CSA 를 위한 평가 프레임워크: 주관적인 품질을 4 가지 도메인으로 세분화하고, LLM 판사를 인간과 91.4% 일치하도록 보정하여 신뢰할 수 있는 엔지니어링 신호 (Reward Signal) 로 변환하는 방법을 제시했습니다.
2. 국소 vs. 시스템 최적화의 한계 규명: 개별 에이전트 최적화만으로는 해결되지 않는 '상호작용 결함 (Interactional Defects)'을 규명했습니다. 특히 안전성 및 대화 품질은 시스템 전체를 함께 최적화해야만 개선됨을 증명했습니다.
3. MAMUT GEPA 제안: 다중 에이전트 시스템의 프롬프트를 다중 턴 시뮬레이션을 통해 공동 최적화하는 새로운 방법론을 제시하고, 실제 생산 환경에서의 유효성을 입증했습니다.
4. 실무 가이드 제공: 루브릭 템플릿과 평가 설계 가이드를 공개하여 다른 실무자들이 생산급 CSA 를 구축하는 데 도움을 줍니다.

4. 결과 (Results)

238 개의 홀드아웃 (Held-out) 트래젝토리 데이터를 기준으로 Sub-agent GEPA 와 MAMUT GEPA 를 비교한 결과는 다음과 같습니다.

• 전체 통과율: MAMUT 이 77.1% → 84.7% 로 크게 향상시킨 반면, Sub-agent GEPA 는 상대적으로 낮은 개선을 보였습니다.
• 도메인별 개선:
  • 안전 및 준수 (Safety & Compliance): MAMUT 이 12.0% 포인트 향상 (76.0% → 88.0%). 개별 최적화 시 에이전트들이 정책 위반을 저지르는 경우가 많았으나, 시스템 최적화로 이를 해결했습니다.
  • 대화 품질 (Conversational Quality): 8.0% 포인트 향상.
  • 개인화 (Personalization): 6.8% 포인트 향상. 오케스트레이터가 검색된 선호도를 하위 에이전트에 올바르게 전달하도록 최적화된 결과입니다.
  • 쇼핑 실행 (Shopping Execution): 6.0% 포인트 향상.

핵심 통찰: Sub-agent GEPA 는 '원자적 오류 (Atomic failures, 예: 도구 사용 오류)'를 해결하는 데 효과적이지만, 에이전트 간의 조율 실패나 컨텍스트 누락과 같은 '상호작용적 결함'을 해결하려면 MAMUT 과 같은 시스템 수준의 최적화가 필수적입니다.

5. 의의 (Significance)

이 논문은 대화형 AI 시스템, 특히 선호도가 민감하고 모호성이 높은 도메인 (식료품 쇼핑 등) 에서 평가 (Evaluation) 를 최우선으로 하는 방법론의 중요성을 강조합니다.

• 신뢰할 수 있는 피드백 루프: LLM 판사를 인간과 정렬시켜 자동화된 평가 시스템을 구축함으로써, 대규모 생산 환경에서의 지속적인 학습 (Continuous Learning) 을 가능하게 합니다.
• 멀티 에이전트 시스템 설계의 패러다임 전환: 개별 에이전트의 성능 향상이 전체 시스템의 성공을 보장하지 않음을 보여주며, 에이전트 간의 결합 (Coupling) 을 고려한 전체 시스템 최적화 (Holistic Optimization) 의 필요성을 강조합니다.
• 실용성: 이론적 모델이 아닌 실제 DoorDash 와 같은 대규모 플랫폼의 생산 환경 데이터를 기반으로 하여, 실제 비즈니스 적용 가능성을 높게 평가받습니다.

요약하자면, 이 논문은 "Build(시스템 구축), Judge(정교한 평가), Optimize(시스템 전체 최적화)"의 선순환 구조를 통해 복잡한 멀티 에이전트 어시스턴트를 안정화하고 고도화할 수 있는 청사진을 제시합니다.