PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows

기술 요약: PROTEA

문제 제기
여러 역할별 LLM 호출을 방향성 비순환 그래프 (DAG) 로 구성하는 멀티 에이전트 대규모 언어 모델 (LLM) 워크플로는 단일 프롬프트 베이스라인보다 종종 더 우수한 성능을 보입니다. 그러나 이러한 시스템을 정제하는 것은 복잡하고 시스템 수준의 디버깅 작업입니다. 최종 출력에서의 실패는 종종 하류로 전파되는 중간 노드 출력의 미묘한 오류에서 비롯됩니다. 현재 평가 도구 (예: AgentBench, OpenAI Evals, RAGAs) 는 일반적으로 엔드투엔드 성공 지표나 검색 관련성 (retrieval relevance) 과 같은 구성 요소 수준의 평가에 중점을 두지만, 그래프 인식 진단 기능은 부족합니다. 결과적으로 개발자는 어떤 노드를 수정해야 하며 해당 노드의 프롬프트를 어떻게 수정해야 하는지 추론하기 위해 긴 실행 추적을 수동으로 검사해야 합니다. 또한, 실제 생산 환경에서는 팀이 종단 출력에 대한 레이블만 보유하고 있는 경우가 많아, 모든 중간 노드에 대한 참조 출력을 생성하는 것은 비용이 많이 들고 비현실적입니다.

방법론: PROTEA 프레임워크
PROTEA 는 멀티 에이전트 LLM 워크플로의 반복적 정제를 위한 통합된 오프라인 테스트 주도 인터페이스입니다. 이는 워크플로 실행, 중간 노드 평가, 병목 현상 국소화, 프롬프트 수정, 그리고 재평가로 구성된 고정된 스위트 반복 루프에서 작동합니다. 이 시스템은 세 가지 핵심 메커니즘을 중심으로 구축되었습니다:

1. 역방향 노드 평가: 중간 참조의 부족을 해결하기 위해 PROTEA 는 최종 답변 참조와 그래프 컨텍스트로부터 후보 노드 수준의 기대치를 생성합니다. 공식적으로, 최종 노드의 감독 신호 ($y^*_{final}$) 에서 시작하여 시스템은 참조 생성 단계 ($M_{gen}$) 를 사용하여 하류 요구사항에 기반하여 상류 노드의 필요 출력을 추론합니다. 이를 통해 시스템은 역방향 위상 순서로 중간 노드를 평가하여 관찰된 출력 ($y_v$) 을 생성된 기대치 ($\hat{y}_v$) 와 비교하여 점수와 근거를 산출합니다.
2. 그래프 기반 진단: PROTEA 는 노드별 상태 (PASS/WARN/FAIL) 와 평가자 근거를 워크플로 그래프에 직접 오버레이합니다. 노드는 상태와 점수에 따라 정렬되어 개발자가 긴 추적을 수동으로 검사할 필요 없이 잠재적인 병목 현상으로 안내합니다.
3. 국소화된 프롬프트 정제: 선택된 노드에 대해 PROTEA 는 평가자의 근거에 기반하여 표적 프롬프트 수정안 ($I'_v$) 을 제안합니다. 이러한 수정안은 편집 가능한 '전/후' 비교 형태로 제시됩니다. 시스템은 변수 전달과 출력 형식을 유지하고 테스트 특정 내용이 프롬프트로 유출되는 것을 방지하기 위해 제약을 부과합니다. 승인되면 워크플로는 점수 추이를 추적하고 개선을 검증하기 위해 오프라인 테스트 스위트에서 자동으로 다시 실행됩니다.

주요 기여

• 반복적 정제를 위한 통합 인터페이스: PROTEA 는 실행, 평가, 진단, 프롬프트 편집을 단일 루프로 통합하여 평가 증거를 수정 사항으로 전환하는 데 필요한 수동 노력을 줄입니다.
• 감독을 위한 역방향 추론: 이 시스템은 최종 답변으로부터 중간 노드 기대치를 생성하는 방법을 도입하여, 중간 기준 진실 (ground truth) 이 unavailable 일 때도 효과적인 디버깅을 가능하게 합니다.
• 개발자 중심 워크플로: DSPy, OPRO 와 같은 목적 함수에 대해 자율적으로 최적화하는 자동 최적화 방법과 달리, PROTEA 는 후보 병목 현상을 표출하고 검토 가능한 수정안을 제안하여 개발자가 컨텍스트에서 변경 사항을 채택하거나 편집하거나 되돌릴 수 있게 합니다.

실험 결과
저자들은 PROTEA 를 두 가지 생산 환경 근접 워크플로 연구, 자동 반복 스트레스 테스트, 그리고 6 명의 숙련된 LLM 개발자와의 형성적 사용자 연구를 통해 평가했습니다.

• 생산 환경 근접 연구:
  • 문서 검사: 5 노드 엔터프라이즈 워크플로에서 반복적 정제는 문서 검사 정확도를 **64.3% 에서 83.9%**로 향상시켰습니다.
  • 대화형 추천: 6 노드 추천 워크플로에서 Hit@5 지표는 0.30 에서 0.38로 향상되었습니다.
  • 두 경우 모두 시스템이 제약 조건 전파를 추적하는 데 도움을 주었고, 긴 추적을 엔드투엔드로 읽어야 할 필요성을 줄였습니다.
• 자동 반복 스트레스 테스트:
  • 시스템은 11 개의 독립적으로 생성된 워크플로에서 테스트되었습니다. 최소한의 초기 프롬프트를 가진 5 개의 워크플로 하위 집합에서 "AUTO LOOP" 모드 (자동 제안 - 유지 사이클) 는 5 개 중 4 개 경우에서 재작성이 없는 베이스라인보다 더 높은 최고 점수를 달성했습니다.
  • 주목할 만한 개선 사항으로는 과목 일정 조정 워크플로에서 0.186 에서 0.800 으로 점수가 급등한 사례가 포함됩니다.
  • 정밀 일치 단어 문제와 같은 거의 이진 기준을 가진 작업에서는 중간 추론을 위한 등급 신호의 부재로 인해 최적화가 방해받는 한계가 관찰되었습니다.
• 사용자 연구:
  • 6 명의 숙련된 개발자는 그래프 수준의 국소화, 노드별 근거, 그리고 프롬프트 수정안을 자동 재실행과 비교할 수 있는 기능에 가치를 두었습니다.
  • 참가자들은 평가자 보정, 기존 도구 체인 (CI/CD) 통합, 버전 관리 지원 등을 향후 우선순위로 꼽았습니다.

의의 및 주장
이 논문은 PROTEA 가 LLM 엔지니어링 수명주기의 중요한 격차를 해소한다고 주장합니다. 즉, 감독이 최종 출력으로만 제한되는 복잡한 멀티 에이전트 시스템의 디버깅 난제입니다. 역방향 추론과 개발자 개입형 인터페이스를 결합함으로써 PROTEA 는 중간 단계에 대한 포괄적인 수동 레이블링 없이도 신속하고 테스트 주도적인 정제를 가능하게 합니다. 저자들은 이 도구를 자동 프롬프트 최적화를 보완하는 것으로 위치 짓습니다. DSPy 와 같은 방법이 목적 함수에 대한 프로그램 행동을 최적화하는 반면, PROTEA 는 구체적인 멀티 에이전트 그래프를 위한 개발자 워크플로에 중점을 두어 구체적인 실행 가능한 병목 현상과 국소화된 수정 사항을 표출합니다. 결과는 이러한 인터페이스가 워크플로 성능을 크게 향상시킬 수 있음을 시사합니다 (예: 문서 검사에서 정확도 +19.6% 향상). 동시에 복잡한 에이전트 그래프를 통해 오류를 추적하는 것과 관련된 인지 부하를 줄여줍니다.