기술 요약: 구조적 커버리지 기준을 활용한 에이전트 워크플로우 테스트

문제 제기

다중 에이전트 시스템이 에이전트, 도구, 접근 규칙 및 위임 경로가 명시적으로 정의된 구조화된 워크플로우로 배포되는 경우가 늘어나고 있습니다. 그러나 현재 평가 관행은 종단 간 (end-to-end) 작업 성공, 벤치마크 점수, 최종 응답 품질에 크게 의존하고 있습니다. 이러한 지표들은 선언된 조정 구조가 실제로 실행되었는지에 대한 제한된 증거만 제공합니다. 워크플로우가 작업을 성공적으로 완료하더라도 특정 도구가 호출되지 않거나, 제한된 접근 규칙이 테스트되지 않거나, 위임 경로가 탐색되지 않을 수 있습니다. 따라서 테스트 스위트의 적절성을 평가하거나 도구 접근 및 에이전트 간 위임에서의 구조적 회귀를 감지하기 어렵습니다. 본 논문은 다중 에이전트 시스템에서 종단 간 성공이 구조적 커버리지를 위한 신뢰할 수 없는 대리 지표라고 주장합니다. 특히 워크플로우가 진화함에 따라 작은 정의 변경이 즉각적인 작업 실패를 초래하지 않더라도 구조적 의무를 변경할 수 있기 때문입니다.

방법론

저자들은 다중 에이전트 워크플로우 명세를 주요 테스트 가능 산출물로 간주하는 구조적 테스트 접근법을 제안합니다. 이 방법론은 다음 5 단계 파이프라인을 따릅니다:

1. 명세 추출: 소스 코드 (특히 OpenAI Agents SDK 스타일 워크플로우) 에서 정규화된 다중 에이전트 워크플로우 명세 ($S$) 를 추출합니다. 이 명세는 도달 가능한 에이전트, 허용된 도구 간선, 제한된 도구 간선 및 위임 간선을 정의합니다.
2. 그래프 구성: 명세를 타입이 지정된 조정 그래프 $G(S)$로 변환합니다. 여기서 노드는 에이전트와 도구를 나타내고, 간선은 허용된 접근, 제한된 접근 및 위임 관계를 나타냅니다.
3. 의무 도출: 그래프에서 구조적 의무를 도출하여 네 가지 집합으로 분류합니다:
   • 도달 가능한 에이전트 ($A_{reach}$)
   • 허용된 도구 간선 ($T_{allow}$)
   • 제한된 도구 간선 ($T_{restrict}$)
   • 위임 간선 ($D$)
4. 커버리지 주도 생성: 시스템이 의무 집합에서 "타입이 지정된 증인 목표 (typed witness objectives)"를 합성합니다. 이러한 목표는 언어 모델 파이프라인을 위한 선언적 프레임워크인 DSPy를 사용하여 자연어 테스트 시나리오로 실현됩니다. 중요한 점은 DSPy 가 커버리지를 정의하는 데가 아니라 시나리오 실현에만 사용된다는 것입니다. 생성기는 런타임 어댑터에 대해 후보 프롬프트를 실행하는 유한한 정제 루프 (최대 $N=5$회 시도) 를 사용합니다. 이 루프는 실행이 목표에서 요구하는 특정 구조적 증거 (예: 특정 도구 호출 또는 위임 인수) 를 생성할 때만 종료됩니다.
5. 런타임 관찰 및 측정: 테스트는 구조적 흔적을 기록하는 런타임 어댑터를 통해 실행됩니다. 커버리지는 관찰된 흔적이 각 의무에 대한 증인 술어 (witness predicates) 를 만족하는지 확인함으로써 측정됩니다.

커버리지 기준

본 논문은 네 가지 구조적 커버리지 기준을 정의합니다:

• C1 (에이전트 커버리지): 모든 도달 가능한 에이전트가 관찰됩니다.
• C2 (허용된 도구 커버리지): 모든 허용된 에이전트 - 도구 간선이 실행됩니다.
• C3 (제한된 도구 커버리지): 모든 제한된 에이전트 - 도구 간선이 명시적인 제한 접근 관찰 (예: 거절 또는 거부 이벤트) 을 통해 실행됩니다. 단순히 호출 부재가 아닙니다. 이는 적대적 테스트로 간주됩니다.
• C4 (위임 커버리지): 모든 도달 가능한 위임 간선이 관찰됩니다.

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 형식화: 에이전트 프레임워크 소스 코드에서 파생된 타입이 지정된 조정 그래프에 대한 구조적 적절성 문제로 다중 에이전트 워크플로우 테스트를 형식화합니다.
2. 커버리지 모델: 도달 가능한 에이전트, 허용된 도구 간선, 제한된 도구 간선 및 위임 간선에 대한 그래프 유래 커버리지 기준을 정의합니다. 특히, 제한된 도구 커버리지를 명시적인 부정 관찰 의무로 다룹니다.
3. 생성 파이프라인: 워크플로우 매니페스트를 타입이 지정된 증인 목표로 변환하고 DSPy 기반의 런타임 기반 실현을 사용하여 자연어 테스트 시나리오를 생성하는 커버리지 주도 테스트 생성 파이프라인을 제시합니다.
4. 실증 평가: 10 개의 OpenAI Agents SDK 유래 워크플로우 (총 49 개의 도달 가능한 에이전트, 47 개의 도구, 403 개의 구조적 의무 포함) 에 대해 접근법을 평가했으며, oai_customer_service 워크플로우에 대한 상세 분석을 포함합니다.

실험 결과

평가 는 고정된 구성 (실현자와 테스트 대상 에이전트 모두에 gpt-4.1-mini 사용) 으로 10 개의 벤치마크에서 수행되었습니다.

• 추출 (RQ1): 파이프라인은 수동 개입 없이 모든 10 개 워크플로우에 대해 잘 형성된 조정 그래프를 성공적으로 추출하고 구조적 의무를 도출했습니다.
• 허용된 도구 및 위임 증인 (RQ2):
  • 생성된 시나리오는 54/75(72%) 개의 허용된 도구 의무를 증명했습니다 (벤치마크 전체 집계; 논문은 표 II 에서 45/65라고 언급하지만 초록에서는 54/75라고 명시; 본문 결과 섹션에서는 45/65를 명확히 합니다).
  • 생성된 시나리오는 36/48(75%) 개의 위임 의무를 증명했습니다 (집계; 표 II 는 31/41을 보여줍니다).
  • 단일 홉 (single-hop) 목표는 균일하게 통과했습니다. 실패는 주로 다중 홉 워크플로우에서 발생하거나 의미적 중복으로 인해 조정자가 다른 전문가에게 라우팅한 경우에 발생했습니다.
• 제한된 도구 적대적 증인 (RQ3):
  • 적대적 탐지는 23/248(9.3%) 개의 제한된 호출 위반을 유발했습니다.
  • 네 개의 벤치마크는 표적 위반을 전혀 생성하지 않았으며, 여섯 개는 구체적인 잘못된 라우팅 실패를 생성했습니다. 이는 기준이 견고한 제한을 가진 워크플로우와 악용 가능한 경계를 가진 워크플로우를 구별할 수 있음을 보여줍니다.
• 결함 주입 (RQ4): oai_customer_service 벤치마크에서 구조적 하네스는 주입된 도구 결함 (오류 및 잘못된 형식의 페이로드) 하에서 견고성을 성공적으로 테스트하여 에이전트가 도구를 시도하고 충돌하거나 원시 오류 페이로드를 유출하지 않았음을 확인했으나, 의미적 정확성은 검증하지 않았습니다.

중요성 및 주장

본 논문은 구조적 커버리지가 다중 에이전트 워크플로우 테스트에 유용한 적절성 계층을 제공한다고 주장합니다. 이는 의미 평가나 종단 간 벤치마크를 대체하지 않지만, 선언된 에이전트, 도구 접근 규칙, 제한 사항 및 위임 경로가 실제로 실행되었는지에 대한 명시적 증거를 제공합니다.

• 진단 가치: 이 접근법은 "테스트되지 않은 구조"를 드러냅니다. 놓친 의무는 실행하기 어려운 특정 조정 경로를 식별하여 개발자가 라우팅 프롬프트를 개선하거나 워크플로우를 강화하도록 안내합니다.
• 부정적 의무: 제한된 도구 간선을 명시적으로 테스트함으로써 허용 목록만 평가할 경우 보이지 않을 취약점 (제한을 우회하는 구체적인 프롬프트) 을 발견합니다.
• 한계: 저자들은 결과가 통계적으로 검증된 추정치가 아닌 단일 실행 실증 증거임을 지적하며 주장에 대해 겸손합니다. 높은 구조적 커버리지가 의미적 정확성, 사용자 만족도 또는 사실적 정확성을 보장하지 않는다는 점을 인정합니다. 이 방법은 현재 OpenAI Agents SDK 스타일 워크플로우에 특화되어 있으며, 유한한 정제 루프는 시도 예산 내에서 복잡한 다중 홉 의무를 증명하지 못할 때가 있습니다.

본 논문은 구조적 테스트가 "작업이 성공했는가?"에서 "선언된 워크플로우의 어떤 부분이 실제로 테스트되었는가?"로 초점을 이동시킴으로써 기존 에이전트 평가를 보완한다고 결론지었습니다.