AutoRestTest at the SBFT 2026 Tool Competition

기술 요약: SBFT 2026 툴 경진대회에서의 AutoRestTest

문제 정의
REST API를 테스트하는 것은 방대한 입력 공간과 복잡한 연산 간의 의존성으로 인해 상당한 어려움을 수반합니다. 기존의 대부분의 도구들은 소스 코드에 대한 접근 없이 OpenAPI 명세(OAS)를 활용하여 엔드포인트를 실행하는 블랙박스 접근 방식을 채택합니다. 그러나 효율성을 유지하면서 결함을 탐지하기 위해 이 광범위한 입력 공간을 효과적으로 탐색하는 것은 여전히 중요한 연구 과제로 남아 있습니다. SBFT 2026 REST 리그 경진대회는 선도적인 도구들을 구분하기 위해 다양한 서비스와 견고한 평가 기준을 특징으로 하는 표준화된 벤치마크를 제공하기 위해 마련되었습니다.

방법론
AutoRestTest는 세 가지 핵심 구성 요소인 의미적 속성 의존성 그래프(SPDG), 다중 에이전트 강화 학습(MARL), 그리고 LLM 기반 값 생성 모듈을 통합하는 워크플로를 통해 이러한 과제를 해결합니다.

1. 의미적 속성 의존성 그래프 (SPDG): 시스템은 OAS를 파싱하여 API 연산을 정점으로 하는 그래프를 구축합니다. 경량 Gloze 임베딩 모델을 사용하여 연산 쌍 간의 매개변수, 요청 본문 및 응답 사이의 의미적 유사도를 계산합니다. 유사도가 설정된 임계값을 초과하는 경우 에지를 추가하여, 매개변수 의존성 강도를 포착하는 가중치 그래프를 생성합니다. 이 그래프는 테스트가 진행됨에 따라 새로운 의존성이 발견될 때마다 동적으로 업데이트됩니다.
2. 다중 에이전트 강화 학습 (MARL): 시스템은 각각 Q-테이블을 유지하고 엡실론-그리디(epsilon-greedy) 전략을 통해 행동을 선택하는 네 개의 특화된 에이전트를 운용합니다:
   • 연산 에이전트 (Operation Agent): 다음에 탐색할 엔드포인트를 선택합니다.
   • 매개변수 에이전트 (Parameter Agent): 층화 추출(stratified sampling)을 사용하여 어떤 매개변수를 포함할지 결정하며, 필수 매개변수는 반드시 포함하는 동시에 선택적 매개변수에 대한 커버리지를 균형 있게 조절합니다.
   • 값 에이전트 (Value Agent): 데이터 소스를 결정하고 값을 할당합니다. LLM이 생성한 후보군, 이전에 성공했던 응답 또는 기본값으로부터 값을 가져옵니다.
   • 의존성 에이전트 (Dependency Agent): SPDG를 유지 관리하고 연산 간의 의존성을 추적합니다.
   • 참고: Bearer 토큰 인증을 위한 헤더 에이전트가 지원되었으나 대회에서는 비활성화되었습니다.
3. LLM 기반 값 생성: 토큰 사용을 최소화하기 위해, 값 생성은 병렬화된 전처리 단계에서 수행됩니다. 각 연산에 대해 시스템은 LLM에 질의하여 도메인 지식이 반영된 매개변수 값을 생성합니다. 이 값들은 테스트 대상 시스템(SUT)에 대해 검증됩니다. 검증에 실패할 경우, 서버 응답을 바탕으로 질의를 정교화하며 최대 3회까지 반복합니다. 검증된 값(또는 최종 재시도 값)은 재사용을 위해 값 에이전트의 행동 공간에 저장됩니다.
4. 요청 생성 및 변이(Mutation): 에이전트들이 초기화되면, 이들은 독립적으로 행동을 선택하여 요청을 구성합니다. 응답 상태 코드는 공유된 보상 신호를 구동합니다: 2xx 응답은 성공적인 체인을 구축하도록 우선시되며, 5xx 응답은 결함 탐지를 장려하기 위해 보상받고, 기타 응답은 탐색을 유도하기 위해 페널티를 받습니다. 또한, 시스템은 엣지 케이스와 내부 서버 오류를 찾아내기 위해 페이로드에 변이(예: 매개변수 타입 변경, 경계값 치환)를 적용합니다.

주요 기여 및 개선 사항
초기 발표 이후, AutoRestTest는 효율성과 견고성을 개선하기 위해 다음과 같이 개선되었습니다:

• 병렬화된 LLM 전처리: 연산을 동시에 처리함으로써 설정 시간을 단축합니다.
• 강화된 매개변수 처리: 필수 매개변수의 명시적 포함 및 선택적 매개변수에 대한 층화 추출을 적용합니다.
• 경계값 변이: 서버 오류를 유발하기 위한 표적 변이(예: 빈 문자열, 극단적인 수치 값)를 수행합니다.
• 호환성 확대: 더 저렴하고 오픈 소스인 LLM 제공자에 대한 지원 및 다양한 명세에 대한 향상된 OAS 파싱 기능을 제공합니다.

결과
SBFT 2026 REST 리그에서 AutoRestTest는 317개의 연산을 포함하는 11개의 실제 세계 REST API를 대상으로 5개의 최첨단 블랙박스 도구(CATS, EvoMaster, RESTest, RestTestGen, Schemathesis)와 경쟁했습니다. 각 도구는 API당 1시간의 시간 제한 내에서 10회씩 실행되었습니다.

• 순위: AutoRestTest는 결함 탐지, 전체 효율성, 전체 효과성 등 세 가지 평가 카테고리 모두에서 1위를 차지했습니다.
• 결함 탐지: API당 평균 67.09개의 고유한 서버 에러(5xx)를 탐지했으며, 이는 차순위 도구(24.65)보다 2.7배 높은 수치입니다.
• 효율성: 결함 탐지 AUC(Area Under the Curve) 151,490을 달 기록하였으며, 이는 가장 가까운 경쟁자(66,761)보다 2.3배 높은 수치로, 효과적인 테스트를 빠르게 생성함을 나타냅니다.
• 커버리지: API당 평균 17.27개의 성공적으로 처리된 연산을 커버하여 광범위한 커버리지를 입증했습니다.
• 비용: 시스템은 모든 실행 과정에서 약 9.6M의 입력 토큰과 2.2M의 출력 토큰을 소비했으며, 총 비용은 약 $1.83, 즉 서비스당 실행당 약$0.02 수준이었습니다.

의의 및 한계점
본 논문은 AutoRestTest의 성공이 의존성 인지 탐색(SPDG), 적응형 테스트 생성(MARL), 그리고 도메인 인지 입력 생성(LLM)의 시너지 효과에서 비롯되었다고 주장합니다. 결과는 이 아키텍처가 특히 시간 제약이 있는 환경에서 매우 효과적이며, 가치 높은 테스트를 빠르게 생성한다는 것을 보여줍니다.

저자들은 대회 중 발생한 특정 한계점을 언급했습니다: 응답 파서의 암시적인 UTF-8 인코딩 가정으로 인해 항공 검색(flight-search) API에서 크래시가 발생했습니다. 저자들은 향후 버전에서 다양한 응답 인코딩을 보다 유연하게 처리할 수 있도록 개선할 것이라고 밝혔습니다. 해당 도구는 오픈 소스 소프트웨어로 공개되어 있습니다.