기술 요약: MASTOR

문제 정의

기존의 RESTful API 자동화 테스트 접근 방식은 주로 테스트 케이스 생성(예: 퍼징, 탐색 기반 또는 LLM 기반 입력 생성)에 집중되어 있으나, 단순한 검증 메커니즘에 의존하고 있다. 이러한 메커니즘은 일반적으로 HTTP 상태 코드, 런타임 크래시 및 스키마 준수 여부만을 확인한다. 이러한 방식은 가볍기는 하지만, API 구현 내부에 내재된 의미론적 결함(semantic faults), 비즈니스 로직 위반, 그리고 상태 의존적 동작 불일치를 탐지하는 데는 실패한다.

많은 API 결함은 크래시나 유효하지 않은 스키마 형태로 나타나지 않고 다음과 같은 형태로 나타난다:

• 다양한 실행 경로에 따른 잘못된 응답 상태 코드.
• 잘못된 형식의 응답 본문 필드 또는 누락된 필드.
• 관련 엔드포인트 작업 간의 데이터 불일치.

의미론적 오라클(semantic oracles)을 구축하는 것은 까다로운데, 이는 정당성이 개별 엔드포인트의 동작(예: 필드 수준의 제약 조건)과 엔드포인트 간의 관계(예: 식별자 전파) 모두에 걸쳐 있기 때문이다. 이러한 제약 조건들은 여러 소스 코드 컴포넌트(컨트롤러, 서비스, 리포지토리)에 분산되어 있어, 단일 모놀리식 LLM 쿼리가 컨텍스트 과부하로 인한 환각(hallucination) 없이 모든 관련 증거를 추출하기 어렵게 만든다.

방법론: MASTOR

MASTOR(RESTful API를 위한 의미론적 테스트 오라클 생성을 위한 멀티 에이전트 접근 방식)는 구현 소스 코드로부터 직접 의미론적 테스트 오라클을 생성하는 프레임워크이다. 이 시스템은 블랙보드 패턴(blackboard pattern)에 기반한 멀티 에이전트 아키텍처를 채택하여, 정밀한 컨텍스트 경계 설정과 반복적인 정교화를 보장하기 위해 작업을 특화된 하위 작업으로 분해한다.

아키텍처 개요

MASTOR는 오케스트레이터(MastorAgent)에 의해 조정되며, 통신을 위해 공유된 OutputStore(블랙보드)를 활용하는 두 가지 주요 단계로 작동한다:

1. 소스 분석 단계 (Source Analysis Phase):

   • SourceExtractionAgent: 각 엔드포인트에 대한 관련 소스 파일의 전이적 임포트 클로저(transitive import closure)를 분석한다. 이를 통해 입력 파라미터 제약 조건과 응답 스키마를 포함하는 구조화된 **소스 컨텍스트(Source Context)**를 구축한다. 이 과정에서 소스 검증 필드(구체적인 코드에서 유도됨)와 대기 필드(OAS에는 선언되었으나 코드상에서 입증되지 않음)를 구분하여 정밀도를 우선시한다.
   • SemanticExtractAgent: 소스 컨텍스트를 처리하여 엔드포인트 간의 의미론적 연관 관계(예: 리소스 라이프사이클, 식별자 흐름, 상태 전파)를 식별하고 순서가 지정된 작업 그룹을 생성한다.

2. 오라클 생성 단계 (Oracle Generation Phase):
   이 단계는 "검토 및 재생성" 루프의 적용을 받는 두 개의 병렬 경로로 실행된다:

   • 단일 작업 경로 (Single-Operation Path): SingleOpOracleAgent는 네 가지 상호 보완적인 전략(Forward-Valid, Forward-Invalid, Backward-Valid, Backward-Invalid)을 사용하여 개별 엔드포인트를 위한 오라클을 생성한다. 이는 유효/무효 입력과 순방향/역방향 추론 방향을 모두 다룬다.
   • 다중 작업 경로 (Multi-Operation Path): MultiOpOracleAgent는 소스 분석 단계에서 식별된 작업 시퀀스에 대한 행동 일관성 오라클을 생성하며, 캡처(captures)(응답 필드 추출)와 바인드(binds)(이를 후속 입력에 연결)를 통해 데이터 흐름을 명시적으로 모델링한다.
   • 챌린저 리뷰 (Challenger Review): 두 경로 모두 전용 리뷰어 에이전트(SingleOpChallengerAgent 또는 MultiOpChallengerAgent)를 활용한다. 리뷰어는 약점(예: 경계값 누락, 환각된 식별자)을 식별하고 개선 힌트를 발행한다. 이후 전문 에이전트는 플래그가 지정된 오라클에 대해서만 **타겟 재생성(targeted regeneration)**을 수행한다.
   • 정규화 (Normalization): 결정론적 필터를 사용하여 구조적으로 유효하지 않은 오라클(예: 상태 단언문이 없거나 환각된 파라미터를 포함하는 경우)을 제거한 후 최종 **오라클 스위트(Oracle Suite)**로 병합한다.

구현 세부 사항

• LLM vs. 규칙 기반: 시스템은 규칙 기반 컴포넌트(예: 임포트 클로저 구축, 정규화 필터)와 LLM(예: 의미 추출, 오라클 합성, 리뷰) 간에 역할을 분담한다.
• 그라운딩 (Grounding): 생성된 모든 단언(assertion)은 추출 과정에서 식별된 특정 소스 코드 요소에 근거하며, 이를 통해 추적 가능성을 보장한다.
• 컨버터 (Converters): 시스템에는 오라클 스위트를 실행 가능한 테스트 코드로 변환하는 도구들(ToJUnit, ToPostmanAssertify, ToReadable)이 포함되어 있다.

주요 기여

1. MASTOR 프레임워크: 인터페이스 수준의 명세를 넘어 구현 소스 코드로부터 직접 RESTful API를 위한 의미론적 테스트 오라클을 생성하는 멀티 에이전트 접근 방식.
2. 2단계 아키텍처: 소스 분석(구조화된 소스 컨텍스트 추출)과 오라클 생성(챌린저 리뷰가 포함된 병렬 단일-작업 및 다중-작업 경로)을 분리한 설계.
3. 구조화된 중간 표현: 소스 검증 사실과 대기 중인 OAS 주장(claim)을 분리하여 단언이 구체적인 코드에 근거하도록 보장하는 소스 컨텍스트(Source Context) 도입.
4. 툴링: JUnit, Postman 및 인간이 읽을 수 있는 형식으로 변환하는 컨버터 구현을 통해 CI/CD 통합 및 수동 검사를 용이하게 함.
5. 경험적 평가: 13개의 오픈 소스 RESTful API 프로젝트(296개 엔드포인트, 251k 라인의 코드)에 대한 포괄적인 평가를 통해 효과성, 효율성 및 아키텍처 구성 요소의 기여도를 입증함.
6. 오픈 릴리스: 전체 구현체, 벤치마크 데이터셋 및 생성된 오라클 스위트를 오픈 소스 아티팩트로 공개.

실험 결과

저자들은 **변이 점수(Mutation Score, MS)**를 주요 지표로 사용하여 13개의 대상 API에 대해 MASTOR를 평가하였다.

• 효과성 (RQ1): MASTOR는 10,022개의 오라클을 생성하였으며, 평균 **75.4%**의 변이 점수(최저 69.0% ~ 최고 95.9%)를 달성하였다. 정적 또는 순수 계산된 응답을 가진 API가 가장 높은 점수를 기록했으며, 복잡한 인증이나 깊은 중첩 구조를 가진 API는 낮은 점수를 기록하였다.
• 비교 (RQ2): 공정한 비교를 위해 상태 및 필드 오라클로 제한된 50개의 엔드포인트에 대해:
  • MASTOR는 **69.9%**의 MS를 달성하였다.
  • 이는 Direct Prompting(39.8%)보다 30.1 퍼센트 포인트 더 높은 성능을 보였다.
  • 또한 SATORI(명세 기반의 LLM 접근 방식)보다 49.4 퍼센트 포인트(20.5%) 더 높은 성능을 보였다.
  • 결과는 명세 기반 분석보다 소스 코드 그라운딩의 이점과, 비구조적 프롬프팅보다 구조화된 멀티 에이전트 오케스트레이션의 가치를 강조한다.
• 절제 연구 (Ablation Study, RQ3):
  • **다중 작업 오라클 생성(Multi-Op Oracle Generation)**을 제거하면 MS가 3.7 pp 감소하여, 전체 오라클의 2.6%만을 차지함에도 불구하고 작업 간 결함 탐지에 기여함을 확인하였다.
  • **챌린저 에이전트(ChallengerAgent)**를 제거하면 MS가 7.2 pp 감소하여, 리뷰 단계가 의미론적으로 취약한 단언을 필터링함으로써 오라클의 정밀도를 크게 향상시킨다는 것을 입증하였다.
• 비용 (RQ4): 중앙값 기준 추론 비용은 API당 $0.56였다. MASTOR는 추출, 생성, 리뷰를 위한 다수의 LLM 호출로 인해 Direct Prompting보다는 비용이 높지만, 비용은 엔드포인트 수에 따라 예측 가능하게 확장된다. 단일 작업 생성과 챌린저 리뷰가 전체 비용의 약 75%를 차지했다.

의의 및 주장

본 논문은 MASTOR가 인터페이스 수준의 체크로는 발견할 수 없는 의미론적 결함을 탐지할 수 있는 자동화 도구의 부재라는 RESTful API 테스트의 핵심적인 격차를 해결한다고 주장한다. 구현 소스 코드를 기반으로 오라클을 생성하고 멀티 에이전트 분해 전략을 활용함으로써, MASTOR는 다음을 달達成한다:

• 높은 결함 탐지율: 변이 테스트에서 비구조적 프롬프팅 및 명세 기반 접근 방식보다 유의미하게 높은 성능을 보인다.
• 추적 가능성: 모든 단언은 특정 소스 코드 증거와 연결되어 환각을 줄이고 해석 가능성을 높인다.
• 확장성: CI/CD 파이프라인 통합에 실용적인 비용을 가지며, 비용은 엔드포인트 수에 따라 선형적으로 증가한다.

저자들은 MASTOR를 입력 생성 도구의 대체재가 아니라, 단순한 스키마 준수를 넘어 API 응답의 정확성을 검증하는 데 필요한 의미론적 검증 레이어를 제공하는 보완적 레이어로 포지셔닝한다. 이 연구는 복잡한 서비스 지향 시스템을 위한 더욱 강력하고 구현 인지적인(implementation-aware) 자동화 테스트를 향한 단계로 제시된다.