💻 computer science

MIRAGE: Online LLM Simulation for Microservice Dependency Testing

이 논문은 기존 오프라인 모킹 방식의 한계를 극복하고, LLM 이 실시간으로 의존성 요청에 응답하며 상태 유지를 통해 높은 정확도로 마이크로서비스 종속성을 시뮬레이션하는 'MIRAGE'를 제안하고 그 유효성을 검증합니다.

원저자: XinRan Zhang

게시일 2026-04-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: XinRan Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎭 핵심 아이디어: "극장에서 즉흥극을 하는 배우"

마이크로서비스란, 큰 건물을 짓기 위해 여러 개의 작은 블록 (서비스) 을 조립하는 것과 같습니다. 예를 들어, 쇼핑몰 앱이 있다면 '주문 서비스', '결제 서비스', '배송 서비스' 등이 따로따로 돌아갑니다.

이때 개발자가 테스트를 하려면, 모든 블록이 다 연결된 채로 실행해야 합니다. 하지만 문제는 다른 팀이 만든 블록 (예: 결제 서비스) 이 아직 준비되지 않았거나, 테스트하기 너무 비싸거나, 꺼져 있을 때입니다.

기존 방식: "녹음된 테이프를 재생하는 로봇"

지금까지 개발자들은 '녹음 - 재생 (Record-Replay)' 방식을 썼습니다.

비유: 과거에 실제 결제가 어떻게 이루어졌는지 녹음해 두었다가, 테스트할 때 그 녹음된 테이프를 똑같이 재생하는 것입니다.
단점: 만약 녹음되지 않은 새로운 상황 (예: "신용카드가 만료된 경우"나 "장바구니에 물건을 100 개 넣는 경우") 이 나오면, 로봇은 당황해서 엉뚱한 대답을 하거나 침묵합니다. 마치 녹음된 테이프에 없는 대사가 나오면 배우가 멈춰 서는 것과 같습니다.

MIRAGE 의 방식: "대본을 보고 즉흥극을 하는 천재 배우 (LLM)"

이 논문이 제안하는 MIRAGE는 다릅니다. 미리 녹음된 테이프를 쓰지 않습니다. 대신, **인공지능 (LLM)**을 테스트 현장에 바로 투입합니다.

비유: MIRAGE 는 대본 (소스 코드) 과 과거의 연기 기록 (실제 트래픽 데이터) 을 미리 훑어본 천재 배우입니다.
작동 원리:
1. 테스트 도중 다른 서비스 (예: 결제) 로부터 "결제 요청"이 오면, MIRAGE 는 그 순간에 바로 대답합니다.
2. "아, 이 사용자는 장바구니에 물건을 담았으니 200 번 (성공) 을 줘야지" 혹은 "아, 이 카드 번호는 이상하니 400 번 (오류) 을 줘야지"라고 매 순간 상황을 판단하여 답을 만듭니다.
3. 중요한 건, MIRAGE 는 이전 대화 내용도 기억한다는 점입니다. (예: "아까 장바구니에 담았으니, 이제 결제할 때 그 정보를 기억하고 있어야 해")

🧪 실험 결과: "실제 서비스와 거의 똑같은 연기를"

연구진은 3 가지 다른 쇼핑몰 시스템 (구글의 온라인 부티크, 소크 샵, 그리고 직접 만든 시스템) 에서 110 가지의 다양한 테스트 시나리오를 진행했습니다.

정확도:
- 기존 녹음 방식: 상황 변화에 따라 정답을 맞추는 비율이 **62%**에 불과했습니다. (오류 상황이나 새로운 데이터에서는 거의 실패)
- MIRAGE (완전 공개 모드): 소스 코드를 다 볼 수 있을 때, 정답률 **99%**를 기록했습니다. 거의 실제 서비스와 똑같은 반응을 보였습니다.
- MIRAGE (블랙박스 모드): 다른 팀의 소스 코드를 볼 수 없는 상황에서도 정답률 **94%**를 기록했습니다.
비용과 시간:
- MIRAGE 는 실제 서버를 켜고 데이터를 채우는 데 드는 시간과 비용을 아껴줍니다.
- 비유: 실제 서버를 켜는 것은 "무대 세팅, 조명, 배우 소집"에 5 분이 걸리는 반면, MIRAGE 는 "배우 한 명만 불러와서 즉석에서 연기"하는 것이니 훨씬 빠르고 저렴합니다. (약 3 초 만에 답변 생성, 비용은 한 번에 16 센트~82 센트 수준)
왜 "중간 형식 (IR)"은 안 됐을까?
- 연구진은 인공지능에게 "규칙을 딱딱하게 정해서 답하게 하라"는 시도도 해봤습니다. (예: "A 가 오면 B 를 주고, C 가 오면 D 를 줘"라고 규칙을 정해줌)
- 결과: 단순한 경우에는 좋았지만, 복잡한 상황 (예: 장바구니에 담긴 물건을 여러 번 수정하고 결제하는 경우) 에서는 오히려 성능이 떨어졌습니다.
- 이유: 규칙은 "이런 경우"만 생각할 수 있지만, MIRAGE 는 "그런 경우"뿐만 아니라 "그런 경우의 숨겨진 맥락"까지 이해하며 즉흥적으로 대응하기 때문입니다.

💡 이 연구가 우리에게 주는 메시지

테스트는 더 똑똑해졌다: 이제 개발자는 "만약 이런 일이 생기면 어떡하지?"라고 걱정하며 가짜 데이터를 일일이 만들어낼 필요가 없습니다. AI 가 상황을 읽고 가장 합리적인 답을 찾아줍니다.
코드만 있으면 충분하다: 다른 팀의 코드를 볼 수 있다면 (화이트박스), AI 는 100% 완벽하게 흉내 냅니다. 코드를 못 봐도 (블랙박스) 는 대략적인 오류 처리는 잘하지만, 세부적인 내용까지는 약간 어설프다는 것을 발견했습니다.
실제와 똑같은 결과: MIRAGE 를 써서 테스트를 통과하면, 실제 서비스를 연결했을 때도 통과할 확률이 매우 높습니다.

🚀 결론

MIRAGE는 마치 **"실제 상황을 미리 경험한 천재 배우"**가 무대 (테스트 환경) 에 올라와, 어떤 대사가 나오든 즉흥적으로 가장 적절한 연기를 해주는 기술입니다.

기존의 "녹음된 테이프" 방식은 새로운 상황에 취약했지만, MIRAGE 는 상황을 이해하고 기억하며 유연하게 대응합니다. 덕분에 개발자들은 더 빠르고, 저렴하게, 그리고 더 정확하게 소프트웨어를 테스트할 수 있게 되었습니다.

1. 문제 정의 (Problem)

마이크로서비스 아키텍처의 통합 테스트에서는 하위 종속성 (downstream dependencies) 을 실제 배포 환경과 동일한 설정, 데이터베이스 상태, 행동 시맨틱으로 구동해야 합니다. 그러나 종속성이 unavailable 하거나 프로비저닝 비용이 비싸면 개발자는 종속성 시뮬레이션 (Dependency Simulation) 에 의존합니다.

기존 접근 방식 (Record-Replay, 패턴 마이닝, 명세 기반 스텁) 은 테스트 실행 전에 정적 (Static) 인 아티팩트를 생성하는 방식입니다. 이는 다음과 같은 근본적인 한계를 가집니다:

예측 불가능한 시나리오 대응 불가: 아티팩트 생성 시점에 예상하지 못한 요청 파라미터, 오류 조건, 또는 교차 요청 (cross-request) 상태 의존성이 발생하면 잘못된 응답을 반환하거나 응답을 누락합니다.
낮은 충실도 (Fidelity): 평가 결과, 기존 Record-Replay 방식은 테스트된 시나리오에서 상태 코드 충실도 62%, 응답 형태 (Response-shape) 충실도 16% 만 달성했습니다.

2. 방법론: MIRAGE (Methodology)

저자들은 온라인 LLM 시뮬레이션 (Online LLM Simulation) 을 제안하며, 이를 구현한 시스템 MIRAGE를 개발했습니다.

핵심 개념: 정적 아티팩트를 생성하는 대신, 테스트 실행 시 (Runtime) LLM 을 루프 안에 유지합니다. 각 HTTP 요청이 도착할 때마다 LLM 이 직접 응답을 생성하며, 시나리오 전체에 걸쳐 교차 요청 상태 (Cross-request state) 를 유지합니다.
입력 신호 (Inputs):
1. 의존성 소스 코드 (Dependency Source): 사용 가능 시 (White-box).
2. 호출자 코드 (Caller Code): 종속성을 호출하는 서비스의 코드.
3. 프로덕션 트레이스 (Production Traces): 실제 트래픽에서 수집된 요청 - 응답 쌍의 요약.
작동 방식:
- LLM 은 시스템 프롬프트에 위 신호들을 포함하여, 각 요청에 대해 상태 추적과 함께 JSON 형식의 응답 (상태 코드, 바디, 헤더) 을 생성합니다.
- 대화 기록 (Conversation History) 을 유지하여 장바구니 아이템 추가, 토큰 발급, 예약 상태 변경 등 상태가 필요한 행동을 시뮬레이션합니다.
- 블랙박스 모드: 의존성 소스 코드 없이 호출자 코드와 트레이스만으로 시뮬레이션합니다.

3. 주요 기여 (Key Contributions)

온라인 LLM 시뮬레이션의 정립: 종속성 테스트를 위한 런타임 접근법으로서의 온라인 LLM 시뮬레이션을 제안하고, 이를 마이크로서비스 테스트에 적용한 최초의 실증 연구입니다.
광범위한 실증 검증: 3 개의 마이크로서비스 시스템 (Google Online Boutique, Weaveworks Sock Shop, 커스텀 시스템) 의 14 개 종속성 쌍, 총 110 개 테스트 시나리오에서 검증했습니다.
운영 범위 (Operating Envelope) 특성 분석:
- 소스 코드만으로도 100% 충실도 달성 가능.
- 소스 코드 없이도 오류 코드 추론은 가능 (94%) 하지만 응답 구조 정확도는 떨어짐 (75%).
- 구조화된 중간 표현 (IR) 은 복잡한 상태 관리 서비스에서는 성능이 저하됨을 발견.

4. 실험 결과 (Results)

MIRAGE 는 기존 기법들을 압도적으로 능가하는 성능을 보였습니다.

지표	MIRAGE (White-box)	MIRAGE (Black-box)	Record-Replay	Pattern-mining	Contract IR
상태 코드 충실도	99% (109/110)	94%	62%	61%	55%
응답 형태 충실도	99%	75%	16%	-	-

성능 비교: MIRAGE 는 White-box 모드에서 99% 의 정확도를 달성한 반면, Record-Replay 는 62% (상태), 16% (형태) 에 그쳤습니다.
신호 기여도 분석:
- 소스 코드 (Dependency Source): 가장 중요한 신호로, 소스 코드만으로도 100% 정확도 달성.
- 블랙박스 한계: 소스 코드 없이 트레이스와 호출자 코드만 사용할 경우, 상태 코드는 94% 까지 유지되지만 응답 바디 구조 (Response Shape) 는 75% 로 하락합니다.
구조화 vs 자유형 생성:
- LLM 에게 타입이 지정된 중간 표현 (IR) 을 생성하게 하는 방식은 단순 API 에선 86% 성능을 보였으나, 복잡한 상태 의존성이 있는 서비스 (Demo 시스템) 에서는 55% 로 급감했습니다. 이는 LLM 의 암시적 상태 추적 능력이 구조화된 규칙보다 복잡성을 처리하는 데 더 효과적임을 시사합니다.
엔드 - 투 - 엔드 테스트 동등성: 8 개의 통합 테스트 시나리오에서 MIRAGE 를 사용한 결과와 실제 종속성을 사용한 결과가 모두 동일한 Pass/Fail 결과를 보였습니다.
비용 및 지연 시간:
- 비용: 의존성당 $0.16~$ 0.82.
- 지연: 요청당 약 3 초 (실제 서비스 대비 느리지만, Docker 프로비저닝 및 DB 초기화 시간 (2~5 분) 을 고려하면 CI 파이프라인 전체 시간 측면에서 경쟁력 있음).

5. 의의 및 결론 (Significance)

패러다임 전환: 테스트를 위한 '정적 아티팩트 생성'에서 '런타임 동적 시뮬레이션'으로의 패러다임 전환을 제시합니다.
실용성: 소스 코드가 없는 타사 마이크로서비스 (블랙박스) 상황에서도 94% 의 상태 코드 정확도를 보장하여 통합 테스트의 신뢰성을 높입니다.
비용 효율성: 복잡한 마이크로서비스 인프라 (Docker, DB 등) 를 프로비저닝할 필요 없이 LLM 호출 비용만으로 테스트 환경을 구축할 수 있어, CI/CD 파이프라인의 속도와 비용을 최적화할 수 있습니다.
향후 과제: 값 (Value) 수준의 정확도 검증, gRPC 및 이벤트 기반 프로토콜 지원, 구조적 검증 레이어와의 하이브리드 접근법 연구가 필요합니다.

이 논문은 LLM 의 추론 능력과 상태 추적 기능을 활용하여 기존 마이크로서비스 테스트의 한계를 극복하고, 더 유연하고 정확한 통합 테스트 환경을 구축할 수 있음을 입증했습니다.