기술 요약: 자율 QA 에이전트

문제 정의

본 논문은 현대 소프트웨어 개발에서 품질 보증 (QA) 이 급속한 애자일 (Agile) 및 DevOps 사이클을 따라가지 못하는 치명적인 병목 현상을 다룹니다. 주요 과제는 인간이 읽을 수 있는 요구사항 (자연어, 목업) 과 기계가 실행 가능한 테스트 코드 (Selenium 스크립트) 간의 '의미적 격차 (semantic gap)'입니다. 대규모 언어 모델 (LLM) 은 코드를 생성할 수 있지만, 테스트 대상 애플리케이션 (AUT) 에 대한 지식이 부족하여 '맹목적인 코더 (blind coder)' 문제를 겪습니다. 이로 인해 실제 ID 가 #btn-confirm임에도 불구하고 #submit과 같은 존재하지 않는 UI 요소를 추측하는 등 환각 (hallucination) 이 빈번히 발생하여 스크립트 실행 실패율이 높아집니다. 모델 기반 테스트 (MBT) 와 같은 기존 접근 방식은 유지보수가 너무 복잡하고, 표준 LLM 생성 방식은 특정 애플리케이션 컨텍스트에 필요한 기반 (grounding) 이 부족합니다.

방법론

저자들은 테스트 스크립트 생성을 기능적 요구사항과 애플리케이션의 실제 구조적 현실 모두에 기반하도록 설계된 검색 증강 생성 (RAG) 프레임워크인 자율 QA 에이전트를 제안합니다.

시스템 아키텍처

이 시스템은 다섯 개의 레이어로 구성된 모듈형 마이크로서비스 아키텍처입니다:

1. 프론트엔드: 문서 업로드 및 테스트 생성을 위한 Streamlit 인터페이스.
2. API: 오케스트레이션 및 RESTful 엔드포인트를 처리하는 FastAPI 레이어.
3. 서비스: 문서 파싱 및 RAG 파이프라인을 포함한 비즈니스 로직을 캡슐화.
4. 데이터 레이어: 고차원 임베딩 저장을 위한 벡터 데이터베이스로 ChromaDB 활용.
5. 모델 레이어: 저지연 추론을 위해 Groq 의 API 를 통해 Llama 3.1-8b-instant 통합.

RAG 파이프라인 및 수집

핵심 혁신은 다음을 처리하는 멀티모달 수집 파이프라인입니다:

• 텍스트 요구사항: Markdown, PDF, JSON 형식의 PRD 및 명세서.
• 구조적 컨텍스트: AUT 의 DOM 을 나타내는 원시 HTML 파일.

전처리 전략은 텍스트에 대해 재귀적 문자 텍스트 분할기 (Recursive Character Text Splitter) (1000 자 청크, 200 자 오버랩) 를 사용합니다. HTML 의 경우 스크립트와 스타일을 제거하고 Selenium 선택기에 필수적인 구조 태그 (div, input, button) 와 속성 (id, class, name) 만 유지합니다.

생성 과정

파이프라인은 엄격한 수학적 공식을 따릅니다:

1. 임베딩: all-MiniLM-L6-v2를 사용하여 텍스트 및 HTML 청크를 384 차원 벡터 공간에 매핑합니다.
2. 검색: 사용자 쿼리 (예: "체크아웃 흐름 테스트") 에 대해 시스템은 가장 높은 코사인 유사도를 가진 상위-$k$ (일반적으로 $k=3$) 청크를 검색합니다. 핵심적으로 문서화 및 HTML 청크 모두를 필터링하고 병합합니다.
3. 컨텍스트 퓨전 및 프롬프팅: 시스템은 검색된 문서 ([DOCUMENTATION]) 와 HTML 구조 ([HTML STRUCTURE]) 를 명시적으로 분리하는 프롬프트를 구성합니다.
4. 제약 조건: 프롬프트는 "제공된 HTML 에서 ID 만 사용" 및 "동적 요소에 대해 WebDriverWait 추가"와 같은 제약 조건을 강제합니다.
5. 생성: LLM 은 이 기반이 된 컨텍스트를 바탕으로 Python Selenium 스크립트를 생성합니다.

주요 기여

1. QA 를 위한 새로운 RAG 아키텍처: 코드나 텍스트에만 초점을 맞추는 일반적인 RAG 시스템과 달리, 텍스트 기능적 요구사항과 구조적 HTML/DOM 컨텍스트라는 두 가지 다른 컨텍스트 유형을 검색하는 전용 시스템.
2. 멀티모달 수집 파이프라인: Markdown, PDF, JSON, HTML 등 다양한 형식을 처리하여 포괄적인 지식 기반을 구축할 수 있는 강력한 파이프라인.
3. 컨텍스트 인식 스크립트 생성: 실제 HTML 구조에 기반하여 Selenium 스크립트를 생성하는 입증된 방법으로, 요소 위치 오류를 크게 줄임.
4. 재현 가능한 평가: 20 개 테스트 시나리오에 대한 통계 분석을 포함한 상세한 실험 설정으로, AI 기반 테스트를 위한 벤치마크 제공.

실험 결과

이 시스템은 네 개의 페이지에 걸쳐 127 개의 DOM 요소를 가진 커스텀 이커머스 애플리케이션에서 평가되었습니다. 평가는 자율 QA 에이전트 (RAG) 와 표준 LLM 베이스라인(컨텍스트 없는 Llama 3.1-8b) 을 비교했습니다.

주요 지표 (3 회 실행 평균):

• 구문 유효성: RAG 는 100% 달성 (베이스라인 95% 대비).
• 요소 해결: RAG 는 95% 달성 (베이스라인 40% 대비). 이 지표는 타겟 DOM 요소를 위치시키는 선택기의 정확도를 측정합니다.
• 실행 성공: RAG 는 90% 달성 (베이스라인 30% 대비). 이는 예외 없이 시작부터 끝까지 스크립트가 실행되는지를 측정합니다.

통계적 유의성:
두 표본 t-검정은 개선 사항이 통계적으로 유의미함 ($p < 0.001$) 을 확인했으며, 큰 효과 크기 (해결에 대한 Cohen's $d = 3.2$, 실행에 대한 $d = 3.8$) 를 보였습니다.

절대 연구 (Ablation Study):

• 텍스트 전용 RAG: 60% 해결.
• HTML 전용 RAG: 85% 해결.
• 전체 RAG (텍스트 + HTML): 95% 해결.
  이는 의미적 요구사항만으로는 충분하지 않으며 UI 자동화를 위해 DOM 의 구조적 이해가 필수적임을 확인시켜 줍니다.

실패 분석:
RAG 에이전트의 10% 실패율은 다음에 기인했습니다:

1. 동적 요소 타이밍: 정적 HTML 스냅샷에 포착되지 않은 JavaScript 애니메이션 후에만 나타나는 요소.
2. 모호한 컨텍스트: 여러 유사한 요소가 존재할 때 모호성을 해소할 컨텍스트가 부족함.

중요성 및 주장

본 논문은 LLM 기반 코드 생성의 환각 문제가 도메인 특화 RAG 아키텍처를 통해 효과적으로 완화될 수 있다고 주장합니다. AUT 를 블랙박스가 아닌 수집해야 할 지식의 원천으로 취급함으로써, 시스템이 LLM 을 유능한 QA 엔지니어로 작동하게 합니다.

저자들은 선택자 식별 및 보일러플레이트 생성을 자동화함으로써 QA 엔지니어의 스크립트 작성 시간을 60~70% 단축할 것으로 추정합니다. 표준 LLM 이 더 빠르지만 (종단 간 지연 시간 4 초 vs 13.2 초), 베이스라인의 70% 실패율로 인한 수동 디버깅 시간을 고려할 때 RAG 접근 방식이 더 비용 효율적이라고 주장합니다.

이 연구는 "자기 작성, 자기 치유" 테스트 스위트의 기반으로서 자신을 위치시키지만, 저자들은 정적 HTML 수집의 한계 (Single Page Application 에는 도전적임) 와 이커머스 외의 다양한 도메인에서의 추가 검증 필요성에 대해 겸손하게 인정합니다.