Qlippy: A Retrieval-Augmented GenAI Assistant for Reproducible Quantum Workflows and Experiment Tracking

기술 요약: Qlippy – 재현 가능한 양자 워크플로우를 위한 검색 증강 생성(RAG) 기반 GenAI 어시스턴트

문제 정의
양자 소프트웨어 개발은 현재의 양자 하드웨어가 가진 노이즈, 교정 드리프트(calibration drift), 백엔드 가변성으로 인해 본질적으로 반복적이고 오류가 발생하기 쉽습니다. 결과적으로, 실험 추적(experiment tracking), 프로비넌스(provenance) 수집, 그리고 재현성은 결과를 검증하고 비교하는 데 필수적입니다. 그러나 이러한 관행을 채택하는 것은 여전히 까다로운 과제로 남아 있습니다. 실무자들은 강력한 이론적 배경을 갖추고 있는 경우가 많지만, 현대적인 소프트웨어 공학 개념, 특히 라이프사이클 관리 및 구조화된 데이터 처리에 대한 노출은 부족합니다. MLflow와 같은 외부 도구나 QProv와 같은 프로비넌스 스키마를 통합하는 것은 상당한 인지적 부하와 추상화 계층을 더하며, 이는 임시방편적인 개발 관행이나 추적 기능의 완전한 누락으로 이어집니다. 범용 대규모 언어 모델(LLM)은 잠재적인 도움을 줄 수 있지만, 종종 환각 현상(hallucinations), 오래된 지식, 그리고 도메인 특화 도구에 대한 근거 부족 문제를 겪으며, 이는 정확성과 추적 가능성이 최우선인 전문적인 작업에서 신뢰성을 떨어뜨립니다.

방법론
이러한 과제를 해결하기 위해 저자들은 Visual Studio Code 개발 환경에 직접 내장된 검색 증강 생성(RAG) 어시스턴트인 Qlippy를 제시합니다. 시스템 아키텍처는 서로 연결된 두 개의 환경으로 구성됩니다:

1. 로컬 개발 환경: 자연어 상호작용을 위한 채팅 인터페이스를 제공하는 VS Code 확장 프로그램.
2. 연구 환경: MLflow 추적 서버와 Python(FastAPI 및 LangChain 사용)으로 구현된 RAG 서비스를 호스팅합니다.

RAG 서비스는 세 가지 핵심 구성 요소를 통해 작동합니다:

• 벡터 데이터베이스 (ChromaDB): 5편의 연구 논문, 2편의 합성 참조 문서, 그리고 MLflow 문서의 일부를 포함한 큐레이션된 코퍼스(corpus)를 저장합니다. 이 코퍼스는 파일 파싱, 청킹(chunking), 임베딩 과정을 거쳐 처리됩니다.
• 리트리버 (Retriever): 사용자 질의를 바탕으로 벡터 데이터베이스에서 관련 문맥을 식별하고 추출합니다.
• 제너레이터 (Generator): 검색된 문맥을 사용자 질의와 결합하여 자연어 설명이나 수정된 코드 세그먼트를 생성합니다. 시스템은 상용 API와 로컬 오픈 웨이트 모델을 모두 지원하도록 LLM 불가지론적(LLM-agnostic)으로 설계되었습니다.

Qlippy는 두 가지 주요 모드를 통해 개발자와 상호작용합니다:

• 자문(Advisory) 시나리오: 어시스턴트는 실험 추적 개념(예: QProv 속성, MLflow 사용법)을 문맥에 맞게 설명하여, 양자 알고리즘 전문 지식과 소프트웨어 공학 관행 사이의 간극을 메웁니다.
• 증강(Augmentation) 시나리오: 어시스턴트는 기존 Qiskit 프로그램을 능동적으로 수정하여 MLflow 기반의 추적 호출을 주입합니다. 이러한 자동화는 원래의 프로그램 로직을 변경하지 않으면서 매개변수, 메트릭 및 아티팩트를 기록하도록 코드를 QProv 스키마에 맞춥니다.

주요 기여

• 문맥 인식 근거 제시 (Context-Aware Grounding): 지식을 모델 파라미터로부터 분리하고 큐레이션된 코퍼스에 근거를 둠으로써, Qlippy는 모델 규모에 대한 의존도를 낮추고 환각 현상을 완화하며, 응답이 도메인 특화 관행과 일치하도록 보장합니다.
• 자동 계측 (Automated Instrumentation): 시스템은 개념적 이해와 구현 사이의 간극을 메우며, 사용자의 프로그램에 MLflow 추적 코드를 자동으로 삽입함으로써 구조화된 실험 추적 도입을 위한 운영 장벽을 낮춥니다.
• 로컬 배포 가능성: 본 아키텍처는 소규모 모델(예: Qwen3.5:9b)의 로컬 배포를 지원하여, RAG 파이프라인 내에서 높은 관련성과 사실적 범위를 유지하면서도 상용 API에 비해 프라이버시를 보호하고 비용 효율적인 대안을 제공합니다.

결과
저자들은 5개의 서브도메인에 걸친 20개의 질의응답 쌍에 대해 RAGAS 프레임워크를 사용하여 자문 시나리오에 대한 예비 평가를 수행했습니다. 연구에서는 네 가지 제너레이터 모델을 비교했습니다: GPT-4o-mini, GPT-5.4 (OpenAI API 경유), 그리고 로컬에서 실행되는 Gemma4:e4b 및 Qwen3.5:9b입니다.

• 성능: 로컬에 배포된 Qwen3.5:9b가 가장 높은 답변 관련성(0.917)을 기록했습니다. GPT-5.4는 가장 높은 사실적 정확도(0.908)를 기록했으며, 이는 Qwen3.5:9b(0.814)보다 12% 높은 수치였습니다.
• 시사점: 이러한 상대적 비교는 RAG 파이프라인 내에서 로컬 호스팅 모델이 큐레이션된 외부 소스에 지식의 부담을 전가함으로써, 도메인 특화 작업에 대해 상용 모델의 성능에 근접할 수 있음을 시사합니다.

의의 및 주장
본 논문은 Qlippy가 양자 워크플로우에 재현 가능한 소프트웨어 공학 관행을 통합하는 실질적인 경로를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 전문성 장벽 완화: 개발자가 기초적인 도구 생태계에 대한 깊은 이해 없이도 실험 추적 및 프로비넌스 수집을 적용할 수 있도록 합니다.
2. 적시 지원 (Just-in-Time Support): 개발 워크플로우 내에서 직접 가이드와 코드 증강을 제공하여, 생소한 도구를 도입하는 과정에서의 마찰을 줄입니다.
3. 통제된 범위: 어시스턴트의 지식 범위를 명시적으로 제어하고 근거를 제공함으로써, 근거가 없는 모델의 개방적인 동작 대신 목표하는 관행에 부합하도록 보장합니다.
4. 접근성: 필요한 컴퓨팅 인프라가 관리된다면, 저비용의 프라이버시 보호형 로컬 배포가 연구, 산업 및 교육 분야에서 현실적인 옵션임을 입증합니다.

저자들은 본 평가가 프로토타입과 제한된 질문 세트에 기반했다는 점을 인정하며 신중한 입장을 유지합니다. 또한 시스템의 효과는 큐레이션된 지식 소스의 품질에 달려 있으며, 실제 사용자와 팀을 대상으로 도입 사례를 평가하기 위한 추가적인 검증이 필요하다고 언급합니다. 향ual 연구로는 다중 전문가 검증, 프로비넌스 완전성에 대한 공식적 평가, 그리고 동일한 크기의 비-RAG 모델과의 비교 등이 제안되었습니다.