Leveraging LLM-Based Agentic Systems to Generate Quantum Applications for Test Optimization

기술 요약: 테스트 최적화를 위한 양자 애플리케이션 생성에 LLM 기반 에이전트 시스템 활용

문제 정의
양자 컴퓨팅(QC)은 소프트웨어 공학(SE) 작업, 특히 테스트 케이스 최적화(TCO)와 같은 탐색 기반 소프트웨어 공학(SBSE) 문제를 최적화하는 데 있어 유망한 가능성을 보여주고 있으나, 중요한 장벽이 남아 있다. 즉, 자연어(NL) 수준의 태스크 요구사항을 실행 가능한 양자 애플리케이션으로 변환하는 과정이다. 기존 방식은 문제 정식화, 인코딩, 솔버 선택 및 오케스트레이션을 처리하기 위해 양자 역학과 프로그래밍 모두에 대한 상당한 전문 지식을 요구한다. 기존의 양자 워크플로우 엔지니어링 도구들(예: QuantME, Q-READY)은 추상화 계층을 제공하지만, 자연어 요구사항으로부터 실행 가능한 애플리케이션을 엔드 투 엔드로 자동 생성하지는 못한다. 또한, 대규모 언어 모델(LLM)이 고립된 형태의 양자 코드 생성이나 QUBO 변환에는 성공을 거두었으나, SE 최적화 작업을 위한 완전하고 추적 가능한 실행형 양자 애플리케이션 워크플로우를 생성하는 데에는 아직 효과적으로 적용되지 않았다.

방법론: QPipe 아키텍처
저자들은 자연어 요구사항을 실행 가능한 양자 애플리케이션으로 자율적으로 변환하기 위해 설계된 LLM 기반 멀티 에이전트 아키텍처인 QPipe를 제안한다. 이 시스템은 구조화된 파이프라인을 통해 작동하며, 8개의 특화된 에이전트가 큐레이션된 태스크 지식 및 코딩 기술을 지원받아 로컬 툴링 환경과 상호작용하며 동작한다.

1. 워크플로우 에이전트:

   • Parse Agent (파싱 에이전트): 자연어 요구사항으로부터 SE 태스크, 목적, 제약 조건 및 프로젝트 데이터를 추출한다.
   • Analysis Agent (분석 에이전트): 양자 적합성을 결정하며, 최적화 커널(예: QUBO 또는 Ising 모델)을 식별하고 클래식/양자 분할을 정의한다.
   • Blueprint Agent (블루프린트 에이전트): 구조, 솔버 선택 및 예상 결과물을 명시하는 하이브리드 워크플로우 계획을 생성한다.
   • Encoding Agent (인코딩 에이전트): 전체 문제 인스턴스를 실행 가능한 하위 문제로 매핑하며, 필요 시 변수나 인스턴스를 분해하여 큐비트 예산 제약을 처리한다.
   • Codegen Agent (코드 생성 에이전트): 블루프린트와 인코딩을 바탕으로 (Qiskit/Qiskit-Aer을 사용하는) 후보 파이썬 프로그램을 생성한다. 이 에이전트는 정적 검사, 컴파일, 샌드박스 실행을 위한 도구를 활용하여 코드를 반복적으로 수정하는 루프 내에서 작동한다.
   • Review Agent (리뷰 에이전트): 실행 전, 생성된 코드가 원래의 요구사항 및 중간 산출물과 의미론적으로 일치하는지 검토하며, 불일치나 목적 불일치가 발생할 경우 수정을 요청한다.
   • Combination Agent/Script (결합 에이전트/스크립트): 분해된 하위 문제들의 결과를 집계한다. 단순 집계(예: 합계)에는 결정론적 스크립트를 사용하고, 복잡한 의미론적 해석에는 LLM 에이전트를 사용한다.
   • Verification Agent (검증 에이전트): 최종 실행된 애플리케이션과 결과를 생성 기록 및 (가능한 경우) 클래식 참조 솔버와 대조하여 검증한다.

2. 지원 역량:

   • 태스크 지식 (Task Knowledge): 정식화(QUBO/Ising)에 대한 가이드를 제공하고, 문제를 특정 SE 엔티티(예: 테스트 케스 속성)에 근거하게 한다.
   • 코딩 기술 (Coding Skill): 특정 Qiskit API 사용 및 스텁(stub)이나 폐기된 호출 방지 등 구현 컨벤션을 강제한다.
   • 툴링 (Tooling): 에이전트들은 환경 점검, 코드 저장, 정적/컴파일 검사, 샌드박스 실행 및 클래식 참조 솔버(예: 작은 인스턴스에 대한 정확한 고유값 분해 또는 브루트 포스 열거)를 위한 로컬 도구에 접근한다.

주요 기여

• 엔드 투 엔드 자동화: QPipe는 파싱부터 검증에 이르기까지 전체 라이프사이클을 아우르며, 자연어 SE 최적화 요구사항으로부터 추적 가능하고 실행 가능한 양자 애플리케이션을 자율적으로 생성하는 최초의 시스템이다.
• 멀티 에이전트 분해: 이 아키텍처는 관심사를 (파싱, 계획, 코딩, 리뷰와 같이) 전문화된 역할로 분리하여, 타겟팅된 피드백 루프를 가능하게 하고 중간 산출물 전반에 걸쳐 추적 가능성을 보존한다.
• 하이브리드 실행 전략: 시스템은 큰 문제를 하위 문제로 분해하고 그 실행과 집계를 오케스트레이션함으로써 자원 제약(예: 큐비트 제한)을 동적으로 처리한다.
• 경험적 평가 프레임워크: 저자들은 20개의 자연어 요구사항과 10개의 실제 TCO 벤치마크(테스트 케이스 선택 및 최소화)를 사용하여 생성 비용, 효과성(pass@k), 그리고 유전 알고리즘(GA) 베이스라인 대비 솔루션 품질을 측정하는 엄격한 평가 프로토콜을 구축하였다.

실험 결과
연구는 10개의 벤치마크(elevator_o2, gsdtsr, GNU subject programs 포함)와 관련된 20개의 자연어 요구사항에 대해 QPipe를 평가하였다.

• 생성 효과성: QPipe는 모든 요구사항에 대해 100%의 컴파일 통과율과 96.7%의 애플리케이션 실행 및 최종 결과 결합 성공률을 달enc성했다. 평균 생성 비용은 요구사항당 260.1초 및 1.89백만 토큰이었다.
• 솔루션 품질: 성공적으로 생성된 애플리케이션 중, 대부분의 경우에서 솔루션이 클래식 유전 알고리즘(GA) 베이스라인을 능가했다. 양자 감소 비율(QRR)은 긍정적인 개선을 보였으며, 중앙값 QRR은 테스트 케이스 선택(TCS)에서 57.6, 테스트 케이스 최소화(TCM)에서 89.1을 기록했다. 최악의 경우에도 GA 베이스라인과 대등하거나 약간 상회했다.
• 워크플로우 패턴: 성공적인 실행 분석 결과, 에이전트들은 다른 알고리즘 옵션이 프롬프트되었음에도 불구하고 자율적으로 QUBO 정식화와 QAOA 알고리즘으로 수렴했다. 시스템은 지속적으로 태스크를 4~6개의 하위 문제로 분해하였고, 실행 가능성과 오버헤드의 균형을 맞추기 위해 회로 크기를 약 12 큐비트로 유지했다.
• 어블레이션 연구 (Ablation Studies): 특정 구성 요소를 제거하면 성능이 크게 저하되었다. 코딩 생성 기술을 제거했을 때 가장 극적인 실패(컴파일 성공률 거의 제로)가 발생했다. 태스크 지식, 리뷰 피드백, 또는 멀티 에이전트 분해를 제거하는 것 역시 효과성과 솔루션 품질을 감소시켜, 전체 아키텍처의 필요성을 확인해주었다.
• 백본 LLM 비교: Claude를 백본으로 사용했을 때 가장 높은 성능(컴파일 100%, 실행 93.3%)을 보였다. DeepSeek은 초기 단계와 컴파일에서는 우수한 성능을 보였으나, 후기 리뷰 및 검증 단계에서 어려움을 겪었다. Llama는 코드 생성 단계에서 완전히 실패하여, 워크플로우가 백본 모델의 코딩 능력에 매우 민감함을 보여주었다.

의의 및 주장
본 논문은 **에이전트 간의 협업(agentic coordination)**이 실제 소프트웨어 공학의 테스트 최적화 문제를 위한 실행 가능한 양자 애플리케이션을 생성하는 데 있어 유효한 접근 방식임을 주장한다. 저자들은 QPipe가 매 단계마다 수동 개입 없이도 양자 워크플로우 엔지니어링의 복잡성(문제 정식화, 인코딩, 오케스트레이션 처리)을 자율적으로 탐색할 수 있음을 입증한다고 단언한다.

이 연구의 의의는 양자 최적화를 SE 작업에 적용하기 위한 진입 장벽을 낮추는 데 있다. 자연어 요구사항으로부터 실행 가능한 코드로의 변환을 자동화함으로써, QPipe는 SE 실무자들이 양자 컴퓨팅을 활용하는 데 필요한 전문 지식의 문턱을 낮출 수 있다. 저자들은 현재의 워크플로우가 토큰과 시간 측면에서 비용이 많이 들지만, 클래식 베이스라인을 종종 능가하는 고품질의 솔루션을 성공적으로 생성한다는 점에서 유의미한 결과를 냈다고 겸허히 결론지으며, 이는 더 접근하기 쉬운 양자 보조 소프트웨어 공학을 향한 경로를 제시한다. 또한, 이러한 발견을 다른 SE 태스크 및 양자 백엔드로 일반화하기 위해 더 광범위한 경험적 연구가 필요하다고 언급했다.