Leveraging LLM-Based Agentic Systems to Generate Quantum Applications for Test Optimization

Resumen Técnico: Aprovechamiento de Sistemas Agénticos Basados en LLM para la Generación de Aplicaciones Cuánticas para la Optimización de Pruebas

Planteamiento del Problema
Si bien la computación cuántica (QC) muestra una gran promesa para optimizar tareas de ingeniería de software (SE) —específicamente problemas de Ingeniería de Software Basada en Búsqueda (SBSE) como la Optimización de Casos de Prueba (TCO)— persiste una barrera significativa: traducir los requisitos de nivel de tarea en lenguaje natural (NL) en aplicaciones cuánticas ejecutables. Los enfoques actuales requieren una experiencia sustancial tanto en mecánica cuántica como en programación para gestionar la formulación del problema, la codificación, la selección del solver y la orquestación. Las herramientas existentes de ingeniería de flujos de trabajo cuánticos (por ejemplo, QuantME, Q-READY) ofrecen abstracciones, pero no automatizan la generación de extremo a extremo de aplicaciones cuánticas ejecutables a partir de requisitos en NL. Además, aunque los Modelos de Lenguaje Extensos (LLMs) han demostrado éxito en la generación aislada de código cuántico o en la transformación QUBO, aún no se han aplicado eficazmente para generar flujos de trabajo de aplicaciones cuánticas completos y trazables para tareas de optimización de SE.

Metodología: Arquitectura QPipe
Los autores proponen QPipe, una arquitectura multi-agente basada en LLM diseñada para convertir de forma autónoma requisitos en NL en aplicaciones cuánticas ejecutables. El sistema opera a través de un pipeline estructurado que involucra ocho agentes especializados, apoyados por conocimiento de tareas curado y habilidades de codificación, e interactuando con un entorno de herramientas locales.

1. Agentes de Flujo de Trabajo:

   • Agente de Análisis (Parse Agent): Extrae la tarea de SE, los objetivos, las restricciones y los datos del proyecto del requisito en NL.
   • Agente de Análisis (Analysis Agent): Determina la idoneidad cuántica, identificando el núcleo de optimización (por ejemplo, QUBO o modelo Ising) y definiendo la división clásica/cuántica.
   • Agente de Planificación (Blueprint Agent): Crea un plan de flujo de trabajo híbrido, especificando la estructura, la elección del solver y los artefactos esperados.
   • Agente de Codificación (Encoding Agent): Mapea la instancia completa del problema a subproblemas ejecutables, gestionando las restricciones de presupuesto de qubits mediante la descomposición de variables o instancias si es necesario.
   • Agente de Generación de Código (Codegen Agent): Genera programas Python candidatos (usando Qiskit/Qiskit-Aer) basados en el blueprint y la codificación. Opera dentro de un bucle, utilizando herramientas para verificaciones estáticas, compilación y ejecución en sandbox para reparar el código de forma iterativa.
   • Agente de Revisión (Review Agent): Realiza una revisión semántica del código generado frente al requisito original y los artefactos intermedios antes de la ejecución, solicitando reparaciones para inconsistencias o desajustes de objetivos.
   • Agente de Combinación/Script (Combination Agent/Script): Agrega los resultados de los subproblemas descompuestos. Utiliza scripts deterministas para agregaciones simples (por ejemplo, suma) y un agente de LLM para interpretaciones semánticas complejas.
   • Agente de Verificación (Verification Agent): Valida la aplicación ejecutada final y los resultados contra el registro de generación y, donde sea factible, contra un solver de referencia clásico.

2. Capacidades de Soporte:

   • Conocimiento de la Tarea: Proporciona orientación sobre la formulación (QUBO/Ising) y fundamenta el problema en entidades específicas de SE (por ejemplo, atributos de casos de prueba).
   • Habilidad de Codificación: Impone convenciones de implementación, como el uso de APIs específicas de Qiskit y la evitación de stubs o llamadas obsoletas.
   • Herramientas (Tooling): Los agentes acceden a herramientas locales para la inspección del entorno, almacenamiento de código, verificación estática/de compilación, ejecución en sandbox y resolución de referencia clásica (por ejemplo, autovalores exactos o enumeración de fuerza bruta para instancias pequeñas).

Contribuciones Clave

• Automatización de Extremo a Extremo: QPipe es el primer sistema que genera de forma autónoma aplicaciones cuánticas trazables y ejecutables a partir de requisitos de optimización de SE en NL, cubriendo todo el ciclo de vida desde el análisis hasta la verificación.
• Descomposición Multi-Agente: La arquitectura separa las responsabilidades en roles especializados (análisis, planificación, codificación, revisión), permitiendo bucles de retroalimentación dirigidos y preservando la trazabilidad a través de los artefactos intermedios.
• Estrategia de Ejecución Híbrida: El sistema gestiona dinámicamente las restricciones de recursos (por ejemplo, límites de qubits) mediante la descomposición de problemas grandes en subproblemas y la orquestación de su ejecución y agregación.
• Marco de Evaluación Empírica: Los autores establecen un protocolo de evaluación riguroso utilizando 20 requisitos en NL a través de 10 benchmarks del mundo real de TCO (Selección y Minimización de Casos de Prueba), midiendo el costo de generación, la efectividad (pass@k) y la calidad de la solución frente a un baseline de Algoritmo Genético (GA).

Resultados Experimentales
El estudio evaluó QPipe en 20 requisitos en NL asociados con 10 benchmarks (incluyendo elevator_o2, gsdtsr y programas sujetos de GNU).

• Efectividad de la Generación: QPipe logró una tasa de paso de compilación del 100% y una tasa de éxito del 96.7% tanto para la ejecución de la aplicación como para la combinación final de resultados en todos los requisitos. El costo promedio de generación fue de 260.1 segundos y 1.89 millones de tokens por requisito.
• Calidad de la Solución: Entre las aplicaciones generadas con éxito, las soluciones superaron a un baseline de Algoritmo Genético (GA) en la mayoría de los casos. La Relación de Reducción Cuántica (QRR) mostró mejoras positivas, con medianas de QRR de 57.6 para la Selección de Casos de Prueba (TCS) y 89.1 para la Minimización de Casos de Prueba (TCM). Los escenarios peores aun así igualaron o superaron ligeramente el baseline de GA.
• Patrones de Flujo de Trabajo: El análisis de las ejecuciones exitosas reveló que los agentes convergieron autónomamente en formulaciones QUBO y algoritmos QAOA, a pesar de haber sido instados con otras opciones algorítmicas. El sistema descompuso consistentemente las tareas en 4 a 6 subproblemas y mantuvo los tamaños de circuito alrededor de 12 qubits para equilibrar la factibilidad y la sobrecarga.
• Estudios de Ablación: La eliminación de componentes específicos degradó significativamente el rendimiento. La eliminación de las habilidades de generación de código causó el fallo más drástico (éxito de compilación casi nulo). Eliminar el conocimiento de la tarea, la retroalimentación de revisión o la descomposición multi-agente también redujo la efectividad y la calidad de la solución, confirmando la necesidad de la arquitectura completa.
• Comparación de Backbone LLM: El uso de Claude como backbone produjo el mayor rendimiento (100% de compilación, 93.3% de ejecución). DeepSeek funcionó bien en las etapas iniciales y de compilación, pero tuvo dificultades en las etapas posteriores de revisión y verificación. Llama falló completamente en la etapa de generación de código, resaltando la sensibilidad del flujo de trabajo a las capacidades de codificación del modelo base.

Significancia y Reivindicaciones
El artículo afirma que la coordinación agéntica es un enfoque viable para generar aplicaciones cuánticas ejecutables para problemas reales de optimización de pruebas. Los autores sostienen que QPipe demuestra que los sistemas multi-agente basados en LLM pueden navegar autónomamente las complejidades de la ingeniería de flujos de trabajo cuánticos —gestionando la formulación del problema, la codificación y la orquestación— sin requerir intervención manual en cada paso.

La significancia radica en reducir la barrera de entrada para aplicar la optimización cuántica a las tareas de SE. Al automatizar la traducción de requisitos en NL a código ejecutable, QPipe tiene el potencial de reducir el umbral de experiencia requerido para que los profesionales de SE aprovechen la computación cuántica. Los autores concluyen modestamente que, aunque el flujo de trabajo actual es costoso en términos de tokens y tiempo, produce con éxito soluciones de alta calidad que a menudo superan los baselines clásicos, sugiriendo un camino hacia una ingeniería de software asistida por computación cuántica más accesible. Señalan que se necesitan estudios empíricos más amplios para generalizar estos hallazgos a otras tareas de SE y backends cuánticos.