QMutBench: A Dataset of Quantum Circuit Mutants

1. Planteamiento del Problema

El campo del software cuántico está creciendo rápidamente, impulsado por la promesa de resolver problemas complejos más rápido que el software clásico mediante fenómenos como la superposición y el entrelazamiento. Sin embargo, esto presenta nuevos desafíos para la prueba de software (testing).

• Falta de Benchmarks: Para evaluar la efectividad de las técnicas de prueba automatizadas, es necesario medir su capacidad para detectar fallos. Esto requiere conjuntos de datos de programas defectuosos (benchmarks). En el ámbito cuántico, los benchmarks con fallos reales son escasos.
• Limitaciones de la Análisis de Mutación: Aunque el análisis de mutación (introducir fallos artificiales para evaluar pruebas) se utiliza en software clásico y existen herramientas específicas para circuitos cuánticos (como Muskit), estas generan un número masivo de mutantes.
• El Desafío de la Selección: No existe un método automatizado y sistemático, respaldado por evidencia empírica, para seleccionar un subconjunto representativo de mutantes entre los miles generados. Los conjuntos de datos existentes son difíciles de navegar y utilizar debido a su complejidad y volumen.

2. Metodología

Los autores presentan QMutBench, un conjunto de datos y una interfaz en línea diseñada para superar estas limitaciones.

• Generación de Datos:
  • Se utilizaron 375 circuitos cuánticos originales (algoritmos diversos).
  • Se aplicó la herramienta de mutación Muskit para generar mutantes.
  • Se aplicaron tres operadores de mutación en todas las puertas cuánticas soportadas y en todas las posiciones posibles del circuito: Añadir (Add), Eliminar (Remove) y Reemplazar (Replace).
  • El resultado total es un conjunto de 723,079 mutantes de circuitos cuánticos.
• Métrica Clave: Tasa de Supervivencia (Survival Rate):
  • Basado en un estudio empírico previo, los autores definieron la "tasa de supervivencia" como la probabilidad de que un mutante no sea detectado por las pruebas.
  • A diferencia de la puntuación de mutación (que mide lo detectado), esta métrica se centra en la dificultad de detección.
  • Los mutantes se agruparon y etiquetaron según sus características (algoritmo, número de qubits, operador, puerta afectada, posición) y su tasa de supervivencia.
• Interfaz de Selección:
  • Se desarrolló una interfaz web que permite a los usuarios filtrar el conjunto de datos masivo.
  • Los usuarios pueden seleccionar criterios específicos: algoritmo original, rango de qubits, rango de tasa de supervivencia deseada, tipo de puerta cuántica afectada, posición en el circuito y operador de mutación.
• Formato de Salida:
  • Los circuitos originales y mutantes se entregan en QASM (Quantum Assembly Language), el estándar de facto para circuitos cuánticos, facilitando su uso en múltiples plataformas (como Qiskit, Cirq, etc.).
  • La descarga se realiza en un archivo .zip estructurado con carpetas para programas originales y mutantes, nombrados según el algoritmo, qubits, operador, puerta y posición.

3. Contribuciones Clave

1. QMutBench (Conjunto de Datos): La colección más grande y accesible de mutantes de circuitos cuánticos hasta la fecha (>700k mutantes).
2. Interfaz de Filtrado Dinámico: Una herramienta en línea que permite a los investigadores y desarrolladores descargar solo los mutantes relevantes para sus necesidades específicas, sin necesidad de manejar el conjunto de datos completo.
3. Estandarización y Accesibilidad: Conversión de todos los datos a QASM, eliminando la dependencia de un único framework de programación (anteriormente limitado a Qiskit).
4. Categorización por Dificultad: La capacidad de seleccionar mutantes basándose en su tasa de supervivencia, permitiendo crear benchmarks que van desde fallos muy fáciles de detectar hasta aquellos extremadamente difíciles (o equivalentes).

4. Resultados y Estado Actual

• Distribución de Datos: El análisis de la distribución muestra que el conjunto de datos contiene predominantemente mutantes con tasas de supervivencia muy bajas (0-10%, fáciles de detectar) o muy altas (90-100%, difíciles de detectar o equivalentes), aunque mantiene una representación significativa en otros rangos.
• Usabilidad: La interfaz permite a los usuarios definir benchmarks personalizados. Por ejemplo, un usuario puede solicitar mutantes del algoritmo de Grover, con 5 qubits, donde se haya eliminado una puerta Hadamard en el primer 10% del circuito, con una tasa de supervivencia entre el 20% y el 30%.
• Disponibilidad: El código, los datos y la interfaz están disponibles públicamente en GitHub y una página web dedicada, junto con un video demostrativo.

5. Significado e Impacto

QMutBench es fundamental para el avance del ingeniería de software cuántico por varias razones:

• Evaluación de Técnicas de Prueba: Permite medir objetivamente la calidad de las pruebas generadas por nuevas técnicas de testing cuántico, comparando qué porcentaje de los mutantes seleccionados logran detectar.
• Desarrollo de Nuevas Técnicas: Facilita la creación de técnicas de prueba guiadas por mutación, donde los algoritmos de prueba se optimizan para detectar fallos específicos.
• Depuración y Reparación: Los mutantes sirven como casos de prueba para evaluar la eficacia de técnicas de depuración cuántica en la localización y reparación de errores.
• Investigación Futura: Abre la puerta a estudios sobre cómo la tasa de supervivencia de los mutantes cambia en entornos ruidosos (simuladores ruidosos vs. hardware cuántico real) y al desarrollo de sistemas de recomendación basados en IA para sugerir mutaciones en circuitos nuevos.

En resumen, QMutBench cierra la brecha entre la generación teórica de mutantes y su aplicación práctica, proporcionando la infraestructura necesaria para validar y mejorar el ecosistema de pruebas de software cuántico.