QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits

El artículo presenta QASM-Eval, el primer conjunto de datos y evaluación integral diseñado para entrenar y evaluar modelos de lenguaje de gran tamaño en las funciones avanzadas orientadas al hardware de OpenQASM-3, tales como la retroalimentación clásica y el control de pulsos, demostrando que el ajuste fino dirigido mejora significativamente el rendimiento del modelo en estas tareas críticas de programación de la era NISQ.

Lo esencial

Imagina que estás tratando de enseñarle a un aprendiz brillante pero inexperto cómo construir una máquina muy delicada y de alta tecnología. Esta máquina es un computador cuántico.

Durante mucho tiempo, las instrucciones que le dábamos a este aprendiz eran como una receta simple: "Mezcle estos ingredientes, hornee durante 10 minutos". Esto funcionaba para tareas básicas, pero la máquina ahora está entrando en una fase ruidosa y difícil (llamada la era NISQ). Para que funcione de manera confiable, las instrucciones deben ser mucho más específicas. El aprendiz ahora necesita saber exactamente cuándo revisar la temperatura, cómo ajustar la puerta del horno a mitad del horneado e incluso cómo ajustar la forma de las ondas de calor mismas.

El lenguaje utilizado para estas instrucciones ultraprecisas se llama OpenQASM 3. Es el "manual de hardware" para los computadores cuánticos.

El Probleos: El Aprendiz está Confundido

A pesar de que la Inteligencia Artificial (IA) se ha vuelto muy buena escribiendo código, hubo un problema importante: nadie había construido una prueba de práctica específicamente para este nuevo y complejo lenguaje.

Las pruebas existentes eran como pedirle al aprendiz que "hornee un pastel" (lógica de alto nivel) o "repare una tostadora rota" (circuitos básicos). Pero no evaluaban si el aprendiz podía:

1. Pausar y pensar: Detener el proceso de horneado, revisar un sensor y decidir si añadir más azúcar basándose en esa lectura (Lógica Clásica).
2. Cronometrar perfectamente: Esperar exactamente 0.0000001 segundos antes de abrir la puerta, o sincronizar dos hornos perfectamente (Programación de Tiempos/Scheduling).
3. Ajustar las ondas: Ajustar manualmente la forma de las ondas de calor que golpean la comida para evitar que se queme (Control de Pulsos).

Sin una prueba de práctica para estas habilidades específicas, los modelos de IA estaban adivinando, y estaban fallando estrepitosamente.

La Solución: QASM-Eval (El Examen de Práctica Definitivo)

Los autores de este artículo crearon QASM-Eval. Piensa en esto como un gimnasio de entrenamiento especializado y un examen final para la IA, diseñado específicamente para OpenQASM 3.

• El Conjunto de Entrenamiento: Generaron 4,000 problemas de práctica. Estos no son solo preguntas aleatorias; son escenarios cuidadosamente elaborados donde una IA tiene que completar el código faltante para que la máquina cuántica funcione correctamente.
• El Examen: Crearon un estricto examen de 100 preguntas.
• El Sistema de Calificación: Construyeron un "robot profesor" especial (un verificador automatizado). Este robot no solo revisa si el código parece correcto; realmente simula la máquina cuántica para ver si el código produce el resultado correcto, sigue las reglas de tiempo y no hace que el sistema falle.

Lo Que Encontraron

Los investigadores sometieron a varios de los mejores modelos de IA (como Llama y GPT) a este nuevo examen. Esto es lo que sucedió:

1. La lucha del "Zero-Shot": Cuando le pidieron a la IA que tomara el examen sin ayuda previa (solo "aquí está la pregunta, resuélvela"), los resultados fueron terribles. Las IA eran como estudiantes que habían estudiado física general pero que nunca habían visto el plano específico de esta máquina. No podían acertar la sintaxis, y mucho menos el tiempo.
2. El impulso del "Few-Shot": Cuando los investigadores le dieron a la IA algunos ejemplos de cómo resolver problemas similares primero (como mostrar una muestra de la clave de respuestas), las puntuaciones subieron. Fue como darle al estudiante una hoja de trucos con un ejemplo.
3. El avance del "Fine-Tuning": Esta fue la gran victoria. Los investigadores tomaron los modelos de IA y los "entrenaron" específicamente con sus 4,000 problemas de práctica.
   • El Resultado: Un modelo de IA de tamaño mediano (Llama-8B), tras este entrenamiento específico, desempeñó casi tan bien como la IA más poderosa y costosa (GPT-5.2) que no tenía ningún entrenamiento.
   • El Campeón: Un modelo de IA más grande (Llama-70B), tras el entrenamiento, se convirtió en un maestro. Obtuvo un 85% en el examen, superando incluso a la IA más poderosa cuando esa IA recibía algunos ejemplos.

La Conclusión

El artículo concluye que el cuello de botella no es que la IA sea "tonta" en física cuántica. El cuello de botella es que la IA no conoce la gramática y las reglas específicas de OpenQASM 3.

Al crear un conjunto de datos dedicado (QASM-Eval) y entrenar a la IA en él, demostraron que se puede convertir una IA de propósito general en un programador cuántico altamente confiable. Es como tomar a una persona inteligente que sabe conducir un coche y darle un manual específico y una pista de práctica para un coche de Fórmula 1; de repente, puede conducir el coche de carreras perfectamente.

Este conjunto de datos ahora está abierto para que todos lo usen, ayudando a construir mejores asistentes de IA que puedan ayudar a los humanos a programar la próxima generación de computadores cuánticos.

Resumen técnico

Resumen Técnico: QASM-Eval

Planteamiento del Problema

La computación cuántica opera actualmente en la era de la Tecnología Cuántica de Escala Intermedia con Ruido (NISQ, por sus siglas en inglés), donde el rendimiento está fuertemente limitado por el ruido. La mitigación de estos errores requiere capacidades orientadas al hardware que trascienden las especificaciones estándar de secuencias de puertas de circuitos. Estas capacidades incluyen la medición a mitad de circuito y la retroalimentación clásica para la Corrección de Errores Cuánticos (QEC), el control de tiempo preciso para el Desacoplamiento Dinámico (DD) y el acceso a la forma de onda a nivel de pulso para la calibración.

OpenQASM 3 se introdujo para exponer estas características de nivel de hardware, proporcionando una interfaz de programación que vincula los algoritmos con la física. Sin embargo, a pesar del rápido avance de los Modelos de Lenguaje Extensos (LLM) en la generación de código, existe una falta crítica de conjuntos de datos diseñados para entrenar y evaluar LLM en programas OpenQASM 3 que utilicen estas funciones avanzadas y orientadas al hardware. Los recursos existentes se centran en el diseño de algoritmos de alto nivel (por ejemplo, conjuntos de datos basados en Qiskit) o están limitados a circuitos estáticos de secuencias de puertas, fallando en cubrir la naturaleza dinámica y de alta restricción de OpenQASM 3. En consecuencia, los LLM actuales tienen dificultades para generar código válido que se adhiera a las estrictas restricciones sintácticas y semánticas de OpenQASM 3 respecto a la lógica clásica, el tiempo y el control de pulsos.

Metodología

Construcción del Conjunto de Datos (QASM-Eval)

Los autores presentan QASM-Eval, el primer conjunto de datos integral diseñado específicamente para entrenar y evaluar LLM en OpenQASM 3. El conjunto de datos se construye utilizando un pipeline híbrido que involucra a expertos en programación cuántica humana e IA, asegurando tanto la diversidad como la corrección mientras se evita la fuga de datos.

1. Preparación de Plantillas: Los expertos diseñan "plantillas de fondo" (aleatorizando configuraciones de qubits, frecuencias y estados iniciales) y "plantillas de tareas centrales" (apuntando a temas específicos como flujos if/else u operaciones de pulso).
2. Generación de Instancias: Un LLM de codificación (Qwen3-Coder-480B), aumentado con la documentación de OpenQASM 3, genera variantes estilísticas y estructurales de las tareas centrales. Estas se combinan con fondos aleatorizados para crear programas OpenQASM 3 completos.
3. Generación de Prompts: El código de la tarea central se reemplaza con un comentario de lenguaje natural "TODO" que describe la funcionalidad requerida, creando un par de especificación-solución.
4. Composición del Conjunto de Datos:
   • Conjunto de Prueba: 100 tareas verificadas por expertos.
   • Conjunto de Entrenamiento: 4,000 tareas.
   • Categorías: El conjunto de datos cubre cuatro categorías:
     • Lógica Clásica: Flujo de control, medición a mitad de circuito, aritmética y conversión de tipos.
     • Programación de Tiempos: Inserción de retardos, tipos de duración, intervalos expandibles y alineación.
     • Control de Pulsos: Manipulación de formas de onda, sincronización de marcos y calibración.
     • Tareas Complejas: Flujos de trabajo del mundo real que integran lo anterior, como QEC, DD y calibración de diafonía (crosstalk).

Marco de Evaluación

Para validar los programas generados, los autores desarrollaron un verificador automático extendido que comprueba:

• Sintaxis: Análisis mediante el parser oficial de OpenQASM 3 para asegurar Árboles de Sintaxis Abstracta (AST) bien formados.
• Estado Cuántico: Utilizando simulación de vector de estado (Qiskit) y simulación a nivel de pulso (Qutip) para verificar la distribución del estado cuántico final contra comportamientos de referencia.
• Cronograma (Schedule): Generación de una línea de tiempo virtual para verificar que se cumplen las restricciones de tiempo (por ejemplo, alineación, retardos).

El criterio de aprobación requiere un análisis sintáctico exitoso y, dependiendo del tipo de tarea, pasar la verificación de estado, la verificación de cronograma, o ambas.

Contribuciones Clave

1. Primer Conjunto de Datos de OpenQASM 3 Enfocado en Hardware: QASM-Eval es el primer recurso que cubre sistemáticamente las funciones avanzadas de OpenQASM 3 (lógica clásica, tiempos y control de pulsos) específicamente para el entrenamiento y evaluación de LLM.
2. Pipeline de Verificación Automatizada: Los autores extendieron las cadenas de herramientas existentes para soportar la verificación automática de las características únicas de OpenQASM 3, incluyendo la semántica de tiempo dinámico y de nivel de pulso, logrando una tasa de acuerdo del 92% con expertos humanos.
3. Resultados de Benchmarking y Ajuste Fino (Fine-Tuning): El artículo proporciona un benchmark riguroso que muestra que los modelos de última generación tienen dificultades con las tareas de OpenQASM 3, pero pueden lograr mejoras significativas mediante un ajuste fino dirigido.

Resultados Experimentales

Los autores evaluaron varios modelos, incluyendo ChatGPT-5.2-Thinking, DeepSeek-V3 y variantes de Llama-3 (8B y 70B), utilizando el conjunto de prueba QASM-Eval.

• Rendimiento Base: Los modelos de última generación exhiben un rendimiento limitado. ChatGPT-5.2-Thinking logró un pass@1 general de 0.54, mientras que las bases de código abierto (Llama-70B, Llama-8B) puntuaron significativamente más bajo (0.27 y 0.24, respectivamente). El rendimiento fue particularmente pobre en tareas "Complejas" (0.00–0.08).
• Prompting de Pocos Disparos (Few-Shot Prompting): Proporcionar tres ejemplos en contexto mejoró el rendimiento, con ChatGPT-5.2-Thinking alcanzando un 0.78 general. Sin embargo, este enfoque depende de la capacidad del modelo para inferir patrones de los ejemplos en lugar de un conocimiento internalizado.
• Impacto del Ajuste Fino (Fine-Tuning): El ajuste fino en el conjunto de entrenamiento de QASM-Eval produjo las ganancias más sustanciales:
  • Llama-3-70B: Logró un pass@1 general de 0.85, superando al ChatGPT-5.2-Thinking aumentado con pocos disparos (0.78).
  • Llama-3-8B: Mejoró de 0.24 a 0.52, acercándose al rendimiento de cero disparos de ChatGPT-5.2-Thinking.
  • El ajuste fino en conjuntos de datos previos (QCircuitBench, Agent-Q) proporcionó solo mejoras marginales, resaltando la necesidad de datos específicos para las funciones de hardware de OpenQASM 3.
• Análisis de Errores: El ajuste fino redujo principalmente los errores de sintaxis (por ejemplo, asignación incorrecta de mediciones o sintaxis de switch inválida), que fueron el modo de fallo dominante para los modelos base. Si bien la validez sintáctica mejoró significamente, los errores semánticos (desajustes de tiempo y de distribución) siguieron siendo un desafío, particularmente para los modelos más pequeños.

Significado y Reivindicaciones

El artículo posiciona a QASM-Eval como un benchmark y una base de entrenamiento crucial para la era NISQ. Los autores afirman que:

• Los LLM actuales carecen del conocimiento sintáctico y semántico específico requerido para la programación cuántica orientada al hardware.
• El ajuste fino dirigido en QASM-Eval desbloquea capacidades sustanciales, permitiendo que modelos de escala media (como Llama-3-70B) superen el rendimiento de modelos más grandes asistidos por pocos disparos.
• El conjunto de datos y el marco de verificación proporcionan un paso necesario hacia el desarrollo de asistentes de LLM confiables que puedan cerrar la brecha entre la intención algorítmica y la ejecución física cuántica, yendo más allá del diseño de circuitos abstractos hacia las realidades prácticas de la mitigación de ruido y la calibración.

Los autores mantienen la modestia respecto al alcance, señalando que las tareas actuales se centran en la traducción de código impulsada por restricciones en lugar del razonamiento algorítmico abierto, y que la naturaleza sintética de los datos puede no capturar completamente la complejidad no estructurada de las bases de código cuánticas del mundo real. Sin embargo, afirman que QASM-Eval establece una línea base vital para la investigación futura en ingeniería de software cuántico.