Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation

Este artículo presenta una adaptación basada en Qiskit de los QuantumKatas de Microsoft como una evaluación integral para evaluar los LLM en tareas de computación cuántica, revelando que, aunque los modelos sobresalen en la implementación de algoritmos conocidos, tienen dificultades con la codificación de problemas y que la generación de respuestas mediante encadenamiento de pensamiento produce resultados mixtos en diferentes arquitecturas de modelos.

Lo esencial

Imagina que tienes una biblioteca gigante de 350 acertijos diseñados para enseñar a alguien a hablar "Quantum", un extraño nuevo lenguaje utilizado para programar computadoras cuánticas. Durante años, estos acertijos fueron escritos en un lenguaje llamado Q# (el dialecto de Microsoft).

Este artículo trata sobre dos cosas principales:

1. Traducir la Biblioteca: Los autores tomaron esos 350 acertijos y los tradujeron a Qiskit, que es el "dialecto" (marco de trabajo) más popular utilizado por los programadores cuánticos hoy en día.
2. Probar a los Estudiantes: Utilizaron esta biblioteca traducida como un examen gigante para probar 16 modelos diferentes de Inteligencia Artificial (IA) y ver qué tan buenos son resolviendo estos acertijos cuánticos.

Aquí hay un desglose de lo que encontraron, usando analogías simples:

1. El Examen: "QuantumKatas"

Piensa en los QuantumKatas como un videojuego con 26 niveles diferentes, que van desde "Tutorial" (muy fácil) hasta "Batalla contra el Jefe" (muy difícil).

• Los Niveles: Algunos niveles piden a la IA que realice trucos simples, como lanzar una moneda (una puerta básica). Otros piden a la IA que resuelva acertijos complejos, como encontrar una aguja oculta en un pajar usando un algoritmo específico (búsqueda de Grover) o reparar una máquina rota (corrección de errores).
• La Traducción: Los autores no inventaron nuevos acertijos; simplemente tradujeron los existentes del lenguaje Q# de Microsoft al lenguaje Qiskit de IBM. Esto asegura que la dificultad sea justa y los conceptos sean los mismos.
• La Calificación: No solo pidieron a la IA que escribiera código; ejecutaron el código en un simulador (una computadora cuántica virtual) para ver si realmente funcionaba. Si las matemáticas no coincidían, la IA reprobaba.

2. Los Estudiantes: 16 Modelos de IA

Probaron 16 "estudiantes" de IA diferentes.

• Los Estudiantes "Élite" (Modelos de Vanguardia): Estos son los modelos grandes, costosos y propietarios (como GPT-5.5, Claude Opus, Gemini 3.1).
• Los Estudiantes "Abiertos" (Modelos de Código Abierto): Estos son modelos gratuitos que cualquiera puede descargar (como Llama, Mistral, Gemma).

Los Resultados:

• La Brecha: Los estudiantes Élite obtuvieron puntuaciones mucho más altas que los estudiantes Abiertos. En promedio, los estudiantes Élite acertaron aproximadamente el 75% de los acertijos, mientras que los estudiantes Abiertos solo acertaron aproximadamente el 49%. Es como la diferencia entre un estudiante de honor y un estudiante que aprueba.
• El Tamaño No Siempre Gana: Curiosamente, tener un "cerebro más grande" (más parámetros) no garantizó una mejor puntuación. Algunos modelos más pequeños y mejor ajustados superaron a los masivos. No se trata solo de qué tan grande es el cerebro, sino de cómo fue entrenado.

3. Las Pistas de Estudio (Estrategias de Prompting)

Los investigadores probaron diferentes formas de hacer las preguntas para ver si ayudaba a la IA a rendir mejor.

• El Método "Muéstrame" (Few-Shot): Dieron a la IA algunos ejemplos de acertijos resueltos antes de pedirle que resolviera uno nuevo. Este fue el método más confiable para casi todos. Es como mostrarle a un estudiante un problema de matemáticas resuelto antes de darle un examen.
• El Método "Piensa en Voz Alta" (Cadena de Pensamiento): Pidieron a la IA que explicara su razonamiento paso a paso antes de escribir el código.
  • El Giro: Esto funcionó muy bien para los modelos "Ajustados para Razonamiento" (aquellos entrenados específicamente para pensar profundamente), aumentando sus puntuaciones.
  • La Desventaja: Para la mayoría de los otros modelos, pensar en voz alta en realidad los hizo peor. Es como pedirle a un estudiante que hable sobre cada paso de un acertijo, y se distraen tanto hablando que olvidan la solución.
• El Método "Simplemente Hazlo" (Zero-Shot): Solo hacer la pregunta sin ejemplos. Esto funcionó mejor para los modelos absolutamente más inteligentes (como GPT-5.5), que no necesitaban ayuda.

4. ¿Dónde Tuvieron Dificultades?

Los estudiantes de IA eran buenos en algunas cosas y terribles en otras:

• La Especialidad: Eran excelentes recitando algoritmos conocidos. Si el acertijo decía: "Escribe el código para el Algoritmo de Simon", lo acertaron el 82% de las veces. Es como memorizar una receta y cocinarla perfectamente.
• El Punto Débil: Tuvieron dificultades con la codificación de problemas. Si el acertijo decía: "Toma este problema desordenado del mundo real (como un acertijo lógico) y conviértelo en una receta cuántica", fallaron a menudo (solo un 34% de éxito). Es como ser excelente siguiendo una receta pero terrible inventando un nuevo plato desde cero.
• La Trampa de la "Medición": También tuvieron dificultades con tareas que involucraban "medición" (verificar el resultado de un estado cuántico). Esto parece ser un punto ciego específico para la IA actual.

5. El Veredicto

• La IA está mejorando, pero no es perfecta: La mejor IA puede resolver aproximadamente el 83% de estos acertijos cuánticos. Eso es impresionante para un tema tan difícil, pero aún no es perfecto.
• El Problema de la "Traducción": La IA es mejor copiando patrones conocidos que traduciendo un problema nuevo y desordenado a código cuántico.
• No Hay Una Solución Única: No se debe usar la misma "pista de estudio" (prompt) para cada IA. Algunas necesitan ejemplos, algunas necesitan pensar en voz alta y algunas simplemente necesitan que las dejen en paz.

En resumen: Los autores construyeron un "Examen de Conducción Cuántico" estandarizado en el lenguaje más popular. Encontraron que, aunque la IA está mejorando mucho conduciendo por caminos conocidos (algoritmos estándar), aún lucha por navegar cuando falta el mapa (resolver nuevos problemas). Los modelos de IA "Élite" son actualmente los mejores conductores, pero la brecha entre ellos y los modelos "Abiertos" es significativa.

Resumen técnico

Resumen Técnico: Qiskit QuantumKatas para la Evaluación de Modelos de Lenguaje Grande

Enunciado del Problema

Aunque los Modelos de Lenguaje Grande (LLM) han demostrado capacidades sólidas de generación de código en programación general y ciencia de datos, su competencia en computación científica especializada, específicamente en computación cuántica, sigue siendo poco explorada. La computación cuántica presenta un desafío único debido a su paradigma computacional no clásico, que requiere una comprensión de la superposición, el entrelazamiento y la medición. Las evaluaciones existentes para tareas cuánticas suelen tener una escala limitada, carecen de estructura pedagógica o se centran en conocimientos de opción múltiple en lugar de en la generación de código. Existe la necesidad de una evaluación estructurada y a gran escala que permita un análisis detallado de la capacidad de los LLM para generar código cuántico funcional dentro del marco más ampliamente adoptado, Qiskit.

Metodología

Los autores presentan Qiskit QuantumKatas, una evaluación que adapta el currículo establecido de QuantumKatas de Microsoft (originalmente en Q#) a Qiskit. La metodología implica:

1. Construcción del Conjunto de Datos:

   • Traducción: Se tradujeron 350 tareas de programación distintas de Q# a Qiskit, preservando la progresión pedagógica original desde puertas básicas hasta algoritmos avanzados.
   • Verificación: Se construyó una pipeline de evaluación determinista utilizando simulación clásica de circuitos (AerSimulator y Statevector de Qiskit). Cada tarea incluye una instrucción en lenguaje natural, una solución canónica y una función de prueba que verifica la corrección mediante comparación de vectores de estado o análisis de resultados de medición.
   • Categorización: Las tareas se organizan en 26 categorías (por ejemplo, BasicGates, Algoritmo de Grover, Corrección de Errores Cuánticos) y tres niveles pedagógicos: Introductorio (95 tareas), Intermedio (132 tareas) y Avanzado (123 tareas).

2. Marco de Evaluación:

   • Modelos: Se evaluaron 16 LLM, compuestos por 6 modelos de vanguardia (privativos) (por ejemplo, GPT-5.5, Claude Opus 4.7) y 10 modelos de código abierto (que van desde 8B hasta 675B de parámetros).
   • Configuraciones de Prompting: Cada modelo se probó con 7 estrategias de prompting: tres variantes de cero ejemplos (predeterminada, mínima, detallada), tres variantes de pocos ejemplos (1-shot, 3-shot, 5-shot utilizando ejemplos de categorías introductorias) y una configuración de cadena de pensamiento (CoT).
   • Ejecución: El estudio involucró 39.200 ejecuciones de modelos. Las soluciones se analizaron, se verificó su sintaxis y se ejecutaron en subprocesos aislados con un tiempo de espera de 30 segundos. Se reportaron los resultados Pass@1 (intento único) a temperatura 0 para garantizar la reproducibilidad.

Contribuciones Clave

• Adaptación de la Evaluación: Una traducción completa del currículo de QuantumKatas de 350 tareas de Q# a Qiskit, haciendo accesible un recurso pedagógico probado para evaluar el marco cuántico dominante.
• Infraestructura de Evaluación: Una pipeline de evaluación robusta y determinista que incluye simulación clásica para verificación, soporte multi-proveedor y estrategias de prompting configurables.
• Análisis Empírico: La evaluación sistemática más grande de LLM en generación de código cuántico hasta la fecha, proporcionando resultados de referencia, taxonomías de errores y perfiles de rendimiento detallados en 26 categorías.
• Lanzamiento Abierto: El conjunto de datos, el marco de evaluación y los resultados de referencia se publican para apoyar la investigación reproducible.

Resultados

La evaluación arrojó varios hallazgos críticos sobre las capacidades de los LLM en computación cuántica:

1. Brecha de Rendimiento del Modelo:

   • Las tasas de aprobación con la mejor configuración oscilaron entre 32.3% (Granite 4.1 8B) y 83.1% (GPT-5.5).
   • Existe una brecha persistente de 26.1 puntos porcentuales entre los modelos de vanguardia (promedio 75.3%) y los modelos de código abierto (promedio 49.3%).
   • La escala del modelo no es un predictor perfecto del rendimiento; por ejemplo, Mistral Large 3 con 675B de parámetros (48.6%) tuvo un rendimiento inferior al de Gemma 4 con 31B de parámetros (68.0%).

2. Efectos de la Estrategia de Prompting:

   • El prompting de pocos ejemplos (específicamente 5-shot) fue la estrategia más fiable en promedio (57.8% de media), superando al prompting de cero ejemplos y a la cadena de pensamiento.
   • La Cadena de Pensamiento (CoT) exhibió un efecto bimodal: fue la mejor estrategia para tres modelos (dos ajustados explícitamente para razonamiento: GPT-5.3-Codex y Gemini 3.1 Pro), pero degradó el rendimiento para la mayoría de los demás modelos (por ejemplo, una caída de 11.1 puntos porcentuales para Claude Sonnet 4.6). Esto sugiere que la CoT no es universalmente beneficiosa para la generación de código cuántico.

3. Dificultad de la Tarea y Capacidades:

   • Implementación de Algoritmos vs. Codificación de Problemas: Los modelos funcionan bien en la implementación de algoritmos conocidos (por ejemplo, Algoritmo de Simon: 82.1%, BasicGates: 81.6%), pero luchan significativamente al codificar problemas clásicos en primitivas cuánticas (por ejemplo, SolveSATWithGrover: 34.4%, DistinguishUnitaries: 40.0%).
   • Análisis de Errores: El modo de fallo dominante son los errores de lógica (43.0%, principalmente AssertionError), donde el código se ejecuta pero produce estados cuánticos incorrectos. Esto indica que el razonamiento cuántico, y no la sintaxis o el uso de la API, es el principal cuello de botella.
   • Razonamiento sobre Mediciones: Las categorías que involucran resultados de medición y selección de base (por ejemplo, Measurements, Teleportation) mostraron consistentemente tasas de aprobación más bajas, destacando una debilidad específica en el razonamiento sobre las interfaces clásico-cuánticas.

Significado

El artículo afirma que la evaluación Qiskit QuantumKatas proporciona una herramienta rigurosa y pedagógicamente estructurada para evaluar LLM en un dominio científico especializado. Su significado radica en:

• Diferenciación: La evaluación diferencia eficazmente las capacidades de los modelos a través de un amplio espectro de rendimiento, evitando efectos de techo o suelo.
• Granularidad: La estructura de 26 categorías permite un análisis detallado, revelando que los LLM pueden traducir estructuras algorítmicas documentadas a código más fácilmente de lo que pueden formular nuevas soluciones cuánticas para problemas clásicos.
• Utilidad Educativa y de Desarrollo: Los resultados sugieren que, aunque los modelos de vanguardia se están volviendo viables para la tutoría automatizada y la finalización de código en temas cuánticos introductorios, aún no son confiables para la formulación de problemas avanzados o aritmética compleja.
• Dirección Futura: El estudio destaca que la escalabilidad por sí sola podría no cerrar la brecha en dominios especializados; es probable que sean necesarios un entrenamiento dirigido y capacidades de razonamiento mejoradas para abordar los desafíos específicos de la codificación de problemas y el razonamiento sobre mediciones.

Los autores enfatizan que la evaluación sirve como base para futuras investigaciones, incluidas tareas conscientes del ruido, algoritmos a nivel de investigación y el desarrollo de datos de entrenamiento específicos del dominio para cerrar la brecha de rendimiento entre los modelos de vanguardia y los de código abierto.