Resumen Técnico: RubriQ – Optimización de Política Relativa de Grupo Guiada por Rúbricas para la Síntesis de Circuitos Cuánticos Consciente de Restricciones

1. Declaración del Problema

La transición hacia la computación cuántica escalable está obstaculizada por el problema de la compilación clásica: traducir algoritmos de alto nivel en secuencias de puertas de bajo nivel que satisfagan tanto las restricciones de recursos de la computación cuántica tolerante a fallos (FTQC) como la ejecutabilidad en hardware de la era NISQ.

• Restricciones FTQC: En arquitecturas de código de superficie, las operaciones no Clifford (específicamente las puertas $T$) requieren la destilación de estados mágicos costosa, lo que consume órdenes de magnitud más recursos físicos que las puertas Clifford. Minimizar el conteo de puertas $T$ ($T$-count) y la profundidad de $T$ ($T$-depth) es crítico para reducir el presupuesto computacional clásico y la complejidad de programación.
• Restricciones de la Era Próxima (Near-Term): Los dispositivos actuales de escala intermedia sin ruido (NISQ), como la topología heavy-hex de IBM o la conectividad all-to-all de IonQ, imponen límites estrictos en los conjuntos de puertas nativas, la conectividad de cúbits y la profundidad del circuito.
• Limitaciones de los Métodos Existentes: Los compiladores convencionales (Qiskit, TKET) dependen de reglas heurísticas estáticas y carecen de capacidades generativas para descubrir nuevas simplificaciones algebraicas. Los enfoques previos de Aprendizaje por Refuerzo (RL) suelen sufrir de recompensas terminales dispersas, gradientes de alta varianza y espacios de acción estrechos (inserción/eliminación de puertas) que impiden el descubrimiento de circuitos estructuralmente novedosos. Además, entrenar agentes de RL para la síntesis cuántica a escala es computacionalmente prohibitivo debido a la complejidad de simulación de fidelidad $O(4^{n_q})$.

2. Metodología: El Marco de Trabajo RubriQ

RubriQ redefine la síntesis de circuitos cuánticos como una tarea de generación de código de un modelo de lenguaje de gran escala (LLM), optimizada mediante la Optimización de Política Relativa de Grupo (GRPO) sin un crítico de función de valor aprendido.

2.1 LLM como Sintetizador

El sistema trata la síntesis de código OpenQASM o Qiskit Python como una tarea de generación condicional.

• Modelo Base: Un LLM de 7 mil millones de parámetros ajustado para instrucciones para la generación de código (Qwen2.5-Coder-7B) sirve como la política $\pi_\theta$.
• Eficiencia de Parámetros: El modelo se ajusta mediante Adaptación de Bajo Rango (LoRA) con un rango de 64, manteniendo los parámetros entrenables en aproximadamente el 0.4% del total, lo que permite su despliegue en 4–8 GPUs NVIDIA A100.
• Generación: Para cada instrucción (especificación en lenguaje natural de un algoritmo), el modelo muestrea $N=8$ candidatos de circuitos de forma autorregresiva.

2.2 Motor de Recompensa Guiado por Rúbricas

En lugar de una recompensa binaria dispersa o un crítico neuronal, RubriQ emplea una rúbrica programática y multidimensional para generar recompensas densas y deterministas. La función de recompensa $R(y)$ es una suma ponderada de cinco puntuaciones de componentes acotadas ($S_d \in [0, 1]$), controladas por una condición de corrección estricta:
$$R(y) = g(c) \cdot [w_F S_F + w_C S_C + w_T S_T + w_H S_H + w_E S_E]$$
Donde $g(c)$ es una compuerta lógica (hard gate) que establece la recompensa en cero si la fidelidad de puerta promedio $F_{avg} < 0.99$.

Las cinco dimensiones son:

1. Fidelidad Funcional ($S_F$): Medida mediante el producto interno de Hilbert-Schmidt contra la unitaria objetivo.
2. Fracción de Clifford ($S_C$): La relación entre las puertas Clifford y el total de puertas operacionales, fomentando circuitos con predominancia de Clifford.
3. Reducción de Conteo de $T$ ($S_T$): Una puntuación de decaimiento exponencial basada en el conteo total de puertas $T$ equivalentes (considerando descomposiciones de Toffoli y rotaciones arbitrarias).
4. Validación de Hardware de la Era Próxima ($S_H$): Una puntuación que evalúa la compatibilidad con backends específicos (IBM Eagle/Heron, IonQ Forte/Aria), penalizando puertas no nativas y la sobrecarga de enrutamiento SWAP.
5. Eficiencia del Circuito ($S_E$): Una métrica de compacidad normalizada por profundidad.

2.3 Bucle de Entrenamiento GRPO

El marco utiliza la Optimización de Política Relativa de Grupo (GRPO), que elimina la necesidad de una red crítica separada.

• Estimación de Ventaja: Para un grupo de $N$ completaciones muestreadas de la misma instrucción, las ventajas $\hat{A}_i$ se calculan normalizando las recompensas dentro del grupo: $\hat{A}_i = (R_i - \mu_R) / (\sigma_R + \epsilon)$.
• Escalabilidad: Este enfoque reduce la varianza de las estimaciones de gradiente en comparación con las recompensas dispersas y evita los cuellos de botella de memoria/comunicación de mantener un crítico de miles de millones de parámetros en entornos distribuidos.
• Integración HPC: El bucle de entrenamiento integra la simulación acelerada por CUDA-Q directamente en el bucle de RL para la evaluación de alta capacidad de la fidelidad. El sistema se despliega en NERSC Perlmutter utilizando DeepSpeed ZeRO-2 para la partición distribuida de gradientes y estados del optimizador.

3. Principales Contribuciones

1. Formulación de LLM-como-Sintetizador: La primera aplicación de LLMs de escala de miles de millones de parámetros ajustados para instrucciones a la síntesis de puertas cuánticas mediante post-entrenamiento basado en RL, yendo más allá de los modelos transformer pequeños o las heurísticas estáticas.
2. Motor de Recompensa por Rúbrica Multiobjetivo: Un sistema de puntuación fundamentado en el dominio que desacopla las métricas de costo FTQC (Clifford+T) de la validación de hardware de la era próxima, reemplazando los críticos neuronales con rúbricas interpretables y deterministas.
3. Arquitectura de Sistemas HPC Escalable: Un pipeline completo de entrenamiento implementado en NERSC Perlmutter con una eficiencia de escalado fuerte (strong-scaling) superior al 85% en 8 GPUs A100, utilizando DeepSpeed ZeRO-2 y CUDA-Q para gestionar el costo computacional de las simulaciones $O(4^{n_q})$.
4. Validación de Hardware de la Era Próxima: Un pipeline automatizado que valida los circuitos sintetizados en procesadores físicos IBM Heron-3 e IonQ Forte, demostrando la ejecutabilidad más allá de la simulación.
5. Desempeño Empírico: Demostró mejoras significativas en la calidad de la síntesis y la velocidad de convergencia en comparación con las líneas base de recompensa dispersa y los compiladores tradicionales.

4. Resultados Experimentales

Evaluado en 1,500 circuitos de referencia (QFT, QPE, simulación de Hamiltoniano, codificación de datos) a través de 2–8 cúbits:

• Corrección: Logró una tasa de éxito de corrección por conjunto de datos de al menos 96%.
• Compresión de Puertas $T$: Alcanzó una compresión media de puertas $T$ de 3.31$\times$ sobre los circuitos de solo corrección, superando significativamente a las líneas base de RL de recompensa dispersa (2.05$\times$) y a las herramientas tradicionales (TKET, Qiskit).
• Convergencia: El enfoque guiado por rúbricas convergió 2–3$\times$ más rápido que las líneas base de recompensa dispersa, reduciendo el número total de épocas de entrenamiento requeridas.
• Violaciones de Restricciones: Mantuvo menos del 1% de violaciones de las restricciones de hardware de la era próxima.
• Validación de Hardware: Desplegó con éxito los circuitos top-k en IBM Heron-3 e IonQ Forte, confirmando la capacidad del pipeline para generar código consciente del hardware.
• Eficiencia Computacional: El modelado de la rúbrica densa redujo las llamadas de simulación en 2–3$\times$ en comparación con los métodos de recompensa dispersa, lo que se traduce en ahorros significativos de horas de GPU (por ejemplo, 9.2 frente a 24.2 horas-GPU para tareas de 8 cúbits).

5. Significado y Reivindicaciones

El artículo postula que RubriQ establece un nuevo paradigma para la síntesis de circuitos cuánticos automatizada al unificar las capacidades generativas de los LLM con restricciones rigurosas y específicas del dominio.

• Separación de Preocupaciones: Al separar explícitamente las métricas de costo FTQC de la validación de hardware de la era próxima, RubriQ aborda los requisitos conflictivos de los sistemas futuros tolerantes a fallos y los dispositivos NISQ actuales.
• Eliminación del Crítico: El trabajo demuestra que, para tareas deterministas y computacionalmente programables como la síntesis cuántica, un crítico de función de valor aprendido es innecesario; las recompensas densas basadas en rúbricas combinadas con GRPO proporcionan una señal suficiente para una optimización de política efectiva.
• Pipeline Impulsado por HPC: La investigación destaca la necesidad de recursos de Computación de Alto Rendimiento (HPC) para entrenar herramientas cuánticas impulsadas por IA, proporcionando un plano para escalar la síntesis basada en RL a un mayor número de cúbits donde la simulación clásica se vuelve intratable.
• Robustez: Se demuestra que el marco es robusto en diferentes familias algorítmicas y conteos de cúbits, evitando el sobreajuste a plantillas de circuitos específicas.

Los autores concluyen que RubriQ proporciona un pipeline de alto rendimiento y automatizado para generar circuitos conscientes del costo de la superficie de código, cerrando la breancia entre el diseño de algoritmos teóricos y la ejecución práctica en hardware.