Resumen Técnico: RubriQ – Optimización de Política Relativa de Grupo Guiada por Rúbricas para la Síntesis de Circuitos Cuánticos Consciente de Restricciones

1. Declaración del Problema

La síntesis de circuitos cuánticos tolerantes a fallos (FTQC) que sean tanto algorítmicamente correctos como compatibles con el hardware representa un cuello de botella crítico en la computación cuántica escalable. Los desafíos principales incluyen:

• Sobrecarga de Recursos: En FTQC, las operaciones no Clifford (específicamente las puertas T) requieren la destilación de estados mágicos, consumiendo órdenes de magnitud más recursos físicos que las puertas Clifford. Minimizar el conteo de puertas T es esencial para reducir la sobrecarga de destilación y la complejidad de programación.
• Restricciones de Hardware: Los dispositivos de la era de la computación cuántica de escala intermedia (NISQ) imponen estrictas restricciones topológicas y de puertas nativas (por ejemplo, la conectividad de hexágono pesado de IBM frente a la conectividad todos-contra-todos de IonQ), lo que requiere que los circuitos sean transpilados eficientemente para evitar una sobrecarga excesiva de SWAP.
• Limitaciones de los Métodos Existentes:
  • Compiladores Heurísticos (por ejemplo, Qiskit, TKET) dependen de reglas de reescritura estáticas y carecen de la capacidad generativa para descubrir nuevas simplificaciones algebraicas.
  • El Aprendizaje por Refuerzo (RL) Estándar a menudo sufre de recompensas terminales dispersas, lo que conduce a gradientes de alta varianza y una exploración deficiente. Típicamente operan sobre espacios de acción estrechos (inserción/eliminación de puertas) en lugar de generar circuitos desde cero.
  • Críticos Neuronales: El entrenamiento de redes críticas de miles de millones de parámetros para RL introduce severos cuellos de botella de memoria y comunicación en entornos de computación de alto rendimiento (HPC).

2. Metodología: El Marco de Trabajo RubriQ

RubriQ replantea la síntesis de circuitos cuánticos como una tarea estructurada de generación de código para Modelos de Lenguaje de Gran Escala (LLMs), optimizada mediante la Optimización de Política Relativa de Grupo (GRPO) sin un crítico de función de valor aprendido.

A. LLM-como-Sintetizador

El sistema trata la generación de código OpenQASM o Qiskit Python como una tarea de generación de código condicional.

• Entrada: Prompts de lenguaje natural que especifican algoritmos objetivo (por ejemplo, QFT, simulación de Hamiltoniano) y restricciones.
• Modelo: Un LLM de código de 7B parámetros ajustado para instrucciones (Qwen2.5-Coder-7B) ajustado mediante Adaptación de Bajo Rango (LoRA).
• Generación: La política muestrea $N=8$ candidatos de circuitos por prompt mediante muestreo autorregresivo.
• Análisis (Parsing): Un analizador multi-estrategia extrae objetos de circuito ejecutables del texto bruto del LLM. Las salidas no analizables se asignan inmediatamente una recompensa de cero.

B. Motor de Recompensa Guiado por Rúbricas

En lugar de un crítico neuronal, RubriQ emplea un motor de puntuación programático y determinista que evalúa los circuitos a través de cinco dimensiones ortogonales. La recompensa total $R(y)$ es una suma ponderada:
$$R(y) = w_C S_C + w_T S_T + w_H S_H + w_F S_F + w_E S_E$$

1. Fracción de Clifford ($S_C$): La proporción de puertas que son operaciones Clifford (eficientes de simular).
2. Reducción de Conteo de T ($S_T$): Una función de decaimiento exponencial que penaliza altos conteos de puertas T, priorizando la eliminación de las primeras pocas puertas T debido a la naturaleza por lotes de la destilación.
3. Compatibilidad de Hardware ($S_H$): Evalúa el cumplimiento con topologías de backend específicas (por ejemplo, IBM Heavy-Hex, IonQ All-to-All), penalizando la sobrecarga de enrutamiento SWAP y las puertas no nativas.
4. Fidelidad Funcional ($S_F$): Calcula la fidelidad del proceso mediante el producto interno de Hilbert-Schmidt entre la unitaria generada y el algoritmo objetivo, asegurando la corrección algorítmica.
5. Eficiencia del Circuito ($S_E$): Recompensa la compacidad y la menor profundidad del circuito.

C. Bucle de Entrenamiento GRPO

RubriQ utiliza la Optimización de Política Relativa de Grupo (GRPO) para actualizar la política:

• Normalización de Grupo: Para un prompt dado, las recompensas de las $N$ completaciones muestreadas se normalizan restando la media del grupo y dividiendo por la desviación estándar del grupo.
• Sin Crítico: Este enfoque elimina la necesidad de una función de valor aprendida, confiando en las señales densas y deterministas proporcionadas por la rúbrica.
• Estimación de Ventaja: La ventaja normalizada $\hat{A}_i$ impulsa las actualizaciones del gradiente de la política, permitiendo que el modelo aprenda de retroalimentación graduada en lugar de señales de éxito/fracaso binarias y dispersas.

D. Arquitectura de Sistemas HPC

Para manejar el costo computacional de la simulación de fidelidad (escalando como $O(4^{n_q})$), RubriQ se despliega en el supercomputador NERSC Perlmutter:

• Hardware: Clústeres NVIDIA A100 (80 GB) conectados vía Slingshot-11.
• Optimización: Utiliza DeepSpeed ZeRO-2 para la partición distribuida del estado del gradiente y del optimizador.
• Simulación: Integra la simulación acelerada por GPU CUDA-Q directamente en el bucle de RL para una evaluación de fidelidad de alto rendimiento.
• Eficiencia: Logra una eficiencia de escalado fuerte de >85% a través de 8 GPUs.

3. Contribuciones Clave

1. Formulación LLM-como-Sintetizador: La primera aplicación de LLMs de escala de miles de millones, ajustados para instrucciones, a la síntesis de puertas cuánticas con post-entrenamiento basado en RL, yendo más allá de los modelos transformer pequeños o reglas heurísticas.
2. Motor de Recompensa de Rúbrica Multiobjetivo: Un novedoso reemplazo para los críticos neuronales con un sistema de puntuación interpretable y basado en el dominio que proporciona recompensas densas y acotadas a través de las dimensiones de Clifford, conteo de T, hardware, fidelidad y eficiencia.
3. Arquitectura de HPC Escalable: Una implementación completa del flujo de entrenamiento en NERSC Perlmutter que demuestra un escalado fuerte y reduce las llamadas totales de simulación en 2–3× comparado con las líneas base de recompensa dispersa debido a una convergencia más rápida.
4. Evaluación Validada por Hardware: Despliegue exitoso de circuitos sintetizados en procesadores físicos IBM Heron-3 e IonQ Forte a través de un pipeline de transpilación automatizado.
5. Desempeño Experimental: Demostró un desempeño superior a través de 1,500 circuitos de referencia, logrando una compresión de puertas T significativa y una convergencia más rápida que las líneas base existentes.

4. Resultados

• Compresión de Puertas T: RubriQ logra una compresión media de puertas T de 3.31× a través de los conjuntos de datos de referencia, superando significativamente a las líneas base de RL de recompensa dispersa (2.05×) y a los compiladores basados en reglas (Qiskit O3: ~1.4×, TKET O2: ~1.7×).
• Velocidad de Convergencia: El marco converge 2–3× más rápido que los métodos de RL de recompensa dispersa, requiriendo menos épocas de entrenamiento para alcanzar las tasas de compresión objetivo.
• Eficiencia de Recursos: Debido a la convergencia más rápida, RubriQ reduce las horas-GPU totales en aproximadamente 2.6× en comparación con las líneas base de Sparse-PPO y Sparse-GRPO.
• Adherencia a Restricciones: El sistema mantiene menos del 1% de violaciones de restricciones de hardware y logra una alta fidelidad funcional (>99% en muchos casos).
• Validación de Hardware: Los circuitos mejor clasificados se ejecutaron con éxito en el hardware de IBM e IonQ, confirmando la aplicabilidad práctica más allá de la simulación.

5. Significado y Reivindicaciones

El artículo afirma que RubriQ establece un nuevo paradigma para el descubrimiento científico automatizado en computación cuántica al unificar la generación de código impulsada por LLM con el aprendizaje por refuerzo verificable basado en rúbricas. Su importancia radica en:

• Escalabilidad: Probar que la síntesis basada en LLM puede escalarse a entornos de HPC para resolver la complejidad exponencial de la optimización de circuitos cuánticos.
• Conciencia de Restricciones: Abordar con éxito los requisitos duales de la preparación para FTQC (minimización del conteo de T) y la compatibilidad con el hardware de corto plazo (restricciones de topología) dentro de un único marco de optimización.
• Eficiencia: Demostrar que el modelado de recompensa programático denso es computacionalmente superior a las recompensas dispersas y a los críticos neuronales para este dominio, permitiendo el entrenamiento de modelos grandes en cargas de trabajo cuánticas realistas.
• Practicidad: Validar que los circuitos generados por IA no solo son teóricamente óptimos, sino también ejecutables en el hardware de la generación actual.

Los autores posicionan a RubriQ como un paso crítico hacia los pipelines de computación de alto rendimiento automatizados para la generación de circuitos cuánticos listos para el hardware y tolerantes a fallos a escala.