Riepilogo Tecnico: RubriQ – Rubric-Guided Group Relative Policy Optimization per la Sintesi di Circuiti Quantistici Consapevoli dei Vincoli

1. Definizione del Problema

La sintesi di circuiti quantistici tolleranti ai guasti (FTQC) che siano sia algoritmicamente corretti che compatibili con l'hardware rappresenta un collo di bottiglia critico per il calcolo quantistico scalabile. Le sfide principali includono:

• Overhead di Risorse: Nella FTQC, le operazioni non-Clifford (specificamente i gate T) richiedono la distillazione di stati magici, consumando ordini di grandezza in più di risorse fisiche rispetto ai gate Clifford. Minimizzare il T-count è essenziale per ridurre l'overhead di distillazione e la complessità di scheduling.
• Vincoli Hardware: I dispositivi nel near-term impongono rigidi vincoli topologici e di gate nativi (ad esempio, la connettività heavy-hex di IBM rispetto alla connettività all-to-all di IonQ), richiedendo che i circuiti siano trasposti efficientemente per evitare un eccessivo overhead di SWAP.
• Limitazioni dei Metodi Esistenti:
  • Compilatori Euristici (es. Qiskit, TKET) si affidano a regole di riscrittura statica e mancano della capacità generativa di scoprire nuove semplificazioni algebriche.
  • Approcci Standard di Reinforcement Learning (RL) spesso soffrono di ricompense terminali sparse, portando a gradienti ad alta varianza e una scarsa esplorazione. Operano tipicamente su spazi di azione ristretti (inserimento/cancellazione di gate) piuttosto che generare circuiti da zero.
  • Critici Neurali: L'addestramento di reti critiche con miliardi di parametri introduce gravi colli di bottiglia di memoria e comunicazione negli ambienti di calcolo ad alte prestazioni (HPC).

2. Metodologia: Il Framework RubriQ

RubriQ inquadra la sintesi di circuiti quantistici come un compito strutturato di generazione di codice per Large Language Models (LLM), ottimizzato tramite Group Relative Policy Optimization (GRPO) senza un critic che apprenda la funzione valore.

A. LLM-as-Synthesizer

Il sistema tratta la generazione di codice OpenQASM o Qiskit Python come un compito di generazione di codice condizionale.

• Input: Prompt in linguaggio naturale che specificano algoritmi target (es. QFT, simulazione Hamiltoniana) e vincoli.
• Modello: Un LLM per il codice da 7B parametri, istruito per l'esecuzione (instruction-tuned), ovvero Qwen2.5-Coder-7B, perfezionato tramite Low-Rank Adaptation (LoRA).
• Generazione: La policy campiona $N=8$ circuiti candidati per ogni prompt tramite campionamento autoregressivo.
• Parsing: Un parser multi-strategia estrae oggetti di circuito eseguibili dall'output testuale grezzo dell'LLM. Gli output non analizzabili ricevono immediatamente una ricompensa pari a zero.

B. Motore di Ricompensa Guidato da Rubrica (Rubric-Guided Reward Engine)

Inve vestire un critico neurale, RubriQ impiega un motore di punteggio deterministico e programmatico che valuta i circuiti attraverso cinque dimensioni ortogonali. La ricompensa totale $R(y)$ è una somma pesata:
$$R(y) = w_C S_C + w_T S_T + w_H S_H + w_F S_F + w_E S_E$$

1. Frazione Clifford ($S_C$): La proporzione di gate che sono operazioni Clifford (efficienti da simulare).
2. Riduzione del T-Count ($S_T$): Una funzione di decadimento esponenziale che penalizza gli elevati conteggi di gate T, dando priorità all'eliminazione dei primi gate T a causa della natura batch della distillazione.
3. Compatibilità Hardware ($S_H$): Valuta la conformità a specifiche topologie di backend (es. IBM Heavy-Hex, IonQ All-to-All), penalizzando l'overhead di routing SWAP e i gate non nativi.
4. Fedeltà Funzionale ($S_F$): Calcola la fedeltà di processo tramite il prodotto interno di Hilbert-Schmidt tra l'unitari generato e l'algoritmo target, garantendo la correttezza algoritmica.
5. Efficienza del Circuito ($S_E$): Premia la compattezza e la minore profondità del circuito.

C. Ciclo di Addestramento GRPO

RubriQ utilizza la Group Relative Policy Optimization (GRPO) per aggiornare la policy:

• Normalizzazione del Gruppo: Per un dato prompt, i reward delle $N$ completazioni campionate vengono normalizzati sottraendo la media del gruppo e dividendo per la deviazione standard del gruppo.
• Senza Critico (Critic-Free): Questo approccio elimina la necessità di una funzione valore appresa, facendo affidamento sui segnali deterministici e densi forniti dalla rubrica.
• Stima del Vantaggio: L'advantage normalizzato $\hat{A}_i$ guida gli aggiornamenti del gradiente della policy, permettendo al modello di apprendere da feedback graduati piuttosto che da segnali binari sparsi di successo/fallimento.

D. Architettura di Sistemi HPC

Per gestire il costo computazionale della simulazione della fedeltà (che scala come $O(4^{n_q})$), RubriQ è distribuito sul supercomputer NERSC Perlmutter:

• Hardware: Cluster NVIDIA A100 (80 GB) collegati tramite Slingshot-11.
• Ottimizzazione: Utilizza DeepSpeed ZeRO-2 per la partizione distribuita dello stato del gradiente e dell'ottimizzatore.
• Simulazione: Integra la simulazione CUDA-Q accelerata da GPU direttamente nel loop di RL per un'alta velocità di valutazione della fedeltà.
• Efficienza: Raggiunge un'efficienza di strong-scaling superiore all'85% su 8 GPU.

3. Contributi Chiave

1. Formulazione LLM-as-Synthesizer: La prima applicazione di LLM su scala di miliardi di parametri, istruiti per il codice, alla sintesi di gate quantistici con post-training basato su RL, andando oltre i piccoli modelli transformer o le regole euristiche.
2. Motore di Ricompensa Multi-Obiettivo a Rubrica: Un nuovo sostituto dei critici neurali con un sistema di punteggio interpretabile e basato sul dominio che fornisce ricompense dense e limitate attraverso le dimensioni di Clifford, T-count, hardware, fedeltà ed efficienza.
3. Architettura HPC Scalabile: Un'implementazione completa della pipeline di addestramento su NERSC Permettre che dimostra lo strong scaling e riduce le chiamate totali di simulazione di 2–3× rispetto ai baseline a ricompensa sparsa grazie a una convergenza più rapida.
4. Valutazione Validata dall'Hardware: Esecuzione riuscita dei circuiti sintetizzati su processori fisici IBM Heron-3 e IonQ Forte tramite una pipeline di trasposizione automatizzata.
5. Prestazioni Sperimentali: Dimostrazione di prestazioni superiori su 1.500 circuiti benchmark, raggiungendo una compressione significativa del T-gate e una convergenza più veloce rispetto ai baseline esistenti.

4. Risultati

• Compressione del T-Gate: RubriQ raggiunge una compressione media del T-gate di 3.31× attraverso i dataset benchmark, superando significativamente i baseline RL a ricompensa sparsa (2.05×) e i compilatori basati su regole (Qiskit O3: ~1.4×, TKET O2: ~1.7×).
• Velocità di Convergenza: Il framework converge 2–3× più velocemente dei metodi RL a ricompensa sparsa, richiedendo meno epoche di addestramento per raggiungere i target di compressione.
• Efficienza delle Risorse: Grazie alla convergenza più rapida, RubriQ riduce le ore-GPU totali di circa 2.6× rispetto ai baseline Sparse-PPO e Sparse-GRPO.
• Aderenza ai Vincoli: Il sistema mantiene meno dell'1% di violazioni dei vincoli hardware e raggiunge un'alta fedeltà funzionale (>99% in molti casi).
• Validazione Hardware: I circuiti con il ranking più alto sono stati eseguiti con successo sull'hardware IBM e IonQ, confermando l'applicabilità pratica oltre la simulazione.

5. Significato e Rivendicazioni

Il documento afferma che RubriQ stabilisce un nuovo paradigma per la scoperta scientifica automatizzata nel calcolo quantistico, unificando la generazione di codice guidata da LLM con il reinforcement learning basato su rubrica verificabile. La sua importanza risiede in:

• Scalabilità: Dimostrare che la sintesi basata su LLM può essere scalata in ambienti HPC per risolvere la complessità esponenziale dell'ottimizzazione dei circuiti quantistici.
• Consapevolezza dei Vincoli: Affrontare con successo i doppi requisiti della prontezza per la FTQC (minimizzazione del T-count) e la compatibilità hardware near-term (vincoli di topologia) all'interno di un singolo framework di ottimizzazione.
• Efficienza: Dimostrare che il reward shaping programmatico e denso è computazionalmente superiore alle ricompense sparse e ai critici neurali per questo dominio, consentendo l'addestramento di grandi modelli su carichi di lavoro quantistici realistici.
• Praticità: Validare che i circuiti generati dall'IA non sono solo teoricamente ottimali, ma anche eseguibili sull'attuale generazione di hardware quantistico.

Gli autori posizionano RubriQ come un passo critico verso pipeline di generazione di circuiti quantistici pronti per l'hardware e fault-tolerant, guidate dall'high-performance computing, su larga scala.