💻 computer science

RubriQ: Rubric-Guided Group Relative Policy Optimization for Constraint-Aware Quantum Circuit Synthesis

RubriQ è un framework scalabile, guidato da HPC, che sfrutta la Group Relative Policy Optimization (GRPO) guidata da rubriche per automatizzare la sintesi di circuiti quantistici che soddisfino simultaneamente la correttezza algoritmica, la minimizzazione del costo del codice di superficie e i vincoli dell'hardware near-term.

Autori originali: Ziqing Guo, Ziwen Pan

Pubblicato 2026-08-03

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ziqing Guo, Ziwen Pan

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di costruire una macchina capace di risolvere problemi impossibili per qualsiasi computer possediamo oggi. Questa macchina è un computer quantistico, un dispositivo che utilizza le regole bizzarre delle particelle minuscole per fare calcoli a una velocità fulminea. Ma ecco il problema: queste macchine sono incredibilmente fragili. Per farle funzionare, dobbiamo tradurre le nostre idee grandi e complesse in un linguaggio molto specifico e di basso livello di "gate" (come interruttori) che la macchina possa comprendere.

Il problema è che questa traduzione è un incubo. Se chiedi semplicemente a un computer standard di farlo, la matematica diventa così enorme da mandarlo in crash. Se provi a costruire la macchina con la tecnologia odierna, è troppo rumorosa e soggetta a errori. Così, gli scienziati si trovano in una via di mezzo: devono progettare circuiti che siano abbastanza perfetti per i super-computer del futuro, ma abbastanza semplici da poter essere eseguiti sulle fragili prototipazioni di oggi. È come cercare di scrivere una ricetta per un banchetto a cinque stelle che un bambino possa cucinare senza bruciare la cucina.

Entra in scena RubriQ, uno strumento che agisce come un editor super intelligente e instancabile per queste ricette quantistiche. Invece di limitarsi a indovinare e controllare, RubriQ utilizza un'IA gigante che impara provando migliaia di variazioni contemporaneamente, guidata da una rigorosa "rubrica" (una scheda di valutazione) che dice esattamente come migliorare. Non cerca solo il "abbastanza buono"; insegue la perfezione nell'equilibrio tra l'essere matematicamente impeccabile e l'essere abbastanza pratico da poter essere eseguito sull'hardware reale proprio ora.

La storia di RubriQ: Insegnare a un'IA a essere un architetto quantistico

Pensa alla progettazione di un circuito quantistico come al chiedere a uno studente di scrivere una storia. In passato, se chiedevi a un computer di scrivere un programma quantistico, era come dare a uno studente un prompt vago come "Scrivi qualcosa di figo" sperando che non scrivesse sciocchezze. Se sbagliava, dicevi solo: "No, riprova", senza avere idea del perché avesse sbagliato. Questo è ciò che facevano i vecchi metodi: fornivano una "ricompensa sparsa" (sparse reward), il che significa che l'IA riceveva un punto solo se la risposta era perfetta al 100%, e zero punti per tutto il resto. Questo rendeva l'apprendimento incredibilmente lento e frustrante, come cercare di imparare ad andare in bicicletta al buio.

RubriQ cambia le regole del gioco agendo come un insegnante severo ma utile con una dettagliata rubrica di valutazione. Invece di dire solo "Passato" o "Fallito", suddivide il voto in cinque categorie specifiche:

Ha funzionato? (La storia ha senso).
È efficiente? (Ha usato troppe parole? In termini quantistici, questo riguarda la minimizzazione dei "T-gate", che sono le parti del codice costose e dispendiose in termini di risorse).
È ricco di Clifford? (Ci sono troppe mosse complicate e difficili da realizzare, o per lo più mosse semplici?).
Funzionerà sulle macchine di oggi? (Si adatta alla forma specifica dell'hardware, come far incastrare un perno quadrato in un buco rotondo?).
È veloce? (Quanti passaggi richiede?).

Il documento introduce un metodo chiamato Group Relative Policy Optimization (GRPO). Immagina che l'IA sia uno chef che cerca di inventare un nuovo piatto. Invece di cucinare un pasto e aspettare una recensione, Rubrizione chiede allo chef di cucinare otto versioni diverse dello stesso piatto contemporaneamente. Poi, le confronta tra loro. Se una versione è leggermente migliore delle altre, l'IA impara a crearne di più di quel tipo. Se una è un disastro, impara a evitare quella strada. Questo confronto "di gruppo" è molto più veloce e stabile rispetto all'attesa di una singola risposta perfetta.

Come hanno costruito la macchina

Per far sì che ciò funzionasse, i ricercatori hanno dovuto costruire un motore massiccio. Non potevano eseguire questa operazione su un laptop; serviva la potenza di NERSC Perlmutter, un cluster di supercomputer presso il Lawrence Berkeley National Laboratory. Hanno utilizzato 8 GPU NVIDIA A100 (le schede grafiche pesanti usate per l'IA) per eseguire la simulazione.

La parte intelligente è questa: l'IA non va a tentativi. Utilizza una rubrica programmatica. Ciò significa che l'"insegnante" non è una rete neurale a scatola nera che potrebbe confondersi; è un insieme di regole predefinite che controllano la matematica, il costo e i limiti dell'hardware istantaneamente. Se l'IA genera un circuito che sembra figo ma fallisce la matematica, la rubrica le dà zero immediatamente. Se genera un circuito che funziona ma usa troppi "T-gate" costosi, la rubrica gli assegna un punteggio più basso, spingendolo a essere più efficiente.

Hanno anche risolto un collo di bottiglia importante: la velocità di simulazione. Controllare se un circuito quantistico funziona richiede solitamente la simulazione dell'intero sistema, il che diventa esponenzialmente più difficile man mano che si aggiungono qubit (bit quantistici). RubriQ integra CUDA-Q, uno strumento che permette loro di eseguire queste simulazioni direttamente sulle GPU, rendendo il processo migliaia di volte più veloce rispetto all'esecuzione su una CPU standard.

Cosa hanno scoperto

I risultati sono promettenti, sebbene gli autori siano cauti nel presentarli come un passo avanti significativo piuttosto che come una soluzione magica.

Funziona meglio dei vecchi metodi: Quando testato su 1.500 diverse attività quantistiche, RubriQ ha raggiunto un tasso di successo del 96% per quanto riguarda la correttezza. Ciò significa che quasi ogni volta che ci provava, produceva un circuito che eseguiva correttamente i calcoli.
È molto più efficiente: La metrica più importante per i computer quantistici è il "T-count" (il numero di gate costosi). RubriQ è riuscito a comprimere il numero di questi gate in media di 3,31 volte rispetto ai circuiti che erano solo "corretti" ma non ottimizzati. Questo è un grande passo avanti perché meno T-gate significano che il computer ha bisogno di meno risorse e meno tempo per l'esecuzione.
Impara più velocemente: Poiché utilizza queste rubriche dettagliate invece di aspettare un punteggio perfetto, RubriQ è convergente (ha appreso il compito) da 2 a 3 volte più velocemente rispetto ad altri metodi di apprendimento per rinforzo che si affidano a ricompense sparse.
È pronto per l'hardware reale: Il team non si è fermato alle simulazioni. Hanno preso i migliori circuiti generati da RubriQ e li hanno eseguiti su veri computer quantistici di IBM e IonQ. Hanno scoperto che i circuiti erano compatibili con queste macchine, con meno dell'1% di violazione dei vincoli hardware.

Cosa significa questo

Il documento suggerisce che trattando la sintesi dei circuiti quantistici come un compito di generazione di codice guidato da una rigorosa rubrica multidimensionale, possiamo automatizzare la creazione di programmi quantistici di alta qualità. Sostiene l'idea che non abbiamo bisogno di reti "critiche" complesse e apprese per giudicare il lavoro dell'IA; al contrario, un sistema di punteggio basato su regole chiare funziona meglio ed è più economico da gestire.

Sebbene il documento non pretenda di aver risolto tutti i problemi dell'informatica quantistica, dimostra una via percorribile. Combinando il potere creativo dei Large Language Models (LLM) con la disciplina rigorosa di una rubrica programmatica, RubriQ offre un modo per progettare circuiti che non siano solo matematicamente solidi, ma anche pratici per essere eseguiti sulle macchine rumorose e imperfette di oggi, preparandosi al contempo per i giganti tolleranti ai guasti del futuro. È un ponte tra la realtà disordinata dell'hardware attuale e il mondo incontaminato del futuro calcolo quantistico.

Sintesi Tecnica: RubriQ – Rubric-Guided Group Relative Policy Optimization per la Sintesi di Circuiti Quantistici Consapevoli dei Vincoli

1. Definizione del Problema

La transizione verso il calcolo quantistico scalabile è ostacolata dal problema della compilazione classica: tradurre algoritmi di alto livello in sequenze di gate a basso livello che soddisfino sia i vincoli di risorse del calcolo quantistico fault-tolerant (FTQC) sia l'esecutività dell'hardware near-term.

Vincoli FTQC: Nelle architetture a codice di superficie, le operazioni non-Clifford (specificamente i gate $T$ ) richiedono la costosa distillazione di stati magici, consumando risorse fisiche di ordini di grandezza superiori rispetto ai gate Clifford. Minimizzare il $T$ -count e il $T$ -depth è critico per ridurre il budget computazionale classico e la complessità di scheduling.
Vincoli Near-Term: I dispositivi attuali a scala intermedia rumorosa (NISQ), come la topologia heavy-hex di IBM o la connettività all-to-all di IonQ, impongono limiti rigorosi ai set di gate nativi, alla connettività dei qubit e alla profondità del circuito.
Limitazioni dei Metodi Esistenti: I compilatori mainstream (Qiskit, TKET) si affidano a regole euristiche statiche e mancano di capacità generative per scoprire nuove semplificazioni algebriche. Gli approcci precedenti di Reinforcement Learning (RL) soffrono spesso di ricompense terminali sparse, gradienti ad alta varianza e spazi di azione ristretti (inserimento/rimozione di gate) che impediscono la scoperta di circuiti strutturalmente nuovi. Inoltre, l'addestramento di agenti RL per la sintesi quantistica su larga scala è computazionalmente proibitivo a causa della complessità $O(4^{n_q})$ della simulazione della fedeltà.

2. Metodologia: Il Framework RubriQ

RubriQ riformula la sintesi di circuiti quantistici come un compito di generazione di codice per modelli linguistici di grandi dimensioni (LLM), ottimizzato tramite Group Relative Policy Optimization senza un critic basato su una funzione di valore appresa.

2.1 LLM-as-Synthesizer

Il sistema tratta la sintesi di codice OpenQASM o Qiskit Python come un compito di generazione condizionale.

Modello Base: Un LLM da 7 miliardi di parametri istruito per la generazione di codice (Qwen2.5-Coder-7B) funge da policy $\pi_\theta$ .
Efficienza dei Parametri: Il modello viene perfezionato utilizzando la Low-Rank Adaptation (LoRA) con rank 64, mantenendo i parametri addestrabili a circa lo 0,4% del totale, consentendo il deployment su 4–8 GPU NVIDIA A100.
Generazione: Per ogni prompt (specifica in linguaggio naturale di un algoritmo), il modello campiona $N=8$ circuiti candidati in modo autoregressivo.

2.2 Motore di Ricompensa Guidato da Rubrica (Rubric-Guided Reward Engine)

Invece di una ricompensa binaria sparsa o di un critic neurale, RubriQ impiega una rubrica programmabile e multidimensionale per generare ricompense dense e deterministiche. La funzione di ricompensa $R(y)$ è una somma pesata di cinque punteggi componenti limitati ( $S_d \in [0, 1]$ ), regolati da una condizione di correttezza rigida:
$R(y) = g(c) \cdot [w_F S_F + w_C S_C + w_T S_T + w_H S_H + w_E S_E]$
Dove $g(c)$ è un gate rigido che imposta la ricompensa a zero se la fedeltà media dei gate $F_{avg} < 0,99$ .

Le cinque dimensioni sono:

Fedeltà Funzionale ( $S_F$ ): Misurata tramite il prodotto interno di Hilbert-Schmidt rispetto all'unitario target.
Frazione Clifford ( $S_C$ ): Il rapporto tra i gate Clifford e il totale dei gate operativi, incoraggiando circuiti ricchi di Clifford.
Riduzione del T-Count ( $S_T$ ): Un punteggio di decadimento esponenziale basato sul numero totale di gate $T$ equivalenti (tenendo conto delle decomposizioni di Toffoli e rotazioni arbitrarie).
Validazione dell'Hardware Near-Term ( $S_H$ ): Un punteggio che valuta la compatibilità con backend specifici (IBM Eagle/Heron, IonQ Forte/Aria), penalizzando i gate non nativi e l'overhead di routing SWAP.
Efficienza del Circuito ( $S_E$ ): Una metrica di compattezza normalizzata sulla profondità.

2.3 Ciclo di Addestramento GRPO

Il framework utilizza la Group Relative Policy Optimization (GRPO), che elimina la necessità di una rete critic separata.

Stima del Vantaggio (Advantage Estimation): Per un gruppo di $N$ completamenti campionati dallo stesso prompt, gli advantage $\hat{A}_i$ sono calcolati normalizzando le ricompense all'interno del gruppo: $\hat{A}_i = (R_i - \mu_R) / (\sigma_R + \epsilon)$ .
Scalabilità: Questo approccio riduce la varianza delle stime del gradiente rispetto alle ricompense sparse ed evita i colli di bottiglia di memoria/comunicazione del mantenimento di un critic con miliardi di parametri su GPU distribuite.
Integrazione HPC: Il ciclo di addestramento integra la simulazione accelerata da CUDA-Q direttamente nel ciclo RL per una valutazione della fedeltà ad alto throughput. Il sistema è implementato su NERSC Perlmutter con DeepSpeed ZeRO-2 per la partizione distribuita di gradienti e stati dell'ottimizzatore.

3. Contributi Chiave

Formulazione LLM-as-Synthesizer: La prima applicazione di LLM istruiti su scala di miliardi di parametri alla sintesi di gate quantistici tramite RL-based post-training, andando oltre i piccoli modelli transformer o le euristiche statiche.
Motore di Ricompensa a Rubrica Multiobiettivo: Un sistema di scoring ancorato al dominio che separa i costi FTQC (Clifford+T) dalla validazione dell'hardware near-term, sostituendo i critic neurali con rubriche deterministiche e interpretabili.
Architettura di Sistema HPC Scalabile: Una pipeline di addestramento completa implementata su NERSC Perlmutter con un'efficienza di strong-scaling >85% su 8 GPU A100, utilizzando DeepSpeed ZeRO-2 e CUDA-Q per gestire il costo computazionale delle simulazioni $O(4^{n_q})$ .
Validazione Hardware Near-Term: Una pipeline automatizzata che valida i circuiti sintetizzati su processori fisici IBM Heron-3 e IonQ Forte, dimostrando l'esecutività oltre la simulazione.
Prestazioni Empiriche: Dimostra miglioramenti significativi nella qualità della sintesi e nella velocità di convergenza rispetto alle baseline a ricompensa sparsa e ai compilatori tradizionali.

4. Risultati Sperimentali

Valutato su 1.500 circuiti benchmark (QFT, QPE, simulazione Hamiltoniana, codifica dati) su 2–8 qubit:

Correttezza: Ha raggiunto un tasso di successo (pass rate) per dataset di almeno il 96%.
Compressione del T-Gate: Ha ottenuto una compressione media dei T-gate di 3,31 $\times$ rispetto ai circuiti corretti, superando significativamente le baseline RL a ricompensa sparsa (2,05 $\times$ ) e gli strumenti tradizionali (TKET, Qiskit).
Convergenza: L'approccio guidato dalla rubrica è convergente 2–3 $\times$ più velocemente rispetto alle baseline a ricompensa sparsa, riducendo il numero totale di epoche di addestramento richieste.
Violazioni dei Vincoli: Ha mantenuto meno dell'1% di violazioni dei vincoli hardware near-term.
Validazione Hardware: Ha implementato con successo i circuiti top-k su IBM Heron-3 e IonQ Forte, confermando la capacità della pipeline di generare codice consapevole dell'hardware.
Efficienza Computazionale: La modellazione densa della rubrica ha ridotto le chiamate totali di simulazione di 2–3 $\times$ rispetto ai metodi a ricompensa sparsa, traducendosi in risparmi significativi di ore-GPU (ad esempio, 9,2 contro 24,2 ore-GPU per task a 8 qubit).

5. Significato e Rivendicazioni

L'articolo sostiene che RubriQ stabilisce un nuovo paradigma per la sintesi automatizzata di circuiti quantistici unificando le capacità generative degli LLM con vincoli rigorosi e specifici del dominio.

Separazione delle Competenze: Separando esplicitamente i costi FTQC dalla validazione dell'hardware near-term, RubriQ affronta i requisiti contrastanti dei futuri sistemi fault-tolerant e dei dispositivi NISQ attuali.
Eliminazione del Critic: Il lavoro dimostra che per compiti deterministici e programmaticamente computabili come la sintesi quantistica, un critic di funzione valore appreso non è necessario; ricompense dense basate su rubrica combinate con GRPO forniscono un segnale sufficiente per un'efficace ottimizzazione della policy.
Pipeline Guidata dall'HPC: La ricerca evidenzia la necessità di risorse di High-Performance Computing (HPC) per addestrare strumenti quantistici guidati dall'IA, fornendo un blueprint per scalare la sintesi basata su RL a un numero maggiore di qubit dove la simulazione classica diventa intrattabile.
Robustezza: Il framework si dimostra robusto attraverso diverse famiglie algoritmiche e conteggi di qubit, evitando l'overfitting su specifici template di circuiti.

Gli autori concludono che RubriQ fornisce una pipeline automatizzata e ad alte prestazioni per la generazione di circuiti consapevoli dei costi del codice di superficie, colmando il divario tra il design algoritmico teorico e l'esecuzione pratica sull'hardware.