Benchmarking Quantum Computers via Protocols, Comparing IBM's Heron vs IBM's Eagle

Questo studio valuta e confronta le prestazioni dei processori quantistici IBM Eagle e Heron applicando una metodologia di benchmarking basata su protocolli che, analizzando le soglie di "quantisticità" a livello di protocollo anziché di gate, dimostra i significativi miglioramenti operativi della nuova architettura Heron.

L'essenziale

🧪 La Gara dei Giganti: Come abbiamo messo alla prova i computer quantistici di IBM

Immagina di avere due nuove auto da corsa: una è un modello vecchio ma affidabile (chiamiamolo "Eagle"), e l'altra è l'ultima versione futuristica con motore potenziato (chiamiamolo "Heron"). Il problema? Nessuno sa davvero quanto siano veloci o quanto siano affidabili finché non le fai correre su un circuito reale.

Questo documento è il resoconto di una gara molto speciale. Gli scienziati non hanno misurato la velocità in chilometri orari, ma hanno testato la capacità di questi computer di eseguire compiti "quantistici" veri e propri.

1. Il Problema: Non basta guardare il motore

Fino a poco tempo fa, per dire se un computer quantistico era bravo, si guardavano i singoli ingranaggi (i "gate" o le operazioni base). Ma è come giudicare un'auto guardando solo un bullone: potrebbe essere perfetto, ma se il motore non parte, l'auto non corre.

Gli autori di questo studio hanno detto: "Basta guardare i bulloni! Mettiamoli in pista!". Hanno creato una serie di protocolli (come delle prove di guida) per vedere cosa sanno fare davvero questi computer.

2. Le Prove di Guida (I Protocolli)

Hanno ideato 5 prove principali, più una prova "di riserva" chiamata Transmit. Immagina queste prove come livelli di un videogioco:

• Do-nothing (Non fare nulla): Sembra strano, ma è la prova più difficile! È come chiedere al computer di tenere in equilibrio una moneta in piedi senza farla cadere. Se non riesce nemmeno a stare fermo, non può fare nulla di utile.
• Teleportation (Teletrasporto): Come inviare un messaggio istantaneo da un punto A a un punto B senza passare per la strada di mezzo.
• Super-dense coding (Codifica densa): Come inviare due lettere in un unico francobollo.
• Entanglement swapping (Scambio di legami): Come far sì che due persone che non si sono mai incontrate diventino "gemelli" mentali istantaneamente.

3. La Metodologia: La "Mappa del Tesoro"

Per non perdere tempo, hanno usato un metodo intelligente chiamato "Optimal Lookup" (Cerca Ottimale).
Immagina che il chip quantistico sia una grande mappa piena di isole (chiamate "rettangoli").

1. Fase 1 (C2C): Provano a correre da un angolo all'altro di ogni isola. Se l'isola crolla, la scartano.
2. Fase 2 (M-L): Se l'isola è solida, provano percorsi più lunghi.
3. Fase 3 (A-L): Se passa anche questo, provano tutti i percorsi possibili.

Solo le isole che superano tutte le prove diventano "sottocircuiti vincenti". È come cercare il pezzo di torta più buono in una torta intera: non ti mangi tutto, cerchi il pezzo perfetto.

4. La Storia di Brisbane (Il modello vecchio che è cambiato)

C'è un dettaglio curioso. Hanno testato il computer Brisbane (il modello "Eagle") due volte, a quattro mesi di distanza.

• Prima volta (Luglio 2025): Era un disastro. Quasi nessuna "isola" riusciva a superare la prova più semplice.
• Seconda volta (Novembre 2025): Qualcuno da IBM aveva fatto delle modifiche "dietro le quinte" senza dirlo ufficialmente. Improvvisamente, il computer era molto meglio!
• La prova "Transmit": Quando il computer era così vecchio e rotto che non passava nemmeno la prova "Non fare nulla", gli scienziati hanno inventato una prova ancora più semplice chiamata Transmit (Trasmetti). Era come chiedere al computer di passare un pallone da una mano all'altra. Anche così, molti pezzi del computer vecchio fallivano.

5. Il Confronto Finale: Eagle vs Heron

Ecco il verdetto della gara, paragonando il vecchio Brisbane (Eagle) con il nuovo Kingston (Heron):

• Il vecchio Brisbane (Eagle):

  • È come un'auto vecchia che ha subito un piccolo ritocco.
  • Riesce a fare la prova "Non fare nulla" su alcune isole, ma appena provi a fare cose complesse (come il teletrasporto), crolla.
  • Non è riuscito a creare nemmeno una coppia di isole che funzionasse bene insieme per le prove difficili. È come se avessi due ruote che girano, ma non riescono a far muovere l'auto.

• Il nuovo Kingston (Heron):

  • Questa è la vera sorpresa! È come un'auto da Formula 1.
  • Non solo supera la prova "Non fare nulla", ma riesce a fare teletrasporto, scambio di legami e codifica densa su molte isole.
  • Il dato più incredibile: mentre il vecchio computer falliva completamente nelle prove complesse, il nuovo Heron ha trovato 18 coppie di isole che funzionavano perfettamente per il teletrasporto!
  • È scalabile: se unisci due pezzi buoni, ottieni un pezzo ancora più grande e funzionante.

6. Le Conclusioni: Cosa abbiamo imparato?

1. I computer quantistici stanno migliorando davvero: Il passaggio da "Eagle" a "Heron" non è stato solo un aumento di numero di qubit (ingranaggi), ma un salto di qualità enorme.
2. Non tutti i pezzi sono uguali: Anche dentro un computer "brutto", ci sono piccoli angoli che funzionano benissimo. Questo studio ci dice esattamente dove guardare per fare calcoli utili oggi, senza aspettare il futuro.
3. La verità è nei test reali: Guardare i numeri teorici non basta. Bisogna far correre il computer su prove reali. E in questa gara, il nuovo modello Heron ha vinto a mani basse, dimostrando che l'era dei computer quantistici pratici è più vicina di quanto pensassimo.

In sintesi: Gli scienziati hanno preso due computer, li hanno messi in una palestra con esercizi difficili, e hanno scoperto che il nuovo modello non solo fa gli esercizi, ma li fa con la grazia di un atleta olimpionico, mentre il vecchio modello faticava anche solo a camminare.

Sommario tecnico

Titolo: Benchmarking dei Computer Quantistici tramite Protocolli: Confronto tra IBM Heron ed Eagle

1. Il Problema

Con il rapido avanzamento dell'hardware per il calcolo quantistico, sorge la necessità critica di valutare in modo oggettivo le capacità e i tassi di errore dei nuovi processori. Le metodologie tradizionali basate sui singoli gate quantistici spesso non riescono a fornire una visione chiara e realistica delle prestazioni pratiche di un processore nel suo complesso. È fondamentale comprendere le prestazioni attuali per guidare le priorità di ricerca e identificare quali dispositivi (o quali sottoparti di essi) possono realmente dimostrare un vantaggio quantistico pratico. Il documento affronta la sfida di valutare due generazioni di computer quantistici IBM (Eagle e Heron) e di gestire le fluttuazioni temporali delle prestazioni hardware.

2. Metodologia: Il "Protocol-Based Benchmarking"

Gli autori applicano ed estendono una metodologia di benchmarking basata su protocolli definiti, che valuta le prestazioni a livello di protocollo piuttosto che a livello di singolo gate.

• Protocolli Utilizzati:

  1. Do-nothing (Niente fare): Il protocollo di base per verificare la coerenza dello stato.
  2. Bell-state transfer: Trasferimento di uno stato entangled (soglia di "quantumness" = 0.5).
  3. Teleportazione: Trasferimento di uno stato quantistico sconosciuto.
  4. Super-dense coding: Trasmissione di due bit classici usando un qubit entangled.
  5. Entanglement swapping: Creazione di entanglement tra qubit che non hanno interagito direttamente.
  6. Transmit (Nuovo protocollo): Introdotto a causa delle prestazioni iniziali insufficienti dell'hardware. È la versione più semplice, che consiste nel trasferire uno stato tramite una serie di gate swap su una catena di qubit. La soglia di fedeltà richiesta è $2/3$.

• Workflow "Optimal Lookup":
  Per gestire l'efficienza dei costi e la complessità, è stato sviluppato un flusso di lavoro a più stadi che valuta i "sottochip" (definiti come rettangoli di 12 qubit o coppie di rettangoli adiacenti):

  1. c2c (Corner-to-Corner): Test iniziale su percorsi diagonali nei rettangoli. Solo i rettangoli che superano la soglia procedono.
  2. M-L (Maximal Lengths): Test su percorsi di lunghezza massima all'interno del rettangolo (per garantire che ogni qubit sia misurato).
  3. A-L (All Lengths): Test su tutti i percorsi interni possibili. Un rettangolo che supera questa fase è considerato capace di eseguire quel protocollo con vantaggio quantistico.
  • Solo i sottochip che superano ogni stadio procedono al successivo.
  • Protocol Vector: L'output finale è una mappa visiva (vettore di protocollo) che mostra quali sottochip sono capaci di quali protocolli, permettendo agli utenti di identificare le "zone dorate" del chip per calcoli specifici.

3. Contributi Chiave

• Definizione del protocollo "Transmit": Introdotto per fornire una linea di base più bassa e granulare per hardware che falliva anche i protocolli più semplici, permettendo una risoluzione migliore delle prestazioni dei dispositivi difettosi.
• Analisi Temporale e "Old vs. Modified": Il documento documenta un miglioramento significativo nel chip IBM "Brisbane" (architettura Eagle) tra maggio e settembre 2025, distinguendo tra la versione "Old" e "Modified" senza un annuncio ufficiale di IBM, basandosi sui dati empirici.
• Confronto Architetturale Diretto: Un confronto sistematico tra l'architettura di vecchia generazione Eagle-r3 (chip Brisbane) e quella di nuova generazione Heron-r2 (chip Kingston).
• Mappatura delle Prestazioni: Creazione di mappe dettagliate che mostrano non solo la media globale, ma la variabilità delle prestazioni all'interno dello stesso chip, identificando sottochip specifici adatti a compiti specifici.

4. Risultati Principali

A. Chip IBM Eagle-r3 (Brisbane - 127 qubit)

• Prestazioni Generali: Le prestazioni sono state limitate. La maggior parte dei rettangoli non ha superato le fasi iniziali per protocolli complessi.
• Protocolli Semplici: Solo 6 rettangoli su 18 hanno superato la fase A-L per il protocollo "Do-nothing" (nella versione modificata).
• Protocolli Complessi: Nessun rettangolo ha superato la fase c2c per Entanglement Swapping e Super-dense coding. Solo 4 rettangoli hanno superato la valutazione completa per la Teleportazione.
• Sottochip: Non è stato possibile identificare alcuna coppia di rettangoli (sub-chip più grande) che superasse la soglia di fedeltà per più di tre protocolli. Il chip non ha dimostrato una scalabilità pratica per compiti multi-qubit complessi.

B. Chip IBM Heron-r2 (Kingston - 156 qubit)

• Prestazioni Generali: Dimostra un miglioramento sostanziale rispetto all'Eagle. Il chip mostra una stabilità e una coerenza molto maggiori.
• Protocolli Semplici: 11 rettangoli su 21 hanno superato la valutazione completa per "Do-nothing".
• Protocolli Complessi:
  • Teleportazione: 11 rettangoli singoli e 19 coppie di rettangoli hanno superato la valutazione.
  • Bell-state transfer: 12 rettangoli singoli e 11 coppie.
  • Entanglement Swapping: 10 rettangoli singoli e 13 coppie (rispetto a zero per Brisbane).
  • Super-dense coding: 9 rettangoli singoli e 4 coppie.
• Scalabilità: A differenza di Brisbane, Kingston ha dimostrato che è possibile trovare sottochip più grandi (coppie di rettangoli) che mantengono un vantaggio quantistico su protocolli complessi, indicando una vera scalabilità.

C. Confronto Quantitativo (Punteggio Globale)
Utilizzando una formula di punteggio che combina il numero di rettangoli validi e la loro fedeltà media:

• Heron (Kingston) supera nettamente Eagle (Brisbane) in tutti i protocolli.
• Ad esempio, per la Teleportazione, il punteggio sale da 0.158 (Eagle) a 0.416 (Heron).
• Per l'Entanglement Swapping, Eagle ha un punteggio di 0 (nessun successo), mentre Heron raggiunge 0.309.

5. Significato e Conclusioni

• Validazione dell'Hardware: Lo studio conferma che l'architettura Heron di IBM rappresenta un salto qualitativo significativo rispetto all'architettura Eagle, offrendo non solo più qubit, ma una qualità operativa superiore che permette l'esecuzione di protocolli quantistici complessi su sottochip più grandi.
• Utilità del Metodo: Il metodo di benchmarking basato sui protocolli si è rivelato superiore alle metriche basate sui singoli gate, fornendo una visione più realistica e "grounded" delle capacità reali del chip. Permette di identificare le parti funzionanti di un chip che potrebbero essere inutilizzabili con test medi globali.
• Implicazioni Pratiche: Per gli utenti del calcolo quantistico, la mappa dei "Protocol Vector" suggerisce che su chip come Heron è possibile selezionare sottochip specifici per massimizzare la fedeltà, mentre su chip più vecchi come Brisbane le opzioni sono estremamente limitate.
• Limitazioni: Lo studio evidenzia anche le sfide operative, come l'instabilità temporale delle prestazioni (i risultati variano da settimana a settimana) e la cancellazione involontaria di esperimenti da parte del provider, che richiedono strategie di aggregazione dei dati.

In sintesi, il lavoro dimostra che mentre l'hardware quantistico sta migliorando, la valutazione deve avvenire a livello di protocollo e su sottochip specifici per guidare efficacemente lo sviluppo e l'utilizzo pratico di queste tecnologie.