The optimization landscape of peaked-circuit generation

Riepilogo Tecnico: Il Paesaggio di Ottimizzazione della Generazione di Circuiti "Peaked"

Enunciato del Problema
Il documento affronta il collo di bottiglia della generazione nei circuiti "peaked" (a picco), una via proposta per il vantaggio quantistico verificabile. I circuiti peaked sono circuiti quantistici casuali che, nonostante il loro aspetto casuale, concentrano una frazione costante della massa di probabilità in uscita su una singola stringa della base computazionale. Sebbene la verifica di tale output sia efficiente per un verificatore classico che conosce la stringa target, la generazione classica del circuito è difficile. Aaronson e Zhang (AZ) hanno proposto un approccio variazionale: l'aggiunta di un brickwall addestnabile di profondità $n/2$ a un brickwall Haar casuale di profondità $n$, ottimizzando poi i parametri per massimizzare la probabilità della stringa composta da soli zeri. AZ hanno osservato che il loro ottimizzatore a discesa del gradiente si stabilizzava su un soffitto dipendente dalla dimensione, fenomeno che hanno attribuito a un "barren plateau" (plateau sterile). Avevano lasciato aperta una dicotomia: o l'ottimizzatore rimaneva bloccato in ottimi locali (implicando che un algoritmo migliore avrebbe potuto raggiungere valori più elevati), o non esiste un metodo di generazione efficiente. Questo studio mappa il paesaggio di ottimizzazione per risolvere tale dicotomia e caratterizzare la scalabilità della "peakedness" (picco di probabilità) raggiungibile.

Metodologia
Lo studio impiega un protocollo sperimentale rigoroso e pre-registrato utilizzando simulazioni di stato vettoriale privi di rumore di circuiti brickwall unidimensionali a confini aperti.

• Architettura del Circuito: Il sistema consiste in una sezione casuale $U_r$ (profondità $\tau_r = n$) seguita da una sezione addestnabile $V(\theta)$ (profondità $\tau_p = n/2$). I gate addestnabili sono prodotti di 15 rotazioni di Pauli per ogni blocco a due qubit, producendo $P = \Theta(n^2)$ parametri.
• Protocollo di Ottimizzazione: Il protocollo primario utilizza l'ottimizzatore Adam con uno specifico schema di tasso di apprendimento e 400 passi. Lo studio definisce una classe di ottimizzatori "stable-local" (dinamiche simili al flusso del gradiente con step size polinomiali e restart indipendenti).
• Disegno Sperimentale: L'autore ha testato 18 istanze per dimensione per $n=8$ fino a $14$, con un "catch-up" pre-registrato a 18 istanze per $n=16$. Sono stati utilizzati ampi ensemble di restart (fino a 800) per distinguere tra le proprietà del paesaggio e i limiti del budget dell'ottimizzatore.
• Analisi del Paesaggio: Il documento analizza la statica del campo dell'obiettivo $\delta(\theta)$, inclusi i momenti esatti (fino al quarto) tramite il calcolo di Weingarten, la statistica del gradiente e la connettività tramite metodi di stringa per misurare i minimi di percorso tra soluzioni quasi-ottimali.
• Confronto tra Ottimizzatori: Un blocco pre-registrato ha confrontato Adam con L-BFGS-B e SGD semplice attraverso diverse inizializzazioni per testare eventuali vantaggi specifici dell'ottimizzatore.

**Contributi Chiave e Risultati

1. Rigetto della Legge di Scalabilità a Base Fissa:
   Il documento rigetta la legge di decadimento esponenziale a base fissa ($1.189^{-n}$) proposta da AZ. L'autore dimostra che il tasso di decadimento locale della peakedness raggiungibile non è costante, ma si fa più ripido monotonicamente con la dimensione del sistema.

   • Il tasso di decadimento aumenta da $\approx 1.16$ per qubit a $n=8$ a $\approx 1.295$ a $n=16$ (per le esecuzioni convergenti).
   • Di conseguenza, l'estrapolazione a $n=50$ fornita da AZ non è supportata dai dati alle dimensioni accessibili. La peakedness raggiungibile diminuisce più velocemente di quanto precedentemente stimato.

2. Caratterizzazione del Paesaggio di Ottimizzazione:

   • Assenza di Barren Plateau: La media del gradiente e l'Hessiana svaniscono identicamente (come previsto per gli stati Haar-random), ma la varianza del gradiente all'inizializzazione è solo $O(1)$ superiore al limite Haar. Il "barren plateau" non spiega il raggiungimento più rapido; l'ottimizzatore sfrutta la struttura acquisita durante l'ottimizzazione, non presente all'inizializzazione.
   • Shelf Connessa, Nessun Overlap Gap: La misurazione diretta della connettività tramite metodi di stringa mostra che le soluzioni quasi-ottimali formano un singolo componente connesso al livello del "trap scale" (il pavimento Haar $2^{-n}$). I percorsi tra soluzioni decorrelate rimangono $10^2$–$10^3$ volte sopra il trap scale. Ciò smentisce il meccanismo di "overlap gap" (clustering con sovrapposizioni intermedie proibite) come fonte di difficoltà al livello del trap scale.
   • Corrugazione in Approfondimento: Sebbene connesso, lo "shelf" (ripiano) diventa sempre più corrugato. Il minimo del percorso mediano rispetto ai valori terminali decade come $\approx 0.871^n$, più velocemente di qualsiasi legge di potenza fissa. Questa corrugazione in approfondimento, piuttosto che la frammentazione, caratterizza la difficoltà.

3. Robustezza dell'Ottimizzatore e Congettura di Hardness:

   • Fallimento verso il basso: SGD semplice, all'interno della classe stable-local registrata, non riesce a raggiungere la stessa peakedness di Adam con lo stesso budget fisso, ma ciò è attribuito al "pacing" (dimensione dello step) piuttosto che al paesaggio stesso.
   • Eccedenza verso l'alto: In un confronto pre-registrato, L-BFGS-B (un metodo quasi-Newton) ha raggiunto una portata $3.9 \pm 1.6\%$ superiore ad Adam convergente a $n=16$ su tre istanze.
   • Ritiro della Congettura di Hardness: Questa eccedenza attiva un falsificatore pre-registrato, portando l'autore a ritirare la propria congettura secondo cui "nessuna statistica in-class supera la portata decrescente". Tuttavia, la legge di scalabilità rimane: anche la portata di L-BF_BFGS-B diminuisce di un fattore di $\approx 1.3$ per qubit.

4. Limiti Teorici:

   • Soffitto del Limite Profondo: L'autore dimostra che nel limite profondo (dove lo stato scrambled è Haar), nessuna famiglia di sonde con $poly(n)$ parametri può raggiungere una peakedness attesa oltre $poly(n) 2^{-n}$.
   • Profondità Finita: Ad una profondità finita, la peakedness raggiungibile supera questo limite profondo di un fattore che cresce con $n$, indicando che l'ottimizzatore sfrutta la struttura a profondità finita invisibile alle statistiche di ampiezza del secondo ordine.

Significato e Rivendicazioni
Il documento sostiene di aver risolto la dicotomia posta da AZ caratterizzando il paesaggio piuttosto che semplicemente trovare un miglior ottimizzatore.

• L'Ostacolo: La barriera primaria alla generazione di circuiti peaked non è un barren plateau o un overlap gap (clustering), ma una "portata decrescente" (shrinking reach) su un paesaggio connesso. La peakedness raggiungibile decade esponenzialmente con un tasso che si fa più ripido con l'aumentare della dimensione del sistema.
• Implicazioni per il Vantaggio Quantistico: La stima di $n=50$ per la fattibilità sperimentale derivata da AZ non è supportata. Il tasso di decadimento crescente suggerisce che generare circuiti peaked per grandi $n$ sarà significativamente più difficile di quanto precedentemente ipotizzato, anche se si trovasse un miglior ottimizzatore.
• Modestia delle Rivendicazioni: L'autore dichiara esplicitamente che, sebbene abbia ritirato la congettura che "nessun ottimizzatore in-class possa battere la portata decrescente", l'ostacolo misurato (il tasso di decrescita stesso) rimane valido per tutti gli ottimizzatori testati finora. Il documento non pretende di aver trovato un metodo che scala efficientemente a $n=50$; piuttosto, fornisce una caratterizzazione negativa precisa del paesaggio che esclude semplici estrapolazioni e identifica le specifiche caratteristiche geometriche (decadimento in aumento, corrugazione in approfondimento) che definiscono il collo di bottiglia della generazione.

In sintesi, il documento stabilisce che la generazione di circuiti peaked è ostacolata da un paesaggio in cui la probabilità di picco raggiungibile diminuisce più velocemente di qualsiasi esponenziale fisso all'aumentare del numero di qubit, un fenomeno guidato da una corrugazione in approfondimento su uno shelf connesso, piuttosto che da barren plateau o clustering di soluzioni.