Rethinking Expressibility-Trainability Trade-off in Hybrid Quantum Neural Networks

Sintesi Tecnica: Ripensare il Compromesso Esprimibilità-Addestrabilità nelle Reti Neurali Quantistiche Ibride

Enunciato del Problema
Gli Algoritmi Quantistici Variazionali (VQA) si basano su Circuiti Quantistici Parametrizzati (PQC), le cui prestazioni sono tradizionalmente caratterizzate da due proprietà: esprimibilità (la capacità di rappresentare stati quantistici complessi) e addestrabilità (la facilità di ottimizzare i parametri tramite metodi basati sul gradiente). Nei PQC autonomi, esiste un compromesso ampiamente accettato: circuiti altamente espressivi (che si avvicinano a 2-design unitari) soffrono spesso di "altipiani sterili" (barren plateaus), dove i gradienti svaniscono esponenzialmente con la dimensione del sistema, rendendo l'ottimizzazione intrattabile.

Tuttavia, le Reti Neurali Quantistiche Ibride (HQNN) integrano i PQC all'interno di reti neurali classiche, inserendoli tra gli strati di estrazione delle caratteristiche classiche e gli strati di post-elaborazione. La domanda centrale affrontata in questo lavoro è se il compromesso esprimibilità–addestrabilità osservato nei PQC isolati persista in questi contesti ibridi. Gli autori notano che la letteratura esistente spesso assume che le proprietà dei circuiti autonomi si trasferiscano direttamente ai modelli ibridi, lasciando inesplorata la validità di tale compromesso nelle HQNN. Se il compromesso non dovesse valere, le euristiche di progettazione tradizionali per i PQC potrebbero essere inaffidabili per le HQNN, rendendo necessari nuovi principi di progettazione.

Metodologia
Lo studio impiega una metodologia in due fasi per analizzare sistematicamente la relazione tra esprimibilità e addestrabilità nelle HQNN:

1. Fase I: Analisi Empirica del Compromesso

   • Setup Sperimentale: Gli autori hanno costruito uno spazio di progettazione PQC flessibile variando il numero di qubit ($n \in \{8, 10, 12\}$), le profondità dei circuiti ($L \in \{5, 10, 15, 50\}$) e sette topologie di entanglement.
   • Configurazioni di Addestramento: Ogni architettura è stata valutata in tre configurazioni distinte:
     • PQC Puro: Addestramento autonomo senza strati classici.
     • Ibrido (Solo Quantistico): Il PQC è incorporato in un modello ibrido, ma vengono aggiornati solo i parametri quantistici (gli strati classici sono fissi).
     • Ibrido (Completo): Addestramento end-to-end in cui sia i parametri classici che quelli quantistici sono ottimizzati congiuntamente.
   • Metriche:
     • Esprimibilità ($E$): Misurata tramite la divergenza di Kullback–Leibler (KL) tra la distribuzione di probabilità di uscita del circuito e una distribuzione uniforme (valori più bassi indicano una maggiore esprimibilità).
     • Addestrabilità ($T$): Quantificata come $-\log_{10}(\text{Var}[\nabla C])$, dove $C$ è la funzione di costo. Valori più bassi indicano una migliore addestrabilità (maggiore varianza del gradiente). Sono state utilizzate due definizioni: gradienti rispetto ai soli parametri quantistici ($\theta$) e gradienti rispetto a tutti i parametri ($\omega = \{\theta, \phi\}$).
   • Dati: È stato utilizzato un dataset sintetico di classificazione binaria per garantire una distribuzione di input controllata per la valutazione dei gradienti.

2. Fase II: Ricerca di Architettura Neurale Multi-Obiettivo (NAS)

   • Motivati dalla mancanza di principi di progettazione coerenti nella Fase I, gli autori hanno formulato la progettazione delle HQNN come un problema di ottimizzazione multi-obiettivo.
   • Spazio di Ricerca: Uno spazio combinato classico–quantistico che include strati convoluzionali classici (canali, dimensione del kernel, attivazione) e parametri PQC (qubit, profondità, porte, topologia).
   • Algoritmo: È stato utilizzato l'algoritmo genetico NSGA-II per trovare architetture Pareto-ottimali che bilanciano tre obiettivi: massimizzare l'accuratezza di validazione, minimizzare l'esprimibilità (divergenza KL) e minimizzare l'addestrabilità (varianza del gradiente).
   • Compito: Un compito di classificazione di immagini multiclasse utilizzando un sottoinsieme del dataset MNIST.

Principali Contributi

• Analisi Sistematica: Il documento fornisce la prima analisi sistematica della relazione esprimibilità–addestrabilità nelle HQNN attraverso diverse profondità, numeri di qubit e topologie, sotto diverse configurazioni di addestramento.
• Disaccoppiamento del Compromesso: Gli autori dimostrano che, sebbene un compromesso debole e dipendente dal regime esista nei PQC puri, tale relazione è significativamente perturbata nelle architetture ibride. Sotto un addestramento ibrido completo end-to-end, il compromesso è efficacemente eliminato.
• Ruolo dei Componenti Classici: Lo studio rivela che i componenti classici rimodellano il paesaggio di ottimizzazione, disaccoppiando l'addestrabilità dall'esprimibilità del PQC. Ciò avviene anche quando gli strati classici sono congelati (addestramento Solo Quantistico), poiché trasformano la rappresentazione dell'input e la funzione di costo.
• Framework NAS: Gli autori propongono un framework NAS multi-obiettivo che ottimizza congiuntamente esprimibilità, addestrabilità e prestazioni del compito su uno spazio di progettazione combinato, rivelando che diverse definizioni di addestrabilità producono soluzioni Pareto-ottimali distinte.

Risultati

• Risultati della Fase I:
  • Nei contesti PQC Puri, è stato osservato un compromesso debole e dipendente dal regime, in cui un'alta esprimibilità talvolta correlava con una scarsa addestrabilità, sebbene la tendenza fosse non monotona e dipendente dal compito.
  • Nei contesti Ibridi (Solo Quantistico), il compromesso si è indebolito ulteriormente. Gli strati di pre-elaborazione classica hanno mitigato la concentrazione dei gradienti, permettendo a più architetture di rimanere addestrabili nonostante un'alta esprimibilità.
  • Nei contesti Ibridi (Completo), il compromesso è stato completamente eliminato. Tutte le configurazioni hanno mostrato un'addestrabilità stabile indipendentemente dall'esprimibilità del PQC sottostante. L'adattamento congiunto degli strati classici e quantistici ha agito come un meccanismo di precondizionamento implicito, prevenendo gli altopiani sterili.
• Risultati della Fase II:
  • I risultati del NAS hanno mostrato che nessun singolo obiettivo (esprimibilità o addestrabilità) domina le prestazioni. Un'alta accuratezza è stata raggiunta su un'ampia gamma di valori di esprimibilità e addestrabilità.
  • Le architetture Pareto-ottimali hanno richiesto un bilanciamento di obiettivi in competizione. Circuiti altamente espressivi non hanno prodotto sistematicamente una migliore accuratezza, e i modelli ottimali hanno coperto configurazioni diverse di profondità, numero di qubit ed entanglement.
  • Diverse definizioni di addestrabilità (modello completo vs. solo quantistico) hanno portato a fronti Pareto differenti, evidenziando che la scelta della metrica di ottimizzazione altera fondamentalmente il paesaggio di progettazione percepito.

Significato e Affermazioni
Il documento conclude che il compromesso esprimibilità–addestrabilità, pietra angolare della progettazione dei PQC autonomi, non è un principio di progettazione affidabile per le Reti Neurali Quantistiche Ibride. Gli autori affermano che l'ibridazione non è meramente un dettaglio di implementazione, ma un fattore determinante nelle prestazioni del modello. I componenti classici rimodellano fondamentalmente il paesaggio di ottimizzazione, disaccoppiando l'addestrabilità dello strato quantistico dalla sua esprimibilità intrinseca.

Di conseguenza, il documento sostiene che la progettazione delle HQNN non può fare affidamento su euristiche derivate da circuiti quantistici isolati. Invece, una progettazione efficace richiede approcci sistematici e automatizzati come il NAS multi-obiettivo che tengano conto delle complesse interazioni tra componenti classici e quantistici. Il lavoro sfida le ipotesi di progettazione incentrate sui PQC e stabilisce che le prestazioni delle HQNN sono intrinsecamente multi-obiettivo e plasmate dal sistema congiunto classico–quantistico.