Mitigating Measurement-Induced Training Instability in Hybrid Quantum Neural Networks for Protein Classification

Sintesi Tecnica: Mitigazione dell'instabilità dell'addestramento indotta dalla misurazione nelle Reti Neurali Quantistiche Ibride per la classificazione delle proteine

Problema
Le Reti Neurali Quantistiche Ibride (QNN) affrontano un collo di bottiglia critico e precedentemente non caratterizzato nella loro addestrabilità: la contrazione dei logit indotta dalla misurazione. Nelle architetture ibride standard, gli output dei circuiti quantistici variazionali (VQC) sono valori di aspettativa di operatori di misurazione quantistica. Per le misurazioni Pauli standard, questi output sono intrinsecamente limitati all'intervallo $[-1, 1]$.

Quando questi output limitati vengono utilizzati direttamente come logit in una funzione di perdita cross-entropy basata su softmax per la classificazione multi-classe, si verifica un disallineamento strutturale. La funzione di perdita assume logit non limitati che possono scalare dinamicamente durante l'addestramento. Tuttavia, quando i logit sono confinati in un intervallo ristretto (ad esempio, $[-1, 1]$), la perdita opera in un regime di debole sensibilità alle differenze tra i logit. Di conseguenza, i gradienti dei parametri vengono soppressi, portando a un'ottimizzazione instabile, al collasso dell'addestramento attraverso diverse inizializzazioni casuali e all'incapacità di raggiungere un'alta confidenza di classificazione, anche se il circuito quantistico stesso è espressivo. Questo problema è distinto dai "barren plateaus" causati dalla profondità del circuito o dall'entanglement; esso deriva specificamente dall'interfaccia di post-elaborazione della misurazione.

Metodologia
Per affrontare questo problema, gli autori introducono la Temperatura di Misurazione Quantistica (QMT), un parametro scalare apprendibile applicato all'interfaccia tra le misurazioni quantistiche e la funzione di perdita classica.

1. Meccanismo: Dato un vettore di logit di misurazione $z = (z_1, \dots, z_K)$, la QMT li riscala come $\tilde{z}_k = z_k / T$, dove $T > 0$ è un parametro apprendibile ottimizzato congiuntamente con i pesi classici e i parametri del circuito quantistico.
2. Architettura: Il modello ibrido proposto consiste in un front-end convoluzionale classico per l'estrazione delle caratteristiche, seguito da un classificatore quantistico variazionale con codifica angolare e data re-uploading. Il circuito quantistico produce valori di aspettativa che vengono poi scalati da $T$ prima di entrare nella softmax e nella perdita cross-entropy.
3. Base Teorica: Gli autori forniscono una caratterizzazione analitica dimostrando che la QMT agisce come un operatore di decompressione geometrica.
   • Intervallo dei Logit: Essa espande l'intervallo effettivo dei logit, permettendo al modello di raggiungere probabilità di confidenza più elevate e valori di perdita inferiori rispetto a quanto consentito dal limite $[-1, 1]$.
   • Scaling del Gradiente: L'analisi teorica dimostra che la QMT scala l'ampiezza del gradiente di un fattore $1/T$ e la varianza del gradiente di un fattore $1/T^2$. Ciò ripristina il rapporto segnale-rumore negli aggiornamenti dei parametri, prevenendo la stagnazione dell'addestramento.
   • Limitatezza: A differenza dello scaling non limitato, la QMT fornisce un meccanismo di amplificazione controllato, con limiti uniformi sui gradienti dei parametri derivati dalla regola dello spostamento del parametro (parameter shift rule).

Contributi Chiave

• Identificazione di un nuovo modo di fallimento: Il documento identifica e formalizza la "contrazione dei logiti indotta dalla misurazione" come una fonte distinta di degradazione dell'addestrabilità nelle QNN ibride, separata dai barren plateaus a livello di circuito.
• Proposta della QMT: Introduce la QMT come un metodo agnostico rispetto all'architettura per ripristinare l'effettiva gamma dinamica dei logit senza modificare l'ansatz quantistico, la profondità del circuito o gli operatori di misurazione.
• Caratterizzazione Analitica: Il lavoro fornisce prove matematiche riguardanti come lo scaling della temperatura influenzi la confidenza raggiungibile, la perdita minima, l'ampiezza del gradiente e la varianza del gradiente.
• Validazione Sperimentale: Il metodo è validato su due domini distinti:
  • Classificazione delle Proteine: Utilizzando immagini di microscopia a fluorescenza di strutture proteiche (GABA_A, GFP, Otoferlin e background) catturate tramite microscopia ONE.
  • Benchmark Standard: Utilizzando le prime sei classi di Fashion MNIST e Overhead MNIST.

Risultati
Gli esperimenti condotti su simulazioni statevector (PennyLane) attraverso varie architetture (variando numero di qubit, layer quantistici e filtri convoluzionali) dimostrano che:

• Espansione dei Logit: La QMT espande con successo l'intervallo effettivo dei logit delle QNN ibride, mentre i modelli con $T=1$ fisso rimangono confinati nel limite $[-1, 1]$.
• Perdita e Accuratezza: Le QNN ibride con QMT appresa convergono più velocemente, raggiungono perdite di addestramento significativamente inferiori e ottengono un'accuratezza di test superiore rispetto ai controparti con $T=1$ fisso. Ad esempio, sul dataset proteico con configurazioni specifiche, la QMT ha migliorato l'accuratezza del test di circa il 10,5% e ridotto la deviazione standard tra le prove da >5% a <1%.
• Stabilità: La QMT elimina la variabilità trial-to-trial e i frequenti collassi dell'addestramento osservati nei modelli a temperatura fissa, fornendo prestazioni costanti attraverso le inizializzazioni casuali.
• Forza del Gradiente: Il metodo ripristina la varianza del gradiente (migliorandola di oltre 10 volte in alcuni casi) e aumenta le norme medie dei gradienti, facilitando un apprendimento più affidabile.
• Robustezza: I benefici della QMT persistono attraverso diversi ottimizzatori (Adam, SGD, RMSprop), diverse strutture di entanglement (CZ vs. CNOT) e diverse complessità dei dataset. Inoltre, completa altre tecniche di stabilizzazione come il clipping del gradiente.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro affronta un disallineamento fondamentale nella progettazione dei sistemi ibridi quantistico-classici. Sostengono che il progresso delle QNN ibride dipende non solo dal miglioramento dell'hardware o da circuiti più profondi, ma dalla progettazione rigorosa dell'interfaccia di misurazione quantistica–perdita classica.

Trattando gli output di misurazione come elementi di primo ordine nel panorama dell'ottimizzazione, la QMT consente un addestramento stabile e affidabile delle QNN ibride per applicazioni pratiche, come la classificazione di proteine in microscopia a fluorescenza, senza aumentare i requisiti delle risorse quantistiche. Il documento pone che problemi di ottimizzazione simili esistono probabilmente in altri compiti (ad esempio, la regressione) in cui gli output quantistici limitati interagiscono con funzioni di perdita sensibili alla scala, suggerendo che lo scaling esplicito dell'output o le interfacce di misurazione consapevole della perdita siano necessari per l'impiego delle QNN ibride in problemi reali e intensivi di dati.