Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

Sintesi Tecnica: Funzioni di Attivazione Variazionali Quantistiche per le Reti Kolmogorov-Arnold

Problema
I Circuiti Quantistici Variazionali (VQC) sono centrali nel Quantum Machine Learning (QML), tuttavia la loro applicazione si è concentrata ampiamente sulla codifica dei dati e sulla mappatura delle caratteristiche piuttosto che nel servire come funzioni di attivazione apprendibili all'interno di architetture neurali. Al contrario, le reti Kolmogorov-Arnold (KAN) classiche hanno dimostrato il potere delle funzioni di attivazione variazionali (VAF) apprendibili, sostituendo le non linearità fisse con funzioni addestrabili su ogni arco per migliorare l'interpretabilità e l'accuratezza. Tuttavia, le implementazioni KAN esistenti spesso si affidano a B-spline o serie di Fourier, che possono essere computazionalmente costose o richiedere un numero elevato di parametri per l'approssimazione di alte frequenze. Inoltre, sebbene i VQC multi-qubit offrano un'espressività teorica, essi affrontano barriere pratiche significative nell'era NISQ (Noisy Intermediate-Scale Quantum), tra cui alti tassi di errore nelle porte a due qubit, problemi di barren plateau durante l'addestramento e il costo proibitivo della simulazione classica per sistemi di grandi dimensioni. Il documento affronta la necessità di un framework che unifichi l'espressività dei circuiti quantistici con la scalabilità e l'interpretabilità delle KAN, progettato specificamente per essere praticabile sull'attuale hardware e sui simulatori classici.

Metodologia
Gli autori propongono un framework generale denominato Funzioni di Attivazione Variazionali Quantistiche (QVAF), in cui circuiti quantistici parametrizzati fungono da funzioni di attivazione apprendibili. Per rendere questo framework pratico rispetto ai vincoli attuali, introducono una specifica istanza a singolo qubit chiamata DatA Re-Uploading ActivatioN (DARUAN).

• Architettura DARUAN: A differenza degli standard VQC che codificano i dati una sola volta, DARUAN utilizza una strategia di re-uploading dei dati. Consiste in una sequenza di $r$ blocchi, dove ogni blocco alterna un'unitarietà addestrabile $W^{(\ell)}(\theta_\ell)$ e un'operazione di codifica dei dati $S(w_\ell x) = e^{-i w_\ell x H}$. Fondamentalmente, i pesi di pre-elaborazione dei dati $w_\ell$ sono addestrabili. L'output è il valore di aspettativa di un osservabile di Pauli (tipicamente $\sigma_z$) misurato su un singolo qubit.
• QKAN e HQKAN: Gli autori integrano DARUAN nella topologia KAN per creare le Reti Kolmogorov-Arnold a ispirazione Quantistica (QKAN). Nelle QKAN, ogni attivazione di arco è un circuito DARUAN a singolo qubit distinto. Per affrontare i limiti di scalabilità delle KAN (dove i parametri scalano quadraticamente con le dimensioni di input/output), gli autori introducono la Hybrid QKAN (HQKAN). HQKAN avvolge un nucleo latente compatto di QKAN con strati di compressione ed espansione completamente connessi classici, consentendo al modello di gestire in modo efficiente input ad alta dimensionalità.
• Estensione degli Strati: Per ottimizzare la stabilità dell'addestramento e la capacità, gli autori impiegano una strategia di "estensione degli strati". I modelli vengono prima addestrati con un numero ridotto di ripetizioni di re-uploading ($r$) e poi estesi progressivamente a un $r$ maggiore, inizializzando i nuovi parametri all'identità. Ciò consente al modello di apprendere prima le strutture a bassa frequenza e poi raffinare i dettagli ad alta frequenza senza dover riaddestrare da zero.
• Analisi Teorica: Il documento fornisce prove teoriche che dimostrano come, con pesi di pre-elaborazione addestrabili, lo spettro di frequenza accessibile di un DARUAN a singolo qubit possa crescere esponenzialmente con il numero di ripetizioni $r$ (nello specifico, una scelta geometrica di pesi $w_\ell = 2^{\ell-1}$ produce una larghezza di banda riempita di $2^r - 1$). Ciò offre una riduzione dei parametri a livello di capacità rispetto alle KAN basate su Fourier classiche, che richiedono parametri che aumentano linearmente per ottenere la stessa larghezza di banda.

Contributi Chiave

1. Framework QVAF: Una definizione generale di circuiti quantistici come funzioni di attivazione apprendibili, che unisce il QML e il deep learning classico.
2. DARUAN: Un'istanza a singolo qubit di QVAF computazionalmente efficiente, simulabile classicamente ed eseguibile direttamente sull'attuale hardware NISQ.
3. Architetture QKAN e HQKAN: Nuovi design di rete che integrano DARUAN nelle KAN, offrendo un'efficienza dei parametri, un'espressività e una generalizzazione migliorate.
4. Garanzie Teoriche: Prove che dimostrano come i pesi di pre-elaborazione addestrabili consentano una crescita esponenziale del supporto di frequenza accessibile, fornendo una base teorica per l'efficienza dei parametri delle QKAN rispetto alle controparti classiche basate su Fourier.
5. Distillazione della Conoscenza: Un metodo per trasferire i parametri appresi da una QKAN addestrata a una KAN classica (usando B-spline), permettendo alle QKAN di fungere da meccanismo di pre-addestramento per modelli classici.

Risultati Sperimentali
Gli autori validano il loro approccio attraverso tre domini:

• Regressione di Funzioni: Su compiti di regressione rumorosi utilizzando il dataset Feynman, le QKAN superano o eguagliano costantemente le KAN classiche e le MLP. Notevolmente, le QKAN ottengono un RMSE comparabile o inferiore con circa il 24% in meno di parametri in media. In un benchmark più ampio di 66 espressioni simboliche, le QKAN hanno ottenuto l'RMSE più basso in oltre l'80% delle equazioni utilizzando il 30% in meno di parametri rispetto alle KAN classiche.
• Classificazione di Immagini: Su MNIST, CIFAR-10 e CIFAR-100, le QKAN e le HQKAN raggiungono accuratezze top-1 e top-5 competitive. Le HQKAN, in particolare, dimostrano una superiore efficienza dei parametri, ottenendo un'accuratezza comparabile o migliore con significativamente meno parametri (ad esempio, su CIFAR-100, HQKAN usa ~32k parametri rispetto ai ~384k della KAN) mantenendo un'alta accuratezza.
• Modellazione Generativa: Quando integrate in GPT-2 (come HQKAN), i modelli hanno ottenuto una perplessità inferiore e una convergenza più rapida rispetto ai baseline MLP, utilizzando solo un terzo dei parametri e il 30% in meno di memoria durante l'addestramento.
• Validazione Hardware: Gli autori hanno eseguito la validazione dell'inferenza sul processore quantistico IBM Aachen. Sebbene la regressione ad alta precisione mostri sensibilità al rumore di shot e agli errori hardware, i compiti di classificazione (CIFAR-10/100) hanno mantenuto prestazioni robuste (entro il 2-3% dell'accuratezza del solver esatto) anche con bassi conteggi di shot (100 shot), dimostrando la fattibilità dell'inferenza DARUAN a singolo qubit su dispositivi NISQ.

Significatività e Rivendicazioni
Il documento sostiene che le QKAN rappresentano un "ponte" tra le architetture classiche interpretabili e le attivazioni strutturate derivate da circuiti quantistici. La significatività risiede nei seguenti punti:

• Praticità: Utilizzando circuiti a singolo qubit, l'approccio evita il problema del barren plateau e i colli di bottiglia della fedeltà delle porte di entanglement multi-qubit, rendendolo immediatamente utilizzabile su simulatori classici e sull'attuale hardware quantistico per l'inferenza.
• Efficienza: L'accoppiamento strutturato dei coefficienti di Fourier attraverso parametri di rotazione condivisi agisce come un regolarizzatore implicito, permettendo alle QKAN di raggiungere un'alta espressività con meno parametri rispetto alle controparti classiche.
• Scalabilità: L'architettura HQKAN e la strategia di estensione degli strati affrontano le sfide di scalabilità intrinseche alle KAN, consentendo l'applicazione di moduli a ispirazione quantistica a modelli su larga scala come gli LLM.
• Validazione: Il lavoro funge da "validazione attuale" del concetto QVAF. Sebbene gli autori riconoscano che i QVAF multi-qubit con entanglement potrebbero offrire ulteriori benefici (ad esempio, profondità ridotta), sottolineano che l'attuale design a singolo qubit è la via più robusta e scalabile, data l'attuale limitazione dell'hardware. I modelli addestrati possono essere eseguiti direttamente su hardware NISQ per l'inferenza, fornendo un percorso diretto verso il vantaggio quantistico in compiti di inferenza specifici anche prima della disponibilità di computer quantistici fault-tolerant.