Benign Overfitting with Quantum Kernels

Sintesi Tecnica: Overfitting Benigno con Kernel Quantistici

Definizione del Problema
I metodi basati sui kernel quantistici offrono un potenziale percorso verso il vantaggio quantistico codificando dati classici in spazi di Hilbert ad alta dimensionalità tramite circuiti quantistici parametrizzati (PQC). Tuttavia, una sfida significativa ne ostacola l'utilità pratica: il fenomeno della concentrazione esponenziale. All'aumentare del numero di qubit, i kernel quantistici altamente espressivi (come lo standard quantum fidelity kernel) tendono a concentrarsi vicino allo zero, causando il fatto che la matrice del kernel si avvicini alla matrice identità. Ciò produce un comportamento "spiky" (a picchi) in cui il modello non riesce a catturare correlazioni significative tra i dati, portando a una scarsa generalizzazione nonostante l'interpolazione dei dati di addestramento. Sebbene siano state proposte tecniche di regolarizzazione (ad esempio, la calibrazione della larghezza di banda o la riduzione della dimensionalità) per mitigare l'overfitting, esse spesso trattano la concentrazione esclusivamente come un difetto piuttosto che come una caratteristica che potrebbe essere sfruttata.

Metodologia
Gli autori propongono una nuova costruzione chiamata Local-Global Quantum Kernels, ispirata al concetto di "overfitting benigno" nel machine learning classico e alla decomposizione dei kernel "spiky-smooth" (a picchi e lisci). L'idea centrale è quella di costruire un kernel che combini due componenti distinte:

1. Una Componente Locale: Derivata da misurazioni su un piccolo sottosistema (matrici di densità ridotte). Questa componente mantiene una struttura liscia (smooth), preservando correlazioni non banali tra input distinti e supportando la generalizzazione.
2. Una Componente Globale: Derivata da misurazioni sull'intero sistema quantistico. Questa componente esibisce forti effetti di concentrazione, creando picchi stretti che consentono l'interpolazione dei dati di addestramento.

Il kernel proposto è definito come una somma pesata:
$$k_{LG}(x, z) = \lambda_L k_L(x, z) + \lambda_G k_G(x, z)$$
dove $k_L$ è il kernel locale e $k_G$ è il kernel globale.

Per facilitare l'analisi teorica, gli autori introducono uno schema di Separable Global Encoding. In questa configurazione, il numero totale di qubit $t$ è un multiplo della dimensione del sottosistema $s$ ($t = q \cdot s$). L'unitario di codifica si fattorizza in $q$ blocchi. Sotto questo schema, il kernel globale diventa la $q$-esima potenza di un kernel base ($k_G = k_B^q$), mentre il kernel locale rimane proporzionale al kernel base ($k_L \propto k_B$). Il kernel risultante assume la forma:
$$k_{LG}(x, z) = \tilde{\lambda}_L k_B(x, z) + \lambda_G k_B(x, z)^q$$
All'aumentare di $q$, la componente globale diventa sempre più spiky (localizzata), mentre la componente locale rimane liscia.

Contributi Chiave

1. Definizione del Kernel Quantistico Local-Global: Il lavoro introduce un framework che decompone esplicitamente i kernel quantistici in componenti lisce (smooth) e a picchi (spiky), creando un analogo quantistico dei kernel spiky-smooth proposti da Haas et al. [2023] per contesti classici.
2. Dimostrazione Teorica dell'Overfitting Benigno: Gli autori dimostrano che, per una classe di kernel di fedeltà quantistica periodici e invarianti per traslazione (specificamente il coseno quantum kernel), la regressione ridgeless utilizzando il kernel Local-Global può interpolare esattamente dati di addestramento rumorosi pur rimanendo statisticamente consistente. Ciò dimostra che la natura "spiky" dei kernel quantistici ad alta dimensionalità può essere sfruttata per l'interpolazione senza sacrificare la generalizzazione, a patto che sia presente una componente locale liscia.
3. Implementazioni di Circuiti: Il documento fornisce implementazioni concrete di circuiti quantistici per il kernel Local-Global, tra cui:
   • Un'implementazione totalmente quantistica utilizzando una somma pesata di osservabili locali e globali su $t$ qubit.
   • Un'implementazione ibrida quantistico-classica che calcola il kernel base su $s$ qubit e applica la legge di potenza classicamente, riducendo significativamente i requisiti delle risorse quantistiche.
4. Validazione Empirica: Esperimenti su dataset sintetici e reali (ad esempio, il dataset Airfoil) dimostrano che il kernel Local-Global raggiunge l'interpolazione dei dati di addestramento mantenendo al contempo un basso errore di test, superando lo standard della regressione ridgeless con il kernel base e, in alcuni casi, eguagliando o superando le prestazioni della regressione ridge regolarizzata.

Risultati

• Diagramma di Fase dell'Overfitting: Esperimenti numerici in 1D illustrano una transizione da un cattivo trade-off bias-varianza (piccolo $q$) a un overfitting catastrofico (intermedio $q$) e infine a un overfitting benigno (grande $q$), dove il predittore interpola i dati ma rimane liscio lontano dai punti di addestramento.
• Consistenza: Sui dati sintetici, l'errore quadratico medio (MSE) di test dell'estimatore ridgeless Local-Global converge al livello del rumore all'aumentare della dimensione dell'addestramento, confermando il risultato di consistenza teorica. Al contrario, la regressione ridgeless con il solo kernel base si dimostra inconsistente.
• Generalizzazione: Il kernel Local-Global generalizza con successo su dati reali pur interpolando l'insieme di addestramento, validando l'ipotesi che la combinazione di liscezza locale e spikiness globale permetta l'overfitting benigno.

Significatività
Il lavoro sostiene di fornire la prima caratterizzazione teorica ed empirica dell'overfitting benigno specificamente per i kernel quantistici. Riformulando la concentrazione esponenziale dei kernel quantistici non solo come un fallimento, ma come un meccanismo per l'interpolazione, gli autori propongono un principio di progettazione per i kernel quantistici che promuove intrinsecamente la generalizzazione. Questo lavoro estende l'ambito dell'analisi dell'overfitting benigno oltre le costruzioni a larghezza di banda decrescente nel learning classico, utilizzando la concentrazione di potenza della componente globale del kernel per ottenere la localizzazione. I risultati suggeriscono che i feature quantistici progettati con cura possono interpolare i dati senza compromettere la performance predittiva, offrendo una strategia promettente per la costruzione di kernel quantistici efficaci nell'era NISQ.