Triple descent in quantum linear regression

Nel campo emergente del machine learning quantistico, i computer tentano di apprendere schemi da dati che esistono nel strano, probabilistico regno della meccanica quantistica. Invece di leggere numeri su uno schermo, queste macchine interagiscono con stati quantistici — configurazioni fragili di particelle — e poi li misurano per estrarre informazioni. Questo processo è intrinsecamente rumoroso. Poiché le misurazioni quantistiche sono probabilistiche, un singolo sguardo a un sistema quantistico raramente racconta l'intera storia. Per ottenere una lettura affidabile, i ricercatori devono ripetere la misurazione molte volte, un processo noto come effettuare "shot" (scatti), e poi mediare i risultati. Più shot vengono effettuati, più l'immagine diventa chiara e meno il rumore casuale interferisce. Per anni, la saggezza prevalente è stata che questo rumore fosse solo un fastidio, un ostacolo temporaneo che poteva essere rimosso semplicemente raccogliendo più dati. Se il computer commetteva un errore a causa di un colpo di fortuna nella misurazione, la soluzione si assumeva fosse ovvia: basta misurare di nuovo.

Un team di ricercatori ha ora dimostrato che questa intuizione è incompleta. In uno studio sulla regressione lineare quantistica — un metodo in cui una macchina impara a prevedere un valore basandosi su misurazioni quantistiche — hanno scoperto che il rumore di queste misurazioni non svanisce semplicemente. Al contrario, esso può rimodellare fondamentalmente il modo in cui il processo di apprendimento si comporta, creando picchi inaspettati di errore che sfidano le aspettative standard. I ricercatori hanno scoperto che, man mano che il numero di esiti di misurazione aumenta, l'errore di previsione non scende semplicemente in modo costante. Esso sale e scende in un modello complesso con tre fasi distinte, un fenomeno che chiamano "triple descent" (tripla discesa). Questo comportamento rivela che il rumore stesso può talvolta aiutare il processo di apprendimento, e altre volte, può creare trappole profonde e incrollabili che più dati non possono risolvere.

Lo studio si concentra su un tipo specifico di problema di apprendimento in cui un dispositivo quantistico produce un insieme di caratteristiche (features), che sono essenzialmente probabilità di diversi esiti di misurazione. Un computer classico tenta poi di adattare una linea attraverso queste caratteristiche per prevedere un valore target. I ricercatori hanno simulato questo processo utilizzando misurazioni quantistiche casuali e dati di addestramento, variando il numero di esiti di misurazione e il numero di volte che ogni stato veniva misurato. Hanno osservato che l'errore nella previsione segue un percorso specifico. Inizialmente, man mano che il numero di esiti di misurazione cresce, l'errore scende. Poi, colpisce un primo picco. Questo primo picco si verifica quando l'impostazione di misurazione diventa appena abbastanza complessa da catturare teoricamente tutta l'informazione sullo stato quantistico, un punto noto come completezza informativa. In questo preciso momento, la struttura matematica della misurazione diventa instabile, causando un picco dell'errore. Questa instabilità è un problema noto nella statistica classica, dove avere appena abbastanza punti dati per risolvere un problema può rendere la soluzione estremamente sensibile a piccoli errori. I ricercatori hanno confermato che questo primo picco è un effetto "classico", guidato dalla geometria stessa della misurazione.

Tuttavia, la storia non finisce qui. Continuando ad aggiungere più esiti di misurazione, l'errore non continua semplicemente a scendere. Sale di nuovo verso un secondo, distinto picco. Questo secondo picco appare quando il numero di esiti di misurazione corrisponde al numero di esempi di addestramento, un punto chiamato soglia di interpolazione. Diversamente dal primo picco, questo è di origine puramente "quantistica". Esso sorge perché il numero finito di shot utilizzati per stimare le probabilità introduce fluttuazioni casuali che creano caratteristiche false. Queste caratteristiche false non esistono nello stato quantistico reale; sono puro rumore. Quando il numero di esiti corrisponde al numero di stati di addestramento, l'algoritmo di apprendimento cerca di adattarsi perfettamente a queste caratteristiche composte solo da rumore. Assegna loro pesi enormi, memorizzando efficacementmente il rumore casuale piuttosto che il modello sottostante. Ciò crea un secondo picco di errore che è fondamentalmente diverso dal primo.

La scoperta più sorprendente è come questi due picchi rispondano a più dati. Il primo picco, causato dalla geometria della misurazione, può essere soppresso effettuando più shot durante la fase di addestramento. Se i ricercatori avessero aumentato il numero di misurazioni per ogni stato di addestramento, il rumore sarebbe stato mediato e il primo picco si sarebbe appiattito. Tuttavia, il secondo picco, quello quantistico, si comporta diversamente. Anche se i ricercatori avessero effettuato un numero enorme di shot per addestrare il modello, questo secondo picco non era scomparso. È svanito solo nel limite teorico in cui le caratteristiche di addestramento erano note con una precisione perfetta e infinita. In qualsiasi scenario del mondo reale in cui i dati siano finiti, questo picco rimane. I ricercatori hanno dimostrato che aggiungere più shot di addestramento rende in realtà questo picco peggiore prima che esso si stabilizzi infine, perché l'algoritmo diventa più sicuro nel modellare il rumore. Ciò significa che raccogliere semplicemente più dati non è una cura per tutto; in effetti, nel regime quantistico, più dati possono talvolta consolidare gli errori del modello.

Il team ha utilizzato strumenti matematici avanzati, specificamente un campo della matematica chiamato teoria delle matrici casuali, per derivare la forma esatta di queste curve di errore. Hanno dimostrato che l'altezza e la larghezza di questi picchi dipendono dall'equilibrio tra il numero di esiti di misurazione, il numero di stati di addestramento e il numero di shot effettuati. Hanno anche mostrato che una tecnica chiamata regolarizzazione ridge, che aggiunge una piccola penalità per impedire al modello di assegnare troppa importanza a una singola caratteristica, può smussare questi picchi. Ciò suggerisce che, sebbene il rumore quantistico crei un'instabilità fondamentale, esso può essere gestito con i giusti vincoli matematici. I risultati sfidano l'idea che le caratteristiche quantistiche possano essere trattate come se fossero perfettamente note. Se i ricercatori ignorano il rumore e assumono che le caratteristiche siano esatte, sottostimeranno l'instabilità causata dalla geometria della misurazione e perderanno completamente la nuova instabilità, specifica del mondo quantistico, che sorge dal rumore stesso.

Questo lavoro evidenzia una relazione sottile ma critica tra la precisione della misurazione e la stabilità dell'apprendimento nei sistemi quantistici. Dimostra che il percorso verso previsioni accurate non è una linea retta. Esistono soglie specifiche dove il sistema diventa fragile, e la natura di questa fragilità cambia a seconda che l'impostazione di misurazione sia appena abbastanza complessa da essere completa o che il modello stia cercando di adattarsi al rumore. I ricercatori concludono che progettare sistemi di apprendimento quantistico richiede un equilibrio attento. Non si può semplicemente aumentare il numero di esiti o il numero di shot indipendentemente. La scelta di quanti esiti di misurazione utilizzare deve essere coordinata con la dimensione del set di addestramento e il budget di shot disponibile. Se questi fattori non sono allineati, aggiungere più esiti di misurazione può effettivamente peggiorare le previsioni, anche mentre la misurazione stessa diventa più precisa. Lo studio fornisce una tabella di marcia per comprendere queste instabilità, offrendo un modo per prevedere quando un modello di apprendimento quantistico incontrerà difficoltà e come sintonizzarlo per evitare le insidie del panorama della tripla discesa.