Which data samples matter when training a quantum model?

Problematica

Mentre l'espressività, i paesaggi di perdita (loss landscapes) e la generalizzazione dei modelli di Quantum Machine Learning (QML) sono stati ampiamente studiati da una prospettiva incentrata sul modello, esiste una mancanza di comprensione riguardo alla compatibilità tra specifici modelli quantistici e particolari dataset. La ricerca esistente caratterizza spesso la capacità e la trainabilità del modello, ma non affronta direttamente come i singoli campioni di dati contribuiscano al processo di apprendimento o come selezionare in modo efficiente sottoinsiemi di dati che massimizzino le prestazioni del modello. Gli autori sostengono che sia necessario un approccio incentrato sui dati (data-centric) per determinare quali punti dati siano più critici per la dinamica di apprendimento di un modello e per migliorare l'efficienza dei dati nelle pipeline di addestramento QML.

Metodologia

Gli autori estendono il framework della V-usable information, introdotto originariamente da Xu et al. per i modelli classici, al dominio dei modelli quantistici parametrizzati. Questo framework quantifica l'informazione che una specifica famiglia di modelli può estrarre da un dataset rispetto ai suoi vincoli computazionali e architettonici.

1. Framework Teorico:

• V-Usable Information ($I_V$): Definita come la riduzione dell'incertezza sulle etichette $Y$ quando vengono forniti i dati $X$, ottenibile solo da una famiglia di modelli $V$. È calcolata come $I_V(X \to Y) = H_V(Y) - H_V(Y|X)$, dove $H_V(Y)$ è l'entropia predittiva con un input nullo (nessun dato) e $H_V(Y|X)$ è l'entropia condizionale dati i dati.
• Pointwise V-Information (PVI): Un'estensione che assegna un valore informativo ai singoli punti dati $(x, y)$. La PVI può essere negativa, indicando che un campione specifico potrebbe ostacolare l'apprendimento (ad esempio, a causa di rumore o etichettatura errata) o che il modello lo predice meglio senza di esso.
• V-Generalization Proxy ($\Delta_V$): Una metrica definita come la differenza assoluta tra la V-usable information sui dati di test rispetto ai dati di addestramento, fungendo da misura informazionale delle prestazioni di generalizzazione.

2. Adattamento Quantistico:

• Costruzione dell'Input Nullo: Una sfida critica nel contesto quantistico è definire un "input nullo" ($\emptyset$) che non fornisca informazioni specifiche del task preservando al contempo il bias induttivo del modello. Gli autori hanno valutato tre candidati: un'approssimazione di stato Haar-random (N1), uno stato prodotto di Hadamard (N3) e uno stato zero (N2). Hanno determinato che lo stato prodotto di Hadamard ($H^{\otimes S}|0\rangle^{\otimes S}$, etichettato N3) offre una base pratica ad alta entropia comparabile agli stati Haar-random senza richiedere qubit ancillari o simulazioni di matrici di densità. Lo stato zero (N2), che non applica alcun gate ($U_{\emptyset} = I$), ha performato sensibilmente peggio.
• Stima: La V-usable information è approssimata empiricamente addestrando un ensemble di $K$ istanze indipendenti di modelli quantistici con seed casuali dei parametri.

3. Setup Sperimentale:

• Dataset:
  • Phase-Classification: Stati fondamentali di Hamiltoniane a cluster generalizzate (16 qubit) che distinguono fasi topologiche protette dalla simmetria, ferromagnetiche, antiferromagnetiche e triviali.
  • Adhoc: Un compito di classificazione 2D sintetico con ambiguità, ridondanza e rumore controllati.
  • NTangled: Un compito specifico per il quantum su 8 qubit che distingue gli stati in base ai valori di Entanglement Concentrato.
• Modelli: Circuiti quantistici parametrizzati (PQC) con codifiche feature-map e strati di ansatz addestrabili (ad esempio, 10 strati di rotazioni e CNOT).
• Scala: Gli esperimenti sono stati condotti utilizzando simulazioni state-vector per sistemi più piccoli e metodi a rete tensoriale (tensor-network) per valutare un modello da 50 qubit, dimostrando la trattabilità oltre i limiti standard della simulazione state-vector.

Contributi Chiave

1. Formulazione della V-Usable Information per il QML: Gli autori forniscono una formulazione indipendente dall'architettura della V-usable information applicabile a circuiti feature-map-ansatz, modelli di data re-uploading e codifiche parametrizzate integrate.
2. Strategia per l'Input Nullo Quantistico: Affrontano la costruzione non banale di un input nullo per i modelli quantistici, convalidando lo stato prodotto di Hadamard (N3) come una base efficace e a basso overhead.
3. Diagnostica a Livello di Campione: Utilizzando la PVI, il lavoro offre una visione granulare delle dinamiche di apprendimento, identificando quali campioni vengono memorizzati, quali supportano la generalizzazione e come l'utilità del campione evolve durante l'addestramento.
4. Strategia di Selezione del Sottoinsieme di Dati: Gli autori introducono una strategia di preselezione che identifica sottoinsiemi di dati informativi senza richiedere un modello addestrato. Invece di scartare i campioni con bassa PVI (il che richiederebbe un addestramento preventivo), propongono di selezionare i campioni con bassa PVI all'inizializzazione. L'ipotesi è che questi campioni non siano ben rappresentati dal bias induttivo iniziale del modello e forniscano quindi un segnale di apprendimento più forte e diversificato.
5. Dimostrazione di Scalabilità: Il pipeline è dimostrato essere trattabile per modelli da 50 qubit utilizzando metodi a rete tensoriale, colmando il divario tra metriche teoriche e simulazione quantistica su larga scala.

Risultati

• Dinamiche di Apprendimento: Le mappe PVI nel compito di classificazione delle fasi hanno rivelato che il modello faticava ad apprendere informazioni vicino ai confini di fase e nella Fase IV, riflesso da bassi valori di PVI. La metrica della V-usable information ha tracciato il progresso dell'addestramento in modo più continuo rispetto all'accuratezza, che invece si è stabilizzata e ha fluttuato.
• Generalizzazione: Il proxy di V-generalizzazione ($\Delta_V$) ha mostrato un forte accordo qualitativo con la differenza tra la perdita di training e quella di test, convalidandolo come una misura significativa di generalizzazione.
• Efficienza dei Dati:
  • Nel dataset di phase-classification, adhoc e NTangled, la strategia di selezione del sottoinsieme guidata dalla PVI ha superato il campionamento casuale uniforme, il campionamento basato sull'entropia, il campionamento k-center e il campionamento ispirato alla TDA, in particolare nella selezione di sottoinsiemi del 10% o superiori.
  • I sottoinsiemi selezionati tramite PVI hanno prodotto norme dei gradienti iniziali più grandi e dimensioni effettive superiori, suggerendo un miglioramento dell'espressività.
  • Proof-of-Concept su 50 Qubit: L'addestramento di un modello da 50 qubit su solo il 20% dei dati (selezionati tramite PVI) ha raggiunto un'accuratezza di test di 0.716, rispetto allo 0.742 del dataset completo. La differenza (2.6%) rientrava nella deviazione standard delle esecuzioni del sottoinsieme, dimostrando che il sottoinsieme selezionato manteneva la maggior parte delle prestazioni del dataset completo pur riducendo i campioni di addestramento dell'80%.

Significatività e Rivendicazioni

Il paper sostiene di aver stabilito la V-usable information come un potente strumento diagnostico per le dinamiche di apprendimento e una via pratica per un apprendimento quantistico basato sui dati (data-efficient QML).

• Intuizione Data-Centric: Sposta l'attenzione dalle proprietà puramente model-centric alla compatibilità tra modelli e specifici dataset, rivelando strutture che le metriche standard (come l'accuratezza) o i limiti di generalizzazione potrebbero mancare.
• Efficienza delle Risorse: La strategia di selezione basata su PVI proposta permette di identificare i campioni di addestramento critici senza il costo computazionale di dover addestrare prima l'intero dataset, affrontando direttamente l'intensità di risorse nell'addestramento QML.
• Estensione Teorica: Il lavoro completa i recenti progressi nella teoria della generalizzazione dipendente dal modello fornendo diagnostiche puntuali e data-centric.
• Limitazioni: Gli autori notano con modestia che la metrica non è normalizzata (richiedendo cautela quando si confrontano task con diverse distribuzioni di etichette) e che la scelta dell'input nullo rimane un'assunzione di modellazione. Evidenziano inoltre che la robustezza del framework al rumore dell'hardware quantistico richiede ulteriori valutazioni.

In conclusione, gli autori sostengono che gli studi empirici dipendenti dai dati utilizzando la V-usable information siano essenziali per valutare i modelli QML, poiché le garanzie teoriche non sempre predicono il comportamento pratico dei modelli addestrati su dataset finiti.