Sintesi Tecnica: Certificazione di Modelli di Machine Learning tramite la Sharpness Direzionale

Definizione del Problema

La certificazione dei modelli mira a fornire garanzie riguardo l'affidabilità e la qualità dei modelli di machine learning, specificamente la loro capacità di generalizzare su dati non visti. Misurare direttamente la generalizzazione è impossibile poiché dipende da distribuzioni di dati sconosciute. Gli esistenti proxy, come l'accuratezza del test, sono inaffidabili poiché possono essere fuorvianti a causa di errori nel dataset, overfitting o shift della distribuzione. Inoltre, i limiti teorici di generalizzazione sono spesso troppo ampi o vacui per le moderne reti sovra-parametrizzate.

Sebbene la "sharpness" (la sensibilità della perdita rispetto alle perturbazioni dei parametri) sia emersa come un promettente proxy empirico per la generalizzazione, le metriche di sharpness esistenti affrontano due barriere critiche nei contesti di certificazione:

1. Affidabilità sotto Deviazione: Le metriche attuali sono validate principalmente su modelli addestrati onestamente. Non è chiaro se possano rilevare una scarsa generalizzazione quando l'addestramento devia dalle procedure prescritte (ad esempio, a causa di backdoor, overfitting o rumore delle etichette).
2. Efficienza Computazionale: Le metriche esistenti sono computazionalmente costose, rendendole impraticabili per l'auditing dei modelli (dove un verificatore ha accesso ai dati di addestramento) e impraticabili per la certificazione dei modelli (dove un verificatore deve controllare una prova crittografica senza accesso ai dati di addestramento).

Metodologia: Sharpness Direzionale

Gli autori propongono la Sharpness Direzionale, una metrica progettata per misurare la stabilità dinamica di un modello piuttosto che le sue proprietà geometriche statiche.

Concetto Core

A differenza della sharpness statica, che valuta il paesaggio della perdita (loss landscape) in un singolo punto (spesso mediando sull'intero dataset), la sharpness direzionale valuta come un modello si comporta sotto una sequenza di perturbazioni continue e stocastiche. L'intuzione è che un modello situato in un bacino genuinamente piatto e ampio rimarrà stabile sotto queste perturbazioni, mentre un modello in una sacca stretta e instabile (o con una geometria incoerente) verrà spinto verso regioni di alta sharpness, mostrando fluttuazioni rilevabili.

Algoritmo

Il calcolo della Sharpness Direzionale (Algoritmo 1) prevede:

1. Inizializzazione: Partire da un modello addestrato $w_0$.
2. Traiettoria di Probing: Applicare $T$ passi di aggiornamenti in stile Sharpness-Aware Minimization (SAM). Ad ogni passo $t$:
   • Campionare un mini-batch $\xi_t$ dai dati di addestramento.
   • Calcolare la sharpness per ogni passo $s_t$ (ad esempio, la sharpness ASAM) sul mini-batch.
   • Aggiornare i parametri del modello $w_{t+1}$ utilizzando l'operatore di aggiornamento SAM.
3. Statistica di Fluttuazione: Registrare la sequenza di valori di sharpness $\{s_0, \dots, s_{T-1}\}$. La metrica finale è una statistica di fluttuazione (specificamente, la deviazione standard del log-rapporto del quadrato della sharpness rispetto alla perdita) di questa sequenza.

Fondamento Teorico

Il documento fornisce un'analisi teorica che collega la sharpness direzionale alla stabilità SAM:

• Limite di Stabilità: Se un modello risiede in un minimo SAM-stabile, la variazione attesa della squared sharpness sotto perturbazione continua è uniformemente limitata da una costante multipla della perdita di addestramento iniziale.
• Rilevamento dell'Instabilità: Al contrario, se la squared sharpness attesa cresce esponenzialmente, il modello risiede in una regione instabile.
• Coerenza del Gradiente: Gli autori formalizzano una classe di deviazioni dell'addestramento caratterizzate da bassa coerenza del gradiente (dove i gradienti per singolo esempio si annullano nella media del full-batch ma rimangono grandi individualmente). Dimostrano che, mentre la sharpness statica full-batch può apparire bassa (mascherando la deviazione), la RMS (root-mean-square) della sharpness del mini-batch rimane alta. La sharpness direzionale, aggregando i segnali dei mini-batch nel tempo, amplifica questo divario, rendendola sensibile a tali deviazioni.

Contributi Chiave

1. Nuova Metrica (Sharpness Direzionale): Una metrica di generalizzazione che passa dalla misurazione geometrica statica alla misurazione della stabilità dinamica.
2. Correlazione Superiore: Evidenza empirica che mostra come la sharpness direzionale correli significativamente più fortemente con il gap di generalizzazione rispetto alle metriche statiche esistenti (es. Worst-Case Sharpness, ASAM).
3. Robustezza alle Deviazioni: Capacità dimostrata di identificare modelli con scarsa generalizzazione causata da deviazioni dell'addestramento (rumore delle etichette, overfitting a caratteristiche spurie, backdoor) dove l'accuratezza del test e la sharpness statica falliscono.
4. Efficienza per la Certificazione:
   • Auditing: Il calcolo è fino a $4\times$ più veloce del calcolo dell'accuratezza del test e ordini di grandezza più veloce della sharpness statica.
   • Certificazione (Zero-Knowledge): Gli autori dimostrano come generare Prove a Conoscenza Zero (ZKP) per la sharpness direzionale. Mostrano che provare la sharpness direzionale è fino a 80.000$\times$ più veloce del provare l'intero processo di addestramento (zkPoT) per modelli come VGG-11.

Risultati Sperimentali

Correlazione con la Generalizzazione

In un esperimento su larga scala che addestra 1.152 modelli su CIFAR-10/100 con diverse architetture e iperparametri:

• La sharpness direzionale ha raggiunto una correlazione di Spearman ($\rho$) di 0,902 con il gap di generalizzazione.
• Ha superato significativamente i migliori baseline statici, come ASAM con full-batch ($\rho \approx 0,64$) e Worst-Case Sharpness ($\rho \approx 0,60$).

Affidabilità sotto Deviazioni dell'Addestramento

Gli autori hanno condotto esperimenti di distinguibilità accoppiando modelli benigni con modelli difettosi che avevano quasi identica accuratezza del test osservata. La sharpness direzionale ha separato con successo i modelli in tutti gli scenari, mentre le metriche statiche e l'accuratezza del test hanno fallito:

• Etichette Rumorose (Noisy Labels): Rapporto Benigno/Difettoso di 0,177 (Direzionale) vs 0,991 (Statica).
• Overfitting a Caratteristiche Spurie: Rapporto di 0,084 (Direzionale) vs 0,963 (Statica).
• Backdoor: Rapporto di 0,061 (Direzionale) vs 0,587 (Statica).
• Quantizzazione e Piccoli Test Set: La sharpness direzionale ha fornito costantemente margini di separazione più forti.

Efficienza e ZKP

• Tempo di Esecuzione: Calcolare la sharpness direzionale su un piccolo batch ha richiesto 0,21 secondi, rispetto a 0,92 secondi per l'accuratezza del test e 210,32 secondi per la Worst-Case Sharpness statica.
• Costo ZKP: Per un modello VGG-11 addestrato su 150 epoche, una ZKP della sharpness direzionale ha richiesto 88,87 minuti, mentre una ZKP dell'intero processo di addestramento (baseline LATE-SAM) è stata stimata in 118.671 ore (circa 13,5 anni).

Significato e Rivendicazioni

Il documento afferma che la sharpness direzionale fornisce una metrica efficiente e robusta per valutare la generalizzazione dei modelli. La sua importanza risiede nel rendere pratico l'auditing dei modelli in due contesti:

1. Auditing: Dove un verificatore fidato con accesso ai dati di addestramento può rilevare efficientemente la scarsa generalizzazione e le deviazioni dell'addestramento.
2. Certificazione: Dove un verificatore esterno può verificare crittograficamente la qualità del modello tramite ZKP senza accedere ai dati di addestramento, superando i costi computazionali proibitivi delle prove di addestramento esistenti.

Gli autori sostengono che, misurando la stabilità dinamica, la sharpness direzionale offre un segnale più affidabile della qualità del modello rispetto alle proprietà geometriche statiche, in particolare in scenari di addestramento avversari o non ideali. Concludono che questa metrica è un ingrediente adatto per mitigare gli attacchi nel machine learning avversario e migliorare la trasparenza nei sistemi di ML.