Riepilogo Tecnico: Chirurgia Spettrale

Enunciato del Problema

Le reti neurali profonde addestrate su compiti di classificazione esibiscono uno spettro Hessiano caratteristico: un continuo bulk di autovalori prossimi allo zero e un piccolo numero di grandi autovalori anomali (picchi). Il lavoro teorico (Papyan et al.) ha stabilito che questi $C-1$ picchi corrispondono a direzioni inter-classe nello spazio delle caratteristiche, dove $C$ è il numero di classi. Tuttavia, la ricerca precedente ha trattato questa struttura puramente in modo descrittivo. Nessun metodo esistente ha sfruttato operativamente questi autovettori dei picchi per migliorare le prestazioni del modello, specificamente per affrontare le disparità di accuratezza per classe (squilibrio di classe) senza re-addestramento.

Metodologia: Chirurgia Spettrale

Gli autori propongono la Chirurgia Spettrale, un metodo di ottimizzazione post-hoc che perturba direttamente i pesi del modello lungo gli autovettori dei picchi Hessiani per riequilibrare l'accuratezza per classe. Il metodo opera interamente su un modello addestrato, richiedendo solo un piccolo mini-batch per la stima dell'Hessiano e un set di valutazione tenuto da parte.

I componenti fondamentali del metodo sono:

1. Matrice di Sensibilità Picco-Classe ($S$):
   Il metodo quantifica la derivata direzionale dell'accuratezza di ciascuna classe lungo ciascun autovettore dei picchi. Per $K$ autovettori dei picchi $\{q_1, \dots, q_K\}$ e un'ampiezza di sonda $\epsilon$, la sensibilità $S_{i,j}$ è calcolata come:
   $$S_{i,j} = \frac{\text{acc}_j(\theta + \epsilon q_i) - \text{acc}_j(\theta - \epsilon q_i)}{2\epsilon}$$
   Questa matrice cattura come lo spostamento lungo una specifica direzione dei picchi migliori o degradi specifiche classi.

2. Ottimizzazione dei Coefficienti Vincolata:
   Il metodo cerca una combinazione lineare di perturbazioni dei picchi $\delta\theta = \sum \alpha_i q_i$ per massimizzare l'accuratezza delle classi deboli proteggendo quelle forti. Questo è formulato come un problema di ottimizzazione vincolata:
   $$\max_{\alpha} \sum_{j=1}^C w_j (S^\top \alpha)_j$$
   Soggetto a:

   • $\|\alpha\| \le \alpha_{\max}$ (per rimanere nel regime lineare).
   • $(S^\top \alpha)_j \ge -0.01$ per le classi forti (vincolo di non-degradazione).
   • I pesi $w_j$ sono derivati dagli errori di classe, con un esponente $p$ che controlla la concentrazione della pressione sulle classi più deboli (ad esempio, $p=2$ per un focus severo, $p=1/2$ per distribuire la pressione).

3. Ciclo Adattivo Iterativo:
   L'ottimizzazione viene eseguita iterativamente. Ad ogni passo:

   • Gli autovettori dell'Hessiano sono ricalcolati (poiché lo spettro si sposta con gli aggiornamenti dei pesi).
   • La matrice di sensibilità $S$ è ricostruita.
   • I coefficienti $\alpha$ sono risolti tramite Programmazione Quadratica Sequenziale dei Minimi Quadrati (SLSQP).
   • Controllo Adattivo dell'Ampiezza: Un meccanismo in stile Adam aggiusta il budget di perturbazione $\alpha_{\max}$ basato sul rapporto segnale-rumore (SNR) dei segnali di miglioramento, permettendo alla dimensione del passo di crescere o ridursi dinamicamente.
   • Meccanismo di Rollback: Se un passo aumenta la deviazione standard delle accuratezze di classe o causa un forte calo in una singola classe, i pesi vengono ripristinati.

4. Scalabilità (Chirurgia Spettrale Deflata Sequenziale):
   Per dataset con molte classi (ad esempio, CIFAR-100 con 99 picchi), i vincoli di memoria impediscono il recupero simultaneo di tutti i picchi. Gli autori propongono la Chirurgia Spettrale Deflata Sequenziale, che esegue più fasi. In ogni fase, gli autovettori precedentemente recuperati sono proiettati fuori (deflati) dall'oracolo del prodotto vettore-Hessiano, permettendo il recupero del prossimo gruppo di picchi senza memorizzare la base completa.

Contributi Chiave

• Uso Operativo dei Picchi Hessiani: Il documento è il primo a utilizzare gli autovettori dei picchi Hessiani come leva operativa per il miglioramento mirato delle classi, andando oltre l'analisi descrittiva dello spettro.
• Ribilanciamento Post-Hoc: Il metodo achieve un significativo ribilanciamento delle classi senza accesso all'intero set di addestramento, senza aggiornamenti di backpropagation e senza re-addestramento. Richiede solo alcune centinaia di immagini per la stima dell'Hessiano.
• Componenti Novelli: Introduzione della matrice di sensibilità picco-classe, ottimizzazione vincolata con vincoli di non-degradazione e controllo adattivo dell'ampiezza basato su segnali a livello di iterazione.
• Validazione Strutturale: Gli autori forniscono prove empiriche (tramite esperimenti di "bulk-walk") che le perturbazioni ortogonali al sottospazio dei picchi lasciano invariata la performance a livello di classe, confermando che l'informazione discriminativa delle classi è concentrata in una minuscola frazione dello spazio dei parametri.

Risultati Sperimentali

CIFAR-10 (ResNet-50)

• Prestazioni: Ha ridotto la deviazione standard ($\sigma$) dell'accuratezza di classe del 36% (da 8.57% a 5.52%).
• Guadagni per Classe: La classe più debole ("gatto") ha guadagnato +7.5 punti percentuali (pp), e "cane" ha guadagnato +5.9 pp.
• Impatto Globale: L'accuratezza globale è diminuita in modo trascurabile di 0.2 pp.
• Confronto: Ha superato il fine-tuning con Focal Loss ($\Delta\sigma = -0.76$ pp) e il fine-tuning Class-Balanced ($\Delta\sigma = -0.60$ pp) nel ribilanciamento, nonostante operasse post-hoc.
• Efficienza: Completato in circa 25 minuti su una singola CPU.

CIFAR-100 (ResNet-50)

• Scalabilità: Utilizzando la chirurgia spettrale deflata sequenziale, gli autori hanno acceduto a 45 dei 99 picchi teorici.
• Prestazioni: Ha ridotto $\sigma$ del 1.6% sul set tenuto da parte. La riduzione relativa è stata inferiore rispetto a CIFAR-10 a causa della copertura parziale del sottospazio dei picchi.

ISIC-2019 (Imaging Medico)

• Contesto: Un dataset di 8 classi fortemente squilibrato (frequenze che coprono due ordini di grandezza).
• Composizione:
  • SS da solo: Ha superato marginalmente il fine-tuning con Focal Loss nel ribilanciamento ($\sigma$: 19.6% vs. 20.8%) con un'accuratezza bilanciata comparabile.
  • FL + SS: Ha migliorato l'accuratezza bilanciata al 51.5% (vs. 49.2% per FL da solo) e ridotto $\sigma$ al 16.4%.
  • CB + SS: Applicato sopra il fine-tuning Class-Balanced (che ha raggiunto il 57.7% di accuratezza bilanciata), SS ha ulteriormente ridotto $\sigma$ di 3.5 pp (al 11.3%) mantenendo l'accuratezza bilanciata (58.0%).
• Insight: Le classi rare ma visivamente distinte (ad esempio, lesioni vascolari) hanno risposto fortemente alla Chirurgia. Coppie confondibili (ad esempio, Melanoma vs. Nevi) hanno mostrato un miglioramento limitato a causa dell'intreccio spettrale.

Analisi Teorica: Rango Effettivo

Gli autori introducono il rango effettivo entropico ($r_{eff}$) della matrice di sensibilità $S$ come diagnosi.

• Su CIFAR-10, $r_{eff} \approx 4$, permettendo compromessi multi-assiali e guadagni significativi.
• Su ISIC-2019 (dopo il fine-tuning Class-Balanced), $r_{eff} \approx 2$, indicando che il metodo di addestramento aveva già assorbito gran parte dei gradi di libertà spettrali risolvibili. Questo spiega il guadagno ridotto (sebbene ancora positivo) di SS sopra CB.

Significato e Affermazioni

Il documento afferma che la Chirurgia Spettrale dimostra l'utilità pratica della struttura spettrale Hessiana per il miglioramento del modello. Le affermazioni chiave includono:

1. Efficacia Post-Hoc: È possibile riequilibrare significativamente le prestazioni delle classi su un modello addestrato senza re-addestramento, utilizzando solo un piccolo sottoinsieme di dati.
2. Complementarità: La Chirurgia Spettrale agisce su un "piano" diverso rispetto alla ridistribuzione basata sulla perdita (Focal Loss, Class-Balanced). Quando i metodi di addestramento non hanno esaurito i gradi di libertà spettrali disponibili, i metodi sono additivi.
3. Limitazioni: Il metodo è limitato dal rango effettivo della matrice di sensibilità. Se il processo di addestramento ha già risolto le asimmetrie di classe (basso $r_{eff}$), o se le classi sono spettralmente intrecciate (ad esempio, classi visivamente simili che condividono direzioni dei picchi), i guadagni sono limitati.
4. Passo Terminale: Il metodo è meglio applicato come passo post-hoc terminale; un successivo fine-tuning (anche proiettato nel bulk) erode i guadagni di ribilanciamento.

Gli autori rimangono modesti riguardo all'ipotesi del rango effettivo, notando che è attualmente un'"ipotesi di lavoro" basata su due regimi misurati (CIFAR-10 e ISIC-2019) e richiede ulteriori test su architetture e dataset diversi per essere stabilita come soglia numerica.