The Price of Robustness: Stable Classifiers Need Overparameterization

Il paper dimostra che per ottenere classificatori stabili e robusti, specialmente in contesti discontinui, è necessaria una sostanziale sovrapparametrizzazione, poiché i modelli che interpolano i dati con un numero di parametri pari al numero di campioni sono intrinsecamente instabili.

L'essenziale

Immagina di dover insegnare a un bambino a riconoscere le mele dalle pere.

Il Problema: Il "Genio" che non sa adattarsi

Negli ultimi anni, abbiamo creato intelligenze artificiali (AI) enormi, con milioni di "neuroni" (parametri). È come se avessimo dato al bambino un'enciclopedia infinita.
Secondo la vecchia teoria, più cose sai, più rischi di confonderti o di imparare a memoria tutto a pappagallo senza capire davvero (il famoso overfitting). Ma nella realtà succede il contrario: questi modelli giganti imparano a memoria i dati di addestramento (anche quelli sbagliati) e poi funzionano benissimo con i nuovi dati. È un mistero: perché i modelli "troppo grandi" funzionano meglio?

La Scoperta: La Robustezza costa "spazio"

Gli autori di questo studio (pubblicato a ICLR 2026) hanno scoperto che c'è un prezzo da pagare per la robustezza.
Immagina che il tuo modello sia un guardiano di un castello (il confine tra mele e pere).

• La stabilità è quanto è "largo" il fossato che circonda il castello. Se il fossato è stretto, un piccolo sasso lanciato da un nemico (un piccolo errore o una variazione nell'immagine) può far cadere il guardiano e fargli sbagliare il nome del frutto.
• La robustezza è la capacità di non sbagliare anche se qualcuno lancia sassi o se la luce cambia.

Il paper dice: Per avere un fossato largo e sicuro (stabilità), devi avere un esercito enorme (sovra-parametrizzazione).

L'Analogia del "Gioco del Gioco"

Immagina di dover disegnare una linea per separare due gruppi di persone in una stanza.

1. Il caso "Normale" (Pochi parametri): Hai solo un bastone per disegnare la linea. Se la linea è troppo vicina alle persone, basta che una persona si muova di un millimetro per attraversare la linea e cambiare gruppo. Il sistema è fragile.
2. Il caso "Gigante" (Molti parametri): Hai a disposizione un esercito di disegnatori. Possono creare una linea molto complessa, ma soprattutto possono creare un grande spazio vuoto (un fossato) tra i due gruppi. Anche se le persone si muovono, restano nel loro gruppo.

La conclusione shockante: Se vuoi che il tuo modello sia robusto (cioè che non si confonda per piccoli errori), devi usare un modello enorme. Non puoi avere un modello piccolo e robusto allo stesso tempo. La "robustezza" richiede "spazio" (parametri).

Cosa hanno scoperto di preciso?

1. La Legge della Robustezza: Prima si pensava che la robustezza dipendesse solo da quanto la funzione matematica fosse "liscia" (come una collina morbida). Ma i classificatori (quelli che dicono "è una mela" o "è una pera") sono come scogliere a picco: sono discontinui. Gli autori hanno creato una nuova misura, chiamata Stabilità di Classe, che misura la distanza media tra i dati e il bordo del confine.
2. Il Risultato Matematico: Hanno dimostrato che se hai $n$ dati e vuoi un modello che li memorizzi perfettamente (interpolazione) ma che sia anche robusto, devi avere un numero di parametri $p$ molto più grande di $n$. In parole povere: per essere sicuri, devi essere enormi.
3. Esperimenti: Hanno provato su immagini di numeri (MNIST) e oggetti (CIFAR-10). Hanno visto che più allargavano la rete neurale (aggiungevano neuroni), più il "fossato" diventava largo e più il modello diventava sicuro. Le vecchie misure matematiche (come la "norma" dei pesi) non dicevano nulla, ma la "stabilità" sì.

In sintesi, per la vita quotidiana

Pensa a un sistema di sicurezza in aeroporto.

• Se usi un sistema piccolo e semplice, basta che un viaggiatore cambi una valigia di pochi centimetri per far scattare l'allarme sbagliato (o non farlo scattare).
• Per avere un sistema che non si confonda mai per piccoli dettagli, devi costruire un sistema enorme, con migliaia di sensori e regole complesse (sovra-parametrizzazione).

Il messaggio finale: Non aver paura di usare modelli giganti. Non sono "sprechi" di risorse. Al contrario, la loro grandezza è la condizione necessaria per renderli sicuri, stabili e affidabili nel mondo reale, dove le cose non sono mai perfette. La robustezza ha un prezzo, e quel prezzo è la grandezza del modello.

Sommario tecnico

1. Il Problema

La relazione tra sovraparametrizzazione, stabilità (o robustezza) e generalizzazione nelle reti neurali moderne rimane un problema aperto, specialmente nel contesto dei classificatori discontinui (come quelli che producono output discreti o usano funzioni di attivazione non lisce).
Le misure di complessità tradizionali (come il numero di parametri o le norme spettrali dei pesi) non riescono a spiegare fenomeni empirici come il double descent e l'overfitting benigno. Sebbene sia noto che la stabilità delle predizioni sotto perturbazioni di input sia correlata alla generalizzazione, non esisteva una legge teorica formale che collegasse la robustezza alla sovraparametrizzazione per funzioni non lisce. La "Legge della Robustezza" universale di Bubeck e Sellke (2021) si applica solo a funzioni lisce (Lipschitz-continue), rendendola inadeguata per i classificatori standard il cui spazio di codominio è discreto.

2. Metodologia

Gli autori sviluppano un quadro teorico che estende i risultati di Bubeck e Sellke ai classificatori discontinui, introducendo nuove misure geometriche di regolarità.

• Stabilità di Classe (Class Stability): Definita come la distanza attesa (margin) tra un campione di input e il confine decisionale. A differenza del margine minimo, questa misura cattura la robustezza media della classe rispetto alle perturbazioni di input.
• Co-Stabilità Normalizzata (Normalized Co-Stability): Per gestire classi di funzioni infinite e parametriche, gli autori introducono una misura basata sul margine nello spazio dei codominio (output score). Questa misura tiene conto sia del margine dei punteggi ($|g(x)|$) sia della costante di Lipschitz della funzione di punteggio sottostante ($L(g)$), definendo il rapporto $\bar{S}^*(g) = E[|g(x)|]/L(g)$.
• Assunzione di Isoperimetria: L'analisi si basa sull'assunzione che la distribuzione dei dati soddisfi una proprietà di isoperimetria (tipica di misure gaussiane o su varietà a curvatura positiva). Questa proprietà garantisce una forte concentrazione della misura, essenziale per derivare limiti di generalizzazione non vuoti in spazi ad alta dimensione.
• Complessità di Rademacher: Gli autori legano la complessità di Rademacher di una classe di ipotesi alla stabilità di classe. Dimostrano che, sotto l'assunzione di isoperimetria, una maggiore stabilità riduce la complessità effettiva della classe, permettendo una migliore generalizzazione anche in regime di sovraparametrizzazione.

3. Contributi Chiave

1. Limite di Generalizzazione per Classificatori Discontinui: Viene dimostrato che, sotto assunzioni di isoperimetria, la complessità di Rademacher di una classe finita di classificatori può essere limitata in termini della stabilità di classe minima. Questo porta a un limite di generalizzazione che si stringe all'aumentare della stabilità (Teorema 4).
2. Legge della Robustezza per Funzioni Discontinue: Viene derivata una "Legge della Robustezza" (Corollario 6) che stabilisce un trade-off fondamentale: per un modello che interpola i dati (errore di training nullo o quasi) con $n$ campioni e $p \approx n$ parametri, la stabilità deve essere bassa. Per ottenere sia un fitting perfetto sia un'alta stabilità, è necessaria una sovraparametrizzazione sostanziale dell'ordine di $p \approx n d$ (dove $d$ è la dimensione dell'input).
3. Estensione a Classi Infinite: Il framework è esteso a classi infinite di funzioni parametriche (es. reti neurali profonde) introducendo la co-stabilità normalizzata. Viene dimostrato che anche in questo caso, la robustezza richiede una capacità parametrica sufficiente (Corollario 15).
4. Validazione Empirica: I risultati teorici sono confermati sperimentalmente su MNIST e CIFAR-10.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su MLP (Fully Connected) e CNN con diverse larghezze (da 128 a 2048 neuroni) e profondità.

• Correlazione con la Dimensione: Sia la stabilità di classe ($S(f)$) che la co-stabilità normalizzata ($\bar{S}^*(g)$) aumentano all'aumentare della larghezza della rete (model size).
• Allineamento con l'Accuratezza: L'andamento della stabilità segue la stessa tendenza qualitativa dell'accuratezza sul test set. Al contrario, le tradizionali misure basate sulle norme dei pesi non mostrano alcuna correlazione significativa con le prestazioni di generalizzazione.
• Funzioni Discontinue: Gli esperimenti con MLP a attivazione Heaviside (discontinua) mostrano che la scalabilità della stabilità persiste anche senza l'assunzione di Lipschitzianità, suggerendo che tale assunzione è principalmente tecnica per la dimostrazione teorica e non intrinseca alla relazione tra stabilità e dimensione del modello.
• Saturazione: Si osserva una saturazione della stabilità per modelli molto grandi, coerente con l'idea che esiste un limite superiore teorico (il classificatore di Bayes) oltre il quale spingere la robustezza può ridurre l'accuratezza.

5. Significato e Implicazioni

Questo lavoro fornisce una spiegazione teorica fondamentale al perché le moderne reti neurali, spesso sovraparametrizzate, generalizzano bene: la sovraparametrizzazione non è un semplice sottoprodotto, ma una condizione necessaria per ottenere classificatori robusti e stabili.

• Superamento dei Limiti di Lipschitz: Il paper risolve il problema di applicare le leggi della robustezza ai classificatori reali (discontinui), superando la limitazione delle analisi basate sulla costante di Lipschitz.
• Nuova Metrica di Robustezza: Introduce la "stabilità di classe" e la "co-stabilità normalizzata" come metriche più informative rispetto alle norme dei pesi per valutare la capacità di generalizzazione.
• Implicazioni per l'Architettura: Suggerisce che per ottenere modelli robusti (specialmente in contesti ad alta dimensione come i Large Language Models o i modelli di visione), non basta solo avere dati sufficienti, ma è necessario disporre di una capacità parametrica che superi di gran lunga il numero di campioni ($p \gg n$) per permettere al modello di trovare soluzioni stabili che interpolano i dati senza essere fragili alle perturbazioni.

In sintesi, il paper afferma che la stabilità è il prezzo da pagare per la generalizzazione in regime di interpolazione, e questo prezzo può essere pagato solo attraverso una significativa sovraparametrizzazione.