Learning Aligned Stability in Neural ODEs Reconciling Accuracy with Robustness

Il paper propone Zubov-Net, un nuovo framework per le Neural ODE che risolve il compromesso tra accuratezza e robustezza allineando dinamicamente le regioni di attrazione prescritte ai confini decisionali attraverso funzioni di Lyapunov apprendibili e un meccanismo di adattamento basato sull'equazione di Zubov.

L'essenziale

🌟 Il Problema: Il "Guardiano" che si è addormentato

Immagina di avere un sistema di sicurezza (un'intelligenza artificiale) che deve riconoscere le persone in una folla.

• L'obiettivo: Riconoscere chi è un amico (la classe corretta) e chi è un estraneo o un intruso.
• Il problema: Se qualcuno spinge l'amico o gli mette un cappello strano (un "attacco" o un "rumore"), il sistema di sicurezza potrebbe confondersi e dire: "Ehi, non sei più il mio amico, sei un intruso!".

Nelle reti neurali tradizionali, c'è un compromesso: se rendi il sistema troppo rigido per non sbagliare mai con gli intrusi, diventa lento e sbaglia a riconoscere gli amici normali. Se lo rendi troppo flessibile, riconosce bene gli amici ma si fa ingannare facilmente dagli intrusi.

🚀 La Soluzione: Zubov-Net (Il "Mago della Geometria")

Gli autori di questo paper hanno creato Zubov-Net, un nuovo modo per costruire queste intelligenze artificiali. Immagina che invece di avere due parti separate (una che guarda i dati e una che decide), abbiano fuso tutto in un unico sistema magico.

Ecco come funziona, passo dopo passo, con delle metafore:

1. La Mappa dei "Regni di Attrazione" (I PRoAs)

Immagina che lo spazio dove vive l'intelligenza artificiale sia un grande parco giochi con diversi regni (uno per ogni categoria: gatti, cani, auto, ecc.).

• In ogni regno c'è un Re (un punto di equilibrio stabile).
• L'obiettivo è che, se lanci una pallina (un'immagine) in un regno, questa rotoli sempre verso il Re di quel regno, indipendentemente da dove è stata lanciata.
• Il problema delle vecchie reti era che i confini tra i regni erano confusi. Se lanciavi la pallina vicino al confine, un piccolo spintone (rumore) poteva farla cadere nel regno sbagliato.

2. Il "Mago" che Disegna i Confini (La Funzione di Lyapunov)

Zubov-Net usa un "mago" (chiamato Funzione di Lyapunov) che fa due cose contemporaneamente:

1. È il Giudice: Decide a quale regno appartiene la pallina.
2. È l'Architetto: Disegna i confini dei regni in modo che siano perfetti.

Invece di dire "Sei nel regno dei gatti perché sei qui", il mago dice: "Sei nel regno dei gatti perché la tua energia ti spinge inevitabilmente verso il Re dei gatti".

3. L'Allineamento Perfetto (La Magia di Zubov)

Qui entra in gioco la parte più intelligente.

• Prima: L'architetto disegnava i confini (i regni) a caso, e poi sperava che la fisica del parco giochi (la dinamica della rete) facesse rotolare le palline dove voleva lui. Spesso non coincidevano!
• Con Zubov-Net: Usano una formula matematica antica (il Teorema di Zubov) come una "bussola". Questa bussola controlla costantemente se i confini disegnati dall'architetto corrispondono davvero a come le palline rotolano nella realtà.
• Se c'è una discrepanza (il confine è disegnato male), il sistema lo corregge immediatamente. È come se l'architetto e il fisico del parco giochi tenessero una videochiamata costante per assicurarsi che tutto sia coerente.

4. La "Spinta Attiva" (Controllo Attivo)

Non si limitano a controllare. Spingono attivamente i confini.
Immagina di avere dei muri invisibili tra i regni. Zubov-Net spinge questi muri lontano l'uno dall'altro per creare un "fossato" più ampio.

• Risultato: Anche se un intruso (un attacco hacker) spinge la tua immagine con forza, non riesce a saltare il fossato largo e sicuro per entrare nel regno sbagliato. La tua immagine rimane al sicuro nel suo regno.

🛡️ Perché è così speciale? (I Risultati)

Gli autori hanno testato questo sistema su molte immagini (auto, animali, numeri) e hanno scoperto che:

1. È preciso: Riconosce le immagini normali quasi perfettamente (come un umano).
2. È invincibile: Se provi a "confonderlo" con rumore casuale (come un filtro strano) o con attacchi mirati (qualcuno che cerca di ingannarlo), Zubov-Net resiste molto meglio delle altre reti.
3. È veloce: Nonostante tutta questa magia matematica, non è più lento degli altri sistemi quando deve fare previsioni.

🎯 In Sintesi

Pensa a Zubov-Net come a un sistema di sicurezza che non si limita a guardare le carte d'identità, ma che modifica attivamente la struttura dell'edificio per assicurarsi che, anche se qualcuno spinge la porta o prova a scassinare la finestra, l'ospite onesto rimanga sempre nella stanza giusta, e l'intruso rimanga fuori.

Hanno risolto il vecchio dilemma "precisione vs sicurezza" facendo in modo che la sicurezza sia la precisione, grazie a una geometria intelligente e allineata.

Sommario tecnico

1. Il Problema

Le Neural Ordinary Differential Equations (Neural ODEs) offrono vantaggi intrinseci di robustezza rispetto alle reti neurali discrete grazie alla loro modellazione dinamica continua. Tuttavia, i metodi esistenti per garantire la stabilità formale (spesso basati su condizioni di stabilità di Lyapunov rigide) soffrono di un fondamentale compromesso tra accuratezza e robustezza.

Il problema centrale identificato dagli autori è la mancata allineamento tra:

• Le Regioni di Attrazione (RoAs) reali del sistema dinamico (dove le traiettorie convergono effettivamente).
• Le Regioni di Attrazione Prescritte (PRoAs) imposte dai vincoli di stabilità (spesso fisse o globali).

I metodi attuali utilizzano condizioni di stabilità rigide (es. proiezioni globali o punti di equilibrio fissi per ogni campione) che non si adattano alla struttura discriminativa complessa appresa dai dati. Questo crea un disallineamento tra le regioni di stabilità e i confini decisionali logici, riducendo la capacità del modello di distinguere le classi (accuratezza) o rendendolo vulnerabile a perturbazioni (robustezza).

2. Metodologia: Zubov-Net

Per risolvere questo problema, gli autori propongono Zubov-Net, un nuovo framework che unifica dinamica e processo decisionale. L'approccio si basa su tre pilastri principali:

A. Architettura Unificata: Il Classificatore Lyapunov

Invece di separare la dinamica dalla classificazione (usando un layer lineare finale), Zubov-Net utilizza direttamente funzioni di Lyapunov apprendibili come classificatore multiclasse.

• Per ogni classe $c_i$, viene costruita una funzione di Lyapunov $W_i$ che definisce una regione di attrazione prescritta (PRoA).
• Per implementare questo in modo efficiente e scalabile per molte classi, viene introdotto il PIACNN (Partially Input-Attention-based Convex Neural Network).
  • Combina la convessità (necessaria per la stabilità di Lyapunov) con un meccanismo di attenzione parziale sugli input.
  • L'attenzione si concentra sulle caratteristiche rilevanti per l'equilibrio, migliorando la discriminazione tra classi, mentre agisce anche come normalizzazione dei pesi per stabilizzare l'addestramento in architetture profonde.

B. Meccanismo di Allineamento Guidato da Zubov

Per allineare le PRoAs (definite dal classificatore) con le vere RoAs dinamiche del sistema, il framework riformula l'equazione di Zubov in una funzione di perdita di consistenza differenziabile ($\mathcal{L}_{con}$).

• L'equazione di Zubov garantisce che la regione di attrazione di un sistema sia equivalente a un sotto-livello di una funzione di Lyapunov.
• Minimizzando questa perdita, il modello forza la dinamica reale a conformarsi alla regione di attrazione prescritta dal classificatore, eliminando il disallineamento.

C. Controllo Attivo della Geometria delle RoA

Oltre a verificare la stabilità, Zubov-Net introduce un paradigma di controllo attivo della geometria delle regioni di attrazione attraverso una funzione di perdita tripartita:

1. Perdita di Consistenza ($\mathcal{L}_{con}$): Allinea le PRoAs con le RoAs dinamiche reali.
2. Perdita di Classificazione ($\mathcal{L}_{cla}$): Garantisce che le traiettorie convergano al bacino di attrazione della classe corretta.
3. Perdita di Separazione ($\mathcal{L}_{sep}$): Attiva il controllo geometrico massimizzando i margini tra i bacini di attrazione delle diverse classi, prevenendo sovrapposizioni.

Per ottimizzare efficientemente questi obiettivi, viene utilizzato un algoritmo di campionamento parallelo dei confini (Parallel Boundary Sampling) che genera punti di controesempio e punti di confine per addestrare il modello in modo end-to-end.

3. Contributi Chiave

• Zubov-Net: Un framework unificato che usa funzioni di Lyapunov come classificatori, risolvendo il disallineamento tra stabilità e decisione.
• Meccanismo di Matching: La prima applicazione del teorema di Zubov per creare un meccanismo di matching delle regioni di stabilità guidato dai dati, permettendo un controllo attivo della geometria delle RoA.
• PIACNN: Una nuova architettura di rete neurale convessa che integra l'attenzione per bilanciare stabilità teorica e capacità discriminativa in contesti multiclasse.
• Garanzie Teoriche: Dimostrazione che la minimizzazione della perdita tripartita garantisce l'allineamento PRoA-RoA, la non sovrapposizione dei bacini, la stabilità delle traiettorie e un margine di robustezza certificato basato sulla continuità di Lipschitz.
• Analisi di Separabilità Stocastica: Una nuova analisi che giustifica teoricamente l'uso di funzioni convesse per la separazione in spazi ad alta dimensionalità con vincoli dimensionali più rilassati.

4. Risultati Sperimentali

Il framework è stato valutato su quattro dataset di complessità crescente: SVHN, CIFAR-10, CIFAR-100 e Tiny-ImageNet.

• Robustezza al Rumore Stocastico: Zubov-Net ha ottenuto la migliore accuratezza media contro 8 tipi di corruzioni stocastiche (Gaussiano, Glass, Shot, ecc.) su tutti i dataset, superando baselines come ResNet-18, Neural ODE standard, LyaNet e Proj-NODE.
• Robustezza Adversariale: Ha dimostrato superiorità contro attacchi white-box (FGSM, PGD, BIM, APGD, Jitter) e black-box (VNI, Square, AutoAttack). In particolare, su CIFAR-10, ha superato i metodi basati sulla stabilità precedenti del 1.11% (rumore) e 6.17% (attacchi adversariali).
• Sinergia con Adversarial Training: Combinando Zubov-Net con la tecnica TRADES, il modello ha raggiunto le prestazioni di robustezza più elevate, dimostrando che l'approccio geometrico è compatibile e sinergico con l'addestramento adversarial tradizionale.
• Efficienza Computazionale: Nonostante l'overhead di addestramento dovuto al campionamento dei confini, Zubov-Net mantiene un tempo di inferenza quasi identico alle Neural ODE standard e inferiore rispetto ai metodi basati su proiezione (Proj-NODE), rendendolo pratico per il deployment.
• Visualizzazione: Le visualizzazioni t-SNE mostrano che Zubov-Net mantiene cluster di classe compatti e confini ben separati anche sotto attacco, a differenza di altri metodi dove le feature diventano disperse.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella ricerca sulla robustezza delle Neural ODEs.

• Superamento del Trade-off: Dimostra che è possibile superare il compromesso tra accuratezza e robustezza non imponendo vincoli di stabilità rigidi, ma allineando attivamente la stabilità con l'obiettivo di classificazione.
• Cambiamento di Paradigma: Sposta l'attenzione dalla semplice "verifica" della stabilità a un "controllo attivo" della geometria dello spazio delle fasi, rendendo la stabilità una proprietà intrinseca e adattiva del processo decisionale.
• Fondamento Teorico: Fornisce garanzie formali (raggio di robustezza certificato) basate su principi di teoria del controllo, offrendo una base solida per applicazioni in ambiti safety-critical.

In sintesi, Zubov-Net propone una soluzione elegante e teoricamente fondata che unifica la dinamica del sistema con la logica decisionale, ottenendo modelli che sono sia altamente accurati che intrinsecamente robusti.