Learning Aligned Stability in Neural ODEs Reconciling Accuracy with Robustness

Deze paper introduceert Zubov-Net, een nieuw kader voor Neural ODEs dat de nauwkeurigheid en robuustheid verenigt door een leerbare Lyapunov-functie te gebruiken als classifier en een Zubov-gedreven mechanisme om de regio's van aantrekking actief af te stemmen op de besluitvormingsgrenzen.

De kern

Stel je voor dat je een zeer slimme, maar soms wat onvoorspelbare robot bouwt die foto's moet herkennen. Deze robot heet een Neural ODE. In plaats van stap voor stap te werken (zoals een gewone computer), denkt deze robot in een continue stroom, alsof hij door een rivier vaart.

Het probleem? Deze robots zijn vaak erg kwetsbaar. Als je een foto een heel klein beetje vervormt (bijvoorbeeld een beetje ruis toevoegen of een kwaadaardige hacker er een paar pixels aan verandert), kan de robot ineens denken dat een hond een koffiezetapparaat is. Dit is gevaarlijk, zeker als je de robot in een zelfrijdende auto of een ziekenhuis wilt gebruiken.

De onderzoekers van dit paper (Luo en collega's) hebben een oplossing bedacht die ze Zubov-Net noemen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Stevige Muur" vs. De "Vrije Ruimte"

Vroeger probeerden mensen deze robots veilig te maken door ze dwangbuisjes aan te doen. Ze zeiden: "Je mag alleen in deze specifieke, starre kooi zitten die we van tevoren hebben getekend."

• Het nadeel: Als de echte wereld (de foto's) net buiten die kooi zit, faalt de robot. Of als de kooi te groot is, kan de robot verward raken. Het is alsof je probeert een bolvormige aardappel in een vierkante doos te proppen; het past niet goed en er ontstaat spanning tussen nauwkeurigheid (goed herkennen) en veiligheid (niet misleiden).

2. De Oplossing: Zubov-Net (De Slimme Landkaart)

In plaats van een starre kooi te bouwen, laten ze de robot zelf een levende landkaart tekenen terwijl hij leert.

• De Landkaart (Lyapunov-functie): Stel je voor dat elke categorie (bijv. "hond", "kat", "auto") zijn eigen vallei heeft. Als de robot een foto ziet, "rolt" hij als een balletje de vallei in.
• De Slimme Truc: Bij Zubov-Net is de landkaart niet vaststaand. De robot tekent de valleien terwijl hij leert. De vorm van de vallei past zich precies aan de foto's aan.
  • Analogie: In plaats van een betonnen muur om een tuin te beschermen, bouwen ze een magneetveld. Als een steen (een foto) in de buurt komt, trekt het magneetveld hem zachtjes naar het juiste plekje toe, ongeacht hoe de steen er precies uitziet.

3. De Drie Krachten (De Drie Lijnen)

Om deze landkaart perfect te maken, gebruiken ze drie soorten "krachten" tijdens het trainen:

1. De "Pasvorm"-Kracht (Consistency): Ze controleren of de landkaart (wat we wensen) overeenkomt met de echte beweging van de robot. Als de robot in een vallei zou moeten rollen, maar hij rolt juist de verkeerde kant op, krijgen ze een waarschuwing. Ze passen de landkaart aan zodat de wens en de werkelijkheid samenvallen.
2. De "Herkenning"-Kracht (Classification): Dit zorgt ervoor dat de robot de foto's gewoon goed herkent. De balletjes moeten in de juiste valleien eindigen.
3. De "Scheidings"-Kracht (Separation): Dit is heel belangrijk. Ze zorgen ervoor dat de valleien niet in elkaar overlopen. Ze bouwen een stevige berg tussen de "hond-vallei" en de "kat-vallei". Zelfs als iemand een steen (een aanval) gooit, kan deze niet over de berg heen rollen naar de verkeerde vallei.

4. Waarom is dit zo slim?

• Het is flexibel: De robot past zijn verdediging aan aan de situatie, in plaats van starre regels te volgen.
• Het is veilig: Ze hebben wiskundig bewezen dat als een foto binnen een bepaalde afstand van het origineel blijft, de robot altijd het juiste antwoord zal geven. Het is alsof ze een onzichtbare veiligheidszone hebben die garandeert dat je niet per ongeluk in de verkeerde vallei belandt.
• Het werkt snel: Ondanks dat het slim is, is het niet traag. De robot kan net zo snel foto's maken als zijn oudere broers.

Samenvattend

Stel je voor dat je een schip bestuurt in een storm.

• Oude methoden: Je probeert het schip vast te ketenen aan een anker dat op een starre plek ligt. Als de stroom te sterk is, breekt het anker.
• Zubov-Net: Je hebt een slimme stuurman die de stroming voelt en continu de koers aanpast. Hij weet precies waar de veilige haven (de juiste categorie) ligt en zorgt ervoor dat het schip daar altijd terechtkomt, zelfs als er grote golven (aanvallen) komen.

De onderzoekers hebben dit getest op verschillende datasets (zoals CIFAR-10 en Tiny-ImageNet) en bewezen dat hun robot niet alleen heel goed kan herkennen, maar ook veel moeilijker te misleiden is dan eerdere modellen. Ze hebben de spanning tussen "goed zijn" en "veilig zijn" opgelost door de veiligheid slim en flexibel te maken.

Technische samenvatting

Probleemstelling

Neurale Differentiaalvergelijkingen (Neural ODEs) hebben van nature voordelen op het gebied van robuustheid ten opzichte van discrete diepe netwerken. Echter, bestaande methoden om formele stabiliteitsgaranties te bieden (vaak gebaseerd op Lyapunov-stabiliteit) kampen met een fundamenteel compromis tussen nauwkeurigheid (accuracy) en robuustheid.

De kern van dit probleem ligt in een misalignement tussen de voorgeschreven stabiliteitsregio's (Prescribed Regions of Attraction - PRoAs) die door de stabiliteitsvoorwaarden worden opgelegd, en de werkelijke dynamische aantrekkingsgebieden (Regions of Attraction - RoAs) van het model.

• Bestaande methoden gebruiken vaak starre, vooraf bepaalde regio's of projectiemechanismen die features van verschillende klassen te dicht bij elkaar dwingen bij het evenwichtspunt.
• Dit leidt tot een verlies aan discriminatiekracht (minder scheiding tussen klassen) en een verhoogde gevoeligheid voor ruis en adversarial attacks, omdat de logische beslissingsgrenzen niet overeenkomen met de fysieke dynamica van het systeem.

Methodologie: Zubov-Net

De auteurs stellen Zubov-Net voor, een nieuw raamwerk dat dynamica en besluitvorming unificeert om dit misalignement op te lossen. De methode bestaat uit drie hoofdcomponenten:

1. Unificatie van Dynamica en Classificatie

In plaats van een aparte classifier te gebruiken, fungeert de leerbare Lyapunov-functie direct als de multi-class classifier.

• Voor elke klasse $c_i$ wordt een Lyapunov-functie $W_i$ geconstrueerd.
• De sub-niveau-set van deze functie ($W_i < c$) definieert het voorgeschreven aantrekkingsgebied (PRoA).
• Door de classifier en de stabiliteitsfunctie te verenigen, wordt de PRoA inherent adaptief en afgestemd op de geleerde data-distributie.

2. PIACNN Architectuur

Om een multi-class classifier te bouwen die zowel convex (voor stabiliteit) als discriminerend is, introduceren de auteurs de Partially Input-Attention-based Convex Neural Network (PIACNN).

• Dit is een variant op Input Convex Neural Networks (ICNN), maar met een softmax-attentie-mechanisme.
• De attentie focust op features die relevant zijn voor het evenwichtspunt en fungeert tevens als gewichtsnormalisatie om training in diepe architecturen te stabiliseren.
• Dit lost het probleem op dat standaard ICNN's slecht schalen naar multi-class problemen (die vaak $L$ onafhankelijke netwerken vereisen).

3. Zubov-gedreven Regio-Matching en Actieve Controle

De kerninnovatie is het gebruik van Zubov's theorema om de PRoA's af te stemmen op de werkelijke RoA's.

• Zubov-vergelijking: De auteurs herschrijven de differentiaalvergelijking van Zubov's theorema tot een differentieerbare consistentieloss ($\mathcal{L}_{con}$). Deze loss straft afwijkingen tussen de theoretische stabiliteit (zoals gedefinieerd door de Lyapunov-functie) en de daadwerkelijke dynamica van de Neural ODE.
• Tripartite Loss Functie: Het trainingsdoel bestaat uit drie delen:
  1. Consistency Loss ($\mathcal{L}_{con}$): Zorgt ervoor dat de voorgeschreven regio's (PRoA) overeenkomen met de werkelijke dynamische regio's (RoA).
  2. Classification Loss ($\mathcal{L}_{cla}$): Zorgt ervoor dat trajecten convergeren naar het juiste evenwichtspunt van de doelklasse.
  3. Separation Loss ($\mathcal{L}_{sep}$): Activeert de geometrie van de aantrekkingsgebieden om de marges tussen klassen te maximaliseren en overlapping te voorkomen.
• Parallel Boundary Sampling: Een efficiënt algoritme (Algorithm 1) dat parallel grenspunten sampleert om de $\mathcal{L}_{con}$ en $\mathcal{L}_{sep}$ te berekenen zonder zware projectie-berekeningen.

Belangrijkste Bijdragen

1. Zubov-Net Framework: Een unificatie van dynamica en besluitvorming waarbij leerbare Lyapunov-functies dienen als multi-class classifiers.
2. Actieve RoA-Controle: Een nieuw paradigma dat niet alleen stabiliteit certificeert, maar de geometrie van de aantrekkingsgebieden actief vormt door de PRoA's te optimaliseren via een tripartite loss.
3. PIACNN Architectuur: Een nieuwe netwerktopologie die convexiteit (voor stabiliteit) combineert met een attentie-mechanisme voor betere discriminatie en trainingstabiliteit.
4. Theoretische Garanties: Bewijzen dat het minimaliseren van de tripartite loss leidt tot:
   • Alignement van PRoA en RoA.
   • Niet-overlappende aantrekkingsgebieden.
   • Trajectstabiliteit en een gecertificeerde robuustheidsmarge (op basis van Lipschitz-continuïteit).
   • Stochastische convex scheidbaarheid met strakkere probabilistische grenzen.

Resultaten

De methode is getest op vier datasets: SVHN, CIFAR-10, CIFAR-100 en Tiny-ImageNet.

• Nauwkeurigheid vs. Robuustheid: Zubov-Net behaalt de hoogste gemiddelde nauwkeurigheid op schone data én de beste robuustheid tegen zowel stochastische ruis (Gaussian, Glass, Shot, etc.) als adversarial attacks (FGSM, PGD, BIM, APGD, Jitter, AutoAttack).
• Vergelijking met Baselines: Het presteert significant beter dan bestaande stabiele Neural ODE-methoden (zoals LyaNet, FxTS-Net, SODEF, Proj-NODE) en standaard ResNet-18. Op CIFAR-10 bijvoorbeeld, verbetert het de adversarial robuustheid met ongeveer 6% ten opzichte van de beste concurrent.
• Synergie met Adversarial Training: Wanneer Zubov-Net wordt gecombineerd met de TRADES-techniek (adversarial training), worden de beste resultaten behaald, wat aantoont dat het raamwerk compatibel is met bestaande defensiestrategieën.
• Efficiëntie: Hoewel de trainingstijd iets hoger is dan bij een standaard Neural ODE (vanwege de boundary sampling), is de inference-tijd vergelijkbaar met standaard Neural ODEs en aanzienlijk sneller dan projectie-gebaseerde methoden (zoals Proj-NODE).

Betekenis en Impact

Dit paper is significant omdat het een fundamentele beperking in het veld van robuuste Neural ODEs oplost: de scheiding tussen stabiliteitstheorie en classificatiedoelstellingen.

• Theoretische doorbraak: Het toont aan dat stabiliteit niet hoeft te leiden tot een verlies aan discriminatiekracht, mits de stabiliteitsregio's dynamisch worden afgestemd op de data.
• Praktische toepasbaarheid: De methode biedt een praktische, efficiënte manier om formele robuustheidsgaranties te krijgen zonder de prestaties op schone data te offeren.
• Toekomstperspectief: De auteurs wijzen op de toepasbaarheid van dit "aligned stability" paradigma op andere domeinen zoals tijdreeksvoorspelling, versterkend leren en grafische neurale netwerken.

Kortom, Zubov-Net biedt een elegante oplossing voor het accuracy-robustness trade-off door de geometrie van het model actief te sturen in plaats van passieve stabiliteitsvoorwaarden op te leggen.