Convex training of Lipschitz-regularized shallow neural networks

Technische Samenvatting: Convexe Training van Lipschitz-geregulariseerde Shallow Neural Networks

Probleemstelling
Het trainen van shallow neural networks (SNN's) berust doorgaans op stochastic gradient descent (SGD), wat geen garanties biedt voor convergentie naar een globaal optimum en gevoelig is voor hyperparameterinstellingen. Bovendien zijn standaard getrainde modellen vaak kwetsbaar voor adversariële aanvallen—kleine, in het slechtste geval aanpassingen aan de invoergegevens die de voorspellingen veranderen. Hoewel adversariële training en Lipschitz-regularisatie de robuustheid kunnen verbeteren, kampen bestaande methoden met aanzienlijke uitdagingen:

1. Niet-convexiteit: Trainingsprogramma's die Lipschitz-restricties bevatten (bijv. via Semi-Definite Programming of ADMM) zijn niet-convex, waardoor ze geen convergentiegaranties hebben.
2. Gevoeligheid voor Activatiepatronen: Eerdere convexe herformuleringen voor SNN's (bijv. Pilanci & Ergen, 2020) vereisen het samplen van activatiepatronen. Als deze patronen suboptimal zijn, kan het resulterende convexe programma oplossingen opleveren die slechter zijn dan het oorspronkelijke door SGD getrainde netwerk.
3. Modelexpansie: Bestaande convexe benaderingen vereisen vaak het verdubbelen van het aantal verborgen eenheden om te garanderen dat een initiële oplossing haalbaar is binnen de convexe restrictie, wat potentieel kan leiden tot overfitting of directe prestatievergelijkingen bemoeilijkt.

Methodologie
De auteurs stellen een post-processing trainingsprocedure voor die een niet-convex, Lipschitz-geregulariseerd trainingsprobleem transformeert naar een sequentie van convexe restricties. De kernmethodologie omvat:

1. Constructie van Convexe Restrictie:

   • De auteurs fixeren de tekens van de gewichten van de buitenste laag en de activatiepatronen van de verborgen eenheden op basis van een vooraf getraind SNN.
   • Door deze discrete variabelen te fixeren, wordt het oorspronkelijke niet-convexe probleem (dat $\ell_2$- of Lipschitz-regularisatie bevat) beperkt tot een convex subprobleem.
   • Cruciaal is dat deze restrictie zodanig wordt geconstrueerd dat de initiële vooraf getrainde oplossing haalbaar blijft. Daarom is het globaal optimum van deze convexe restrictie wiskundig gegarandeerd niet slechter dan de initiële oplossing.

2. Iteratieve Alternerende Minimalisatie (AM):

   • Voor Lipschitz-geregulariseerde problemen stellen de auteurs een iteratief algoritme voor (Algoritme 1).
   • Stap 1: Gegeven de huidige gewichten, los een Semi-Definite Program (SDP) op om de strakste Lipschitz bovengrens (Lipschitz-constante) te schatten en de hulpmatrix $T$ bij te werken.
   • Stap 2: Met $T$ gefixeerd, los de convexe restrictie op (een Quadratic Program met Linear Matrix Inequality constraints) om de gewichten van de verborgen laag bij te werken terwijl de geëxtraheerde activatiepatronen behouden blijven.
   • Dit proces herhaalt zich en verlaagt de objectieve waarde (verlies + Lipschitz-straf) monotoon tot convergentie.

3. Afhandeling van Pattern Multisets:

   • In tegenstelling tot eerdere werken die patronen willekeurig samplen of unieke patronen vereisen, maakt deze methode gebruik van de exacte activatiepatronen (multisets) die uit het vooraf getrainde netwerk zijn geëxtraheerd.
   • De auteurs bewijzen dat als de geëxtraheerde patronen overeenkomen met de patronen van de optimale oplossing, het convexe programma equivalent is aan het oorspronkelijke niet-convexe probleem. Zelfs met suboptimale patronen is de oplossing gegarandeerd beter dan het initiële punt.

Belangrijkste Bijdragen

1. Convex Training Methode: Ontwikkeling van een convexe trainingsmethode voor Lipschitz-geregulariseerde SNN's met ReLU-activaties. De auteurs demonstreren dat het fixeren van de tekens van de gewichten van de buitenste laag en de activatiepatronen van de verborgen eenheden een convexe restrictie van het oorspronkelijke niet-convexe probleem oplevert.
2. Gegarandeerde Verbetering: Een iteratief algoritme wordt voorgesteld dat een sequentie van deze convexe restricties oplost tot globale optimaliteit. De auteurs bewijzen dat de objectieve waarde monotoon afneemt en dat de uiteindelijke oplossing gegarandeerd niet slechter is dan het initiële vooraf getrainde netwerk.
3. Sterkere Convexe Restricties: Het artikel introduceert technieken voor het construeren van deze restricties door activatiepatronen en gewichten van de buitenste laag te extraheren uit elk vooraf getraind SNN. Dit pakt de uitdaging aan van het vinden van "goede" activatiepatronen, aangezien de methode een verbetering garandeert ongeacht de kwaliteit van het initiële patroon.
4. Empirische Validatie: Experimenten op UCI- en synthetische datasets (Rastrigin-functie) laten zien dat de voorgestelde post-processing methode netwerken oplevert met lagere objectieve waarden en verbeterde robuustheid tegen PGD (Projected Gradient Descent) adversariële aanvallen vergeleken met bestaande methoden zoals ADMM-gebaseerde Lipschitz-training en standaard SGD.

Resultaten

• Reductie van de Objectieve Waarde: Op meerdere datasets (Solar, Machine, Servo, Wine) bereikten de voorgestelde convexe oplossingen (aangeduid als $(\cdot)$-C-lip) een lagere mediane Mean Squared Error (MSE) onder adversariële omstandigheden vergeleken met baseline modellen getraind via SGD, PGD of ADMM.
• Robuustheid: De methode produceerde modellen die zowel nauwkeuriger als robuuster waren tegen adversariële aanvallen van verschillende magnitudes ($\epsilon = 0, 0.1, 0.2$).
• Vergelijking met Baselines:
  • De convexe restrictie presteerde consistent beter dan de initiële vooraf getrainde modellen.
  • In contrast hiermee faalden methoden die slechts een fractie van de activatiepatronen samplen (bijv. 50 van de 100) om een verbetering te garanderen en produceerden vaak slechtere oplossingen dan de baselines, wat het belang van het gebruik van de volledige set geëxtraheerde patronen benadrukt.
  • De voorgestelde methode liet significante verbeteringen zien ten opzichte van ADMM-gebaseerde Lipschitz-training, met name op de "Servo" en "Machine" datasets.

Significantie en Claims
Het artikel claimt dat de primaire significantie ligt in het bieden van een tractabel, convex framework voor het trainen van adversariële robuuste SNN's die de convergentieproblemen van niet-convexe methoden (zoals ADMM) en de onzekerheid over de kwaliteit van de oplossing van bestaande convexe benaderingen overwint.

• Robuustheidsgarantie: Door de Lipschitz-constante te minimaliseren via een convexe restrictie, bevordert de methode adversariële robuustheid zonder de convergentiegaranties van standaard niet-convexe training.
• Nut van Post-Processing: De benadering dient als een betrouwbare post-processing stap. Het neemt elke haalbare oplossing (bijv. uit SGD of ADMM) en garandeert een oplossing van gelijke of hogere kwaliteit, waardoor bestaande modellen effectief worden verfijnd zonder het risico op prestatievermindering.
• Schaalbaarheid en Praktische Bruikbaarheid: De methode maakt gebruik van standaard interior-point solvers (bijv. MOSEK) en vermijdt de noodzaak voor heuristische patroon-sampling die tot suboptimale resultaten kan leiden.

De auteurs merken bescheiden op dat hoewel hun methode een verbetering boven de initiële oplossing garandeert, het niet garandeert het globale optimum van het oorspronkelijke niet-convexe probleem te vinden, tenzij de geëxtraheerde activatiepatronen toevallig optimaal zijn. Toekomstig werk wordt gesuggereerd om dit uit te breiden naar diepe neurale netwerken en om methoden te ontwikkelen voor het sequentieel verbeteren van de selectie van het pattern multiset.