Convex training of Lipschitz-regularized shallow neural networks

Sintesi Tecnica: Addestramento Convesso di Reti Neurali Superficiali con Regolarizzazione Lipschitziana

Definizione del Problema
L'addestramento delle reti neurali superficiali (SNN) si basa tipicamente sulla discesa del gradiente stocastico (SGD), la quale non offre alcuna garanzia di convergenza verso un ottimo globale ed è sensibile alla sintonizzazione degli iperparametri. Inoltre, i modelli standard addestrati sono spesso vulnerabili agli attacchi avversari — piccole perturbazioni peggiori del caso applicate ai dati di input che alterano le predizioni. Sebbene l'addestramento avversario e la regolarizzazione Lipschitziana possano migliorare la robustezza, i metodi esistenti affrontano sfide significative:

1. Non convessità: I programmi di addestramento che incorporano vincoli Lipschitziani (ad esempio, tramite Programmazione Semidefinita o ADMM) sono non convessi, privi di garanzie di convergenza.
2. Sensibilità ai Pattern di Attivazione: Le precedenti riformulazioni convesse per le SNN (ad esempio, Pilanci & Ergen, 2020) richiedono il campionamento dei pattern di attivazione. Se tali pattern sono subottimali, il programma convesso risultante può generare soluzioni peggiori rispetto alla rete inizialmente addestrata con SGD.
3. Espansione del Modello: Gli approcci convessi esistenti richiedono spesso il raddoppio del numero di unità nascoste per garantire che una soluzione iniziale sia ammissibile all'interno della restrizione convessa, il che può portare all'overfitting o rendere difficili i confronti diretti delle prestazioni.

Metodologia
Gli autori propongono una procedura di addestramento di post-processing che trasforma un problema di addestramento non convesso e regolarizzato Lipschitzianamente in una sequenza di restrizioni convesse. La metodologia centrale prevede:

1. Costruzione della Restrizione Convessa:

   • Gli autori fissano i segni dei pesi dello strato esterno e i pattern di attivazione delle unità nascoste basandosi su una SNN pre-addestrata.
   • Fissando queste variabili discrete, l'originale problema non convesso (che include la regolarizzazione $\ell_2$ o Lipschitziana) viene ristretto a un sottoproblema convesso.
   • Fondamentalmente, questa restrizione è costruita in modo tale che la soluzione pre-addestrata iniziale rimanga ammissibile. Pertanto, l'ottimo globale di questa restrizione convessa è matematicamente garantito come non peggiore della soluzione iniziale.

2. Minimizzazione Alternata (AM) Iterativa:

   • Per i problemi regolarizzati Lipschitzianamente, gli autori propongono un algoritmo iterativo (Algoritmo 1).
   • Passaggio 1: Data la configurazione attuale dei pesi, risolvere un Programma Semidefinito (SDP) per stimare il limite superiore Lipschitziano più stretto (costante di Lipschitz) e aggiornare la matrice ausiliaria $T$.
   • Passaggio 2: Con $T$ fissato, risolvere la restrizione convessa (un Programma Quadratico con vincoli di Disuguaglianza Matriziale Lineare) per aggiornare i pesi dello strato nascosto mantenendo i pattern di attivazione estratti.
   • Questo processo si ripete, diminuendo monotonicamente il valore dell'obiettivo (perdita + penalità Lipschitziana) fino alla convergenza.

3. Gestione del Multiset di Pattern:

   • A differenza dei lavori precedenti che campionano i pattern casualmente o richiedono pattern unici, questo metodo utilizza i pattern di attivazione esatti (multiset) estratti dalla rete pre-addendrata.
   • Gli autori dimostrano che se i pattern estratti corrispondono ai pattern della soluzione ottimale, il programma convesso è equivalente al problema non convesso originale. Anche con pattern subottimali, la soluzione è garantita essere migliore rispetto al punto iniziale.

Contributi Chiave

1. Metodo di Addestramento Convesso: Sviluppo di un metodo di addestramento convesso per SNN regolarizzate Lipschitzianamente con attivazioni ReLU. Gli autori dimostrano che fissare i segni dei pesi dello strato esterno e i pattern di attivazione delle unità nascoste produce una restrizione convessa del problema non convesso originale.
2. Miglioramento Garantito: Viene proposto un algoritmo iterativo che risolve una sequenza di queste restrizioni convesse verso l'ottimo globale. Gli autori dimostrano che il valore dell'obiettivo diminuisce monotonicamente e che la soluzione finale è garantita essere non peggiore della rete pre-addestrata iniziale.
3. Restrizioni Convesse più Forti: Il lavoro introduce tecniche per costruire queste restrizioni estraendo i pattern di attivazione e i pesi dello strato esterno da qualsiasi SNN pre-addestrata. Ciò affronta la sfida di trovare "buoni" pattern di attivazione, poiché il metodo garantisce un miglioramento indipendentemente dalla qualità del pattern iniziale.
4. Validazione Empirica: Gli esperimenti su dataset UCI e sintetici (funzione di Rastrigin) dimostrano che il metodo di post-processing proposto produce reti con valori di obiettivo inferiori e una migliore robustezza contro gli attacchi avversari PGD (Projected Gradient Descent) rispetto ai metodi esistenti come l'addestramento Lipschitziano basato su ADMM e la standard SGD.

Risultati

• Riduzione del Valore dell'Obiettivo: Su molteplici dataset (Solar, Machine, Servo, Wine), le soluzioni convesse proposte (indicate come $(\cdot)$-C-lip) hanno ottenuto un MSE mediano inferiore sotto condizioni avversarie rispetto ai modelli baseline addestrati tramite SGD, PGD o ADMM.
• Robustezza: Il metodo ha prodotto modelli che erano sia più accurati che più robusti agli attacchi avversari di diverse grandezze ($\epsilon = 0, 0.1, 0.2$).
• Confronto con i Baseline:
  • La restrizione convessa ha costantemente superato i modelli pre-addestrati iniziali.
  • Al contrario, i metodi che campionavano solo una frazione dei pattern di attivazione (ad esempio, 50 su 100) non sono riusciti a garantire il miglioramento e hanno spesso prodotto soluzioni peggiori rispetto ai baseline, evidenziando l'importanza di utilizzare l'intero set di pattern estratti.
  • Il metodo proposto ha mostrato miglioramenti significativi rispetto all'addestramento Lipschitziano basato su ADMM, in particolare sui dataset "Servo" e "Machine".

Significatività e Rivendicazioni
Il lavoro sostiene che la sua principale significatività risieda nel fornire un quadro convesso trattabile per l'addestramento di SNN avversariamente robuste che supera i problemi di convergenza dei metodi non convessi (come ADMM) e l'incertezza sulla qualità della soluzione degli approcci convessi esistenti.

• Garanzia di Robustezza: Minimizzando la costante di Lipschitz tramite una restrizione convessa, il metodo promuove la robustezza avversaria senza le garanzie di convergenza dell'addestramento non convesso standard.
• Utilità del Post-Processing: L'approccio funge da affidabile passaggio di post-processing. Prende qualsiasi soluzione ammissibile (ad esempio, da SGD o ADMM) e garantisce una soluzione di qualità uguale o superiore, raffinando efficacemente i modelli esistenti senza il rischio di degradare le prestazioni.
• Scalabilità e Praticità: Il metodo utilizza solver di tipo interior-point pronti all'uso (ad esempio, MOSEK) ed evita la necessità di un campionamento euristico dei pattern che può portare a risultati subottimali.

Gli autori osservano modestamente che, sebbene il metodo garantisca un miglioramento rispetto alla soluzione iniziale, non garantisce di trovare l'ottimo globale del problema non convesso originale, a meno che i pattern di attivazione estratti non siano per caso ottimali. Si suggerisce che il lavoro futuro possa estendere il metodo alle reti neurali profonde e sviluppare metodi per migliorare sequenzialmente la selezione del multiset di pattern.