A Non-Monotone Preconditioned Trust-Region Method for Neural Network Training

Technische Samenvatting: Een Niet-Monotoon Voorgewaardeerde Vertrouwensgebiedsmethode voor het Trainen van Neuronale Netwerken

Probleemstelling
Het trainen van diepe neuronale netwerken (NN) op grote schaal brengt uitdagingen met zich mee op het gebied van het afstemmen van hyperparameters, het benutten van multi-device-pipelines en het omgaan met niet-convexe, ruisbeïnvloede doelfuncties. Hoewel methoden van de eerste orde, zoals Stochastic Gradient Descent (SGD) en Adam, standaard zijn, vertrouwen ze sterk op handmatige planning van stapgrootte en momentum en maken ze geen natuurlijk gebruik van modelparallelisme, waarbij een netwerk wordt opgesplitst in sequentiële blokken over verschillende apparaten. Daarentegen bieden Domeindecompositie (DD)-methodes een manier om parameters te partitioneren in subdomeinen voor parallelle updates, maar vereisen ze robuuste globaliseringsstrategieën om convergentie in niet-convexe settings te waarborgen. Eerdere benaderingen, zoals de Additief Voorgewaardeerde Vertrouwensgebiedsstrategie (APTS), maken gebruik van vertrouwensgebied (TR)-mechanismen, maar lijden vaak onder hoge afwijzingspercentages van stappen in de ruwe ruimte, wat leidt tot dure herberekening van zoekrichtingen.

Methodologie: NAPTS
Het artikel stelt de Niet-monotoon Additief Voorgewaardeerde Vertrouwensgebiedsstrategie (NAPTS) voor, een uitbreiding van het APTS-kader dat principes van niet-monotoon vertrouwensgebied (NTR) integreert. De methode werkt via drie distincte fasen per iteratie:

1. Parallelle Subdomein-updates: De parameter ruimte van het NN wordt gepartitioneerd in niet-overlappende subdomeinen $\{C_d\}_{d=1}^N$. Bij elke iteratie $k$ cacheert een globale forward- en backward-pass activatiewaarden en downstream-gradiënten. Elk subdomein voert vervolgens $\ell$ lokale, beperkte Adam (CAdam)-stappen parallel uit. Deze lokale stappen worden berekend met behulp van gecachete randinformatie om blokgradiënten te benaderen, zodat subdomeinen onafhankelijk opereren terwijl ze rekening houden met globale informatie. De lokale stappen worden opgeheven en additief gecombineerd om een globale proefstap $s_k$ te vormen.
2. Niet-monotoon Globaliseren: In tegenstelling tot standaard TR-methoden die een strikt monotoon afnemen van de doelfunctie vereisen, hanteert NAPTS een glijdend venster van de meest recente $\nu$ succesvolle iteraties. Het definieert een referentie-index $r(k)$ die overeenkomt met de hoogste doelfunctiewaarde binnen dit venster. De acceptatie van een stap wordt bepaald door een gecombineerde overeenkomstverhouding $\rho_k = \max\{\rho^c_k, \rho^h_k\}$, waarbij:
   • $\rho^c_k$ de overeenkomst meet tussen de werkelijke en de voorspelde afname voor de huidige stap.
   • $\rho^h_k$ de overeenkomst meet ten opzichte van de historische referentiewaarde $f(\theta_{r(k)})$ en een cumulatieve geschiedenisterm $\sigma^h_k$.
     Dit mechanisme staat de acceptatie van stappen toe die tijdelijk de doelfunctie verhogen ($f(\theta_k + s_k) > f(\theta_k)$), mits ze overeenkomen met langetermijndalingstrends, waardoor de afwijzing van effectieve richtingen in de ruwe ruimte wordt verminderd.
3. Correctie en Gladdening: Als de proefstap wordt afgewezen, wordt een correctiestap $c_k$ berekend als een convexe combinatie van een steilste-afdaalstap en het oorspronkelijke voorstel, waardoor de verspilling van eerder berekende gradiëntinformatie wordt vermeden. Een laatste NTR-update verfijnt de iteratie en past de straal van het vertrouwensgebied $\Delta_k$ aan.

Belangrijkste Bijdragen

• Niet-monotoon APTS (NAPTS): De primaire bijdrage is de integratie van NTR-principes in het APTS-kader. Dit adresseert specifiek het probleem van agressieve afwijzing van stappen in de ruwe ruimte in ruisbeïnvloede, niet-convexe landschappen voor NN-training.
• Gecontroleerde Niet-monotonie: Het artikel introduceert een venster-acceptatiecriterium dat gecontroleerde toename van de doelfunctie toestaat. Dit voorkomt de "onverwachte" acceptatie van stappen, terwijl het algoritme toch kan volharden met richtingen in de ruwe ruimte die tijdelijk niet-verbeterend kunnen zijn maar globaal voordelig.
• Efficiënt Parallelisme: De methode behoudt de additieve Schwarz-structuur, wat parallelle training van subdomeinen mogelijk maakt zonder communicatie tussen subdomeinen tijdens lokale iteraties; er is alleen globale synchronisatie vereist voor het cachen van gradiënten en het aggregeren van stappen.

Resultaten
Experimenten werden uitgevoerd op het CIFAR-10-dataset met een convolutioneel NN (1,2 miljoen parameters) getraind op vier Nvidia A100 GPU's.

• Prestaties: NAPTS behaalde een trainingstijd van 115,88 seconden per epoch, wat een reductie van 30% in CPU-tijd vertegenwoordigt ten opzichte van de standaard APTS (169,14 s/epoch) en een verdere verbetering ten opzichte van de variant met agressieve acceptatie APTS$_A$ (152,39 s/epoch).
• Afwijzingspercentages: De methode verminderde het aantal afgewezen stappen aanzienlijk. NAPTS registreerde ongeveer 1.921 totaal afgewezen iteraties, vergeleken met 13.972 voor APTS en 6.648 voor APTS$_A$. Dit geeft aan dat het niet-monotone mechanisme effectief voorstellen in de ruwe ruimte behoudt die anders zouden worden verworpen.
• Nauwkeurigheid: Terwijl baseline TR- en NTR-methoden moeite hadden om hoge validatienauwkeurigheid te bereiken, behaalden de voorgewaardeerde varianten (APTS en NAPTS) aanzienlijk hogere validatienauwkeurigheden en lagere trainingsfouten, wat wijst op verbeterde optimalisatie zonder afbreuk te doen aan generalisatie.

Betekenis
Het artikel stelt dat NAPTS een robuuste globaliseringsstrategie biedt die specifiek geschikt is voor de niet-convexe en ruisbeïnvloede aard van het trainen van neurale netwerken op grote schaal. Door de eis van strikte monotonie te versoepelen, vermijdt de methode de computatiekosten van het herhaaldelijk afwijzen en herberekenen van zoekrichtingen. De auteurs stellen dat deze benadering domeindecompositie effectief benut voor modelparallelisme, terwijl het via vertrouwensgebieden automatische aanpassing van de stapgrootte biedt, waardoor de behoefte aan handmatige afstemming van hyperparameters die geassocieerd is met methoden van de eerste orde, wordt verminderd. De resultaten suggereren dat NAPTS de nauwkeurigheid van voorgewaardeerde methoden behoudt terwijl het de computatie-efficiëntie aanzienlijk verbetert.