Technische Samenvatting: HORST: Samenstellen van Optimizer-geometrieën voor Sparsere Transformer-training

Probleemstelling

Het versmallen van Transformer-modellen blijft een fundamentele uitdaging. Hoewel netwerksparsificatie (het verwijderen van overbodige gewichten) een veelbelovende route biedt voor modelcompressie en efficiënte inferentie, leidt dit consequent tot aanzienlijke prestatieverlies bij Transformers, vooral bij hoge sparsiteitsniveaus waar compressie het meest waardevol is. Daarentegen laten convolutionele netwerken zich effectiever versmallen.

De auteurs stellen dat deze discrepantie voortkomt uit de impliciete bias van de optimizers die tijdens het training worden gebruikt. Standaard Transformers vertrouwen op adaptieve optimizers zoals AdamW, die een $L_\infty$-impliciete bias vertonen. Deze bias bevordert stabiliteit door de grootte van de gewichten over de parameters gelijk te maken, een geometrie die fundamenteel in strijd is met de voor sparsiteit vereiste $L_1$-bias, die vereist dat de gewichtsmassa wordt geconcentreerd op een kleine subset van parameters terwijl de rest naar nul wordt gedreven. Omgekeerd induceert standaard gradiëntafdaal (gebruikt in CNN's) een $L_2$-bias, en coördinaatafdaal (een op $L_1$ gebaseerde steilste afdaal) is theoretisch ideaal voor sparsiteit maar computationeel onuitvoerbaar voor grote diepe netwerken.

Bestaande pogingen om sparsiteit te induceren via spiegelafdaal (bijvoorbeeld met hyperbolische entropie) falen vaak in de Transformer-omgeving omdat ze de gradiënt direct vervangen, waardoor de stabiliteit die wordt geboden door adaptieve methoden verloren gaat. Het kernprobleem is een geometrische spanning: de stabiliteit van adaptieve optimizers ($L_\infty$) botst met de eisen voor sparsiteit ($L_1$).

Methodologie

Het artikel stelt HORST (Hyperbolic Operator for Robust Sparse Training) voor, een modulaire optimizer die deze spanning oplost door optimalisatiestappen samen te stellen als niet-commutatieve functionele operatoren.

1. Kader voor Samenstelling van Operatoren

De auteurs behandelen optimalisatie-updates als operatoren die inwerken op parametervectoren en gradiënten. Ze identificeren twee onderscheiden klassen van operatoren:

• Steilste Afdaal-Operatoren: Beperkt en schaal-invariant (bijvoorbeeld Sign Descent, wat Adam benadert). Deze bieden stabiliteit maar induceren een $L_\infty$-bias.
• Spiegelafdaal-Operatoren: Lineair maar over het algemeen onbeperkt. Specifieke spiegelkaarten, zoals de hyperbolische entropie-spiegelkaart, induceren een $L_1$-bias die sparsiteit bevordert.

2. Niet-Commutativiteit en Volgorde van Operaties

Een belangrijk theoretisch inzicht is dat deze operatorklassen niet-commutatief zijn.

• Het toepassen van een spiegelstap gevolgd door een steilste stap ($S \circ M$) resulteert in de steilste operator die de overhand krijgt, waardoor de sparsiteitsbias effectief wordt geneutraliseerd.
• Het toepassen van een steilste stap gevolgd door een spiegelstap ($M \circ S$) laat de spiegelkaart toe om in te werken op de op teken gebaseerde update, waardoor de stabiliteit van de steilste afdaal succesvol wordt overgenomen terwijl de $L_1$-sparsiteitsbias wordt geïnduceerd.

3. Het HORST-algoritme

HORST implementeert de samenstelling $M_R \circ S$ in een discrete, praktische setting:

1. Stabiele Update: Het voert eerst een standaard adaptieve update uit (AdamW), wat de nodige stabiliteit en $L_\infty$-achtige regularisatie biedt.
2. Sparsiteitsinductie: Vervolgens wordt een exponentiële update toegepast die is afgeleid van de hyperbolische entropie-spiegelkaart. Deze stap reparametriseert de gewichten effectief om sparsiteit te bevorderen.
3. Gekoppelde Regularisatie: Het algoritme incorporateert ontkoppelde gewichtsverval en een extra regularisatieterm ($\beta$) om de sparsiteitsbias verder te beheersen.

De update-regel is gedefinieerd als:
$$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$$
$$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$$
Hierbij regelt $\alpha$ de relatieve sterkte van de sparsiteitsbias. Het instellen van $\alpha=0$ herstelt de standaard AdamW.

Belangrijkste Bijdragen

1. Geometrische Dichotomie: Het artikel formaliseert de structurele dichotomie tussen steilste afdaal (beperkt, stabiel, $L_\infty$-bias) en spiegelafdaal (lineair, onbeperkt, $L_1$-bias), en illustreert waarom geen van beide alleen toereikend is voor robuuste sparsere Transformer-training.
2. Samenstelling van Operatoren: Het introduceert de samenstelling van optimizer-operatoren als een ontwerpprincipe, en bewijst dat de volgorde van samenstelling cruciaal is. De specifieke volgorde ($M \circ S$) stelt het systeem in staat stabiliteit te erven van adaptieve methoden, terwijl het hun impliciete bias overschrijft met een sparsiteitsbevorderende $L_1$-bias.
3. Theoretische Garantie: De auteurs bewijzen (Stelling 4.7) dat het samenstellen van steilste afdaal (met betrekking tot een $L_p$-norm, $p \ge 2$) met een hyperbolische entropie-spiegelkaart ervoor zorgt dat de iteraten in richting convergeren naar de oplossing van een $L_1$-minimalisatieprobleem, waardoor de $L_\infty$-bias van de basis-optimizer effectief wordt overschreven.
4. HORST-optimizer: Ze stellen HORST voor, een modulaire optimizer die naadloos integreert met standaard adaptieve methoden (zoals AdamW) en geen extra gradiëntevaluaties vereist, slechts een per-parameter exponentiële update.

Experimentele Resultaten

De auteurs evalueren HORST op visuele en taakgebonden taken met behulp van de AC/DC (Alternating Compressed/Decompressed) sparsificatiepijplijn.

• Vision Transformers (DeiT): Op ImageNet presteert HORST-AdamW consistent beter dan AdamW-baselines over alle sparsiteitsniveaus (70%, 80%, 90%). De winsten zijn het meest uitgesproken bij hoge sparsiteit (80–90%), waar de prestaties van AdamW scherp achteruitgaan. Bijvoorbeeld, bij 90% sparsiteit op DeiT-base bereikt HORST 76,83% nauwkeurigheid, vergeleken met 68,86% voor AdamW.
• Taalmodellen (GPT-2 Small): Bij eenmalige laagsgewijze ongestructureerde magnitude-pruning op SlimPajama-6B vertonen modellen die met HORST-AdamW zijn getraind, na pruning significant lagere validatie-perplexiteit dan AdamW en de HAM-optimizer. Het verschil wordt groter bij hogere sparsiteitsniveaus.
• Vergelijking met HAM: HORST presteert aanzienlijk beter dan HAM (een eerdere alternatieve optimizer) op DeiT-small bij 90% sparsiteit (70,5% versus 60,06%). De auteurs schrijven dit toe aan de samenstelling van de exponentiële update met de AdamW-update zelf door HORST, in plaats van het toepassen van een op gradiënten gebaseerde exponentiële stap zoals HAM doet.
• Gewichtsverdeling: Visualisaties bevestigen dat HORST een gewichtsverdeling induceert die scherp geconcentreerd is rond nul (wat wijst op $L_1$-bias), terwijl AdamW een bredere, bijna Gaussische profiel behoudt.

Betekenis en Beweringen

Het artikel beweert dat de impliciete bias van de optimizer een primaire bottleneck is voor sparsere Transformer-training. Door optimalisatiestappen te behandelen als samenstelbare operatoren, tonen de auteurs aan dat het mogelijk is de stabiliteit van adaptieve methoden te ontkoppelen van hun geometrische bias.

De betekenis van HORST ligt in het vermogen om:

• Training van Transformers met hoge sparsiteit mogelijk te maken zonder de ernstige prestatieverlies die doorgaans geassocieerd worden met dergelijke compressie.
• Een principieel, modulair kader te bieden voor het ontwerpen van optimizers die gelijktijdig conflicterende geometrische eisen kunnen vervullen (stabiliteit versus sparsiteit).
• Een praktische oplossing te bieden die minimale computereenheden vereist (geen extra gradiëntevaluaties) en integreert met bestaande sparsere trainingspijplijnen.

De auteurs concluderen dat, hoewel de $L_\infty$-limiet van steilste afdaal en de interactie daarvan met spiegelupdates een open theoretische vraag blijft, het voorgestelde kader de kloof succesvol overbrugt tussen adaptieve trainingsstabiliteit en de geometrie van sparsere oplossingen.