Technische Samenvatting: GNMR – Runtime Stabiliteitscontrole voor Low-Precision Large Language Model Training

1. Probleemstelling

Het trainen van large language models (LLMs) met low-precision executiepaden (bijv. FP8, gekwantiseerde activaties, mixed-precision recepten) is essentieel voor het verminderen van computationele, geheugen- en communicatiekosten. Deze paden introduceren echter risico's op numerieke instabiliteit die niet uniform over het model of de trainingslijn verdeeld zijn. In plaats van alle lagen gelijkmatig te beïnvloeden, manifesteren low-precision perturbaties zich vaak als transiënte, gelokaliseerde instabiliteit in specifieke operatoren of lagen tijdens korte tijdvensters.

Bestaande benaderingen voor stabiliteit—zoals gradient clipping, globale gradient-noise analyse of statische precisie-recepten—falen vaak bij het adresseren van het runtime control aspect van dit probleem. Ze missen ofwel de granulariteit om specifieke onstabiele eenheden te identificeren, vertrouwen op dure globale statistieken, of kunnen niet dynamisch adapteren aan niet-stationaire risico's zonder prohibitieve overhead te veroorzaken. De kernuitdaging is het ontwerpen van een controller die kan:

1. Lokale, transiënte instabiliteit in specifieke operatoren detecteren.
2. Herstelacties triggeren (het schakelen naar een hogere getrouwheid-pad) alleen wanneer dat nodig is.
3. Opereren onder een strikte overhead-budget (geheugen en rekenkracht) om de voordelen van low-precision training niet teniet te doen.
4. Backend-agnostisch blijven, waarbij de controlelogica wordt gescheiden van specifieke kernel-implementaties of hardware-recepten.

2. Methodologie: De GNMR Controller

De auteurs stellen GNMR (Gradient Norm-to-Mean Ratio) voor, een lichtgewicht, runtime stabiliteitscontroller. GNMR werkt door operator-specifieke gradiëntstatistieken te monitoren en risicovolle eenheden van een low-cost executiepad naar een hogere getrouwheid-herstelpad te routeren.

2.1 Risicomonitoring (Dual-Timescale)

GNMR maakt gebruik van twee geschiedenis-genormaliseerde risicoscores om instabiliteit te detecteren zonder volledige processtatistieken of dure backward passes te vereisen:

• GNMR (Long-horizon): Vergelijkt de huidige gradiëntnorm ($\|g_t\|$) van een eenheid met zijn lopende historische gemiddelde. Dit identificeert eenheden die afwijken van hun typische langetermijngedrag.
  $$\text{GNMR}_t(\theta) := \frac{\|g_t\|}{\frac{1}{t-1}\sum_{\tau=1}^{t-1} \|g_\tau\|}$$
• $\Delta$-GNMR (Short-window): Vergelijkt de huidige GNMR-waarde met een recent venstergemiddelde van GNMR-waarden. Dit detecteert abrupte, kortstondige pieken in risico.
  $$\Delta\text{-GNMR}_t(\theta) := \frac{\text{GNMR}_t(\theta)}{\frac{1}{\delta}\sum_{\tau=1}^{\delta} \text{GNMR}_{t-\tau}(\theta)}$$

Deze scores zijn dimensieloos en vergelijkbaar over heterogene modules, waardoor de controller eenheden kan rangschikken op basis van risico, ongeacht hun natuurlijke schaal.

2.2 Budgeted Recovery Policy

De controller vertaalt risicoscores naar begrensde acties:

• Candidate Selection: Eenheden met risicoscores die drempelwaarden ($\alpha_t, \beta_t$) overschrijden of die momenteel "vergrendeld" zijn (om thrashing te voorkomen), vormen een kandidaatengroep.
• Active Budget ($maxO$): De controller selecteert de top $maxO$ hoogste risico-eenheden uit de kandidaatengroep om uit te voeren op het herstelpad (hogere precisie). Alle andere herstelbare eenheden blijven op het low-cost pad.
• Lock Mechanism: Geselecteerde eenheden krijgen een lock-teller ($T_{lock}$). Als een eenheid risicovol blijft, blijft deze in de kandidaatengroep; als de eenheid stabiliseert, wordt de lock gedecrementeerd. Dit voorkomt frequent schakelen (thrashing) terwijl de harde limiet op het aantal actieve herstel-eenheden per stap wordt gerespecteerd.

2.3 Theoretische Motivatie

Het paper biedt een analyse op niveau van bounds die aantoont dat budgeted recovery de one-step smoothness bound van de trainingsdoelstelling vermindert. Theoretisch is de optimale strategie onder een vast budget om de eenheden te herstellen met de grootste "recovery gaps" (het verschil in perturbatie-straf tussen low-cost en high-fidelity paden). GNMR en $\Delta$-GNMR dienen als lichtgewicht proxies om deze oracle-selectie online te benaderen.

3. Belangrijkste Bijdragen

Het paper beschrijft vier primaire bijdragen:

1. Formulering: Het frameert low-precision stabiliteit als een gecontroleerd online controleprobleem, waarbij risico-identificatie en herstelbeslissingen worden losgekoppeld van backend-implementatiedetails.
2. Dual-Timescale Monitor: Het ontwerp van GNMR en $\Delta$-GNMR biedt een real-time, dimensieloos en lokaal risicosignaal dat zowel persistente afwijkingen als abrupte veranderingen vastlegt.
3. Budgeted Policy: Een closed-loop controlebeleid dat een harde limiet oplegt aan de recovery overhead ($maxO$) en een lock-interval gebruikt om de actieve set te stabiliseren, waardoor low-cost executie behouden blijft.
4. Controller-Level Bewijs: Uitgebreide evaluatie in drie verschillende scenario's (activation-quantization stress, DeepSeek-stijl mixed-precision pre-training, en LLaMA-2 13B fine-tuning) die aantoont dat GNMR de stabiliteit verbetert zonder nieuwe kernels te vereisen of het onderliggende trainingsrecept te wijzigen.

4. Experimentele Resultaten

De auteurs hebben GNMR geëvalueerd in drie scenario's:

• Activation-Quantization Stress (LLaMA-2 Pre-training):

  • Setup: Gequantiseerde opgeslagen activaties van projectie-operatoren naar 4-bit of 8-bit.
  • Resultaat: Statische low-cost paden (4-bit) faalden om te convergeren of produceerden een hoge perplexiteit. GNMR-gecontroleerde 4-bit/8-bit recovery bereikte een perplexiteit die vergelijkbaar was met fixed 8-bit en BF16 baselines over verschillende modelgroottes (60M tot 13B).
  • Sparsity: Het herstelsignaal was zeer spaars, waarbij drempeloverschrijdingen minder dan 0,2% van de in aanmerking komende blokken besloegen, wat bevestigt dat herstel alleen nodig is voor transiënte risico's.

• DeepSeek-Stijl Mixed-Precision Pre-training:

  • Setup: Geëvalueerd op LLaMA-2 modellen met een DeepSeek-V3-stijl precisiehiërarchie (6-bit/8-bit dynamisch).
  • Resultaat: GNMR-gecontroleerde dynamische precisie kwam gedurende de training nauw overeen met de prestaties van fixed hogere-precisie referenties (8-bit en 16-bit).
  • Overhead: Per-stap tijd en throughput bleven vrijwel identiek aan het low-cost pad, wat een minimale engineering overhead aantoont.

• LLaMA-2 13B Fine-tuning Stress:

  • Setup: Fine-tuning met LoRA adapters met behulp van fixed INT8 versus GNMR-gecontroleerde INT8/BF16.
  • Resultaat: De GNMR-aanpak bereikte een high-fidelity downstream performance, die overeenkwam met BF16 op MMLU en presteerde beter dan BF16 op HellaSwag, terwijl low-cost executie behouden bleef.

5. Betekenis en Claims

Het paper positioneert GNMR als een backend-agnostische controller die het gat in "runtime control" bij low-precision training dicht. De betekenis ligt in:

• Behoud van Low-Cost Executie: Door herstel te beperken tot een spaarse subset van eenheden onder een strikt budget, vermijdt GNMR de geheugen- en rekenkundige straffen van volledige high-precision training.
• Ontkoppeling van Controle en Implementatie: De controller opereert op bestaande low-cost en recovery paden zonder dat er nieuwe numerieke formaten, kernels of optimizer-wijzigingen nodig zijn.
• Omgaan met Niet-Stationariteit: In tegenstelling tot statische waarborgen, past GNMR zich aan aan de niet-stationaire aard van trainingsrisico's, waarbij het transiënte instabiliteit identificeert en herstelt die statische recepten missen.

De auteurs concluderen dat GNMR de levensvatbaarheid van agressieve low-precision trainingsstrategieën ondersteunt door een mechanisme te bieden om lokale numerieke risico's dynamisch te detecteren en te herstellen, waardoor trainingsstabiliteit wordt gegarandeerd zonder de efficiëntievoordelen van low-cost executie op te offeren.