Technische Samenvatting: Energie-efficiënte GPU DVFS voor het fine-tunen van SLM's op resource-beperkte embedded apparaten

Probleemstelling

De toenemende vraag naar on-device adaptatie van Small Language Models (SLM's) in privacygevoelige en latentie-kritische domeinen (bijv. gezondheidszorg, financiële sector, autonome systemen) vereist lokale fine-tuning in plaats van offloading naar de cloud. Fine-tuning is echter aanzienlijk energie- en tijdintensiever dan single-pass inferentie vanwege herhaalde forward-backward optimalisatie over vele mini-batches.

Bestaande Dynamic Voltage Frequency Scaling (DVFS) oplossingen voor embedded platforms, zoals de NVIDIA Jetson AGX Orin, vertrouwen op grofmazige, statische vermogensmodi (bijv. 15W, 30W, 50W en MAXN). Deze modi garanderen geen energie-efficiëntie omdat het totale energieverbruik een functie is van zowel het vermogensverbruik als de executietijd. Statische modi werken vaak weg van het energie-minimaliserende punt, wat leidt tot vermijdbaar energieverbruik. Bovendien is er, hoewel DVFS voor Large Language Model (LLM) inferentie en datacenter training is bestudeerd, een gebrek aan onderzoek naar het karakteriseren van fine-tuning workloads op resource-beperkte embedded platforms om optimale frequentie-instellingen te bepalen.

Methodologie

De auteurs stellen een vijffasen-methodologie voor om het fine-tuning gedrag te karakteriseren en een energie-efficiënt GPU-frequentie selectiebeleid te ontwikkelen:

1. Experimentele Opstelling & Datacollectie:

   • Platform: NVIDIA Jetson AGX Orin (64GB) met een Ampere-architectuur GPU en een 12-core ARM Cortex-A78AE CPU.
   • Workloads: Encoder-only BERT varianten (Small tot xLarge) en decoder-only Pythia varianten (31M tot 1B parameters).
   • Benchmarks: GLUE taken (SST-2, QNLI, MRPC voor karakterisering; QQP, RTE, CoLA, STS-B, MNLI, WNLI voor evaluatie).
   • Procedure: GPU-frequenties werden gesweept over 11 discrete niveaus (306 MHz tot 1300 MHz) terwijl de CPU governor op de standaardinstelling bleef. Data over trainingstijd, stroomverbruik (CPU + GPU) en utilitatie werden verzameld.

2. Workload Karakterisering:

   • Latentie: De executietijd neemt bijna exponentieel af naarmate de GPU-frequentie toeneemt.
   • Vermogen: Het totale stroomverbruik is proportioneel aan de frequentie ($P \propto f$), waarbij hogere frequenties vaak het stroomverbruik van de standaard MAXN-modus overschrijden.
   • Energie: De relatie tussen frequentie en totale energie vertoont een duidelijke U-vormige curve. Lage frequenties verhogen de energie door een verlengde executietijd, terwijl hoge frequenties de energie verhogen door een verhoogd vermogensverbruik. Het optimale "sweet spot" voor energie-efficiëntie werd gevonden in de range van 510–816 MHz, wat aanzienlijk lager is dan de maximale 1300 MHz.

3. ML Model Selectie:

   • Het probleem van het selecteren van de optimale GPU-frequentie wordt geformuleerd als een multi-class classificatie taak.
   • Features: Model type, GPU utilitatie, aantal lagen, hidden size en gemiddelde sequentielengte.
   • Target: Optimale GPU frequentie niveau (gecodeerd als labels 1–6, overeenkomend met 510–1122 MHz).
   • Algoritme: Een Decision Tree (DT) classifier werd gekozen vanwege de interpreteerbaarheid. Hyperparameters werden geoptimaliseerd met behulp van Leave-One-Out Cross-Validation (LOOCV) vanwege de beperkte omvang van de dataset (27 model-taak configuraties).

4. Governor Beleidsontwerp:

   • Een interpreteerbare DT-gebaseerde policy (MLG) werd afgeleid om structurele features (Transformer diepte en sequentielengte) te mappen naar specifieke frequentie-instellingen.
   • Logica:
     • Voor ondiepe modellen (Layers $\le$ 7): Korte sequenties ($\le$ 32.5) mappen naar 510 MHz; langere sequenties mappen naar 612 MHz.
     • Voor diepe modellen (Layers > 7): Korte sequenties ($\le$ 53.0) mappen naar 714 MHz; langere sequenties mappen naar 816 MHz.
     • Een secundaire conditie past de frequentie aan op basis van GPU utilitatie ($\le$ 22.0 $\rightarrow$ 1020 MHz).

5. Evaluatie:

   • De voorgestelde ML-gebaseerde policy (MLG) en een fixed-frequency policy (FFG) werden getest tegen de onbeperkte MAXN Mode (Mode 0) op ongeziene workloads.

Belangrijkste Bijdragen

• Uitgebreide Karakterisering: De studie biedt de eerste gedetailleerde karakterisering van hoe GPU frequentie schaling de latentie, het vermogen en de totale energie beïnvloedt voor zowel encoder-only als decoder-only SLM fine-tuning op embedded platforms.
• Identificatie van Energie Sweet Spots: De auteurs demonstreren dat het minimum-energie punt workload-afhankelijk is en een U-vormig patroon volgt, vaak voorkomend bij frequenties die aanzienlijk lager liggen dan de maximale capaciteit van het platform.
• Lichtgewicht ML-gebaseerde Policy: Het artikel stelt een interpreteerbare Decision Tree-gebaseerde governor policy voor die energie-optimale GPU DVFS instellingen selecteert zonder complexe runtime profiling te vereisen.
• Empirische Validatie: De aanpak wordt gevalideerd op de NVIDIA Jetson AGX Orin over meerdere SLM architecturen en GLUE benchmarks.

Experimentele Resultaten

De evaluatie vergeleek de voorgestelde policies met de standaard MAXN Mode (Mode 0) op zes ongeziene test workloads:

• Totale Energiebesparing: De ML-gebaseerde governor (MLG) behaalde een gemiddelde energiebesparing van 13.11% over alle modellen en taken, met een maximale besparing van 26.73% (geobserveerd op BERT-base voor de MNLI taak).
• Impact van Modelgrootte:
  • Grote Modellen (>70M parameters): Toonden stabiele en significante verbeteringen, met gemiddelde besparingen die de 22% overschreden. Deze modellen vertoonden duidelijkere U-vormige energiecurves, waardoor optimale frequentie selectie voorspelbaarder werd.
  • Kleine Modellen ($\le$70M parameters): Toonden meer variabele resultaten. Hoewel de gemiddelde verbetering positief was, resulteerden sommige specifieke taak-model combinaties in negatieve besparingen (verhoogd energieverbruik) door fluctuerende U-vormige patronen of pieken in de energie-frequentie curve.
• Policy Vergelijking: De MLG policy presteerde gemiddeld 0.9% beter dan de Fixed Frequency Governor (FFG). De MLG was bijzonder effectief bij het afhandelen van workloads met langere sequenties (bijv. RTE taak), terwijl de FFG moeite had met de variabiliteit van kleinere modellen.

Betekenis en Claims

Het artikel claimt dat statische vermogensmodi op embedded apparaten suboptimaal zijn voor SLM fine-tuning, wat vaak resulteert in tot wel 25% vermijdbaar energieverbruik. Door een workload-bewuste, ML-gebaseerde frequentie selectie policy te introduceren, demonstreren de auteurs dat aanzienlijke energiebesparingen kunnen worden gerealiseerd zonder de model accuratesse te verslechteren (aangezien de validatie accuratesse identiek bleef over de configuraties).

De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige ML model een matige accuratesse heeft (0.62 validatie accuratesse) en dat de resultaten voor zeer kleine modellen instabiel kunnen zijn. Zij identificeren toekomstig werk als het uitbreiden van de dataset met meer diverse SLM's en benchmarks, en het inzetten van meer geavanceerde ML modellen om de stabiliteit en energiebesparingen van de governor policy verder te verbeteren.