Technische Zusammenfassung: Energieeffiziente GPU-DVFS für das Fine-Tuning von SLMs auf ressourcenbeschränkten eingebetteten Geräten

Problemstellung

Die steigende Nachfrage nach On-Device-Adaption von Small Language Models (SLMs) in privatsphärensensiblen und latenzkritischen Bereichen (z. B. Gesundheitswesen, Finanzwesen, autonome Systeme) macht ein lokales Fine-Tuning statt eines Cloud-Offloadings erforderlich. Das Fine-Tuning ist jedoch aufgrund der wiederholten Vorwärts-Rückwärts-Optimierung über viele Mini-Batches hinweg wesentlich energie- und zeitintensiver als eine einfache Inference-Passage.

Bestehende Lösungen für Dynamic Voltage Frequency Scaling (DVFS) auf eingebetteten Plattformen, wie etwa der NVIDIA Jetson AGX Orin, stützen sich auf grobkörnige, statische Powermodi (z. B. 15W, 30W, 50W und MAXN). Diese Modi garantieren keine Energieeffizienz, da die Gesamtenergieaufnahme eine Funktion aus Leistungsaufnahme und Ausführungszeit ist. Statische Modi arbeiten oft fernab des energie-minimierenden Punktes, was zu vermeidbarem Energieverbrauch führt. Zudem wurde zwar DVFS für LLM-Inference und Datacenter-Training untersucht, es mangelt jedoch an Forschung zur Charakterisierung von Fine-Tuning-Workloads auf ressourcenbeschränkten eingebetteten Plattformen, um optimale Frequenzeinstellungen zu bestimmen.

Methodik

Die Autoren schlagen eine fünfphasige Methodik vor, um das Fine-Tuning-Verhalten zu charakterisieren und eine energieeffiziente GPU-Frequenzwahl-Policy zu entwickeln:

1. Experimenteller Aufbau & Datenerhebung:

   • Plattform: NVIDIA Jetson AGX Orin (64GB) mit einer GPU der Ampere-Architektur und einem 12-Core ARM Cortex-A78AE CPU.
   • Workloads: Encoder-only BERT-Varianten (Small bis xLarge) und Decoder-only Pythia-Varianten (31M bis 1B Parameter).
   • Benchmarks: GLUE-Aufgaben (SST-2, QNLI, MRPC zur Charakterisierung; QQP, RTE, CoLA, STS-B, MNLI, WNLI zur Evaluierung).
   • Verfahren: Die GPU-Frequenzen wurden über 11 diskrete Stufen (306 MHz bis 1300 MHz) variiert, während der CPU-Governor auf dem Standardwert blieb. Daten zu Trainingszeit, Leistungsaufnahme (CPU + GPU) und Auslastung wurden gesammelt.

2. Workload-Charakterisierung:

   • Latenz: Die Ausführungszeit sinkt fast exponentiell mit steigender GPU-Frequenz.
   • Leistung: Die Gesamtleistungsaufnahme ist proportional zur Frequenz ($P \propto f$), wobei höhere Frequenzen oft die Leistungsaufnahme des Standard-MAXN-Modus überschreiten.
   • Energie: Die Beziehung zwischen Frequenz und Gesamtenergie weist eine ausgeprägte U-förmige Kurve auf. Niedrige Frequenzen erhöhen die Energie aufgrund verlängerter Ausführungszeit, während hohe Frequenzen die Energie durch erhöhte Leistungsaufnahme steigend beeinflussen. Der optimale „Sweet Spot“ für die Energieeffizienz wurde im Bereich von 510–816 MHz gefunden, was signifikant unter den maximalen 1300 MHz liegt.

3. ML-Modellselektion:

   • Das Problem der Auswahl der optimalen GPU-Frequenz wird als Multi-Class-Klassifikationsaufgabe formuliert.
   • Features: Modelltyp, GPU-Auslastung, Anzahl der Layer, Hidden Size und durchschnittliche Sequenzlänge.
   • Target: Optimale GPU-Frequenzstufe (kodiert als Labels 1–6, entsprechend 510–1122 MHz).
   • Algorithmus: Ein Decision Tree (DT) Klassifikator wurde aufgrund seiner Interpretierbarkeit gewählt. Die Hyperparameter wurden mittels Leave-One-Out Cross-Validation (LOOCV) optimiert, bedingt durch die begrenzte Datensatzgröße (27 Modell-Aufgaben-Konfigurationen).

4. Entwurf der Governor-Policy:

   • Eine interpretierbare, auf DT basierende Policy (MLG) wurde abgeleitet, um strukturelle Merkmale (Transformer-Tiefe und Sequenzlänge) auf spezifische Frequenzeinstellungen abzubilden.
   • Logik:
     • Für flache Modelle (Layer $\le$ 7): Kurze Sequenzen ($\le$ 32,5) mappen auf 510 MHz; längere Sequenzen mappen auf 612 MHz.
     • Für tiefe Modelle (Layer > 7): Kurze Sequenzen ($\le$ 53,0) mappen auf 714 MHz; längere Sequenzen mappen auf 816 MHz.
     • Eine sekundäre Bedingung passt die Frequenz basierend auf der GPU-Auslastung an ($\le$ 22,0 $\rightarrow$ 1020 MHz).

5. Evaluierung:

   • Die vorgeschlagene ML-basierte Policy (MLG) und eine Fixed-Frequency-Policy (FFG) wurden gegen den unbeschränkten MAXN-Modus (Modus 0) auf ungesehenen Workloads getestet.

Zentrale Beiträge

• Umfassende Charakterisierung: Die Studie liefert die erste detaillierte Charakterisierung, wie die Skalierung der GPU-Frequenz die Latenz, Leistung und Gesamtenergie für sowohl Encoder-only als auch Decoder-only SLM-Fine-Tuning auf eingebetteten Plattformen beeinflusst.
• Identifizierung von Energie-Sweet-Spots: Die Autoren zeigen, dass der energie-minimierende Punkt workload-abhängig ist und einem U-förmigen Muster folgt, das oft bei Frequenzen auftritt, die signifikant unter der maximalen Kapazität der Plattform liegen.
• Leichtgewichtige ML-basierte Policy: Das Paper schlägt eine interpretierbare, auf Decision Trees basierende Governor-Policy vor, die energieoptimale GPU-DVFS-Einstellungen auswählt, ohne dass komplexes Runtime-Profiling erforderlich ist.
• Empirische Validierung: Der Ansatz wird auf dem NVIDIA Jetson AGX Orin über mehrere SLM-Architekturen und GLUE-Benchmarks hinweg validiert.

Experimentelle Ergebnisse

Die Evaluierung verglich die vorgeschlagenen Policies mit dem Standard-MAXN-Modus (Modus 0) auf sechs ungesehenen Test-Workloads:

• Gesamte Energieeinsparung: Der ML-basierte Governor (MLG) erreichte eine durchschnittliche Energieeinsparung von 13,11 % über alle Modelle und Aufgaben hinweg, mit einer maximalen Einsparung von 26,73 % (beobachtet bei BERT-base für die MNLI-Aufgabe).
• Einfluss der Modellgröße:
  • Große Modelle (>70M Parameter): Zeigten stabile und signifikante Verbesserungen mit durchschnittlichen Einsparungen von über 22 %. Diese Modelle wiesen klarere U-förmige Energiekurven auf, was die optimale Frequenzwahl vorhersagbarer machte.
  • Kleine Modelle ($\le$70M Parameter): Zeigten variablere Ergebnisse. Während die durchschnittliche Verbesserung positiv war, führten einige spezifische Aufgaben-Modell-Kombinationen zu negativen Einsparungen (erhöhtem Energieverbrauch) aufgrund schwankender U-förmiger Muster oder Spitzen in der Energie-Frequenz-Kurve.
• Policy-Vergleich: Die MLG-Policy übertraf den Fixed Frequency Governor (FFG) im Durchschnitt um weitere 0,9 %. Die MLG war besonders effektiv beim Umgang mit Workloads mit längeren Sequenzen (z. B. RTE-Aufgabe), während der FFG mit der Variabilität kleinerer Modelle zu kämpfen hatte.

Bedeutung und Ansprüche

Das Paper behauptet, dass statische Powermodi auf eingebetteten Geräten für das SLM-Fine-Tuning suboptimal sind und oft bis zu 25 % vermeidbaren Energieverbrauch verursachen. Durch die Einführung einer workload-bewussten, ML-basierten Frequenzwahl-Policy zeigen die Autoren, dass signifikante Energieeinsparungen erzielt werden können, ohne die Modellgenauigkeit zu beeinträchtigen (da die Validierungsgenauigkeit über alle Konfigurationen hinweg identisch blieb).

Die Autoren räumen Einschränkungen ein und merken an, dass das aktuelle ML-Modell eine moderate Genauigkeit (0,62 Validierungsgenauigkeit) aufweist und die Ergebnisse für sehr kleine Modelle instabil sein können. Sie identifizieren zukünftige Arbeiten, die eine Erweiterung des Datensatzes mit diverseren SLMs und Benchmarks sowie den Einsatz anspruchsvollerer ML-Modelle umfassen, um die Stabilität und die Energieeinsparungen der Governor-Policy weiter zu verbessern.