GCL-Sampler: Discovering Kernel Similarity for Sampled GPU Simulation via Graph Contrastive Learning

Die Arbeit stellt GCL-Sampler vor, ein Framework zur GPU-Architektursimulation, das mittels Graph Contrastive Learning und relationalen Graph Convolutional Networks automatisch hochdimensionale Kernel-Ähnlichkeiten aus Trace-Graphen ableitet und dabei im Vergleich zu bestehenden Methoden eine signifikant höhere Simulationsgeschwindigkeit bei minimalen Fehlerraten erreicht.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Architekt, der einen riesigen, futuristischen Wolkenkratzer entwerfen möchte. Bevor Sie den ersten Stein legen, müssen Sie in einer Computersimulation testen, wie das Gebäude bei Sturm, Erdbeben oder extremer Hitze reagiert.

Das Problem: Eine vollständige Simulation jedes einzelnen Ziegels, jedes Fensters und jedes Lüftungsschachts dauert so lange, dass Sie wahrscheinlich alt werden, bevor das Ergebnis da ist. Es ist, als würde man versuchen, den gesamten Ozean mit einem Löffel auszumessen – unmöglich und viel zu langsam.

Das ist genau das Problem, mit dem sich Forscher bei Grafikkarten (GPUs) konfrontiert sehen. Diese Chips sind so komplex, dass ihre Simulation auf einem normalen Computer tausende Male langsamer ist als ihre tatsächliche Ausführung. Um etwas zu testen, müsste man wochenlang warten.

Hier kommt GCL-Sampler ins Spiel – der „intelligente Probennehmer".

Das alte Problem: Der blinde Stichprobenversuch

Bisherige Methoden waren wie ein Student, der versucht, einen ganzen Roman zu verstehen, indem er nur zufällige Sätze herauspickt oder sich nur auf die Länge der Wörter verlässt.

• Methode A (PKA): Schaut sich grobe Merkmale an (z. B. „Wie viele Wörter hat der Satz?"). Das ist oft zu ungenau, und das Ergebnis ist falsch.
• Methode B (Sieve & STEM+ROOT): Ist sehr vorsichtig. Sie sagt: „Wir simulieren nur, wenn der Name des Befehls exakt übereinstimmt." Das ist zwar sicher, aber extrem langsam, weil es viele ähnliche Befehle ignoriert, die nur einen anderen Namen haben. Es ist wie ein Sicherheitsbeamter, der nur Leute hereinlässt, die den exakt gleichen Ausweisnamen haben, und alle anderen mit ähnlichem Aussehen abweist.

Die neue Lösung: GCL-Sampler als „Genie-Detektiv"

GCL-Sampler ist anders. Statt nur auf die Oberfläche zu schauen, versteht es die tiefere Struktur und Bedeutung der Arbeit, die die Grafikkarte leistet.

Stellen Sie sich vor, Sie haben einen riesigen Haufen von verschiedenen Werkzeugen (die Befehle der Grafikkarte).

1. Der Bauplan (Der Graph): GCL-Sampler nimmt jeden Befehl und zeichnet ihn nicht als Liste, sondern als Knoten in einem riesigen Netzwerk auf. Es verbindet sie, wie sie zusammenarbeiten (Datenfluss) und in welcher Reihenfolge sie kommen (Steuerfluss). Es ist, als würde man aus einem Text ein soziales Netzwerk bauen, um zu sehen, wer mit wem spricht und wer die Führung übernimmt.
2. Der Lerneffekt (Graph Contrastive Learning): Jetzt kommt die Magie. Das System spielt ein Spiel: „Schau dir diese zwei Gruppen von Werkzeugen an. Sind sie sich ähnlich oder nicht?" Es vergleicht verschiedene Ansichten desselben Befehls und lernt dabei, welche Befehle im Inneren wirklich gleich funktionieren, auch wenn sie sich äußerlich unterscheiden.
   • Analogie: Ein Mensch erkennt, dass ein rotes Auto und ein rotes Fahrrad beide „rot" sind. Ein alter Computer würde sagen: „Auto ist Auto, Fahrrad ist Fahrrad." GCL-Sampler lernt: „Aha, diese beiden Befehle haben die gleiche Funktion (z. B. beide bewegen Daten schnell), auch wenn sie unterschiedlich heißen."
3. Die Auswahl (Clustering): Nachdem das System gelernt hat, welche Befehle sich ähneln, gruppiert es sie in „Familien". Statt alle 10.000 Befehle zu testen, wählt es nur einen perfekten Vertreter aus jeder Familie aus.

Das Ergebnis: Schnell und präzise

Das Ergebnis ist atemberaubend:

• Geschwindigkeit: Die Simulation läuft im Durchschnitt 259-mal schneller als vorher. Das ist, als würde man eine Reise, die früher 259 Tage dauerte, nun in einem einzigen Tag absolvieren.
• Genauigkeit: Der Fehler beträgt nur 0,37 %. Das ist so präzise, als würde man die Temperatur eines Raumes messen und nur 0,37 Grad daneben liegen – für alle praktischen Zwecke perfekt.

Warum ist das wichtig?

Früher mussten Architekten zwischen „schnell und falsch" oder „langsam und richtig" wählen. GCL-Sampler bricht dieses Dilemma. Es ermöglicht es Ingenieuren, neue Designs für Grafikkarten in Stunden zu testen, die früher Wochen gedauert hätten, ohne dabei die Genauigkeit zu opfern.

Zusammenfassend:
GCL-Sampler ist wie ein genialer Übersetzer und Sortierer. Er versteht die Sprache der Grafikkarte so gut, dass er weiß, welche Teile der Arbeit redundant sind. Er schneidet den riesigen Berg an Daten auf das Wesentliche herunter, damit wir schneller bessere Computer bauen können, ohne die Qualität zu verlieren.

Technische Zusammenfassung

1. Problemstellung

Die detaillierte Simulation von GPU-Architekturen ist für das Design und die Optimierung moderner Hardware unverzichtbar, jedoch leiden aktuelle Simulatoren (wie GPGPU-Sim oder Accel-Sim) unter massiven Performance-Einbußen. Sie sind um Größenordnungen langsamer als die native Ausführung. Bei großen Workloads, insbesondere im Bereich des maschinellen Lernens mit Billionen von Instruktionen, kann eine Vollsimulation Tage oder Wochen dauern, was die Forschung und den Entwurf neuer Architekturen erheblich verlangsamt.

Als Lösung wird das Workload-Sampling eingesetzt, bei dem nur repräsentative Teilmengen der Ausführung simuliert werden. Bestehende Methoden (wie PKA, Sieve, STEM+ROOT) basieren jedoch auf manuell erstellten Merkmalen (hand-crafted features), die oft unzureichend ausdrucksstark sind. Dies führt zu einem inhärenten Zielkonflikt:

• Entweder werden aggressive Sampling-Strategien gewählt, die hohe Fehlerquoten verursachen.
• Oder sehr konservative Strategien werden angewendet, die die Fehlerquote senken, aber kaum Beschleunigung bieten.
  Zudem scheitern viele Methoden daran, Kerne (Kernels) mit unterschiedlichen Namen, aber ähnlichem Laufzeitverhalten, korrekt zu gruppieren.

2. Methodik: GCL-Sampler

Die Autoren schlagen GCL-Sampler vor, ein Sampling-Framework, das auf Relational Graph Convolutional Networks (RGCN) und Contrastive Learning (kontrastives Lernen) basiert, um Ähnlichkeiten zwischen GPU-Kernen automatisch zu entdecken.

Der Prozess läuft in vier Hauptphasen ab:

1. Application Tracing (Verfolgung):

   • Mithilfe von NVBit (einem dynamischen Binary-Instrumentierungs-Framework) werden SASS-Trace-Daten (Streaming Assembler) von GPU-Programmen gesammelt.
   • Um den Overhead zu minimieren, wird nur ein repräsentativer Streaming Multiprocessor (SM) pro Kernel-Aufruf instrumentiert.

2. Graph-Konstruktion (Trace zu Heterogenem Graphen):

   • Lineare Instruktions-Traces werden in Heterogene Relationale Graphen (HRGs) umgewandelt. Dies ermöglicht die Erfassung sowohl struktureller als auch semantischer Informationen.
   • Knoten: Es gibt drei Typen:
     • Instruktionsknoten: Repräsentieren SASS-Instruktionen (z. B. LDG).
     • Pseudo-Knoten: Modellieren Operationen innerhalb einer Instruktion (z. B. Speicherzugriffe).
     • Variablenknoten: Repräsentieren dynamische Werte (Register, Speicher). Neue Knoten werden nur bei Schreibvorgängen erstellt; Lesevorgänge verweisen auf die neueste Version (SSA-ähnlich).
   • Kanten:
     • Kontrollfluss-Kanten: Verbinden aufeinanderfolgende Instruktionen.
     • Datenfluss-Kanten: Verbinden Quell- mit Zielknoten (Register/Speicher).

3. RGCN mit Kontrastivem Lernen:

   • Ein unüberwachtes RGCN-Modell wird trainiert, um hochwertige Embeddings für die Graphen zu generieren.
   • Vorverarbeitung: Knotenmerkmale werden durch Token-IDs, Positions-Encodings und statistische Zusammenfassungen dynamischer Werte initialisiert.
   • Augmentierung: Um positive Paare für das kontrastive Lernen zu erzeugen, werden Graphen durch zufälliges Löschen von Knoten/Kanten oder Hinzufügen von Rauschen augmentiert.
   • Training: Das Modell nutzt die InfoNCE-Loss-Funktion, um Embeddings ähnlicher Kerne im Vektorraum näher zusammenzubringen und unähnliche Kerne weiter auseinanderzudrücken, ohne vordefinierte Labels zu benötigen.

4. Clustering und Sampling:

   • Die generierten 256-dimensionalen Graph-Embeddings werden mit dem K-Means-Algorithmus gruppiert.
   • Die Anzahl der Cluster $K$ wird basierend auf dem Silhouette-Koeffizienten optimiert.
   • Aus jedem Cluster wird ein repräsentativer Kernel-Aufruf ausgewählt, der für die detaillierte Simulation verwendet wird.

3. Wichtige Beiträge

• Neuartige graphbasierte Repräsentation: Ersetzung manueller Merkmale durch automatisch gelernte Graph-Embeddings, die komplexe strukturelle und semantische Abhängigkeiten in GPU-Kernen erfassen.
• Hohe Genauigkeit bei hoher Geschwindigkeit: GCL-Sampler überwindet den Trade-off zwischen Fehler und Beschleunigung.
• Umfassende Validierung: Evaluation über 7.746 Kerne aus diversen Benchmarks (PolyBench, Rodinia, LLMs wie Phi-2, Qwen) und auf drei verschiedenen GPU-Architekturen (Turing, Ampere, Ada Lovelace).

4. Ergebnisse

Die Evaluierung zeigt, dass GCL-Sampler den aktuellen Stand der Technik (SOTA) deutlich übertrifft:

• Durchschnittliche Beschleunigung: 258,94-fach gegenüber der Vollsimulation.
• Durchschnittlicher Fehler: Nur 0,37 %.
• Vergleich mit SOTA-Methoden:
  • PKA: 129,23-fache Beschleunigung bei 20,90 % Fehler.
  • Sieve: 94,90-fache Beschleunigung bei 4,10 % Fehler.
  • STEM+ROOT: 56,57-fache Beschleunigung bei 0,38 % Fehler.
• Kernvorteil: Im Gegensatz zu Methoden, die auf Kernel-Namen basieren (wie Sieve), kann GCL-Sampler Kerne mit unterschiedlichen Namen, aber ähnlichem Verhalten, korrekt gruppieren. Dies führt in Szenarien wie dem „nw"-Workload zu einer Beschleunigung von ca. 130-fach bei null Fehler, während namenbasierte Methoden hier keine Reduktion erzielen.
• Cross-Architecture Robustness: Die auf einer Architektur (Turing) getroffenen Sampling-Entscheidungen übertragen sich mit geringen Fehlern (ca. 1,2–1,5 %) auf neuere Architekturen (Ampere, Ada Lovelace).
• Mikroarchitektonische Metriken: Die Genauigkeit bleibt auch bei Metriken wie IPC, Cache-Hit-Raten (L1/L2) und Occupancy erhalten.

5. Bedeutung und Fazit

GCL-Sampler stellt einen Paradigmenwechsel in der GPU-Simulation dar. Durch den Einsatz von Graph-Neural-Networks und kontrastivem Lernen gelingt es erstmals, Kernel-Ähnlichkeiten automatisch und hochpräzise zu lernen, ohne auf starre, manuell definierte Merkmale angewiesen zu sein.

Die Methode ermöglicht es Architekten, Design-Alternativen und neue Hardware-Features in einem Bruchteil der bisherigen Zeit zu evaluieren, ohne die Zuverlässigkeit der Simulation zu opfern. Dies ist besonders kritisch für die schnelle Iteration im Bereich der KI-Hardware und komplexer Beschleuniger-Architekturen. Die Integration in reale Simulations-Workflows (z. B. mit HyFiSS) wurde erfolgreich demonstriert.