RISCBench: Benchmarking RISC-V Orchestration Efficiency in FPGA and FPGA-Like Computing Engines

Die Arbeit stellt RISCBench vor, einen Benchmark und eine Methodik zur Quantifizierung der Orchestrierungseffizienz von RISC-V-Kernen in heterogenen Systemen mittels der neu eingeführten Metrik „Sustained Instantaneous Throughput" (SIT), um die oft vernachlässigten Trade-offs bei Synchronisation und Datenresidenz über reine Spitzenleistungsmetriken hinaus zu bewerten.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine riesige, hochmoderne Küche (das ist Ihr Computer oder FPGA-Chip), in der Dutzende von Super-Köchen (den Rechen-Kernen) gleichzeitig arbeiten. Diese Köche können unglaublich schnell Suppe kochen oder Steaks braten. Das ist die reine Rechenkraft, die man normalerweise misst (wie FLOPs oder TOPS).

Aber hier ist das Problem: Wer bestellt das Essen? Wer bringt die Zutaten zu den Köchen? Und wer sorgt dafür, dass alle gleichzeitig anfangen zu arbeiten, ohne sich gegenseitig im Weg zu stehen?

Das ist die Aufgabe des Orchestrierers (in diesem Fall ein RISC-V-Prozessor). In der Welt der Computer ist das oft eine kleine, unscheinbare Einheit, die den ganzen Tanz leitet.

Das Problem: Der „Stau" im Hintergrund

Die Autoren dieses Papiers sagen: „Wir messen heute nur, wie schnell die Köche kochen können. Aber wenn der Tellerträger (der Orchestrierer) zu langsam ist oder die Zutaten nicht rechtzeitig liefert, stehen die Köche nur herum."

In herkömmlichen Tests schaut man nur auf den Höchstgeschwindigkeits-Test: „Wie schnell kann dieser Koch theoretisch kochen, wenn alles perfekt läuft?" Das ist wie ein Rennwagen, der auf einer leeren Autobahn 300 km/h fährt. Aber im echten Leben, im Stadtverkehr mit Staus und Ampeln, kommt er vielleicht nur auf 40 km/h.

Die Lösung: RISCBench und der „Durchschnitts-Durchsatz"

Die Autoren haben ein neues Werkzeug namens RISCBench entwickelt. Stellen Sie sich das wie einen sehr ehrlichen Fitness-Tracker für Computer vor.

Statt nur die maximale Geschwindigkeit zu messen, messen sie etwas Neues, das sie SIT (Sustained Instantaneous Throughput) nennen. Das klingt kompliziert, ist aber einfach:

• SIT fragt: „Wie lange kann das System wirklich schnell arbeiten, bevor es durch Koordinationsprobleme langsamer wird?"
• Die Analogie: Wenn Sie eine E-Mail schreiben, ist es leicht, für eine Sekunde sehr schnell zu tippen (Peak). Aber wenn Sie 10 Minuten lang tippen müssen und dabei ständig auf das Laden von Bildern warten oder auf den Chef warten, der eine Entscheidung trifft, dann ist Ihre tatsächliche Geschwindigkeit viel niedriger. SIT misst diese echte, durchhaltbare Geschwindigkeit.

Was haben sie herausgefunden?

Sie haben Tests auf einem Chip (FPGA) gemacht, der wie eine programmierbare Schaltung funktioniert.

1. Am Anfang: Alles läuft super schnell. Die Köche arbeiten im Takt.
2. Dann: Der Orchestrierer wird zum Flaschenhals. Die Zutaten (Daten) kommen nicht schnell genug an, oder die Köche müssen warten, bis sichergestellt ist, dass niemand auf demselben Teller arbeitet (Synchronisation).
3. Das Ergebnis: Die Leistung bricht ein. Die Köche stehen herum und warten.

Das ist besonders wichtig für Künstliche Intelligenz (KI). KI-Modelle sind wie riesige Küchenpartys. Wenn die Steuerung nicht effizient ist, verschwendet man enorm viel Energie und Zeit, nur um die Daten hin und her zu bewegen, anstatt die eigentliche Arbeit zu erledigen.

Warum ist das wichtig?

Bisher haben Firmen und Forscher oft nur auf die „Spitzenwerte" geschaut. Das ist wie beim Autokauf: „Der hat 500 PS!" – aber wenn er in der Stadt nur 20 km/h fährt, weil die Bremsen zu schwach sind, bringt die 500 PS nichts.

RISCBench hilft Ingenieuren zu verstehen, wo genau die „Verkehrsstaus" in ihren Chips entstehen. Es ist ein offenes Werkzeug (Open Source), damit jeder es nutzen kann, um bessere, effizientere Computer zu bauen, die nicht nur schnell können, sondern auch schnell bleiben.

Zusammengefasst:
Die Autoren sagen: „Hört auf, nur auf die Höchstgeschwindigkeit zu schauen. Schaut euch an, wie lange das System wirklich durchhält, bevor es durch die Koordination ins Schleudern kommt. Denn im echten Leben zählt nicht der Sprint, sondern der Marathon."

Technische Zusammenfassung

Titel und Kontext

Das Paper stellt RISCBench vor, eine Benchmark-Suite und eine offene Methodik zur Quantifizierung der Effizienz der Orchestrierung in heterogenen Rechensystemen, insbesondere unter Verwendung von RISC-V-Prozessoren in FPGA- und FPGA-ähnlichen Umgebungen. Die Arbeit wurde für die Konferenz FPGA '26 (Februar 2026) eingereicht.

1. Das Problem

Heterogene Rechensysteme verlassen sich zunehmend auf leichte Steuerungsprozessoren (Control-Plane Cores), um Datenbewegungen, Synchronisation und Scheduling über Beschleuniger und rekonfigurierbare Strukturen hinweg zu orchestrieren. RISC-V hat sich als weit verbreitete Substrat-Technologie für diese Orchestrierung etabliert.

Das zentrale Problem liegt in der Bewertungsmethodik:

• Limitierte Sichtweise: Herkömmliche Metriken wie FLOPs, TOPS/W (Tera Operations Per Second pro Watt) und Energie pro Operation charakterisieren primär die arithmetische Leistungsfähigkeit.
• Blinder Fleck: Diese Metriken bieten kaum Einblicke in die Effizienz der Orchestrierung. Da das Orchestrierungsverhalten jedoch oft den nachhaltig durchgesetzten Durchsatz (Sustained Throughput) bestimmt, werden Engpässe in der Steuerungslogik übersehen.
• Verschärfung: Dieses Problem wird kritischer, da sich heterogene Systeme zu enger integrierten Architekturen entwickeln, während Engpässe in der Steuerungsfläche (Control-Plane) weiterhin bestehen bleiben.

2. Methodik und Ansatz

Die Autoren führen eine neue Methodik ein, die sich von reinen Spitzenleistungsmessungen (Peak-Orientierung) abwendet:

• RISCBench: Eine leichte, Open-Source-Benchmark-Suite, die entwickelt wurde, um die Orchestrierungseffizienz zu quantifizieren.
• SIT-Metrik (Sustained Instantaneous Throughput): Dies ist der Kern der neuen Methodik.
  • Im Gegensatz zu Spitzenwerten, die nur den maximalen Durchsatz unter idealen Bedingungen messen, akkumuliert SIT den Beitrag hoch-effizienter Ausführung zum realisierten, nachhaltigen Durchsatz.
  • SIT spiegelt wider, wie Koordination, Scheduling und Datenplatzierung die Persistenz einer hoch-effizienten Ausführung unter realistischen Orchestrierungsbedingungen beeinflussen.
• Experimentelles Setup:
  • Prototyping: Validierung auf einem Nios-V Soft-RISC-V-Core auf einem FPGA.
  • Evaluation: Test auf einer Beschleuniger-Klasse-Plattform mit einer großen Anzahl harter RISC-V-Steuerkerne, die speziell der Orchestrierung gewidmet sind.
  • Workload: SRAM-residente geteilte Matrix-Kerne (Tiled Matrix Kernels) wurden verwendet, um externe Speichereffekte zu minimieren und das reine Orchestrierungsverhalten offenzulegen.

3. Wichtige Ergebnisse

Die experimentellen Ergebnisse (dargestellt in Abbildung 1 des Papers) zeigen folgende Muster:

• Anfängliche Hochleistung: In den frühen Ausführungsfenstern wird ein nahezu aggregierter Durchsatz beobachtet.
• Degradation: Der Durchsatz verschlechtert sich mit der Zeit, wenn sich Synchronisationskosten und Übergänge in der Speicherresidenz summieren.
• Peak vs. Sustained: Der maximale Durchsatz (Peak) wird nur bei vollständiger On-Chip-Residenz erreicht. Die nachhaltige Leistung sinkt jedoch mit zunehmender Koordinationslast und Bandbreitenkonkurrenz.
• Erkenntnis: Das Orchestrierungsverhalten formt zunehmend den realisierten Durchsatz, insbesondere bei Architekturen mit enger Kopplung. SIT bietet einen plattformunabhängigen Deskriptor, der diese Verhaltensweisen erfasst, die von herkömmlichen Metriken ignoriert werden.

4. Hauptbeiträge

1. Einführung von RISCBench: Eine offene, reproduzierbare Benchmark-Suite für die Orchestrierungseffizienz.
2. Definition der SIT-Metrik: Ein neuer Leistungsindikator, der den Fokus von der Spitzenleistung auf die nachhaltige, durch Orchestrierung bedingte Effizienz verlagert.
3. Identifikation von Engpässen: Der Nachweis, dass Steuerungsengpässe (Control-Plane Bottlenecks) in modernen heterogenen Systemen (insbesondere für KI-Inferenz) signifikant sind und durch herkömmliche Metriken nicht erfasst werden.
4. Open Source: Die Veröffentlichung des Codes unter www.riscbench.com, um die Community aus Chip-Architektur, EDA-Forschung und Systemdesign einzubeziehen.

5. Bedeutung und Ausblick

Die Arbeit ist von erheblicher Bedeutung für die Entwicklung zukünftiger Hardware-Architekturen, insbesondere im Bereich AI Inference und SWaP-C (Size, Weight, Power, and Cost).

• Sie liefert ein Werkzeug, um die Effizienz von FPGA- und Beschleuniger-Systemen realistischer zu bewerten, indem sie die oft vernachlässigte Steuerungslogik in den Mittelpunkt stellt.
• Durch die Betonung des „nachhaltigen Verhaltens" statt nur der „Momentanleistung" ermöglicht RISCBench ein besseres Verständnis dafür, wie Systeme unter realen Lastbedingungen performen.
• Die Open-Source-Natur fördert die Reproduzierbarkeit und die Weiterentwicklung von Orchestrierungsalgorithmen und Hardware-Designs in der akademischen und industriellen Forschung.

Zusammenfassend adressiert das Paper eine kritische Lücke in der Evaluierung heterogener Systeme und bietet mit RISCBench und der SIT-Metrik einen neuen Standard für die Messung der tatsächlichen Orchestrierungseffizienz.