RISCBench: Benchmarking RISC-V Orchestration Efficiency in FPGA and FPGA-Like Computing Engines

Dit paper introduceert RISCBench, een benchmarksuite en de nieuwe SIT-maatstaf (Sustained Instantaneous Throughput) om de orchestrationsefficiëntie van RISC-V-kernen in heterogene FPGA-systemen te kwantificeren, waarbij de nadruk ligt op synchronisatie en dataresidentie in plaats van alleen piekprestaties.

De kern

Stel je voor dat je een enorm drukke keuken runt in een restaurant dat miljoenen gerechten per uur moet serveren. In deze keuken heb je twee soorten personeel:

1. De Chef-koks (De versnellers): Dit zijn de supersterren die de daadwerkelijke werkstukken maken. Ze snijden, bakken en braden razendsnel. In de computerwereld zijn dit de krachtige chips die rekenen, zoals die in je telefoon of in kunstmatige intelligentie-systemen.
2. De Keukenmanagers (De RISC-V cores): Dit zijn de coördinatoren. Ze zeggen de koks wat ze moeten doen, zorgen dat de ingrediënten op het juiste moment op het juiste bord liggen, en voorkomen dat twee koks tegelijk proberen dezelfde pan te gebruiken.

Het probleem:
Tot nu toe keken we alleen naar hoe snel de Chef-koks konden werken. We maten hoeveel gerechten ze in één seconde konden maken (dit noemen ze "piekprestaties" of FLOPs/TOPS). Maar in de echte wereld is het vaak niet zo dat de koks de hele dag ononderbroken kunnen werken.

Soms moet de Keukenmanager wachten tot de ingrediënten worden aangeleverd, of moet hij wachten tot de andere koks klaar zijn met hun taak voordat hij de volgende opdracht kan geven. Als de manager te traag is of te veel tijd kwijt is met communiceren, staan de snelle koks eromheen te wachten. Het restaurant draait dan niet op volle toeren, ook al zijn de koks zelf supersnel.

De oplossing: RISCBench
De auteurs van dit paper hebben een nieuwe manier bedacht om te meten hoe goed deze Keukenmanagers eigenlijk werken. Ze noemen hun nieuwe test RISCBench.

In plaats van alleen te kijken naar het maximale tempo van de koks, kijken ze nu naar de Sustained Instantaneous Throughput (SIT). Dat is een lange naam voor een simpel concept: "Hoe lang kunnen we het hoge tempo volhouden voordat de chaos toeslaat?"

• De analogie van de auto: Stel je voor dat je een sportauto hebt die 300 km/u kan rijden. Dat is de "piek". Maar als je in de file staat en de bestuurder (de manager) moet constant remmen en optrekken omdat hij niet goed communiceert met de andere auto's, dan haal je die 300 km/u nooit. De SIT meet je gemiddelde snelheid in die file, niet de snelheid op de lege snelweg.

Wat hebben ze ontdekt?
Ze hebben hun test uitgevoerd op verschillende soorten computers (zoals die in FPGA's, speciale chips die je kunt herschrijven). Ze zagen dat:

• In het begin alles perfect loopt: de managers en koks werken als een goed geoliede machine.
• Maar na een tijdje begint het te haperen: de managers worden overbelast door synchronisatie (afspraken maken) en het aanleveren van data. De prestaties zakken dan snel in.

Waarom is dit belangrijk?
Vroeger dachten we: "Als de rekenkracht groot is, is de computer goed." Dit paper zegt: "Nee, als de coördinatie (de orchestration) slecht is, is de hele machine traag, ongeacht hoe snel de onderdelen zijn."

Conclusie
De auteurs hebben een gratis, openbaar gereedschap (RISCBench) gemaakt zodat iedereen kan testen hoe goed hun "Keukenmanagers" werken. Ze hopen dat dit helpt om toekomstige computers te bouwen die niet alleen snel zijn in theorie, maar ook echt snel blijven werken in de praktijk, vooral voor taken zoals het begrijpen van menselijke taal of het analyseren van beelden.

Kortom: Het is niet alleen belangrijk wie het hardst kan werken, maar vooral hoe goed ze samenwerken.

Technische samenvatting

Probleemstelling

Heterogene computersystemen zijn steeds meer afhankelijk van lichtgewicht besturingscores (control-plane cores) om dataverkeer, synchronisatie en planning (scheduling) te coördineren tussen versnelde eenheden en herschikbare materialen (zoals FPGAs). RISC-V is hierbij uitgegroeid tot een veelgebruikte ondergrond voor deze orchestration, variërend van zachte (soft) cores in FPGAs tot harde (hard) accelerator-klasse cores.

Het huidige probleem is dat conventionele prestatie-indicatoren, zoals FLOPs (floating-point operations per second), TOPS/W (trillions of operations per second per watt) en energie per bewerking, voornamelijk de rekenkracht (arithmetic capability) kwantificeren. Deze metrics bieden echter weinig inzicht in de efficiëntie van de orchestration. Omdat het gedrag van de orchestering vaak de volgehouden doorvoer (sustained throughput) bepaalt, worden inefficiënties hierdoor gemist. Dit wordt een kritieke bottleneck naarmate heterogene systemen dichter bij elkaar worden geïntegreerd, terwijl de beperkingen in het besturingsvlak blijven bestaan.

Methodologie: RISCBench en SIT

Om dit gat op te vullen, stellen de auteurs RISCBench voor: een lichtgewicht benchmark-suite en een open methodologie om orchestrationsefficiëntie te kwantificeren.

• De SIT-metric (Sustained Instantaneous Throughput): Het kernconcept van deze methodologie is de SIT-metric. In tegenstelling tot metrics die gericht zijn op piekprestaties (peak-oriented), cumuleert SIT de bijdrage van hoog-efficiënte uitvoering om de gerealiseerde volgehouden doorvoer te bepalen.
• Focus: SIT legt de nadruk op volgehouden gedrag in plaats van instantane piekpercentages. Het toont aan hoe coördinatie, planning en dataplatsering de persistentie van hoog-efficiënte uitvoering beïnvloeden onder realistische omstandigheden.
• Implementatie: De benchmark is geprototypeerd met een Nios-V soft RISC-V core op een FPGA om integratie in herschikbare omgevingen te valideren. Daarnaast is het geëvalueerd op een accelerator-klasse platform met grote aantallen harde RISC-V besturingscores.
• Testomgeving: Er werden SRAM-residentieel getegelde matrixkernels gebruikt om externe geheugeneffecten te minimaliseren en zo puur het orchestration-gedrag bloot te leggen.

Belangrijkste Resultaten

De experimentele resultaten, weergegeven in de execution traces (Figuur 1), tonen een duidelijk patroon:

1. Initiële Fase: Er is sprake van een korte periode met bijna-aggregatethroughput (near-aggregate throughput) in de vroege uitvoeringsvensters.
2. Degradatie: De prestaties nemen af naarmate de synchronisatie-overhead en overgangen in geheugenresidentie (memory residency transitions) zich ophopen.
3. Piek vs. Sustained: De piekdoorvoer wordt waargenomen bij volledige on-chip residentie. Echter, de volgehouden prestatie daalt naarmate coördinatie en bandbreedte-concurrentie toenemen.

Deze observaties bevestigen dat naarmate heterogene integratie vordert naar strakker gekoppelde accelerator-architecturen, het orchestration-gedrag de gerealiseerde doorvoer steeds meer bepaalt. RISCBench en de SIT-metric blootleggen deze inefficiënties die door conventionele piek-gerichte metrics worden gemist.

Bijdragen

• Nieuwe Benchmark-suite: Introductie van RISCBench als een open-source benchmark-suite (beschikbaar op www.riscbench.com) voor de gemeenschap van chip-architectuur, EDA-onderzoek en systemen.
• Nieuwe Metric: Definities van de Sustained Instantaneous Throughput (SIT) als een platform-onafhankelijke descriptor die piek-metrics aanvult, met name relevant voor AI-inferentie-toepassingen.
• Validatie: Een empirische evaluatie die aantoont dat besturingsbottlenecks een kritieke factor zijn in de prestaties van moderne FPGA- en accelerator-systemen.

Significantie

De significantie van dit werk ligt in de verschuiving van focus van puur rekenkracht naar orchestrationsefficiëntie. Voor heterogene FPGA- en accelerator-klasse systemen is het niet langer voldoende om alleen de piekprestaties te meten; de daadwerkelijke efficiëntie wordt bepaald door hoe goed het systeem data en taken kan coördineren.

Door de nadruk te leggen op volgehouden gedrag in plaats van piek gedrag, biedt RISCBench ontwikkelaars en onderzoekers een beter instrument om:

• Orchestration-inefficiënties te identificeren die anders onzichtbaar blijven.
• Betere evaluaties uit te voeren van heterogene systemen.
• De impact van besturingscores op de totale systeemperformance (SWaP-C: Size, Weight, Power, and Cost) in AI-inferentie en andere toepassingen nauwkeuriger te begrijpen.

Dit paper vormt dus een essentiële stap naar het optimaliseren van de volgende generatie geïntegreerde computersystemen door de "besturingslaag" als eerste-class citizen te behandelen in prestatie-analyses.