Hermes: Accelerating Long-Latency Load Requests via Perceptron-Based Off-Chip Load Prediction

Technische Samenvatting: Hermes

Probleemstelling

Verzoeken met een lange latentie voor het laden die de on-chip cachehiërarchie missen en toegang zoeken tot het off-chip hoofdgeheugen blijven een primaire flessenhals voor moderne high-performance out-of-order (OOO) processors. Deze verzoeken blokkeren de processor vaak door de instructie-afwerking (instruction retirement) vanuit de Reorder Buffer (ROB) te hinderen.

De auteurs identificeren twee kritieke trends in huidige processorontwerpen die de prestaties beperken ondanks bestaande optimalisaties:

1. Beperkte dekkingsgraad van prefetchers: Zelfs geavanceerde hardware prefetchers (bijv. Pythia) kunnen slechts ongeveer de helft van de off-chip load-verzoeken voorspellen over een breed scala aan workloads. De resterende onvoorspelbare loads veroorzaken nog steeds aanzienlijke vertragingen.
2. Toenemende on-chip cache-latentie: Naarmate on-chip caches groter en complexer worden om grotere datavoorraden te accommoderen, is de latentie die nodig is om de on-chip cachehiërarchie (L1, L2, LLC) te doorlopen om vast te stellen dat een verzoek een miss is, aanzienlijk toegenomen. Een substantieel deel van de totale latentie van een off-chip load wordt besteed aan het louter doorlopen van de on-chip hiërarchie om de miss te bevestigen, in plaats van aan het wachten op de reactie van het hoofdgeheugen.

Methodologie

Het artikel stelt Hermes voor, een techniek die ontworpen is om off-chip load-verzoeken te versnellen door de on-chip cache-toegangslatentie uit hun kritieke pad te verwijderen.

Kernmechanisme

Hermes werkt volgens het principe van speculatieve off-chip fetching:

1. Voorspelling: Voor elk load-verzoek bepaalt een voorspeller of het verzoek waarschijnlijk de on-chip hiërarchie zal missen en off-chip zal gaan.
2. Speculatieve Fetch: Als een load wordt voorspeld als off-chip te gaan, dient Hermes een speculatisch verzoek (een "Hermes-verzoek") rechtstreeks in bij de main memory controller zodra het fysieke adres is gegenereerd.
3. Gelijktijdige uitvoering: Dit speculatische verzoek verloopt gelijktijdig met het reguliere load-verzoek, dat nog steeds de standaard on-chip cachehiërarchie doorloopt.
4. Latentieverbreding (Latency Hiding): Als de voorspelling correct is, mist de reguliere load uiteindelijk de Last-Level Cache (LLC) en wacht op de lopende speculatische aanvraag. Dit verbergt effectief de on-chip cache-traversal latentie onder de schaduw van de main memory latentie.
5. Coherentie: Als de voorspelling onjuist is (de load vindt daadwerkelijk een hit in de cache), wordt het speculatische verzoek gedropt en wordt er geen data in de cache gevuld, waardoor de cache-coherentie behouden blijft zonder complexe herstelmechanismen.

POPET: De Voorspeller

Om Hermes mogelijk te maken, introduceren de auteurs POPET (Perceptron-based Off-chip load Prediction Technique), een lichtgewicht voorspeller die leert om off-chip loads te identificeren met behulp van meerdere programmekenmerken.

• Algoritme: POPET maakt gebruik van een hashed perceptron-leermodel. Het aggregeert gewichten van diverse programmekenmerken om een binaire classificatie te maken (off-chip versus on-chip).
• Kenmerken: De voorspeller gebruikt een combinatie van kenmerken, waaronder:
  • XOR van Program Counter (PC) en cache line offset.
  • XOR van PC en byte offset.
  • PC plus een "first access" hint (het bijhouden van recente page touches).
  • Cache line offset plus "first access."
  • Een geschiedenis van de laatste vier load PC's.
• Training: POPET wordt online getraind met behulp van de werkelijke uitkomst van load-verzoeken (of ze off-chip gingen) om de kenmerk-gewichten bij te werken.
• Overhead: POPET vereist slechts 4 KB opslag per core (3,2 KB voor weight tables en 0,8 KB voor Load Queue metadata), waardoor de onpraktische metadata-overheads van eerdere benaderingen voor adres-tracking worden vermeden.

Belangrijkste Bijdragen

1. Identificatie van Kansen: Het artikel benadrukt dat een aanzienlijk deel van de off-chip loads onvoorspelbaar blijft voor huidige prefetchers en dat een groeiend deel van de off-chip latentie wordt geconsumeerd door on-chip cache-traversal.
2. Hermes Techniek: De introductie van een mechanisme dat speculatief data uit het hoofdgeheugen haalt voor voorspelde off-chip loads, terwijl het gelijktijdig de cachehiërarchie benadert, waardoor de on-chip latentie uit het kritieke pad wordt geëlimineerd.
3. POPET Voorspeller: Het ontwerp van een nieuwe, lichtgewicht perceptron-gebaseerde voorspeller die een hoge nauwkeurigheid en dekking bereikt voor off-chip load-voorspelling zonder dat grote metadata-structuren of OS-ondersteuning nodig zijn.
4. Uitgebreide Evaluatie: Uitgebreide evaluatie over 110 single-core en 220 multi-core workloads (SPEC CPU2006/2017, PARSEC, Ligra, CVP) en diverse systeemconfiguraties (variërende kern-aantallen, geheugenbandbreedte en prefetchers).
5. Open Source: De release van de Hermes broncode, traces en scripts om resultaten te reproduceren.

Resultaten

De evaluatie toont aan dat Hermes consistente prestatieverbeteringen biedt ten opzichte van state-of-the-art baselines:

• Voorspellingsnauwkeurigheid: POPET bereikt een gemiddelde van 77,1% nauwkeurigheid en 74,3% dekking voor off-chip loads. Dit is aanzienlijk hoger dan de voorheen beste nauwkeurige voorspeller (HMP), die 47% nauwkeurigheid en 22,3% dekking behaalde.
• Prestatiewinst:
  • Single-Core: Hermes gecombineerd met de Pythia prefetcher verbetert de prestaties met gemiddeld 5,4% (tot 23,4%) ten opzichte van alleen Pythia.
  • Multi-Core (8-core): Verbeteringen bedragen gemiddeld 5,1% (tot 25,7%).
  • Bandbreedte-beperkt: In bandbreedte-beperkte configuraties verbetert Hermes de prestaties met 6,2% (tot 32,2%) ten opzichte van Pythia, waarbij het Pythia alleen in deze scenario's overtreft vanwege de lagere geheugenbandbreedte-overhead.
• Efficiëntie: Hermes veroorzaakt een bescheiden toename van 0,5% in main memory-verzoeken voor elke 1% prestatiewinst, terwijl de Pythia prefetcher een toename van 2% in verzoeken veroorzaakt voor dezelfde winst.
• Robuustheid: Hermes verbetert consequent de prestaties wanneer het wordt gecombineerd met diverse high-performance prefetchers (Bingo, SPP, MLOP, SMS) en blijft effectief, zelfs met pessimistische schattingen van on-chip interconnect latentie (tot 24 cycli).
• Vermogen en Opslag: Hermes voegt slechts 3,6% dynamische vermogensoverhead toe (vergeleken met 8,7% voor Pythia) en vereist slechts 4 KB opslag per core, vergeleken met 25,5 KB voor Pythia.

Betekenis en Claims

De auteurs beweren dat Hermes een belangrijke stap voorwaarts is in het afhandelen van lang-latente geheugentoegang door het kritieke pad van off-chip loads fundamenteel te veranderen. In tegenstelling tot traditionele prefetchers die proberen latentie te verbergen door data te halen voordat deze nodig is, vermindert Hermes de latentie van de load zelf door de on-chip hiërarchie te omzeilen voor voorspelde misses.

Het artikel benadrukt dat naarmate on-chip caches groter en complexer worden, de latentie-penalty voor het doorlopen van hen om een miss te bevestigen alleen maar zal toenemen. Hermes adresseert deze specifieke trend door de beslissing om uit het hoofdgeheugen te fetchen los te koppelen van de latentie van de on-chip cachehiërarchie. De auteurs stellen dat de kernobservatie — dat off-chip loads met hoge nauwkeurigheid voorspeld kunnen worden met een lichtgewicht perceptron-leren — de deur opent naar toekomstige geheugensysteem-optimalisaties die de impact van lang-latente verzoeken verder verminderen.

Het werk wordt gepresenteerd als een praktische oplossing die geen OS-ondersteuning of onpraktische metadata-opslag vereist, wat het een levensvatbare kandidaat maakt voor adoptie in commerciële processors. De auteurs concluderen dat Hermes een "significante en consistente prestatieverbetering" biedt over een breed scala aan workloads en systeemconfiguraties.