Technische Samenvatting: P-MOSS

Probleemstelling

Moderne multi-core servers die gebruikmaken van NUMA (Non-Uniform Memory Access) en Chiplet-architecturen vertonen aanzienlijke hardware-heterogeniteit. Deze complexiteit creëert een enorme ontwerpplek waar de prestaties van main-memory indexen (bijv. B+-Trees) tot een orde van grootte kunnen variëren, afhankelijk van twee factoren:

1. Data Partitionering: De locatie van indexpartities over NUMA-nodes (geheugencontrollers).
2. Core Scheduling: De toewijzing van logische cores om queries uit te voeren die gericht zijn op specifieke indexpartities.

Deze combinatie wordt spatial scheduling genoemd. Traditionele benaderingen vertrouwen vaak op statische heuristieken (bijv. round-robin, interleaving) of OS-standaarden, die er niet in slagen zich aan te passen aan de diverse topologieën van moderne hardware (Intel, AMD, NVIDIA, ARM) en variërende workload-patronen (read-heavy, write-heavy, scans). Bestaande werken richten zich ofwel op temporele scheduling (wanneer een query moet draaien) of op dataplaatsing voor relationele tabellen, waarbij het cruciale ruimtelijke aspect van de core-to-data affiniteit in main-memory indexen vaak wordt genegeerd. Bovendien hebben heuristiek-gebaseerde oplossingen moeite met het generaliseren over verschillende CPU-vendors en architecturen vanwege de combinatorische aard van het scheduling-probleem.

Methodologie: P-MOSS

Het artikel introduceert P-MOSS (Performance MOnitoring Unit-driven Spatial Query Scheduling), een geleerd framework dat principes van Large Language Models (LLMs) gebruikt om spatial scheduling te optimaliseren.

Kernparadigma: Next Token Prediction (NTP)

P-MOSS herformuleert het spatial scheduling-probleem als een Next Token Prediction taak. In plaats van het voorspellen van het volgende woord in een zin, voorspelt het systeem de volgende Core ID in een sequentie van scheduling-beslissingen.

• Sequentie: De sequentie representeert het scheduling-beleid van een index, waarbij elke "token" overeenkomt met de toewijzing van een index-slice (een logische partitie gebaseerd op key-range) aan een specifieke CPU-core.
• Context: In tegen tegenoverlijke natuurlijke taal-tokens missen Core IDs inherente syntactische regelmaat. P-MOSS lost dit op door de "tokens" te verrijken met context afgeleid van hardware-prestatiestatistieken.

Architectuur en Trainingspipeline

P-MOSS maakt gebruik van een Decision Transformer (DT) architectuur, getraind via Offline Reinforcement Learning (RL). Het systeem werkt in drie afzonderlijke stadia:

1. Pre-training (Generative Pre-training):

   • Databron: Een offline dataset is samengesteld uit diverse hardware (Intel, AMD, NVIDIA, IBM), diverse NUMA-configuraties (1NPS, 4NPS, Chiplet), en meerdere workloads (YCSB varianten).
   • Proces: Het systeem bevraagt de hardware Performance Monitoring Units (PMUs) tijdens de query-executie om "Hardware Snapshots" te generen. Deze snapshots leggen laag-niveau statistieken vast (instructie-aantallen, cache misses, geheugentrafiek) zonder softwarematige boekhouding.
   • Tokenisatie: De hardware snapshot, het huidige scheduling-beleid en prestatie-metrieken worden getokeniseerd in State, Action, Return-to-Go (RTG), en Meta tokens.
   • Doel: De DT leert generaliseerbare patronen van efficiënte scheduling over diverse omgevingen.

2. Inference (Online Executie):

   • Het getrainde "base" model voorspelt scheduling-beleid voor de doelhardware en de workload.
   • P-MOSS start op met een willekeurig of vorig beleid, monitort PMU-statistieken in real-time, en voert deze aan de DT om de optimale mapping van index-slices naar cores af te leiden.
   • Het systeem handhaaft deze beslissingen door index-slices te migreren naar de corresponderende NUMA-nodes en de query-executie te binden aan specifieke cores.

3. Post-training (Fine-tuning):

   • Terwijl het systeem op de doelhardware opereert, verzamelt het een "fine-tuning dataset" specifiek voor die omgeving.
   • Het base model wordt incrementeel bijgewerkt (offline) om een "assistant" model te creëren, dat zich aanpast aan de unieke kenmerken van de specifieke server en de workload.

Belangrijke Technische Componenten

• Hardware Profiling (PMU): P-MOSS vertrouwt uitsluitend op laag-niveau hardwarestatistieken verzameld via de PMU (bijv. LLC misses, geheugencontroller-verkeer). Dit voorkomt de overhead en onnauwkeurigheid van softwarematige boekhouding.
• Tokenisatie Strategie:
  • State Token: Representeert de huidige hardwarestatus (bezet door gebruikte cores, cache/geheugen stats) via View, Position, en Machine tokens.
  • Action Token: De voorspelde Core ID.
  • RTG Token: De gewenste toekomstige beloning (target throughput) minus huidige beloningen, wat het model stuurt naar hoog-presterende uitkomsten.
  • Meta Token: Systeembrede context (socket aantal, NUMA topologie, CPU vendor).
• Offline RL: Door het leerproces te ontkoppelen van de kritieke pad van de query-executie, zorgt P-MOSS ervoor dat de DBMS geen prestatieverlies lijdt tijdens de leerfase.

Belangrijkste Bijdragen

1. P-MOSS Framework: Het eerste geleerde framework voor spatial query scheduling in main-memory indexen op moderne NUMA en Chiplet servers, waarbij zowel data-plaatsing als core scheduling prioriteit krijgen.
2. PMU-Driven Optimalisatie: Een nieuwe aanpak voor DBMS-kerneloptimalisatie die uitsluitend steunt op laag-niveau hardwarestatistieken (PMU) zonder softwarematige boekhouding, wat adaptiviteit over diverse hardware-vendors heen garandeert.
3. NTP Formulering: De formulering van query scheduling als een Next Token Prediction taak, wat het gebruik van Offline RL en Decision Transformers mogelijk maakt om scheduling-beleid te leren zonder online interactie met de DBMS.
4. Empirische Validatie: Uitgebreide evaluatie over een breed scala aan CPU's (Intel, AMD, ARM, IBM), NUMA-architecturen (1-4 sockets, 2-8 nodes) en workloads.

Experimentele Resultaten

De evaluatie werd uitgevoerd op een main-memory B+-Tree met 30M tot 1B records over vijf verschillende serverconfiguraties (AMD Milan, Intel Skylake X, Intel Sandy Bridge, NVIDIA Grace Hopper, IBM Power).

• Doorvoersnelheid Verbetering: P-MOSS bereikt tot wel 6× verbetering in query-doorvoer vergeleken met traditionele scheduling-beleid.
• Vergelijking met Baselines:
  • Tegenover OS-standaarden (OS:D, OS:I) en NUMA-bewuste strategieën (SE:N, SN:N), laat P-MOSS een gemiddelde versnelling zien van 1.92× tot 3.66×.
  • Tegenover andere geleerde of heuristiek-gebaseerde "Shared Nothing" strategieën (Grouped, Mixed, Spread, Random), presteert P-MOSS consistent beter, met verbeteringen variërend van 1.27% tot 3.95%, afhankelijk van de specifieke hardware en workload.
• Generalisatie: P-MOSS demonstreert sterke generalisatiecapaciteiten; het presteert goed op onbekende hardware (IBM Power) en onbekende datadistributies (OSM dataset) zonder vanaf nul te hoeven hertrainen, dankzij het gebruik van het pre-trained base model.
• Overhead: De overhead voor het verzamelen van hardwarestatistieken via PMU is minimaal (~0.73% prestatieverlies), en het gebruik van SIMD-instructies voor het verwerken van deze statistieken verbetert de systeemprestaties met 60.37% tijdens de profiling-fase.

Betekenis en Claims

Het artikel claimt dat P-MOSS de levensvatbaarheid aantoont van het toepassen van fundamentele LLM-concepten, specifiek Next Token Prediction, op database-optimalisatietaken. Door scheduling te behandelen als een sequentie-modelleringsprobleem, kan het framework de combinatorische complexiteit van moderne hardware-ontwerpplekken effectiever navigeren dan statische heuristieken.

De auteurs benadrukken dat:

• Spatial scheduling cruciaal is voor het maximaliseren van prestaties op moderne heterogene hardware.
• Hardware-prestatiestatistieken (PMU) een robuuste, laag-overhead feature-representatie bieden voor ML-gestuurde database-optimalisatie.
• Offline RL de mogelijkheid biedt om het leerproces te ontkoppelen van de executie, wat veilige en schaalbare adaptatie aan diverse omgevingen mogelijk maakt.
• De aanpak niet beperkt is tot spatial scheduling, maar een blauwdruk biedt voor het generaliseren van LLM-geïnspireerde technieken naar bredere DBMS-optimalisatie-uitdagingen.