SafarDB: FPGA-Accelerated Distributed Transactions via Replicated Data Types

Dit paper introduceert SafarDB, een FPGA-versnelde gedistribueerde transactiesysteem dat co-ontworpen is met een netwerkinterface om conflicterende en gecoördineerde gerepliceerde datatypen (RDTs en WRDTs) aanzienlijk sneller en robuuster te maken dan bestaande RDMA-gebaseerde oplossingen.

De kern

Stel je voor dat je een grote, internationale bank hebt met filialen in elke stad ter wereld. Elke dag doen duizenden mensen geld op hun rekening (transacties). Het grootste probleem? Als twee mensen tegelijk proberen geld op te nemen van dezelfde rekening, of als twee filialen tegelijk proberen de saldo's te updaten, moet het systeem zorgen dat alles op het einde nog steeds klopt. Als dat niet goed gaat, verdwijnt er ineens geld of staat er een negatief saldo.

Dit is het probleem dat SafarDB oplost, maar dan voor de digitale wereld van datacenters.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Vertraging" in de Keten

In de huidige wereld werken deze digitale banken vaak met RDMA (een soort supersnelle postdienst). Maar zelfs die is traag.

• De analogie: Stel je voor dat een filiaalmanager (de CPU) een boodschap wil sturen naar een ander filiaal. Hij moet eerst naar de postkantoor (het besturingssysteem), dan naar de vrachtwagen (de PCIe-verbinding), en pas dan gaat de brief de weg op. Dit kost tijd, net als files op de snelweg.
• De onderzoekers zagen dat deze "files" (vertragingen) de snelheid van hele systemen beperkten.

2. De Oplossing: SafarDB (De "Super-Filialen")

SafarDB is een nieuw systeem dat gebruikmaakt van FPGA's. Wat is dat?

• De analogie: Een FPGA is geen gewone computerchip die alles doet zoals een standaard processor. Het is meer als een bouwplaat van Lego die je zelf kunt vormgeven. Je kunt er precies de machine bouwen die je nodig hebt, zonder onnodige onderdelen.
• SafarDB plaatst de "postdienst" (het netwerk) en de "bankmanager" (de applicatie) op dezelfde Lego-bouwplaat.
• Het resultaat: De manager hoeft niet meer naar de postkantoor te lopen. Hij geeft de brief direct aan de vrachtwagen die al bij hem in de garage staat. Geen files, geen vertraging.

3. Hoe werkt het? (De Drie Manieren van Werken)

SafarDB behandelt verschillende soorten transacties op slimme manieren:

• De "Vrije" Transacties (CRDTs):

  • Voorbeeld: Iemand doet €10 bij op zijn rekening. Dit kan overal tegelijk gebeuren zonder dat iemand anders hoeft te wachten.
  • SafarDB's truc: In plaats van te wachten tot het antwoord terugkomt, stuurt SafarDB direct een update naar de "Lego-bouwplaat" van de andere filialen. Het is alsof je direct een sms-berichtje stuurt in plaats van een brief per post. Dit is 7 keer sneller dan de oude methode.

• De "Strikte" Transacties (WRDTs):

  • Voorbeeld: Iemand wil €1000 opnemen, maar er staat maar €500 op. Hier moet er eerst gecontroleerd worden of het mag. Als twee mensen dit tegelijk proberen, moet er een beslissing worden genomen (wie gaat er eerst?).
  • SafarDB's truc: Normaal gesproken duurt het lang om te beslissen wie er eerst mag (een "consensus"). SafarDB heeft een speciale "hoofd-manager" (Leader) die direct op de chip zit. Als er een conflict is, beslist deze manager in nanoseconden (een miljardste seconde).
  • Het grote voordeel: Als de hoofd-manager ziek wordt (crash), kiezen de andere managers direct een nieuwe leider. Bij oude systemen duurde dit minuten; bij SafarDB duurt het een fractie van een seconde.

4. De "Hybride" Mode (De Uitbreiding)

FPGA-chips hebben een klein geheugen (zoals een klein kistje). Wat als je meer data hebt dan in dat kistje past?

• De oplossing: SafarDB werkt in een hybride mode. Het houdt de "hotte" (vaak gebruikte) data in het snelle kistje (FPGA) en de "koude" (zelden gebruikte) data in het grote magazijn (de gewone computergeheugen).
• De analogie: Het is alsof je je favoriete boeken op je nachtkastje hebt (snel bereikbaar) en je bibliotheek in de kelder. SafarDB weet precies welke boeken je snel nodig hebt en haalt die direct, terwijl het de rest op de achtergrond regelt.

5. Waarom is dit zo belangrijk?

• Snelheid: Het systeem is tot 12 keer sneller dan de beste systemen die we nu hebben.
• Energie: Omdat de "Lego-bouwplaat" geen onnodige stappen doet, verbruikt hij 4,5 keer minder stroom dan de huidige systemen.
• Betrouwbaarheid: Als een onderdeel uitvalt, springt het systeem direct over naar een ander, zonder dat de klanten (jouw geld) dat merken.

Kortom: SafarDB is alsof je een verouderde, trage postdienst vervangt door een eigen, supersnelle drone-dienst die direct bij de ontvanger landt. Het maakt digitale transacties niet alleen veel sneller, maar ook zuiniger en veiliger.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SafarDB: FPGA-Accelerated Distributed Transactions via Replicated Data Types" in het Nederlands.

Titel: SafarDB: FPGA-versnelde gedistribueerde transacties via gerepliceerde datatypen

Auteurs: Javad Saberlatibari, Prithviraj Yuvaraj, Mohsen Lesani, Philip Brisk, Mohammad Sadoghi (Universiteit van Californië, Riverside, Santa Cruz en Davis).

---

1. Het Probleem

Data-replicatie is essentieel voor beschikbaarheid, schaalbaarheid en fouttolerantie in datacenters, maar het coördineren van replica's om convergentie en integriteitsbeperkingen te garanderen onder transactionele werklasten is complex en traag.

• Huidige staat van de techniek: De meest geavanceerde systemen gebruiken RDMA (Remote Direct Memory Access) om microseconden-latencties te bereiken. Echter, RDMA-prestaties worden beperkt door latente bronnen zoals PCIe-transacties, het gebruik van host-geheugen als tussenlaag tussen CPU en NIC, en micro-architecturale knelpunten binnen de RDMA-NICs zelf.
• Beperkingen van bestaande FPGA-oplossingen: Bestaande FPGA-implementaties (zoals SmartNICs) lossen vaak alleen het protocol af (verb/protocol offload) en laten de applicatie-logica draaien op de host-CPU. Dit creëert nog steeds inefficiënties door PCIe-communicatie en verhindert een echte co-design van netwerk en toepassing.
• Consistentie-uitdagingen: Systemen moeten een balans vinden tussen ontspannen consistentie (snel, maar zonder strikte volgorde) en sterke consistentie (traag, maar met volledige integriteit). Bestaande systemen zijn vaak niet optimaal in het accelereren van beide paden tegelijk, noch in het efficiënt handelen van falen (bijv. leidersverkiezing).

2. Methodologie

SafarDB introduceert een nieuw architecturaal ontwerp waarbij de replicatie-engine en het netwerkinterface (NIC) co-loceren op een enkele, netwerk-geattacheerde FPGA.

• Architectuur: In plaats van een SmartNIC die als een "tussenpersoon" fungeert, is SafarDB een volledig geïntegreerd systeem. De applicatielogica, de replicatieprotocollen en de RDMA-netwerkstack draaien allemaal op hetzelfde FPGA-chip.
• Geheugenhierarchie: Het systeem ondersteunt een hybride model:
  • FPGA-only: Alle data resideert in het snelle on-chip BRAM (Block RAM) en HBM (High Bandwidth Memory) van de FPGA.
  • Hybride: Data kan worden uitgespreid over FPGA-geheugen en host-CPU-geheugen, waardoor de capaciteit wordt uitgebreid zonder de replicatie-interface te veranderen.
• Transactiecategorieën: SafarDB versnelt drie soorten transacties gebaseerd op Replicated Data Types (RDTs):
  1. Reduceerbare transacties: Operationeel conflictvrij en samenvatbaar (bijv. tellers). Deze worden geoptimaliseerd via buffering en directe updates.
  2. Irreducibele conflictvrije transacties: Conflictvrij maar niet samenvatbaar (bijv. sets).
  3. Conflicterende transacties: Vereisen strikte volgorde (consensus). SafarDB versnelt hier de onderliggende consensus (State Machine Replication - SMR) direct op het FPGA.
• Nieuwe RDMA Verbs: SafarDB introduceert aangepaste RDMA-verbs die direct toegang hebben tot geïntegreerde FPGA-opslag en de interne micro-architecturale staat van de NIC. Dit elimineert de noodzaak voor het hosten van applicaties om via PCIe te communiceren voor elke RDMA-verb.
• Consensusversnelling: Voor conflicterende transacties wordt het Mu-protocol (een RDMA-gebaseerd consensusprotocol) geïmplementeerd op het FPGA. Dit versnelt vooral de "Permission Switch" (leidersverandering) door directe toegang tot QP (Queue Pair) statusregisters, wat de latentie van het wisselen van machtigingen van microseconden naar nanoseconden brengt.

3. Belangrijkste Bijdragen

1. Co-design van NIC en Applicatie: SafarDB is de eerste implementatie die een replicatie-engine en een RDMA-NIC volledig integreert op een netwerk-geattacheerde FPGA, waardoor PCIe-overhead wordt vervangen door snelle on-chip AXI-communicatie.
2. Hybride Consistentieversnelling: Het systeem versnelt zowel de paden voor ontspannen consistentie (CRDTs) als voor sterke consistentie (WRDTs met consensus) op hetzelfde platform.
3. Nieuwe RDMA Verbs: Introductie van "Write-Through" en RPC-achtige verbs die direct naar FPGA-opslag schrijven, waardoor memory-access latencies voor ontvangers volledig worden geëlimineerd.
4. Snelle Fouttolerantie: Door directe toegang tot de NIC-status op het FPGA, kan SafarDB leidersfalen detecteren en nieuwe leiders verkiezen (permission switch) met een latentie van nanoseconden, in plaats van de honderden microseconden die nodig zijn bij traditionele RDMA.
5. Hybride Schaalbaarheid: Een uniek ontwerp dat toelaat dat de applicatiestaat zich uitstrekt over FPGA- en host-geheugen, terwijl het één consistentie-interface behoudt.

4. Resultaten

De evaluatie werd uitgevoerd op 8 AMD Xilinx Alveo U280 FPGA's verbonden via 100GbE, vergeleken met de state-of-the-art software-implementatie Hamband (RDMA-based) en Waverunner (FPGA-based SmartNIC).

• Prestaties (CRDTs): SafarDB bereikte een 7,0x lagere latentie en 5,3x hogere doorvoer vergeleken met Hamband.
• Prestaties (WRDTs): Voor hybride consistentie (conflicterende transacties) was de verbetering nog groter: 12x lagere latentie en 6,8x hogere doorvoer.
• Benchmarkresultaten: Op werklasten zoals YCSB en SmallBank boekte SafarDB gemiddeld 8x lagere latentie en 5,2x hogere doorvoer.
• Fouttolerantie: Bij het falen van een leider is SafarDB aanzienlijk sneller in het herstellen van de dienst (door snelle leidersverkiezing) en minder gevoelig voor prestatiedalingen dan CPU/RDMA-systemen.
• Energie-efficiëntie: SafarDB verbruikt ongeveer 35 Watt, terwijl Hamband ongeveer 160 Watt verbruikt (een reductie van ~4,5x), voornamelijk omdat FPGAs geen besturingssysteem nodig hebben en efficiënter omgaan met databeweging.

5. Betekenis en Conclusie

SafarDB demonstreert dat het co-designen van netwerkinfrastructuur (NIC) en consistentieprimitieven op programmeerbare hardware (FPGA) een doorbraak betekent voor gedistribueerde databases.

• Paradigmaverschuiving: Het paper toont aan dat de grens tussen applicatie, besturingssysteem en micro-architectuur kan worden opgeheven op een FPGA, waardoor systeemoproepen worden gereduceerd tot draadverbindingen tussen modules.
• Toekomstperspectief: Dit werk opent de weg voor nieuwe generaties datacenters die gebruikmaken van netwerk-geattacheerde FPGAs voor lage-latentie, hoge-doorvoer transactionele systemen, waarbij de voordelen van RDMA worden gecombineerd met de flexibiliteit en snelheid van hardware-versnelling.
• Praktische toepasbaarheid: De resultaten tonen aan dat deze aanpak niet alleen werkt voor micro-benchmarks, maar ook voor complexe, real-world database-workloads en hybride schaalmodellen.

Kortom, SafarDB biedt een fundamenteel betere oplossing voor gedistribueerde transacties door de hardware en software voor replicatie en netwerkkommunicatie te verenigen, wat leidt tot ongekende snelheid en energie-efficiëntie.