How to Write to SSDs

Dit artikel toont aan dat het overgaan op 'out-of-place' schrijven in database-systemen essentieel is om SSD-prestaties te maximaliseren en de levensduur te verlengen, wat leidt tot aanzienlijke verbeteringen in doorvoersnelheid en een drastische reductie van schrijfgrootte.

De kern

🚀 De Kunst van het Schrijven op een SSD: Waarom "Op de Plaat" niet meer werkt

Stel je voor dat je een enorme bibliotheek beheert (een database) en je moet boeken (data) opslaan in een modern magazijn (een SSD-schijf). Vroeger, met oude harde schijven, was het magazijn een beetje als een oude kast: je kon een boek op een specifieke plank zetten, en als je het wilde updaten, nam je het oude boek weg en legde je het nieuwe er direct op.

Maar moderne SSD's werken heel anders. Ze zijn als een super-snel, maar kwetsbaar magazijn dat niet van "vervanging" houdt. Ze werken liever met nieuwe boeken op nieuwe plekken en gooien de oude, verouderde boeken pas later weg in een grote opruimronde.

Deze paper (van onderzoekers van de TU München en TigerBeetle) laat zien dat de meeste databasesystemen (zoals MySQL of PostgreSQL) nog steeds doen alsof ze in een oude kast werken. Ze proberen boeken op de oude plek te vervangen. Dit zorgt voor enorme chaos, onnodig veel werk en versnelt de slijtage van het magazijn.

De oplossing? Stop met "op de plek" werken en begin met "op een nieuwe plek" werken.

Hier is hoe ze dat doen, vertaald in alledaagse taal:

1. Het Probleem: De "Dubbele Werk" en de "Opruimramp"

Wanneer een database een update doet, gebeurt er vaak iets dwaas:

• De Dubbele Werk (Doublewrite): Om zeker te zijn dat niets kapot gaat bij een stroomuitval, schrijven systemen het boek eerst op een tijdelijke plek en daarna pas op de definitieve plek. Dit verdubbelt het werk.
• De Opruimramp (Garbage Collection): Omdat je niet op de oude plek mag schrijven, moet de SSD later de hele plank leegmaken om ruimte te maken. Maar als er nog een paar "goede" boeken op die plank staan, moet de SSD die eerst verplaatsen naar een nieuwe plank voordat hij de oude kan wissen.
  • Het resultaat: Je vraagt om 1 boek te schrijven, maar de SSD moet er 4 of 5 verplaatsen en herschrijven. Dit noemen ze Write Amplification (Schrijfgroei). Het is alsof je een brief wilt posten, maar de postbode eerst drie andere buren moet bezoeken om hun brieven te verplaatsen voordat hij jouw brief kan bezorgen.

2. De Oplossing: De "Slimme Verhuizer" (Out-of-Place Writes)

De auteurs zeggen: "Laten we stoppen met proberen op de oude plek te schrijven. Laten we gewoon een nieuwe plek kiezen!"

Ze hebben een nieuwe database-engine gebouwd (ZLeanStore) die als een slimme verhuizer werkt:

• Nieuwe plekken: Als een boek verandert, krijgt het een nieuwe, vrije plek in het magazijn. De oude plek wordt gewoon gemarkeerd als "niet meer geldig".
• Geen dubbele werk: Omdat je direct op de nieuwe plek schrijft, hoef je niet eerst een kopie te maken. Dat scheelt direct 50% van het werk.

3. De Slimme Trucs (De "Magische" Optimalisaties)

Alleen op een nieuwe plek schrijven is goed, maar de auteurs hebben nog vier slimme trucjes toegevoegd om het magazijn nog efficiënter te maken:

• 📦 Inpakken (Page Packing):
  Stel, je hebt een boek dat na het updaten veel kleiner is geworden (bijvoorbeeld door compressie). In een oud systeem zou je een hele grote plank gebruiken voor een klein boek, wat ruimteverspilling is.

  • De truc: De verhuizer pakt meerdere kleine boeken in één grote doos (een vaste 4KB-granulariteit). Zo past er meer in, en de postbode (de SSD) hoeft maar één doos te dragen in plaats van veel losse kleine enveloppen.

• ⏰ De "Levensduur"-Groepering (Deathtime Grouping):
  Sommige boeken worden elke dag vernieuwd (zoals nieuws), andere blijven jaren staan (zoals archief).

  • De truc: De verhuizer groepeert boeken die ongeveer op hetzelfde moment "dood" gaan (verouderd zijn) samen in dezelfde plank. Als de opruimronde (Garbage Collection) komt, kan de hele plank leeg worden gegooid zonder dat er nog goede boeken tussen zitten. Geen verplaatsen meer nodig!

• 🚧 De "Geen Chaos"-Regel (NoWA Pattern):
  Soms schrijven meerdere verhuizers tegelijkertijd, waardoor ze per ongeluk boeken van verschillende planken door elkaar gooien.

  • De truc: De database houdt streng toezicht. Hij zorgt ervoor dat als hij een nieuwe plank begint te vullen, hij die eerst helemaal vol maakt voordat hij begint aan de volgende. Zo voorkomt hij dat de SSD later halve planken hoeft op te ruimen. Dit garandeert dat de SSD nooit meer hoeft te "verplaatsen" dan strikt noodzakelijk.

• 🗣️ Praten met de Schijf (ZNS & FDP):
  Moderne SSD's hebben nieuwe talen gesproken (zoals ZNS en FDP).

  • De truc: In plaats van dat de database raadt waar de SSD ruimte heeft, zegt de database precies: "Ik doe dit boek in dit specifieke vakje." De SSD luistert en doet precies wat er gezegd wordt. Hierdoor is er geen enkele onnodige verplaatsing meer.

4. Het Resultaat: Sneller en Langer Leven

Door deze aanpak te gebruiken, laten de onderzoekers zien dat:

• De snelheid verdubbelt: De database kan veel meer transacties per seconde verwerken omdat de SSD niet meer verstrikt raakt in onnodig werk.
• De levensduur verdubbelt (of meer): Omdat er 6 tot 10 keer minder fysieke schrijfbewerkingen nodig zijn, gaat de SSD veel langer mee. Het is alsof je een auto rijdt met een veel zuiniger motor; je tankt minder vaak en de motor slijt minder snel.
• Kostenbesparing: Minder schrijfwear betekent dat je minder vaak nieuwe dure schijven hoeft te kopen en minder stroom verbruikt.

Conclusie

De kernboodschap is simpel: Databases moeten stoppen met proberen de SSD te "bedriegen" door op de oude plek te schrijven. Ze moeten juist samenwerken met de SSD, gebruikmaken van nieuwe plekken, en slim plannen wanneer ze opruimen.

Het is de overstap van een chaotische, handmatige verhuizing naar een geautomatiseerd, logistiek perfect magazijnsysteem. En dat maakt het niet alleen sneller, maar ook goedkoper en duurzamer.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "How to Write to SSDs" (Extended version, PVLDB 2026) in het Nederlands.

Titel: How to Write to SSDs

Auteurs: Bohyun Lee, Tobias Ziegler, Viktor Leis (Technische Universität München & TigerBeetle)

---

1. Het Probleem

Moderne databasebeheersystemen (DBMS) zijn geoptimaliseerd voor SSD-eigenschappen zoals lees-snelheid en parallelisme, maar ze negeren vaak de specifieke schrijfeigenschappen van SSD's. Dit leidt tot twee fundamentele problemen:

• Schrijverversterking (Write Amplification - WA): SSD's werken anders dan harde schijven. Ze schrijven op paginaniveau (bijv. 4 KiB) maar wissen op blokniveau (vele pagina's). Als een blok moet worden gewist om ruimte vrij te maken, moeten geldige pagina's eerst worden verplaatst. Dit veroorzaakt interne schrijverversterking (SSD WAF).
• Dubbele versterking: In traditionele "in-place" systemen (zoals MySQL en PostgreSQL) wordt WA versterkt op twee niveaus:
  1. DB-niveau: Systemen gebruiken vaak een doublewrite buffer (DWB) om data-integriteit te garanderen, wat betekent dat elke logische schrijfbewerking fysiek twee keer wordt uitgevoerd (eenmalig in de buffer, eenmaal in de tabelruimte). Dit resulteert in een DB WAF van ~2.0.
  2. SSD-niveau: De SSD versterkt deze schrijfbewerkingen vervolgens intern (SSD WAF van ~2.0 tot 4.0+).
• Gevolgen: De totale schrijverversterking (Total WAF = DB WAF × SSD WAF) kan oplopen tot 4x of meer. Dit versnelt de slijtage van de SSD (beperkte levensduur van flash-cellen), verhoogt de kosten, verbruikt meer energie en verlaagt de doorvoersnelheid (throughput).

Het paper stelt dat DBMS's, vanwege hun diepgaande kennis van de workload (bijv. welke pagina's "heet" of "koud" zijn), de beste positie hebben om deze versterking te minimaliseren, in plaats van dit aan de SSD of het bestandssysteem over te laten.

2. Methodologie en Oplossing

De auteurs introduceren een nieuw ontwerp voor ZLeanStore, een herontworpen versie van de bestaande B-tree engine LeanStore. De kern van de oplossing is de overstap van in-place naar out-of-place writes (schrijven op een nieuwe locatie in plaats van overschrijven) en een reeks geïntegreerde optimalisaties.

Kernarchitectuur: Out-of-Place Writes

Door de beperking van vaste adressen los te laten, krijgt de DBMS volledige controle over waar data wordt geschreven. Dit elimineert de noodzaak voor een doublewrite buffer (DWB), omdat de oude versie van een pagina geldig blijft totdat de nieuwe versie duurzaam is opgeslagen.

Belangrijkste Optimalisaties

De auteurs presenteren een set van complementaire technieken die samenwerken om de totale WA te minimaliseren:

1. Compressie & Page Packing:

   • Compressie verkleint de logische schrijfgrootte. Echter, bij in-place schrijven kan dit leiden tot misalignement.
   • Oplossing: Bij out-of-place writes worden gecomprimeerde pagina's in "slots" van 4 KiB gepakt (binpacking). Dit zorgt ervoor dat elke pagina binnen één 4 KiB-leesoperatie kan worden opgehaald, waardoor leesversterking wordt voorkomen en compressie-effectiviteit behouden blijft.

2. Groepering op Doodtijd (Grouping by Deathtime - GDT):

   • In out-of-place systemen is Garbage Collection (GC) noodzakelijk. Als pagina's met verschillende levensduren in hetzelfde blok worden gemengd, moet bij GC veel geldige data worden verplaatst.
   • Oplossing: De DBMS schat de "doodtijd" (wanneer een pagina waarschijnlijk wordt overschreven) op basis van schrijftimestamps en index-structuur. Pagina's met een vergelijkbare doodtijd worden in dezelfde zone geplaatst. Dit zorgt ervoor dat bij GC hele zones tegelijk ongeldig worden, wat de kopieer-overhead drastisch verlaagt.

3. Aanpassing van GC-eenheden (Aligning GC Units):

   • Om SSD-interne WA te minimaliseren, moet de DB-GC-eenheid (zone) overeenkomen met de interne GC-eenheid van de SSD (bijv. Superblock of Reclaim Unit).
   • Oplossing: Voor SSD's met FDP (Flexible Data Placement) wordt de Reclaim Unit (RU) grootte direct gebruikt. Voor standaard SSD's wordt deze grootte geschat door het gedrag van de SSD te observeren (ZNS-achtig patroon).

4. NoWA-patroon (No Write Amplification):

   • Op conventionele SSD's (zonder ZNS/FDP) kan multiplexing van schrijfstromen leiden tot WA.
   • Oplossing: Een schrijfpatroon dat multiplexing voorkomt door het openen van nieuwe zones te vertragen totdat huidige zones volledig zijn geschreven, en compensatieschrijvingen te doen om onbalans in de invalidatie-frequentie te corrigeren. Dit garandeert een SSD WAF van 1, zelfs op commodity SSD's.

5. Ondersteuning voor ZNS en FDP:

   • Het ontwerp integreert naadloos met Zoned Namespace (ZNS) SSD's, waarbij de host de GC volledig overneemt (SSD WAF = 1).
   • Voor FDP-SSD's worden plaatsingshints gebruikt om schrijfstromen te scheiden, wat multiplexing en interne WA elimineert.

3. Belangrijkste Resultaten

De evaluatie is uitgevoerd op diverse enterprise SSD's (o.a. Samsung PM9A3, Kioxia CM7R) met benchmarks YCSB-A en TPC-C.

• Doorvoersnelheid (Throughput): De doorvoersnelheid steeg met 1,65x tot 2,24x op YCSB-A en 2,45x op TPC-C (15.000 warehouses) vergeleken met in-place LeanStore.
• Schrijverversterking (WAF):
  • Op YCSB-A daalde het aantal flash-schrijfbewerkingen per transactie met 6,2x tot 9,8x.
  • Op TPC-C daalde de flash-schrijver met 7,2x.
  • De totale WAF werd gereduceerd van ~4,7 (in-place) naar 0,6 (out-of-place met alle optimalisaties), wat dicht bij het theoretische minimum ligt.
• Levensduur: Door de drastische reductie in fysieke schrijfbewerkingen wordt de levensduur van de SSD aanzienlijk verlengd.
• Compatibiliteit: De techniek werkt effectief op zowel ZNS als conventionele SSD's en FDP-enabled apparaten. Zelfs zonder compressie levert de out-of-place architectuur met NoWA en GDT aanzienlijke verbeteringen op.

4. Bijdragen en Significantie

• Paradigmaverschuiving: Het paper betoogt dat de DBMS de laag is die verantwoordelijk moet zijn voor het minimaliseren van totale schrijverversterking, omdat alleen de DBMS volledige kennis van de workload heeft.
• End-to-End Optimalisatie: Het is een van de eerste werken dat DB-level en SSD-level WA gezamenlijk optimaliseert, in plaats van ze als gescheiden problemen te behandelen.
• Praktische Toepasbaarheid: De oplossing vereist geen speciale hardware (hoewel het profijt haalt uit ZNS/FDP) en kan worden toegepast op bestaande B-tree systemen.
• Toekomstbestendig: De architectuur is ontworpen om naadloos te werken met nieuwe SSD-interfaces (ZNS, FDP) en biedt een blauwdruk voor hoe database-systemen kunnen evolueren om hardware-capaciteiten volledig te benutten.

Conclusie: Door de overstap naar out-of-place writes en het slim coördineren van schrijfpatronen op basis van workload-kennis, kunnen database-systemen hun doorvoersnelheid verdubbelen en de levensduur van SSD's met factoren van 6 tot 10 verlengen. Dit is essentieel voor de toekomst van hoogwaardige OLTP-systemen.