Next Generation Cloud-native In-Memory Stores: From Redis to Valkey and Beyond

Deze studie biedt een uitgebreide benchmark van moderne cloud-native in-memory stores zoals Valkey, KeyDB en Garnet in Kubernetes, waarbij prestaties, efficiëntie en levensvatbaarheid worden geëvalueerd om de afwegingen tussen deze alternatieven voor Redis in kaart te brengen.

De kern

Stel je voor dat Redis de beroemde, snelle koelkast is in de wereld van moderne software. Het bewaart je data (zoals wachtwoorden, winkelmandjes of sociale media-likes) in het "geheugen" in plaats van op een harde schijf, waardoor het extreem snel werkt. Maar de eigenaar van deze koelkast (het bedrijf Redis Inc.) heeft onlangs de regels veranderd: de deur is niet meer helemaal gratis open voor iedereen.

Dit zorgt voor een zoektocht naar nieuwe, betere koelkasten. In dit onderzoeksrapport kijken drie nieuwe kandidaten naar de krant: Valkey, KeyDB en Garnet. De onderzoekers hebben ze getest in een digitale omgeving die lijkt op de echte wereld (de "Cloud"), om te zien welke het beste werkt.

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. De Drie Kandidaten: Wie is wie?

• Valkey (De Trouwe Erfgenaam):

  • Het verhaal: Dit is een kopie van de originele koelkast, maar dan gemaakt door een grote groep vrijwilligers (de Linux Foundation).
  • De kracht: Het werkt exact hetzelfde als de oude koelkast. Je hoeft je bestaande apparaten niet aan te passen. Het is sneller geworden door slimme verbeteringen, zoals het hebben van meerdere handen in plaats van één.
  • Analogie: Het is alsof je je oude auto vervangt door een nieuw model dat er precies hetzelfde uitziet, maar een krachtigere motor heeft en op groene energie rijdt. Je hoeft je rijbewijs niet opnieuw te halen.

• KeyDB (De Snelle, maar Verouderde Sportwagen):

  • Het verhaal: Dit is ook een kopie van de originele koelkast, maar dan ontworpen om alle processoren van een computer tegelijk te gebruiken.
  • De kracht: Het is snel, maar... de bouwers lijken de auto te hebben verlaten. Er gebeurt weinig meer aan de ontwikkeling.
  • Analogie: Het is een racewagen die razendsnel is, maar de garage waar hij wordt gebouwd is dichtgegaan. Je weet niet of er ooit nog onderdelen voor te krijgen zijn.

• Garnet (De High-Tech Robot):

  • Het verhaal: Dit is geen kopie, maar iets dat Microsoft helemaal opnieuw heeft gebouwd van de grond af.
  • De kracht: Het is extreem snel en heel zuinig met energie. Het is de Formule 1 van de koelkasten.
  • Het nadeel: Omdat het zo anders is gebouwd, werkt het niet met alle oude sleutels. Als je bestaande systemen wilt gebruiken, moet je veel werk verzetten om alles aan te passen.
  • Analogie: Het is een futuristische robot die alles sneller doet dan een mens, maar je moet je hele huis verbouwen om erin te kunnen wonen.

2. De Test: De "Rush Hour"

De onderzoekers hebben deze systemen getest in een digitale "rush hour". Ze vulden ze met data en gaven ze duizenden opdrachten per seconde:

• Schrijf-taken: Iets opslaan (zoals een nieuwe post op social media).
• Lees-taken: Iets ophalen (zoals het bekijken van je tijdlijn).

Ze keken naar drie dingen:

1. Hoeveel werk deden ze per seconde? (Doorvoer)
2. Hoe lang duurde het voordat ze klaar waren? (Vertraging)
3. Hoeveel energie (rekenkracht en geheugen) kostte het?

3. De Resultaten: Wie wint?

• De Winnaar in Snelheid: Garnet
  Garnet was de onbetwiste kampioen. Het was tot 2 keer zo snel als de oude Redis en gebruikte minder energie. Als je een nieuw systeem bouwt en snelheid is alles, is dit de beste keuze. Maar je moet bereid zijn om veel werk te verzetten om het te laten werken.

• De Winnaar in Gemak: Valkey
  Valkey deed het ook heel goed (ongeveer 30-40% sneller dan het oude model), maar het belangrijkste voordeel is dat je niets hoeft te veranderen in je huidige software. Het is de veiligste en slimste keuze voor bedrijven die nu al Redis gebruiken en gewoon willen upgraden.

• De Verliezer: KeyDB
  KeyDB was een beetje sneller dan het oude model, maar niet genoeg om het extra energieverbruik en de onzekerheid over de toekomst te rechtvaardigen. Omdat de ontwikkelaars er bijna niet meer aan werken, is het een riskante keuze voor bedrijven die op lange termijn willen blijven bestaan.

4. Wat betekent dit voor jou?

• Heb je al een systeem dat werkt? Kies dan voor Valkey. Het is als het vervangen van je motor door een nieuwere versie zonder dat je je auto hoeft te verkopen. Het is veilig, snel en wordt door grote bedrijven gesteund.
• Bouw je iets nieuws en wil je het allerbeste? Kies dan voor Garnet. Het is de Ferrari van de databases. Je moet wel bereid zijn om de weg (de software) aan te passen voor deze auto.
• Vergeet KeyDB. Het lijkt misschien een goede deal, maar de bouwers zijn weggegaan. Je wilt niet vastzitten in een auto zonder garage.

Kortom: De wereld van snelle data-opslag verandert. De "oude koning" (Redis) krijgt concurrentie. Voor de meeste mensen is Valkey de nieuwe standaard: snel, betrouwbaar en makkelijk over te stappen. Maar voor de snelheidsfanaat is Garnet de toekomst.

Technische samenvatting

Titel: Volgende Generatie Cloud-Native In-Memory Stores: Van Redis naar Valkey en Beyond

Auteurs: Carl-Johan F.M. af Rosenschöld, Feras M. Awaysheh (Umeå Universiteit), en Ahmad Awad (British University in Dubai).
Datum: Oktober 2025 (Preprint)

---

1. Het Probleem

In-memory sleutel-waarde datastores zijn onmisbaar geworden voor moderne cloud-native infrastructuur, waarbij ze real-time analytics en low-latency diensten mogelijk maken. Redis heeft de afgelopen tien jaar de de facto standaard geweest. Echter, recente licentiewijzigingen bij Redis Inc. (overgang naar RSALv2/SSPLv1) hebben de adoptie in open-source gemeenschappen beperkt.

Dit heeft geleid tot de opkomst van alternatieven, voornamelijk:

• Valkey: Een door de Linux Foundation gelanceerde fork van Redis (maart 2024) met volledige API-compatibiliteit.
• KeyDB: Een multithreaded fork van Redis (2019) gericht op multi-core architecturen.
• Garnet: Een door Microsoft Research ontwikkelde implementatie, geschreven in .NET, gebouwd vanaf de grond af.

De Gaping: Er ontbreekt een onafhankelijke, experimentele evaluatie van deze state-of-the-art tools onder realistische omstandigheden. Bestaande studies vertrouwen vaak op leveranciersclaims of zijn te beperkt in scope. Organisaties missen een objectieve basis om afwegingen te maken tussen pure prestaties, migratiecomplexiteit, operationele compatibiliteit en langetermijnlevensvatbaarheid.

2. Methodologie

De auteurs hebben een systematische benchmark uitgevoerd binnen een Kubernetes-omgeving om cloud-native deployment-scenario's te simuleren.

• Testomgeving:

  • Twee virtuele machines op dezelfde fysieke server: één voor de Kubernetes-cluster (database) en één voor de benchmarking.
  • Resources: 4 vCPU en 12 GiB RAM voor de database-nodes (met limits ingesteld op 2 vCPU en 8 GiB RAM).
  • Versies: Redis v7.2.7, Valkey v8.0.2, KeyDB v6.3.4, Garnet v1.0.62.
  • Configuratie: Standalone modus (geen clustering) om variabelen te isoleren; persistentie uitgeschakeld om puur in-memory prestaties te meten.

• Workload Design:

  • Tool: memtier_benchmark met aanpassingen voor Zipfian key-access distributies (om "hot keys" te simuleren, zoals in productie).
  • Workload A (Schrijfgewicht): 50% SET / 50% GET, met Zipfian skew $\alpha = 0.9$.
  • Workload B (Leesgewicht): 5% SET / 95% GET, met Zipfian skew $\alpha = 1.4$.
  • Belasting: Concurrentie levels van 50 tot 500 verbindingen.
  • Geheugendruk: Systemen voorbeladen met ~4,8 miljoen keys om 75% geheugenuitputting te bereiken (realistische druk).

• Metingen:

  • Doorvoer (Throughput), Latentie (P99 en P999), CPU-efficiëntie en Geheugenefficiëntie.
  • Statistische significantie-toetsing (t-test) om verschillen te valideren.

3. Belangrijkste Bijdragen

1. Onafhankelijke Vergelijking: De eerste uitgebreide benchmark die Redis, Valkey, KeyDB en Garnet direct tegen elkaar afweegt in een containerized Kubernetes-omgeving.
2. Meer-dimensionale Evaluatie: Het paper gaat verder dan alleen snelheid; het analyseert migratiecomplexiteit, API-compatibiliteit, resource-efficiëntie en de levensvatbaarheid van het project (community support).
3. Praktische Aanbevelingen: Het biedt scenario-specifieke richtlijnen voor organisaties die overwegen om van Redis af te stappen.

4. Resultaten

De resultaten tonen duidelijke trade-offs tussen de systemen (genormaliseerd ten opzichte van Redis):

| Metriek | Valkey | KeyDB | Garnet |
| :--- | :--- | :--- | : |
| Doorvoer (Schrijven) | +32% | +12% | +108% |
| Doorvoer (Lezen) | +38% | +15% | +110% |
| P99 Latentie | -25% (beter) | +20% (slechter) | -50% (beste) |
| CPU Efficiëntie | +18% | -12% (inefficiënt) | +35% |
| Geheugen Efficiëntie | +9% | -2% | +28% |

Kernbevindingen:

• Garnet: Biedt de superieure prestaties (tot 108% meer doorvoer dan Redis) en de beste resource-efficiëntie (gebruikt 30-40% minder CPU en 25-30% minder geheugen). Echter, het heeft slechts 70% API-compatibiliteit, wat migratie complex maakt.
• Valkey: Biedt de beste balans. Het levert aanzienlijke prestatieverbeteringen (30-38% meer doorvoer) met 100% API-compatibiliteit. Het is een "drop-in" vervanging met minimale migratierisico's.
• KeyDB: Toont bescheiden prestatiewinst (8-15%), maar is inefficiënter in CPU-gebruik dan Redis en heeft een onzeker toekomstperspectief door trage ontwikkelactiviteit en lage community-activiteit.

5. Betekenis en Aanbevelingen

Het paper concludeert dat de keuze van een alternatief afhangt van de specifieke behoeften van de organisatie:

• Voor migratie van bestaande systemen: Valkey is de aanbevolen keuze. Het biedt de veiligste route met volledige compatibiliteit, sterke community-ondersteuning (Linux Foundation) en meetbare prestatiewinst zonder code-herschrijving.
• Voor nieuwe, hoogpresterende deployments: Garnet is ideaal als maximale doorvoer en kostenefficiëntie prioriteit hebben en als de organisatie bereid is om de migratiekosten (door API-beperkingen) te dragen.
• Voor KeyDB: Het wordt niet aanbevolen voor productie-omgevingen vanwege de twijfelachtige langetermijnlevensvatbaarheid en suboptimale resource-efficiëntie.

Toekomstig werk: De auteurs wijzen op de noodzaak van verdere evaluaties in cluster-modus, persistentie-mechanismen (RDB/AOF) en langdurige stabiliteitstests.

Conclusie: De in-memory datastore-landschap evolueert snel. Waar Garnet technisch superieur is in prestaties, wint Valkey op het vlak van adoptie en operationaliteit, waardoor het de meest praktische opvolger van Redis wordt voor de breedte van de markt.