Samyama: A Unified Graph-Vector Database with In-Database Optimization, Agentic Enrichment, and Hardware Acceleration

Dit paper introduceert Samyama, een hoogwaardige, in Rust geschreven graf-vectordatabase die diverse datawerklasten, analytische engines en metaheuristische optimalisatieoplossingen verenigt in één engine met in-database optimalisatie, agens-verrijking en hardwareversnelling voor verbeterde prestaties op standaardhardware.

Madhulatha Mandarapu, Sandeep Kunkunuru

Gepubliceerd Tue, 10 Ma
📖 5 min leestijd🧠 Diepgaand

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een enorme, chaotische bibliotheek hebt. In deze bibliotheek staan boeken over alles: over hoe mensen met elkaar verbonden zijn (zoals een stamboom), over wat ze denken (woorden en betekenissen), en over hoe je de beste route kunt vinden voor een vrachtwagen.

Tot nu toe moesten bibliothecarissen (de ontwikkelaars) voor elk type informatie een ander gebouw gebruiken. Ze moesten boeken over relaties in één gebouw zetten, zoekwoorden in een ander, en berekeningen in een derde. Om de informatie te gebruiken, moesten ze constant heen en weer rennen, kopieën maken en de boeken opnieuw ordenen. Dit heet ETL (Extract, Transform, Load), en het is traag, duur en foutgevoelig.

Samyama is de oplossing voor dit probleem. Het is een nieuw, revolutionair "super-gebouw" dat alles in één plek doet. De naam komt uit het Sanskriet en betekent "integratie" of "eenheid".

Hier is hoe Samyama werkt, vertaald naar alledaagse beelden:

1. De Alles-in-Één Bibliotheek (De Unificatie)

In plaats van drie aparte gebouwen, heeft Samyama één groot, slim gebouw.

  • Het Grafische Netwerk: Het houdt bij wie met wie verbonden is (zoals een sociale kaart).
  • De Vector Zoeker: Het begrijpt de betekenis van woorden. Als je zoekt op "auto", vindt het ook "voertuig" of "fiets", zelfs als dat woord niet exact staat.
  • De Slimme Rekenaar: Het lost complexe problemen op, zoals: "Wat is de goedkoopste route voor 100 vrachtwagens?" zonder dat je de data eerst naar een andere computer moet sturen.

De Analogie: Stel je voor dat je een kok bent. Normaal moet je je groenten in de ene kamer snijden, je vlees in de andere bakken en je saus in de derde maken, en dan alles samenvoegen. Samyama is een keuken waar je alles op één groot, supersnel fornuis doet. Je hoeft niet meer te rennen; alles gebeurt op één plek.

2. De Slimme Magazijnbeheerder (Late Materialization)

In een normaal systeem, als je vraagt: "Wie zijn de vrienden van Jan?", haalt de computer eerst alle gegevens van Jan op (zijn adres, zijn favoriete kleur, zijn geboortedatum), ook al heb je daar niet om gevraagd. Dat is als een magazijnbeheerder die een hele pallet met dozen naar je toe rijdt, terwijl je maar één blikje soep nodig hebt.

Samyama gebruikt een truc genaamd "Late Materialization".

  • Hoe het werkt: De beheerder zegt: "Ik heb alleen de naam van Jan nodig." Hij geeft je een klein briefje met alleen de naam. Pas op het allerlaatste moment, als je echt vraagt "Wat is zijn adres?", haalt hij die specifieke doos uit de schappen.
  • Het resultaat: Het is 4 tot 5 keer sneller omdat hij niet onnodig zware dozen hoeft te dragen.

3. De Zelflerende Robot (Agentic Enrichment)

Dit is misschien wel het coolste deel. Stel, je bibliotheek mist een boek over een nieuw medicijn.

  • Oude manier: Jij moet zelf op internet zoeken, het boek kopen en het zelf inplakken.
  • Samyama manier: De bibliotheek heeft een AI-assistent (een robot) in dienst. Als hij ziet dat er informatie ontbreekt, denkt de robot: "Ik ga online zoeken, ik lees het artikel, en ik schrijf het zelf in het systeem."
  • Veiligheid: De robot heeft een strenge supervisor die controleert of hij geen onzin verzint (hallucinaties) of het gebouw niet vernielt.

4. De Super-Snelheid (Hardware Versnelling)

Samyama is geschreven in Rust, een programmeertaal die bekend staat om zijn veiligheid en snelheid. Het gebruikt ook de kracht van je videokaart (GPU) om zware berekeningen te doen.

  • Vergelijking: Als een gewone computer een zware taak doet met één wielrenner, doet Samyama het met een heel peloton renners die perfect op elkaar afgestemd zijn.
  • Resultaat: Het kan 255.000 nieuwe "mensen" (data-punten) per seconde toevoegen aan de database. Dat is alsof je in één seconde een stad vol mensen toevoegt aan je contactenlijst.

5. Waarom is dit belangrijk voor jou?

Voor bedrijven betekent dit dat ze niet meer hoeven te wachten op rapporten.

  • Geen meer wachten: Als ze willen weten welke producten het beste verkopen in combinatie met welke klanten, gebeurt dat direct.
  • Minder fouten: Omdat de data niet meer heen en weer hoeft te worden gesleept tussen verschillende systemen, verdwijnen de fouten die daarbij horen.
  • Slimmer beslissen: De computer kan niet alleen zoeken, maar ook zelf de beste oplossing bedenken voor complexe problemen (zoals leveringsroutes of energiebesparing).

Samenvattend

Samyama is als het bouwen van een super-organism voor data. In plaats van losse organen (een grafische database hier, een zoekmachine daar), heb je één lichaam dat alles kan: onthouden, begrijpen, zoeken en nadenken. Het maakt data niet alleen sneller toegankelijk, maar laat de database ook zelf leren en groeien, net als een levend systeem.

De onderzoekers hebben getoond dat dit werkt op heel gewone computers (zoals een kleine Apple Mac Mini), wat betekent dat je niet per se een miljardair hoeft te zijn om deze superkrachtige technologie te gebruiken.