💬 NLP

AtlasKV: Augmenting LLMs with Billion-Scale Knowledge Graphs in 20GB VRAM

Het artikel introduceert AtlasKV, een methode die grote taalmodellen parametrisch uitbreidt met miljarden kennisgrafiek-triples in minder dan 20GB VRAM zonder externe zoekmodules of hertraining.

Oorspronkelijke auteurs: Haoyu Huang, Hong Ting Tsang, Jiaxin Bai, Xi Peng, Gong Zhang, Yangqiu Song

Gepubliceerd 2026-04-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoyu Huang, Hong Ting Tsang, Jiaxin Bai, Xi Peng, Gong Zhang, Yangqiu Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

AtlasKV: Hoe je een AI een geheugen geeft zonder hem te laten "stikken"

Stel je voor dat een Large Language Model (LLM), zoals een slimme chatbot, een enorme bibliotheek in zijn hoofd heeft. Maar deze bibliotheek is beperkt tot wat hij tijdens zijn opleiding heeft geleerd. Als je hem iets vraagt dat niet in dat boek staat, of als je hem iets vraagt over een heel specifiek onderwerp dat net gisteren is gebeurd, raakt hij in de war.

Om dit op te lossen, gebruiken mensen vaak een trucje genaamd RAG (Retrieval-Augmented Generation). Dit is alsof je de chatbot een zoekmachine geeft. Als je een vraag stelt, zoekt de machine eerst in een enorme database, plukt de relevante bladzijden uit, en geeft die aan de chatbot om het antwoord te formuleren.

Het probleem met de huidige methode:
Dit werkt goed, maar het is traag en duur. Het is alsof je elke keer dat je een vraag stelt, een hele bibliotheek moet doorzoeken, de boeken moet openen, en de hele tekst moet kopiëren naar het hoofd van de chatbot. Als de database gigantisch is (bijvoorbeeld met miljarden feiten), wordt dit proces zo zwaar dat het je computer laat crashen of uren duurt.

De oplossing: AtlasKV
De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd AtlasKV. Ze noemen het een "parametrische" methode. In plaats van dat de chatbot elke keer moet zoeken, hebben ze de feiten direct in het "geheugen" van de chatbot ingebouwd, maar op een slimme manier die niet veel ruimte inneemt.

Hier is hoe ze dat doen, vertaald naar alledaagse analogieën:

1. KG2KV: Het vertalen van feiten naar "herinneringen"

Stel je voor dat je een kennisgrafiek (Knowledge Graph) hebt. Dit is een gigantisch web van feiten, zoals: "John heeft een bedrijf gesticht" of "Deze stad ligt in Frankrijk".
De oude methoden probeerden deze feiten als lange zinnen in de chatbot te proppen. AtlasKV doet iets slimmers: KG2KV.

De Analogie: Stel je voor dat je een enorme lijst met feiten hebt. In plaats van de hele lijst te kopiëren, verandert AtlasKV elk feit in een klein, specifiek "vraag-antwoord" paar dat perfect past in het interne systeem van de chatbot.
Het neemt een feit als "John heeft StockLemon.com gesticht" en maakt er twee delen van:
- Een sleutel (Key): "Wat is de oorzaak van John's succes?" (of "Wie heeft StockLemon.com gesticht?")
- Een waarde (Value): "John" (of "StockLemon.com").
De chatbot kan deze sleutels en waarden nu direct opslaan in zijn eigen "werkgeheugen" (de aandachtslaag), alsof het zijn eigen herinneringen zijn. Dit maakt het veel sneller en zorgt dat de chatbot beter begrijpt waarom iets waar is, in plaats van het alleen te lezen.

2. HiKVP: De slimme bibliothecaris

Nu hebben we een probleem: wat als je 1 miljard feiten hebt? Je kunt niet 1 miljard herinneringen tegelijk in je hoofd houden zonder dat je hersenen exploderen (of in dit geval, je videokaart volloopt).

Hier komt HiKVP (Hierarchical Key-Value Pruning) om de hoek kijken.

De Analogie: Stel je voor dat je een enorme bibliotheek hebt met 1 miljard boeken.
- De oude methode: Je loopt naar elke schap, pakt elk boek, en leest de titel om te zien of het relevant is. Dit duurt eeuwen.
- AtlasKV met HiKVP: Je hebt een slimme bibliothecaris met een hiërarchisch systeem.
  1. Eerst kijkt hij alleen naar de hoofdingangen van de bibliotheken (bijv. "Wetenschap", "Geschiedenis"). Hij ziet: "Ah, de vraag gaat over wetenschap, dus we kunnen alle geschiedenisboeken negeren."
  2. Dan kijkt hij alleen naar de afdelingen binnen "Wetenschap".
  3. Pas aan het einde, bij de specifieke schappen, pakt hij de boeken die echt nodig zijn.
Door dit stapsgewijs te doen, hoeft de computer maar een heel klein deel van de 1 miljard feiten tegelijk te bekijken. Het is alsof je een gigantische berg sneeuw eerst in grote blokken deelt, en pas aan het einde de specifieke sneeuwvlok pakt die je nodig hebt.

Waarom is dit zo geweldig?

Het past op een gewone computer: De paper laat zien dat je met minder dan 20GB videogeheugen (wat op een goede gaming-kaart past) een AI kunt trainen met 1 miljard feiten. De oude methoden hadden daarvoor vaak supercomputers nodig.
Het is supersnel: Omdat de AI niet hoeft te "zoeken" in een externe database, maar gewoon naar zijn eigen interne geheugen kijkt, is het antwoord veel sneller.
Het is flexibel: Je kunt nieuwe feiten toevoegen zonder de hele AI opnieuw te hoeven trainen. Het is alsof je nieuwe boeken in de bibliotheek zet die de slimme bibliothecaris direct kan vinden.

Kortom:
AtlasKV is als het geven van een super-geheugen aan een AI, zonder dat je hem hoeft te laten "stikken" in informatie. Het vertaalt complexe feiten naar een taal die de AI begrijpt (KG2KV) en gebruikt een slim sorteer-systeem (HiKVP) om ervoor te zorgen dat de AI alleen kijkt naar wat belangrijk is, zelfs als er miljarden feiten zijn. Hierdoor wordt slimme AI met enorme kennisbronnen toegankelijk voor iedereen, zelfs op gewone computers.

Probleemstelling

Retrieval-Augmented Generation (RAG) heeft bewezen nuttig te zijn voor het verrijken van Large Language Models (LLMs) met externe kennis. Echter, deze niet-parametrische aanpak heeft aanzienlijke beperkingen, vooral bij schaalvergroting:

Latentie en Kosten: RAG-methoden zijn afhankelijk van externe zoekmodules en lange contextvensters. Bij zeer grote kennisbanken (bijv. miljarden triples) ontstaan hoge inferentielatenties door dure zoekopdrachten (zoals nearest-neighbor searches) en de noodzaak om enorme hoeveelheden tekst in het contextvenster te laden.
Schaalbaarheid van Parametrische Methoden: Traditionele parametrische methoden (zoals LoRA of adapters) vereisen vaak hertraining van het model bij het toevoegen van nieuwe kennis, wat duur en onpraktisch is. Bestaande nieuwe parametrische paradigma's (zoals KBLaM) die kennis direct in de attention-layers injecteren, lijden onder slechte schaalbaarheid: de reken- en geheugenkosten groeien lineair met de grootte van de kennisbank ( $O(M)$ ), wat onhaalbaar wordt voor kennisbanken met miljarden triples binnen beperkt GPU-geheugen (VRAM).

Methodologie: AtlasKV

AtlasKV is een schaalbare, parametrische methode om LLMs te verrijken met kennisgrafen (KGs) van miljarden schaal (bijv. 1 miljard triples) met een zeer laag GPU-geheugengebruik (< 20GB). De methode introduceert twee kerninnovaties:

1. KG2KV (Knowledge Graph to Key-Value)

Om het probleem van de kwaliteit en diversiteit van trainingsdata aan te pakken, transformeert AtlasKV KG-triples $(h, r, t)$ direct naar Q-K-V (Query-Key-Value) data die compatibel zijn met de self-attention mechanismen van LLMs.

Methode: In plaats van synthetische data te genereren met vaste schema's, worden triples natuurlijk omgezet.
- De 'head' of 'tail' van een triple wordt gemaskeerd (dit wordt de Value).
- De relatie ( $r$ ) wordt herschreven naar een zelfstandig naamwoord (bijv. "because" $\rightarrow$ "cause") om de Key te vormen.
- De Key wordt gebruikt als basis voor de Query door er vraagwoorden aan toe te voegen (bijv. "What is the...").
Voordeel: Dit creëert een hoge diversiteit aan vragen en attributen, wat de generalisatievermogen van het model in Out-of-Distribution (OOD) scenario's sterk verbetert ten opzichte van synthetische methoden.

2. HiKVP (Hierarchical Key-Value Pruning)

Om het probleem van schaalbaarheid en geheugenoverhead op te lossen, introduceert AtlasKV een hiërarchische pruning-algoritme.

Hiërarchische Clustering: De Key-vectoren van de KGKVs worden geclusterd in een hiërarchische structuur (bijv. 3 lagen: Root, Inter, Leaf) met behulp van UMAP en Gaussian Mixture Models.
Inferentieproces: Tijdens de inferentie worden niet alle $M$ $M$ kennisitems geladen. In plaats daarvan:
1. Er wordt eerst gezocht in de Root-lagen (kleinste set) om de meest relevante clusters te identificeren.
2. Alleen de geselecteerde Inter-lagen worden geladen en beoordeeld.
3. Tot slot worden de meest relevante Leaf-lagen (de feitelijke kennis) geladen en gebruikt voor de attention-berekening.
Complexiteit: Hierdoor daalt de tijd- en geheugencomplexiteit van lineair ( $O(M)$ ) naar sub-lineair ( $O(\sqrt[3]{M})$ ). Dit maakt het mogelijk om met 1 miljard triples te werken binnen <20GB VRAM, terwijl traditionele methoden >40GB nodig zouden hebben voor slechts 100.000 triples.

Belangrijkste Bijdragen

AtlasKV Framework: Een schaalbare methode voor end-to-end kennisintegratie van KGs van miljarden schaal in LLMs met minimaal GPU-gebruik.
KG2KV Pipeline: Een innovatieve data-conversiemethode die KG-triples omzet in hoogwaardige Q-K-V data, wat leidt tot superieure generalisatie zonder de noodzaak van externe zoekmodules of lange contextvensters.
HiKVP Algorithm: Een hiërarchische pruning-methode die de inferentie-efficiëntie drastisch verhoogt door de complexiteit sub-lineair te houden, zonder significante verlies in kennisnauwkeurigheid.
Training-vrije Adaptatie: Het model kan zich aanpassen aan nieuwe kennisbanken zonder hertraining van de LLM-parameters (alleen de KG-specifieke projectie-heads worden getraind).

Resultaten

Experimenten zijn uitgevoerd op diverse datasets (Enron, ATLAS-CC-QKV, ATLAS-Pes2o-QKV) met een schaal van 1 tot 1 miljard triples.

Geheugenefficiëntie: AtlasKV vereist minder dan 20GB VRAM om 1 miljard triples te verwerken. In vergelijking hiermee vereist KBLaM meer dan 40GB VRAM voor slechts 100.000 triples.
Nauwkeurigheid (Knowledge Grounding): AtlasKV behaalt aanzienlijk hogere Top-1 en Top-5 nauwkeurigheid dan KBLaM en ICL (In-Context Learning), vooral op moeilijke OOD-datasets.
- Op de ATLAS-Pes2o-QKV dataset behaalde AtlasKV een Top-1 nauwkeurigheid van 87,3% (bij 1000 triples) tegenover 16,4% voor KBLaM.
Generalisatie: Dankzij de KG2KV methode generaliseert AtlasKV beter naar ongeziene vraagtypes dan methoden die afhankelijk zijn van synthetische trainingsdata.
Schaalbaarheid: De prestaties blijven stabiel naarmate de grootte van de kennisbank toeneemt, terwijl de VRAM-gebruik slechts marginaal stijgt (dicht bij de zero-shot baseline).

Betekenis en Impact

AtlasKV vertegenwoordigt een doorbraak in het veld van kennisverrijkte LLMs door de "trilemma" van schaalbaarheid, geheugenkosten en generalisatie op te lossen.

Het maakt het mogelijk om miljarden feiten direct in het geheugen van een LLM te integreren zonder de inferentie te vertragen door lange contextvensters of dure externe zoekopdrachten.
Het biedt een kostenefficiënt alternatief voor RAG, wat essentieel is voor applicaties met beperkte hardware (zoals lokale deployments op consumer GPU's).
De methode bewijst dat parametrische kennisintegratie niet noodzakelijkerwijs lineaire schaalproblemen hoeft te hebben, waardoor het pad vrijmaakt voor het gebruik van enorme, real-world kennisgrafen in generatieve AI-systemen.

Kortom, AtlasKV combineert de voordelen van parametrische integratie (snelheid, geen externe zoekmodules) met de schaalbaarheid die nodig is voor moderne, data-intensieve toepassingen.