💬 NLP

Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

Dit paper introduceert "Knowledge Packs", een methode die pre-berekende KV-caches injecteert om kennis in causale transformers zonder tokenkosten over te dragen en tegelijkertijd gedragssturing mogelijk maakt via modulaire waarde-aanpassingen, wat resulteert in tot 95% tokenbesparing zonder trainingskosten.

Oorspronkelijke auteurs: Andrey Pustovit

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Andrey Pustovit

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat vergeetachtige assistent hebt. Als je hem iets vraagt, moet je hem eerst alle achtergrondinformatie geven die hij nodig heeft om het antwoord te vinden.

In de huidige wereld van AI (zoals Chatbots) doen we dit via RAG (Retrieval-Augmented Generation). Dat is alsof je elke keer dat je een vraag stelt, een heel boekje met feiten in de hand van je assistent duwt. Hij leest het, verwerkt het, en geeft dan antwoord. Het probleem? Dat boekje telt mee voor de "prijs" (tokens) en vult de ruimte op. Als je veel zoekt, wordt het duur en traag.

De auteurs van dit paper, Andrey Pustovit, hebben een slimme truc bedacht: Knowledge Packs (Kennispakketten).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Vooraf Gemaakte Maaltijd" (Zero-Token Kennis)

Stel je voor dat je een restaurant hebt. Normaal gesproken bestelt de kok (de AI) de ingrediënten pas als de klant (jij) een gerecht bestelt. Hij moet ze dan uit de kast halen, wassen en snijden. Dat kost tijd en energie.

Met Knowledge Packs doet de kok iets anders:

De oude manier (RAG): Je geeft de kok de recepten en ingrediënten pas op het moment van bestellen. Hij moet alles lezen en verwerken.
De nieuwe manier (Knowledge Packs): De kok heeft de ingrediënten al gesneden, gewassen en in een bakje klaarliggen voordat je zelfs maar binnenkomt.

Wanneer je nu een vraag stelt, hoeft de kok niet meer te lezen. Hij pakt gewoon het kant-en-klare bakje en begint direct met koken.

Het resultaat: Je krijgt exact hetzelfde eten (hetzelfde antwoord), maar je betaalt niet voor het "lezen" van de ingrediënten. Je bespaart tot wel 95% aan kosten en tijd.

De belangrijke waarschuwing:
De auteurs ontdekten een valkuil. Als je dat kant-en-klare bakje niet in de juiste verpakking (het juiste "chat-template") stopt, denkt de kok dat het bedorven is. Hij wordt dan verward en geeft slechtere antwoorden. Het is alsof je een luxe maaltijd in een vuilnisbak presenteert: het eten is goed, maar de presentatie maakt de kok gek. Als je de verpakking correct doet, werkt het perfect.

2. De "Stuurknuppel" (Gedrag aansturen zonder woorden)

Dit is het meest magische deel van het papier. Naast het opslaan van feiten, kun je met deze techniek ook de stijl van de AI veranderen zonder extra woorden te gebruiken.

Stel je voor dat de AI een auto is.

Normaal gesproken moet je om de auto sneller te laten rijden, meer gas geven (meer tekst toevoegen zoals "Wees voorzichtig en gedetailleerd").
Met deze nieuwe techniek kun je een geheime knop op het dashboard indrukken. Je verandert niet de tekst die de AI leest, maar je draait een schroefje in de motor (de "waarden" in het geheugen van de AI).

Dit werkt als volgt:

De AI heeft twee soorten geheugen: één voor de feiten (de sleutels) en één voor de gevoelens/stijl (de waarden).
De auteurs ontdekten dat je de "sleutels" niet mag aanraken (dat maakt de auto kapot), maar je kunt wel de "waarden" een duwtje geven.
Als je een duwtje geeft in de richting van "veiligheid" (bijvoorbeeld: "maak foutafhandeling beter"), wordt de AI automatisch voorzichtiger, zonder dat je een woord hoeft toe te voegen.

Het gekke is: je kunt dit doen op specifieke plekken in de "motor" (de middenlaag van de AI). En je kunt zelfs twee duwtjes tegelijk geven: één voor feiten en één voor stijl. Ze botsen niet op elkaar, alsof je tegelijkertijd de radio en de airco aan kunt zetten zonder dat de motor uitvalt.

Samenvatting in één zin

Deze paper zegt: "Waarom moet je elke keer een heel boekje doorgeven aan je AI? Pak de feiten alvast in een kant-en-klaar pakketje (Knowledge Pack) en gebruik een geheime knop om de stijl te regelen. Je bespaart enorm veel geld en tijd, zolang je maar de verpakking correct doet."

Waarom is dit belangrijk?

Voor bedrijven: Het maakt AI veel goedkoper en sneller, vooral als je veel vragen stelt.
Voor de toekomst: Het laat zien dat we AI niet alleen kunnen "leren" door tekst te geven, maar ook door haar interne instellingen slim te manipuleren, net als het afstellen van een instrument.

Probleemstelling

Retrieval-Augmented Generation (RAG) lost het kennisprobleem op door opgezochte tekst in de prompt van een model te plaatsen. Hoewel één zoekopdracht goedkoop is, betalen agenten die herhaaldelijk zoeken een lineaire "token-taks". Bijvoorbeeld: vijf zoekopdrachten kunnen al meer dan 700 tokens verbruiken voor feiten alleen, wat de beschikbare contextruimte snel opvult. De auteurs stellen dat dit inefficiënt is en zoeken naar een manier om kennis te leveren zonder tokens te verbruiken.

Methodologie

Het paper introduceert Knowledge Packs: vooraf berekende KV-cache (Key-Value cache) die kennis leveren tegen nul-tokenkosten tijdens de inferentie.

KV-Prefix Equivalentie:
- Voor decoder-only transformers met causale masking (zoals Llama en Qwen) is de KV-cache gegenereerd door een voorwaartse pass op een tekst $F$ bit-identiek aan de KV-entries voor $F$ in een gezamenlijke pass op $F \circ q$ (feiten gevolgd door een query).
- Dit volgt direct uit de causale masker: token $x_i$ let alleen op $j \leq i$ . De aanwezigheid van de query-tokens achteraf verandert de berekening van de cache voor de feiten niet.
- Conclusie: Je kunt de cache van de feiten offline berekenen en deze als prefix laden tijdens de inferentie, wat resulteert in exact dezelfde output als het invoeren van de tekst in de prompt, maar zonder de tokenkosten.
De Chat Template Valkuil:
- Een kritieke ontdekking is dat KV-caches strikt de chat-template van het model moeten gebruiken (inclusief speciale tokens zoals system).
- Het gebruik van "raw text" (zonder template) leidt tot een prestatiedaling van 6–7 procentpunten (pp) omdat instructie-gefineerde modellen deze input als out-of-distribution beschouwen. Dit verklaart eerdere claims dat KV soms beter presteerde dan RAG; die studies hadden vaak verschillende formaten gebruikt.
Behavioral Steering (Sturing):
- De auteurs benutten de asymmetrie van RoPE (Rotary Positional Embeddings): RoPE roteert de Keys maar laat de Values onaangetast.
- Door contrastieve delta's toe te passen op de cached values (zonder de keys aan te raken), kan men het gedrag van het model sturen zonder de coherentie te breken.
- Dit effect is gelokaliseerd in de middenlagen (33–66%) van het model en verschillende richtingen (bijv. "defensief coderen" vs. "documentatie") zijn bijna orthogonaal en kunnen gecombineerd worden.
Schaling (Banked Routing):
- Om te schalen naar duizenden feiten, worden feiten opgesplitst in "banken" via k-means clustering. Bij een query wordt de juiste bank geselecteerd en wordt de KV-cache van de top-fact dynamisch herberekend (of geladen), wat opslagkosten van <1 KB per feit mogelijk maakt.

Belangrijkste Bijdragen

Wiskundig en Empirisch Bewijs: De auteurs bewijzen de KV-prefix-equivalentie en verifiëren dit empirisch met 0 divergenties over 700 vragen op twee modellen (Qwen3-8B en Llama-3.1-8B).
Identificatie van een Kritieke Fout: Ze tonen aan dat het negeren van de chat-template leidt tot significante prestatieverlies (6–7pp), wat waarschijnlijk de oorzaak is van tegenstrijdige eerdere resultaten in de literatuur.
Zero-Token Kostenbesparing: Ze demonstreren tot 95% besparing op tokens bij meervoudige zoekstappen (accumulatie), terwijl de nauwkeurigheid gelijk blijft aan RAG.
Nieuwe Sturingsmogelijkheden: Ze tonen aan dat het manipuleren van de KV-values (zonder training of gewichtsmodificatie) modelgedrag kan sturen (bijv. naar een formelere of veiligere toon) en dat dit parallel kan lopen met kennislevering.

Resultaten

Nauwkeurigheid: Op de HotpotQA-benchmark (multi-hop vragen) levert "KV-chat" (met template) exact dezelfde resultaten op als RAG (bijv. 65,2% voor Qwen3-8B). Zonder template ("KV-raw") daalt dit naar 59,2%.
Token-efficiëntie: Bij 5 zoekstappen bespaart KV-injectie ongeveer 700 tokens per query (van ~739 tokens bij RAG naar ~35 tokens bij KV).
Sturing: Bij het sturen van coderingsstijl (defensief vs. slordig) bereikt de KV-sturing ongeveer de helft van het effect van tekst-in-prompt, maar met 100% coherentie bij optimale $\alpha$ -waarden (0,5–2,0).
Dual-Channel: Het is mogelijk om kennis (via volledige KV) en sturing (via mid-layer V-delta's) tegelijkertijd te gebruiken. Bij $\alpha \leq 0,7$ blijft de feitelijke nauwkeurigheid volledig behouden terwijl het gedrag (bijv. formaliteit) merkbaar verandert.

Betekenis en Implicaties

Efficiëntie: Knowledge Packs bieden een "lossless" optimalisatie voor RAG. Het vervangen van prompt-injectie door cache-injectie elimineert de tokenkosten voor kennis, wat cruciaal is voor pay-per-token API's en lange agente-workflows.
Architectuur-Afhankelijkheid: Een belangrijke beperking is dat KV-caches niet tussen verschillende modellen kunnen worden overgedragen (een Llama-cache werkt niet in Qwen), in tegenstelling tot tekst.
Nieuwe Besturingsparadigma: Het werk opent de deur voor "activation steering" via de cache, wat betekent dat men modelgedrag kan aansturen zonder extra inferentiestappen of training, zolang men de beperkingen van RoPE respecteert (alleen values aanpassen).
Praktische Toepassing: Voor organisaties die veelvuldig zoeken en genereren, kan dit de kosten drastisch verlagen en de contextlimieten uitstellen, mits de juiste chat-template-formatting wordt gehandhaafd.

Kortom, het paper bewijst dat kennisoverdracht via KV-cache een exacte, kostenefficiënte vervanging is voor traditionele RAG, en introduceert tegelijkertijd een krachtige nieuwe methode om modelgedrag te sturen via de interne states van het model.