Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

1. Problemstellung

Das aktuelle Retrieval-Augmented Generation (RAG) hat einen signifikanten Nachteil: Es fügt extrahierten Text direkt in den Prompt ein. Bei wiederholten Suchanfragen durch Agenten entstehen lineare Token-Kosten. Fünf Suchvorgänge können allein für Fakten über 700 Token verbrauchen, was das Kontextfenster schnell erschöpft und die Kosten erhöht. Zudem führt die manuelle Formatierung von Prompts oft zu Inkonsistenzen, die die Leistung beeinträchtigen.

2. Methodik: Knowledge Packs

Die Autoren schlagen Knowledge Packs vor: vorausberechnete KV-Caches (Key-Value Caches), die Wissen bei null Token-Kosten bereitstellen.

A. KV-Prefix-Äquivalenz (KV–Prefix Equivalence)

In Decoder-only-Transformern mit kausaler Maskierung (Causal Masking) ist der KV-Cache, der aus einem separaten Vorwärtsdurchlauf eines Faktentextes $F$ resultiert, bitgenau identisch mit den KV-Einträgen für $F$, die in einem gemeinsamen Durchlauf von $F$ gefolgt von einer Abfrage $q$ entstehen würden.

• Prinzip: Da Token $x_i$ nur auf $j \le i$ achten, ändern sich die KV-Werte für den vorgegebenen Text $F$ nicht, wenn später eine Abfrage angehängt wird.
• Vorteil: Man kann $F$ offline berechnen und den Cache als Prefix beim Inferenzzeitpunkt laden. Die Ausgabe ist byte-identisch zu einer RAG-Lösung, aber mit $O(1)$ Token-Kosten statt $O(n)$.

B. Kritische Anforderung: Chat-Templates

Ein zentraler Befund ist, dass der KV-Cache exakt im Chat-Template des Modells formatiert sein muss (inklusive spezieller Tokens wie system).

• Fehlerquelle: Die Verwendung von „rohem Text" ohne Template-Tokens führt bei instruction-tuned Modellen zu einem Leistungsabfall von 6–7 Prozentpunkten (pp).
• Ursache: Spezial-Tokens fungieren als Modus-Schalter für das Modell. Ohne sie ist der Cache außerhalb der Trainingsverteilung (Out-of-Distribution). Dies erklärt frühere Behauptungen, dass KV-Injektion RAG übertreffe (diese Studien hatten oft unterschiedliche Formatierungen).

C. Banked Routing & Komposition

• Skalierung: Um über ein einzelnes Kontextfenster hinauszugehen, werden Fakten per K-Means-Clustering in „Banks" partitioniert. Bei einer Abfrage wird die passende Bank ausgewählt, und der KV-Cache für die Top-Fakten wird on-the-fly neu berechnet (ca. 5 ms).
• Komposition: Um mehrere Caches zu kombinieren, müssen sie sequentiell verarbeitet werden (Cache B wird mit Cache A als Prefix berechnet), um die Positions-Encodings (RoPE) korrekt fortzusetzen. Einfaches Aneinanderreihen bricht die Positionen.

D. Value-Space Steering (Verhaltenssteuerung)

Da RoPE (Rotary Position Embedding) die Keys rotiert, aber die Values (V) unverändert lässt, können Differenzen in den Values (V-Deltas) genutzt werden, um das Verhalten zu steuern, ohne die Kohärenz zu zerstören.

• Methode: $V_{steered} = V_{base} + \alpha \cdot (V_{good} - V_{bad})$.
• Lokalisierung: Der Effekt konzentriert sich auf die mittleren Schichten (33–66%).
• Orthogonalität: Unterschiedliche Steuerungsrichtungen (z. B. „defensiver Code" vs. „Dokumentation") sind nahezu orthogonal und können kombiniert werden.

3. Hauptbeiträge

1. Beweis und Verifikation der KV-Prefix-Äquivalenz: Empirisch bestätigt an 700 Fragen (Qwen3-8B und Llama-3.1-8B) mit null Abweichungen bei korrekter Formatierung. Identifizierung des Chat-Templates als kritischer Fehlerpunkt.
2. Token-Einsparung: Bis zu 95% Token-Einsparung bei multi-stufigen Suchvorgängen (bis zu 5 Schritten), da nur die Abfrage als Token gezählt wird.
3. Verhaltenssteuerung ohne Training: Demonstration, dass kontrastive V-Deltas das Modellverhalten (z. B. Code-Qualität) steuern können, ohne Gewichte zu ändern oder den Inferenzlauf neu zu starten.
4. Dual-Channel-Architektur: Gleichzeitige Nutzung von Knowledge Packs (Wissenslieferung) und Value-Steering (Verhaltensanpassung) ohne gegenseitige Beeinträchtigung (bei $\alpha \le 0.7$).

4. Ergebnisse

• HotpotQA Benchmark:
  • Genauigkeit: KV-chat (mit Template) erreicht exakt die gleiche Genauigkeit wie RAG (z. B. 65,2% bei Qwen, 61,5% bei Llama).
  • Token-Kosten: RAG benötigt bei 5 Suchschritten ca. 739 Token, KV-Injektion nur 35 Token (95% Ersparnis).
  • Formatierungsfehler: KV-raw (ohne Template) führt zu einem Abfall von ca. 6 pp.
• Steering-Ergebnisse:
  • Bei Code-Aufgaben konnte die Qualität defensiver Programmierung signifikant gesteigert werden (z. B. von 0,60 auf 1,93 bei Qwen), während die syntaktische Kohärenz bei moderaten $\alpha$-Werten (bis 2,0) bei 100% blieb.
  • Mid-Layer-Steering ist fast so effektiv wie Full-Layer-Steering.
• Dual-Channel: Bei $\alpha \le 0,7$ bleibt die faktenbasierte Genauigkeit (Exact Match) voll erhalten, während der Formalitäts-Score um 20% steigt.

5. Bedeutung und Implikationen

• Kostenreduktion: Knowledge Packs bieten eine verlustfreie Optimierung für RAG, die besonders für API-basierte Dienste (Pay-per-Token) und lange Agenten-Workflows relevant ist.
• Architekturabhängigkeit: Ein Nachteil ist, dass KV-Caches nicht zwischen verschiedenen Modellarchitekturen übertragbar sind (im Gegensatz zu reinem Text).
• Neue Steuerungsmöglichkeiten: Die Arbeit zeigt, dass der KV-Raum nicht nur für Wissensspeicherung, sondern auch als Schnittstelle zur Verhaltensmodifikation genutzt werden kann, ohne das Modell neu zu trainieren.
• Korrektur früherer Studien: Die Arbeit klärt auf, dass viele frühere Vergleiche zwischen KV und RAG durch Formatierungsfehler (fehlende Templates) verzerrt waren und KV nicht per se „besser", sondern nur effizienter ist.

Fazit: Die Methode ermöglicht eine effiziente, token-freie Wissenslieferung und eröffnet neue Wege zur Feinabstimmung von Modellverhalten durch Manipulation des KV-Cache-Zustands, vorausgesetzt, die Chat-Templates werden strikt eingehalten.