Tamarin (HSQ): Reversible Hierarchical KV-Cache Compression for LLM Inference
Tamarin (HSQ) führt ein reversibles, dreistufiges hierarchisches KV-Cache-Kompressionsverfahren ein, das Token in eine fokale Ebene, gelernte Zusammenfassungsvektoren und ein CPU-basiertes Archiv leitet, um eine 12- bis 28-fache Reduzierung des GPU-Speichers für die LLM-Inferenz bei langen Kontexten zu erreichen, während die Perplexität und die Genauigkeit beim Abruf nahezu auf Baseline-Niveau gehalten werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein massives, 32.000 Seiten starkes Buch auf einem winzigen Tablet zu lesen. Das Problem ist nicht der Text des Buches; es ist, dass der Speicher Ihres Tablets sofort voll ist, nur indem es die Seiten hält, die Sie bereits gelesen haben. In der Welt der KI wird dieser „Speicher“ als KV-Cache bezeichnet, und für große Modelle verbraucht er die gesamte Leistung Ihres Computers, was dazu führt, dass alte Seiten weggeworfen werden müssen, um Platz für neue zu machen.
Die meisten aktuellen Lösungen gleichen einem Bibliothekar, der, wenn das Regal voll wird, entscheidet, die Bücher wegzuwerfen, von denen er glaubt, dass Sie sie nicht benötigen werden. Er behält vielleicht die ersten paar Seiten und die letzten, aber wenn Sie plötzlich eine Frage zu einem Detail in der Mitte des Buches stellen, ist diese Seite für immer verloren. Das Papier nennt dies „Eviction“ (Verdrängung) und argumentiert, dass dies ein fataler Fehler ist, da man nicht vorhersagen kann, was ein Benutzer als Nächstes fragen wird.
Die große Idee: Der magische Index, nicht die Mülltonne
Die Autoren dieses Papiers von Siamang Labs schlagen einen anderen Ansatz namens Tamarin (technisch bekannt als HSQ) vor. Anstatt Seiten wegzuwerfen, behandeln sie den Speicher wie einen riesigen, durchsuchbaren Index.
So funktioniert ihr dreistufiges System unter Verwendung einer Bibliotheksanalogie:
- Das „VIP“-Regal (L1): Ein kleiner, Hochgeschwindigkeitsabschnitt auf Ihrem Tablet (GPU) hält die wichtigsten Seiten und die allerneuesten. Diese werden in voller Detailtiefe aufbewahrt, nur ein wenig verkleinert (4-Bit-Präzision).
- Die „Hinweis-Karten“ (L2): Für den Rest des Buches erstellt das System winzige, 3-Bit „Hinweis-Karten“ für jede Gruppe von 8 bis 16 Seiten. Diese Karten enthalten nicht die Geschichte; sie enthalten lediglich eine Zusammenfassung dessen, wonne die Seiten handeln. Sie leben ebenfalls auf Ihrem Tablet.
- Das „Tiefe Archiv“ (L3): Der vollständige, originale Text jeder einzelnen Seite ist in einem riesigen Lagerhaus gegenüber der Straße (CPU-RAM) gespeichert, ebenfalls auf 4-Bit-Präzision geschrumpft.
Wie es in Echtzeit funktioniert
Wenn die KI liest und plötzlich eine Frage beantworten muss, rät sie nicht. Sie schaut zuerst in die Hinweis-Karten (L2). Eine kluge, winzige „Leser“-KI bewertet diese Karten, um zu sehen, welche Gruppen von Seiten relevant für die aktuelle Frage sind.
Wenn eine Karte vielversprechend aussieht, rennt das System sofort zum Tiefen Archiv (L3), holt die Originalseiten und bringt sie zurück zum Tablet, gerade bevor die KI ihre Entscheidung trifft.
Das Papier beweist, dass dieser „Indizierungs“-Ansatz der Schlüssel ist. In einem Test, bei dem sie den Schritt „Abruf aus dem Archiv“ deaktivierten, sank die Fähigkeit des Systems, versteckte Informationen zu finden (genannt „Needle-in-a-Haystack“-Retrieval), auf 0 %. Dies bestätigt, dass die Hinweis-Karten nur für das Routing zuständig sind; der eigentliche Inhalt lebt im Archiv.
Die Ergebnisse: Massive Einsparungen bei fast keinen Kosten
Das Papier hat dies an mehreren Modellen gemessen (speziell der Qwen3-Familie, die von 0,6 Milliarden bis 14 Milliarden Parametern reicht). Hier ist, was sie fanden:
- Speichereinsparungen: Bei einer Kontextlänge von 32.000 Token schrumpft Tamarin die GPU-Speicherauslastung um das 12- bis 28-fache. Beispielsweise benötigt ein Modell, das normalerweise 4,5 GiB Speicher für den Cache bei 32K Token benötigt, nur etwa 172 MiB auf der GPU. Der Rest lebt im CPU-RAM.
- Qualität: Für größere Modelle (4B und 8B Parameter) ist die Qualität fast identisch mit der unkomprimierten Version. Die „Perplexität“ (ein Maß dafür, wie verwirrt die KI wird) steigt nur um 0,1 % bis 0,4 %. Die KI stimmt in 96 % bis 97 % der Fälle mit der Originalversion bei der Wortwahl überein.
- Retrieval: In Tests mit 500 Versuchen, einen versteckten Code an verschiedenen Tiefen im Text zu finden, fand das 8B-Modell den Code 500 von 500 Mal, was statistisch dem unkomprimierten Baseline-Modell entspricht.
Was das Papier ausschließt und wo es scheitert
Die Autoren sind sich sehr klar darüber, was dies nicht ist und wo es Schwierigkeiten hat:
- Es ist keine Geschwindigkeitssteigerung: Das Papier stellt explizit fest, dass Tamarin die KI nicht schneller macht. Tatsächlich sinkt die Geschwindigkeit bei 32K Token auf etwa 17–18 % der normalen Geschwindigkeit, da Daten aus dem CPU-Archiv abgerufen werden müssen. Der Trade-off ist Kapazität (mehr Text unterbringen) gegen Geschwindigkeit.
- Es funktioniert nicht perfekt bei winzigen Modellen: Für das kleinste getestete Modell (0,6B Parameter) ist der Qualitätsverlust höher. Das Papier stellt einen Anstieg der Perplexität um 6–10 % bei der Verwendung von 4-Bit-Gewichten fest, was für diese spezifische Größe als Fehlschlag gilt.
- Es ist keine magische Lösung für alle KI-Familien: Die Methode funktioniert hervorragend bei Qwen3-Modellen, aber als sie es mit einer anderen Familie (Mistral-7B) versuchten, waren die Ergebnisse ungeordnet, mit einem Rückgang der Genauigkeit um 20 Prozentpunkte bei bestimmten Tiefen. Die Autoren vermuten, dass dies daran liegt, dass Mistral keinen spezifischen „Normalisierungsschritt“ besitzt, den Qwen hat, was die „Hinweis-Karten“ schwerer lesbar macht.
- Ein spezifischer „fragiler“ Checkpoint: Selbst beim 14B-Modell gab es zwei spezifische Stellen im Text, an denen das System Schwierigkeiten hatte, die versteckte Nadel zu finden, wobei die Genauigkeit auf 80,4 % sank. Das Papier schreibt dies einem spezifischen Fehler im Training dieses Modells zu, nicht der Methode selbst.
Das Fazbeispiel
Das Papier legt nahe, dass Tamarin für große Modelle (4B und aufwärts) ein bewährter Weg ist, um massive Mengen an Text in begrenzten Speicher zu passen, ohne Informationen dauerhaft zu löschen. Es verwandelt das Problem des „Platzmangels“ in ein Problem des „Index-Managements“. Obwohl es die Prozesse verlangsamt und eine sorgfältige Abstimmung für verschiedene KI-Typen erfordert, löst es erfolgreich den Speicherengpass für Long-Context-Aufgaben, bei denen das Behalten jedes einzelnen Informationsstücks entscheidend ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.