💬 NLP

YOCO++: Enhancing YOCO with KV Residual Connections for Efficient LLM Inference

Die Arbeit stellt YOCO++ vor, eine Weiterentwicklung der YOCO-Methode für die effiziente Inferenz von Large Language Models, die durch gewichtete Residualverbindungen zwischen den unteren Schichten die Leistung bei gleichzeitiger 50%iger KV-Cache-Komprimierung verbessert und dabei den Standard-Transformer übertrifft.

Ursprüngliche Autoren: You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu

Veröffentlicht 2026-04-16

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

YOCO++: Der clevere Assistent für große KI-Modelle

Stell dir vor, ein riesiges Sprachmodell (wie ein sehr kluger Chatbot) ist wie ein Genie, das einen riesigen Schreibtisch hat. Um eine Frage zu beantworten, muss das Genie auf seine Notizen zurückgreifen, die es während des Gesprächs gesammelt hat. Diese Notizen nennt man im Fachjargon „KV-Cache".

Das Problem: Je länger das Gespräch wird, desto mehr Notizen häufen sich an. Der Schreibtisch wird voll, das Genie muss immer länger suchen, und es braucht immer mehr Platz (Speicher). Das macht das Gespräch langsam und teuer.

Das alte Problem: „YOCO" (Nur einmal speichern)

Ein früherer Versuch, das Problem zu lösen, hieß YOCO („You Only Cache Once").

Die Idee: Statt für jeden Schritt des Gesprächs neue Notizen anzulegen, sagt das Genie: „Ich speichere die Notizen nur für die ersten Hälfte meiner Gedankenprozesse. Für die zweite Hälfte nutze ich einfach eine Kopie der mittleren Notizen."
Der Vorteil: Der Schreibtisch ist halb so voll! Das Genie ist doppelt so schnell.
Der Nachteil: Weil die Kopie nicht perfekt ist, wird das Genie etwas dümmer. Es macht mehr Fehler, weil es wichtige Details aus den unteren Ebenen seines Denkens vermisst. Es ist wie ein Schüler, der nur die Zusammenfassung liest und die Details der Vorlesung ignoriert.

Die neue Lösung: YOCO++ (Die magische Verbindung)

Die Forscher haben sich gefragt: „Wie machen wir das Genie wieder schlauer, ohne den Schreibtisch wieder vollzumachen?"

Ihre Lösung ist YOCO++. Stell dir das so vor:

Der Residual-Connection-Trick (Die Rückkopplung):
In YOCO++ gibt es eine magische Leitung zwischen dem ersten Notizblock (dem Boden) und jedem weiteren Block in der unteren Hälfte.
- Die Analogie: Stell dir vor, das Genie schreibt einen neuen Satz auf einen Zettel. Bevor es diesen Zettel ablegt, holt es sich einen kleinen, wichtigen Tipp aus seinem allerersten Notizblock und schreibt ihn mit einem speziellen Stift (einem „gewichteten" Stift) direkt auf den neuen Zettel dazu.
- Das Genie behält also nicht nur die aktuellen Gedanken, sondern mischt sie intelligent mit den allerersten, grundlegenden Gedanken. So vergisst es nie den Anfang des Gesprächs.
Der Skalierungs-Faktor (Der Verstärker):
Anfangs war das Genie etwas verwirrt, weil es nicht wusste, wie stark es den Tipp aus dem ersten Block nutzen sollte. Die Forscher haben einen „Verstärker" (einen Skalierungsfaktor) eingebaut.
- Die Analogie: Stell dir vor, der Tipp aus dem ersten Block war anfangs nur ein Flüstern. Der Verstärker macht aus dem Flüstern ein deutliches, lautes Signal, damit das Genie es gut hören und lernen kann. Ohne diesen Verstärker würde das Genie die Verbindung ignorieren und wieder dümmer werden.

Warum ist das so cool?

Geschwindigkeit: Das Genie ist immer noch doppelt so schnell wie vorher, weil es immer noch nur die Hälfte der Notizen speichern muss.
Intelligenz: Durch die „magische Leitung" (die Residual-Connection) ist das Genie jetzt sogar schlauer als das Original, das alle Notizen gespeichert hat! Es macht weniger Fehler und versteht Zusammenhänge besser.
Kein Extra-Aufwand: Es kostet keine extra Energie oder Speicherplatz. Es ist wie ein Software-Update, das die Hardware effizienter nutzt.

Zusammenfassung in einem Satz

YOCO++ ist wie ein genialer Assistent, der seinen Schreibtisch halbiert hat, um schneller zu sein, aber durch eine clevere Verbindung zwischen seinen ersten und aktuellen Gedanken sogar noch schlauer wird als jemand, der den vollen Schreibtisch hat.

Das Ergebnis: Schnellere KI, weniger Speicherbedarf und bessere Antworten – das ist der aktuelle Weltrekord für effiziente KI-Inferenz!

1. Problemstellung

Die Inferenz von Large Language Models (LLMs) auf Basis des Transformer-Architektur wird oft durch den Key-Value (KV) Cache zum Flaschenhals. Dieser Cache speichert die Attention-Werte für bereits verarbeitete Tokens und wächst linear mit der Sequenzlänge, was den Speicherbedarf und die I/O-Last bei langen Kontexten erheblich erhöht.

Zur Lösung wurden Cross-Layer-Kompressionsmethoden entwickelt (z. B. YOCO, LCKV), die KV-Caches nur für eine Teilmenge der Schichten speichern und diese in den verbleibenden Schichten wiederverwenden.

Nachteil: Diese Methoden führen zwar zu einer signifikanten Speichereinsparung (z. B. 50 %), verursachen jedoch eine nicht zu vernachlässigende Leistungsverschlechterung (Performance Degradation).
Ursache: Das direkte Teilen der KVs einer Schicht mit anderen Schichten schwächt die Modellkapazität, da die spezifischen Informationen der einzelnen Schichten verloren gehen.
Bestehende Ansätze: Methoden wie FusedKV versuchen dies durch gewichtete Kombinationen von KVs aus mehreren Schichten zu verbessern, führen aber oft zu zusätzlichem I/O-Overhead beim Caching, was die Inferenzgeschwindigkeit beeinträchtigt.

2. Methodik: YOCO++

Das Paper stellt YOCO++ vor, eine Weiterentwicklung der YOCO-Methode, die die Leistung verbessert, ohne die Effizienz zu opfern.

Grundprinzip von YOCO: YOCO teilt die KVs der mittleren Schicht ( $L/2$ ) mit den oberen Schichten ( $L/2 + 1$ bis $L$ ). Die unteren Schichten berechnen ihre eigenen KVs, die oberen nutzen die geteilten.
Innovation von YOCO++:
- Statt die KVs der oberen Schichten direkt zu teilen, führt YOCO++ gewichtete Residualverbindungen zwischen den KVs in den unteren Schichten ein.
- In jeder unteren Schicht $i$ (wobei $i \in \{2, ..., L/2\}$ ) werden die KVs der aktuellen Schicht ( $K_i, V_i$ ) mit den KVs der allerersten Schicht ( $K_1, V_1$ ) kombiniert.
- Die Formel lautet:
  $K'_i = \alpha_{i,1}^K K_1 + \alpha_{i,2}^K K_i$
  $V'_i = \alpha_{i,1}^V V_1 + \alpha_{i,2}^V V_i$
  Hierbei sind $\alpha$ lernbare Gewichte.
- Caching-Strategie: Anstatt die ursprünglichen KVs zu cachen, werden die kombinierten KVs ( $K'_i, V'_i$ ) gespeichert. Die oberen Schichten nutzen dann die kombinierten KVs der mittleren Schicht ( $K'_{L/2}, V'_{L/2}$ ), die mehr Information enthalten als die ursprünglichen.
Skalierungsfaktor ( $\lambda$ ): Um das Lernen der Residualgewichte zu erleichtern, wird ein Skalierungsfaktor $\lambda > 1$ eingeführt. Die Gewichte werden initialisiert als $\alpha_{i,2} = 1/\lambda$ und $\alpha_{i,1} = 0$ , sodass der Startzustand dem von YOCO entspricht. Empirisch erwies sich $\lambda = 35$ als optimal.
Effizienz: YOCO++ fügt nur vier lernbare Parameter pro unterer Schicht hinzu. Der Rechenaufwand für die gewichtete Kombination ist vernachlässigbar im Vergleich zur Attention-Mechanik. Der Speicherverbrauch bleibt identisch zu YOCO, da nur die kombinierten KVs (anstatt der ursprünglichen) gespeichert werden.

3. Wichtige Beiträge

Verbesserte Modellkapazität: Durch die Einführung von KV-Residualverbindungen wird die Informationsdichte in den geteilten KVs erhöht, was die Leistungsabnahme bei der Kompression kompensiert.
Kein I/O-Overhead: Im Gegensatz zu ähnlichen Ansätzen (wie FusedKV) werden die kombinierten KVs direkt gecacht. Dies vermeidet zusätzlichen Cache-I/O-Overhead während der Decodierungsphase, was die Inferenzgeschwindigkeit hochhält.
State-of-the-Art Performance: YOCO++ erreicht bei einer KV-Cache-Kompressionsrate von 50 % die beste Leistung unter allen Cross-Layer-Kompressionsmethoden und übertrifft sogar den Standard-Transformer ohne Kompression.

4. Ergebnisse

Die Experimente basierten auf einem 1,1 Mrd. Parameter großen Modell (TinyLlama-Architektur) mit 22 Schichten.

Inferenz-Effizienz:
- Prefilling-Latenz: YOCO++ ist etwa doppelt so schnell wie der Standard-Transformer (da die oberen Schichten frühzeitig beendet werden können).
- Decoding-Durchsatz: YOCO++ erreicht einen höheren Durchsatz als der Standard-Transformer und ist vergleichbar mit YOCO und FusedKV-Lite. Im Gegensatz dazu leidet FusedKV unter I/O-Overhead und hat einen niedrigeren Durchsatz.
Modellleistung (Zero-Shot):
- Auf Common-Sense-Reasoning-Aufgaben (HellaSwag, OBQA, WinoGrande, ARC, PIQA) erzielte YOCO++ die höchste durchschnittliche Genauigkeit (48,99 %).
- Zum Vergleich: Standard-Transformer (48,37 %), YOCO (47,98 %), FusedKV (48,42 %).
- YOCO++ übertraf somit sowohl den komprimierten YOCO als auch den unkomprimierten Standard-Transformer.
Ablationsstudie:
- Ohne den Skalierungsfaktor $\lambda$ konnte das Modell die Residualgewichte nicht effektiv lernen (Leistung ähnlich wie YOCO).
- Das Entfernen der Residualverbindungen für die Keys führte zu einer Leistungsverschlechterung, was zeigt, dass sowohl Keys als auch Values kombiniert werden müssen.

5. Bedeutung und Fazit

YOCO++ adressiert das fundamentale Dilemma zwischen Speichereffizienz und Modellleistung bei LLM-Inferenz. Es demonstriert, dass durch geschickte Kombination von Residualverbindungen auf KV-Ebene und einer intelligenten Caching-Strategie die Nachteile von Cross-Layer-Sharing überwunden werden können.

Die Methode ermöglicht eine 50%ige Reduktion des KV-Cache-Speichers bei gleichzeitiger Steigerung der Gesamtleistung über den unkomprimierten Basismodell hinaus, ohne zusätzliche Latenz oder I/O-Kosten zu verursachen. Dies macht YOCO++ zu einem vielversprechenden Ansatz für den effizienten Einsatz von LLMs in ressourcenbeschränkten Umgebungen. Der Code ist öffentlich verfügbar.