💬 NLP

YOCO++: Enhancing YOCO with KV Residual Connections for Efficient LLM Inference

Ce papier présente YOCO++, une méthode améliorée de compression du cache KV pour l'inférence efficace des grands modèles de langage qui, en intégrant des connexions résiduelles pondérées, surpasse les performances du Transformer standard tout en maintenant une efficacité de calcul identique à celle de YOCO.

Auteurs originaux : You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu

Publié 2026-04-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef cuisinier très talentueux (c'est le Grand Modèle de Langage ou LLM) qui doit préparer des plats complexes pour des milliers de clients. Pour travailler vite, vous avez besoin d'un comptoir de travail immense où vous posez tous vos ingrédients et vos notes de recettes (c'est la mémoire KV).

Le problème ? Plus le client demande de plats (plus la conversation est longue), plus votre comptoir devient encombré. Votre cuisine (le serveur) a une taille limitée, et bientôt, vous ne pouvez plus cuisiner car il n'y a plus de place pour les ingrédients.

Voici comment les chercheurs ont résolu ce problème avec leur nouvelle invention, YOCO++.

1. Le Problème : Le Comptoir Trop Plein

Pour cuisiner vite, les chefs modernes utilisent une astuce : ils ne réécrivent pas toute la recette à chaque fois. Ils gardent les notes des étapes précédentes sur le comptoir. Mais si vous avez 22 étages de cuisine (22 couches dans le modèle), vous avez besoin de 22 comptoirs remplis. C'est énorme !

Une première solution, appelée YOCO, a été trouvée : "Pourquoi avoir 22 comptoirs ? Prenons-en seulement 11 (les étages du bas) et utilisons les mêmes notes pour les 11 étages du haut."

Le gain : On économise 50 % d'espace.
Le problème : C'est comme si on forçait les chefs des étages supérieurs à utiliser les notes un peu floues des étages inférieurs. Le plat final est un peu moins bon (la qualité du texte baisse).

2. La Solution : YOCO++ (Le Chef Assistant)

Les auteurs de ce papier ont dit : "On peut garder l'économie d'espace, mais on doit améliorer la qualité des notes."

Voici l'analogie de YOCO++ :
Imaginez que chaque chef d'étage (chaque couche du bas) a un assistant personnel (le premier étage, le plus bas).

Dans l'ancienne méthode (YOCO), le chef prenait ses propres notes et les passait telles quelles à l'étage du dessus.
Dans la nouvelle méthode (YOCO++), avant de passer les notes, le chef les mélange avec les notes de son assistant.

C'est comme si le chef disait : "J'ai mes idées, mais je vais aussi ajouter un peu de l'expérience de mon assistant de base pour enrichir ma note."

Ce mélange est pondéré. Au début, le chef utilise surtout ses propres idées. Mais au fur et à mesure qu'il apprend (pendant l'entraînement), il ajuste le mélange : "Ah, pour cette recette, j'ai besoin de 30 % de l'expérience de mon assistant et 70 % de mes propres idées."

3. Pourquoi c'est génial ? (Les Avantages)

La Mémoire (Le Comptoir) : On n'a toujours besoin que de la moitié de l'espace. On économise toujours 50 % de place.
La Vitesse : C'est aussi rapide que l'ancienne méthode. Le chef n'a pas besoin de courir chercher des ingrédients supplémentaires dans un autre bâtiment (pas de ralentissement).
La Qualité : Le plat final est bien meilleur ! En mélangeant les notes de l'assistant avec celles du chef, on obtient une recette plus précise et plus intelligente. Le modèle comprend mieux le contexte et fait moins d'erreurs.

4. L'Analogie du "Scaling Factor" (Le Volume de la Voix)

Les chercheurs ont remarqué quelque chose d'intéressant : au début, les chefs n'osent pas vraiment écouter leur assistant (le mélange est trop faible).
Pour aider, ils ont ajouté un amplificateur de volume (un facteur d'échelle).
Cela force le chef à écouter plus fort l'assistant dès le début. Résultat ? Le chef apprend beaucoup plus vite à trouver le bon équilibre entre ses idées et celles de l'assistant.

En Résumé

YOCO++ est comme une cuisine ultra-efficace où :

On garde la moitié des comptoirs pour économiser de la place.
On ajoute un système de "télépathie" entre les étages pour que les chefs du haut aient accès aux meilleures idées des étages du bas.
On utilise un "volume" réglable pour que cette télépathie soit apprise rapidement.

Le résultat ? On cuisine plus vite, avec moins d'espace, mais on sert des plats plus délicieux que jamais. C'est une victoire pour l'intelligence artificielle qui veut être à la fois rapide et intelligente !

1. Problématique

L'inférence des grands modèles de langage (LLM) basés sur l'architecture Transformer est fortement limitée par la consommation mémoire du cache Key-Value (KV). Pour atténuer ce goulot d'étranglement, des méthodes de compression inter-couches (cross-layer) ont été développées, telles que YOCO (You Only Cache Once). Ces méthodes réduisent la mémoire en ne conservant les KVs que pour un sous-ensemble de couches (généralement la moitié inférieure) et en réutilisant les KVs d'une couche intermédiaire pour les couches supérieures.

Cependant, ces approches souffrent d'un dégradé de performance non négligeable. Le partage direct des KVs d'une couche à une autre affaiblit la capacité du modèle, car les couches supérieures perdent la capacité de générer leurs propres représentations contextuelles spécifiques. Des solutions antérieures comme FusedKV ont tenté de combiner les KVs de plusieurs couches, mais elles introduisent un surcoût important en termes d'E/S (Input/Output) du cache, ce qui nuit à l'efficacité de l'inférence.

2. Méthodologie : YOCO++

Les auteurs proposent YOCO++, une amélioration de YOCO qui intègre des connexions résiduelles pondérées entre les KVs des couches, tout en préservant l'efficacité de l'inférence.

Architecture et Mécanisme

Structure de base : Comme YOCO, le modèle est divisé en deux parties :
- Décodeur auto (bottom-half) : Les $L/2$ premières couches génèrent leurs propres KVs.
- Décodeur croisé (top-half) : Les $L/2$ couches suivantes réutilisent les KVs de la couche du milieu ( $L/2$ ) sans en générer de nouvelles.
Innovation Clé (Connexions Résiduelles KV) : Au lieu de simplement partager les KVs bruts, YOCO++ applique une combinaison pondérée des KVs de la couche actuelle ( $K_i, V_i$ $K_{i}, V_{i}$ ) et des KVs de la couche du bas ( $K_1, V_1$ $K_{1}, V_{1}$ ) pour chaque couche $i$ $i$ de la moitié inférieure ( $i \in \{2, ..., L/2\}$ $i \in {2, ..., L /2}$ ).
- Les KVs mis en cache ( $K'_i, V'_i$ ) sont calculés comme suit :
  $K'_i = \lambda(\alpha_{i,1}^K K_1 + \alpha_{i,2}^K K_i)$
  $V'_i = \lambda(\alpha_{i,1}^V V_1 + \alpha_{i,2}^V V_i)$
- Les poids résiduels ( $\alpha$ ) sont appris pendant l'entraînement.
Facteur d'Échelle ( $\lambda$ ) : Pour faciliter l'apprentissage des poids résiduels, un facteur d'échelle fixe $\lambda$ (ex: 35) est introduit. Cela permet d'initialiser les poids de manière à ce que le modèle se comporte comme YOCO au début (poids de la connexion résiduelle nulle) tout en permettant une convergence rapide vers des poids optimaux.
Gestion du Cache : Pour éviter le surcoût d'E/S lors du décodage, YOCO++ met en cache les KVs combinés ( $K'_i, V'_i$ ) plutôt que les KVs originaux. Ainsi, lors de la phase de décodage, le modèle accède aux mêmes quantités de données que YOCO, évitant l'augmentation du trafic mémoire.

3. Contributions Clés

Amélioration de la Capacité du Modèle : En introduisant des connexions résiduelles entre les KVs de la couche inférieure et les couches intermédiaires, YOCO++ restaure une partie de l'information perdue par le partage direct, augmentant ainsi la capacité expressive du modèle sans ajouter de couches supplémentaires.
Efficacité Préservée : Contrairement à d'autres méthodes de combinaison (comme FusedKV), YOCO++ ne génère aucun surcoût d'E/S pendant la phase de décodage. La latence de préremplissage (prefilling) et le débit de décodage restent identiques à ceux de YOCO.
Initialisation et Apprentissage : L'utilisation d'un facteur d'échelle $\lambda$ et d'une initialisation spécifique des poids permet de démarrer l'entraînement avec le comportement de YOCO, assurant une stabilité tout en permettant au modèle d'apprendre des combinaisons optimales.

4. Résultats Expérimentaux

Les expériences ont été menées sur un modèle de 1,1 milliard de paramètres (architecture TinyLlama, 22 couches) entraîné sur un sous-ensemble de 100B de tokens du dataset SlimPajama.

Efficacité d'Inférence :
- Latence de préremplissage (TTFT) : YOCO++ est environ 2 fois plus rapide que le Transformer standard, grâce à la sortie anticipée avant les couches supérieures.
- Débit de décodage : YOCO++ maintient un débit supérieur au Transformer standard et équivalent à YOCO, confirmant l'absence de surcoût d'E/S.
Performance du Modèle :
- À un taux de compression de cache KV de 50%, YOCO++ atteint des performances State-of-the-Art (SOTA) parmi les méthodes de compression inter-couches.
- Sur des tâches de raisonnement de bon sens (HellaSwag, OBQA, WinoGrande, ARC, PIQA), YOCO++ surpasse le Transformer standard (moyenne de 48,99 contre 48,37 pour le standard), tandis que YOCO standard est inférieur au standard.
- YOCO++ surpasse également FusedKV et FusedKV-Lite.
Études d'Ablation :
- Sans le facteur d'échelle $\lambda$ , les poids résiduels ne sont pas bien appris et les performances chutent au niveau de YOCO.
- La suppression des connexions résiduelles pour les "Keys" entraîne une dégradation, confirmant l'importance de combiner à la fois les Keys et les Values.

5. Signification et Impact

YOCO++ représente une avancée significative dans le domaine de l'inférence efficace des LLM. Elle démontre qu'il est possible de réduire drastiquement la consommation mémoire du cache KV (de 50%) sans sacrifier, et même en améliorant, la qualité des réponses du modèle par rapport à un Transformer complet.

La méthode résout le compromis traditionnel entre efficacité et performance en introduisant une architecture de connexion résiduelle au niveau des KVs, optimisée pour éviter les goulots d'étranglement d'E/S. Cela rend YOCO++ particulièrement pertinent pour le déploiement de LLM sur du matériel contraint en mémoire (comme les GPU grand public ou mobiles) tout en maintenant des capacités de raisonnement de pointe.