💬 NLP

YOCO++: Enhancing YOCO with KV Residual Connections for Efficient LLM Inference

O artigo apresenta o YOCO++, uma melhoria do método de compressão de KV cache YOCO que utiliza conexões residuais ponderadas entre camadas para alcançar desempenho superior ao do Transformer padrão, mantendo a eficiência de inferência.

Autores originais: You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu

Publicado 2026-04-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está organizando uma biblioteca gigante de memórias para um robô superinteligente (o Modelo de Linguagem ou LLM) que precisa escrever histórias ou responder perguntas.

Para funcionar rápido, esse robô precisa manter um "rascunho" de tudo o que já leu na conversa atual. Esse rascunho é chamado de Cache KV (Key-Value). O problema é que, conforme a conversa fica longa, esse rascunho cresce tanto que enche a memória do computador, tornando o robô lento e caro para operar.

Aqui entra a história do YOCO++, uma solução inteligente para esse problema. Vamos entender como funciona usando analogias simples:

1. O Problema: A Biblioteca Cheia

Pense no robô como tendo várias camadas de "cérebro" (camadas de uma rede neural). Cada camada cria seu próprio rascunho da conversa.

O jeito antigo (Transformers normais): O robô guarda um rascunho separado para cada uma das 22 camadas do cérebro. Isso ocupa muita memória.
O primeiro truque (YOCO): Para economizar espaço, os pesquisadores criaram o YOCO. A ideia era: "Por que guardar 22 rascunhos se podemos guardar apenas os das primeiras 11 camadas e pedir para as últimas 11 usarem o mesmo rascunho da camada do meio?".
- Resultado: A memória cai pela metade! O robô fica muito mais rápido.
- O defeito: Como as camadas superiores estão usando um rascunho "antigo" ou "genérico" (da camada do meio), elas perdem um pouco de precisão. É como se um advogado experiente tivesse que usar as anotações de um estagiário para fechar um caso. O resultado é um pouco pior.

2. A Solução Criativa: O "Rascunho com Memória de Longo Prazo" (YOCO++)

Os autores do YOCO++ pensaram: "E se pudéssemos dar às camadas inferiores um rascunho que tenha o melhor dos dois mundos? Algo que seja o rascunho atual, mas que também lembre do que aconteceu no início da conversa?"

Eles criaram uma conexão residual ponderada. Vamos usar uma analogia de receita de bolo:

YOCO (Antigo): Você pega a massa pronta da camada do meio e usa para fazer o bolo das camadas de cima. É rápido, mas o sabor é sempre o mesmo.
YOCO++ (Novo): Em cada camada inferior, o robô pega a massa atual e mistura um pouco da massa original da primeira camada (o início da conversa).
- Ele usa uma "fórmula mágica" (pesos aprendidos) para decidir quanto da massa antiga misturar com a nova.
- A analogia da memória: É como se você estivesse escrevendo um livro. Em cada capítulo novo, você olha rapidamente para o primeiro capítulo para garantir que não esqueceu o nome do protagonista ou o tom da história, antes de escrever o novo.

3. O Segredo da Eficiência: "Não Reescreva, Apenas Misture"

Você pode pensar: "Espera, se ele vai misturar coisas, não vai demorar mais e gastar mais memória?"

Aqui está a genialidade do YOCO++:

Eles não guardam o rascunho antigo e o novo separadamente.
Eles misturam o rascunho atual com o rascunho do início antes de guardar na memória.
Analogia do Guarda-Chuva: Em vez de carregar um guarda-chuva velho e um novo separadamente, você funde os dois em um único guarda-chuva super-resistente e guarda apenas esse.
Resultado: O robô tem a inteligência de lembrar do início da conversa (melhor desempenho), mas ocupa exatamente a mesma quantidade de espaço que o método antigo (mesma velocidade).

4. O "Ajuste Fino" (O Fator de Escala)

Os pesquisadores descobriram que, para o robô aprender a misturar as memórias corretamente, eles precisavam de um "empurrãozinho".

Eles introduziram um fator de escala (como um amplificador de volume).
Imagine que o robô estava tentando aprender a tocar violão, mas as cordas estavam muito frouxas. O fator de escala é como apertar as cordas para que o som fique claro e a música (o aprendizado) saia perfeita. Sem isso, o robô não aprendia a misturar as memórias direito.

Resumo dos Resultados

Velocidade: O YOCO++ é tão rápido quanto o YOCO e o dobro do que um robô normal (porque usa metade da memória).
Inteligência: O YOCO++ é mais inteligente que o YOCO e até melhor que os robôs normais que usam memória cheia! Ele consegue entender contextos longos sem "esquecer" o início da conversa.
Conclusão: É como ter um assistente que tem a memória de um elefante, mas ocupa o espaço de um hamster, e ainda por cima, escreve textos melhores.

Em suma: O YOCO++ é uma atualização de software que permite que os robôs de IA sejam mais rápidos e mais espertos ao mesmo tempo, misturando memórias antigas e novas de forma inteligente sem sobrecarregar o computador.

Resumo Técnico: YOCO++

1. O Problema

A inferência de Grandes Modelos de Linguagem (LLMs) baseados em Transformers enfrenta um gargalo significativo no consumo de memória devido ao Cache de Chave-Valor (KV Cache). Para mitigar isso, métodos de compressão de KV entre camadas (cross-layer KV compression) foram desenvolvidos. Essas técnicas reduzem o consumo de memória mantendo e reutilizando os KVs de um subconjunto de camadas para as demais.

No entanto, o método anterior mais promissor, YOCO (You Only Cache Once), que compartilha os KVs da camada do meio com as camadas superiores, sofre de uma degradação de desempenho não negligenciável. A causa raiz é que o compartilhamento direto de KVs de uma camada para outra enfraquece a capacidade do modelo, pois impede que as camadas superiores aprendam representações específicas independentes. Métodos que tentam corrigir isso, como o FusedKV, introduzem sobrecarga de E/S (I/O) no cache, prejudicando a eficiência.

2. Metodologia

O YOCO++ propõe uma melhoria sobre o YOCO ao incorporar conexões residuais ponderadas entre os KVs, sem sacrificar a eficiência de inferência.

Mecanismo de Combinação: Em vez de simplesmente compartilhar os KVs de uma camada intermediária, o YOCO++ aplica uma combinação ponderada dos KVs da camada inferior (base) com os KVs de cada camada no meio inferior (bottom-half layers).
- Para cada camada $i$ na metade inferior, os novos KVs ( $K'_i, V'_i$ ) são calculados como:
  $K'_i = \lambda(\alpha^1_{i} K_1 + \alpha^2_{i} K_i)$
  $V'_i = \lambda(\alpha^1_{i} V_1 + \alpha^2_{i} V_i)$
  Onde $K_1, V_1$ são os KVs da primeira camada, e $\alpha$ são pesos residuais aprendíveis.
Cache de KVs Combinados: Para evitar a sobrecarga de E/S durante a decodificação (que ocorreria se o modelo precisasse buscar KVs originais de múltiplas camadas a cada passo), o YOCO++ cacheia os KVs já combinados ( $K'_i, V'_i$ ). Isso mantém a mesma estrutura de acesso à memória do YOCO original.
Fator de Escala ( $\lambda$ ): Os autores introduzem um hiperparâmetro fixo de escala ( $\lambda > 1$ , empiricamente definido como 35) para facilitar o aprendizado dos pesos residuais. Os pesos são inicializados de modo que o estado inicial do modelo seja idêntico ao do YOCO (peso da camada base = 0, peso da camada atual = 1), permitindo que o modelo aprenda a adicionar informação da camada base gradualmente.
Arquitetura:
- Metade Inferior (Self-decoder): Calcula e combina seus próprios KVs com os da camada base, armazenando o resultado combinado.
- Metade Superior (Cross-decoder): Reutiliza os KVs combinados da camada do meio ( $K'_{L/2}, V'_{L/2}$ ), que agora carregam mais informação do que os KVs originais.

3. Contribuições Principais

Novo Mecanismo de Resíduo em KV: Propõe a primeira aplicação de conexões residuais ponderadas especificamente entre os KVs de camadas diferentes para melhorar a capacidade do modelo em esquemas de compressão.
Eficiência Preservada: Diferente de métodos anteriores que aumentam a latência de E/S, o YOCO++ mantém a mesma eficiência de inferência e treinamento do YOCO original, pois o cache armazenado e acessado tem o mesmo tamanho.
Desempenho Superior: Demonstra que é possível superar o desempenho do Transformer padrão (sem compressão) enquanto se mantém uma taxa de compressão de cache de 50%.

4. Resultados Experimentais

Os experimentos foram realizados em modelos de 1,1 bilhão de parâmetros (baseados em TinyLlama/Llama-2) com 22 camadas.

Eficiência de Inferência:
- Latência de Preenchimento (Prefilling): Reduzida em 50% em comparação ao Transformer padrão (igual ao YOCO), pois as camadas superiores são puladas.
- Throughput de Decodificação: Consistentemente superior ao Transformer padrão em diferentes tamanhos de contexto, permitindo batch sizes maiores devido à menor memória. O YOCO++ iguala o throughput do YOCO e do FusedKV-Lite, superando o FusedKV (que sofre com sobrecarga de E/S).
Desempenho do Modelo (Precisão):
- Em tarefas de raciocínio de senso comum (HellaSwag, OBQA, WinoGrande, ARC, PIQA), o YOCO++ alcançou o estado da arte (SOTA) entre os métodos de compressão de KV entre camadas.
- Comparação: O YOCO++ superou o Transformer padrão em média de precisão (48.99% vs 48.37%), enquanto o YOCO original ficou abaixo do padrão.
- Perda de Validação: O YOCO++ apresentou a menor perda de validação (2.4194) em comparação ao Transformer (2.4266) e ao YOCO (2.4372).
Estudos de Ablação:
- Sem o fator de escala ( $\lambda$ ), o desempenho cai drasticamente, indicando que a escala é crucial para o aprendizado dos pesos.
- A remoção das conexões residuais apenas para as Chaves (Keys) também degrada o desempenho, confirmando que ambas as conexões (Chaves e Valores) são benéficas.

5. Significado e Conclusão

O YOCO++ representa um avanço significativo na otimização de inferência de LLMs. Ele resolve o dilema clássico entre eficiência de memória e capacidade do modelo. Ao demonstrar que a compressão de KV não precisa sacrificar a precisão — e pode até superá-la em relação ao modelo não comprimido —, o trabalho oferece uma solução prática para a implantação de LLMs em hardware com recursos limitados. A técnica de "resíduo de KV" proposta pode ser um novo padrão para futuras arquiteturas de compressão, equilibrando a retenção de informação crítica das camadas iniciais com a eficiência computacional.