💬 NLP

YaRN: Efficient Context Window Extension of Large Language Models

O YaRN é um método computacionalmente eficiente para estender a janela de contexto de modelos de linguagem baseados em RoPE, permitindo que modelos como o LLaMA extrapolem comprimentos de sequência muito maiores do que o treinamento original permitia, com menos tokens e etapas de treinamento do que métodos anteriores.

Autores originais: Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

Publicado 2026-02-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente de leitura muito inteligente, mas que sofre de uma "amnésia de curto prazo" severa. Ele consegue ler um capítulo de um livro perfeitamente, mas se você der uma enciclopédia inteira para ele, ele começa a se confundir, esquece o que leu no início e acaba "alucinando" ou perdendo o fio da meada.

Esse assistente é o que chamamos de LLM (como o ChatGPT). O problema é que eles têm um "limite de visão" (a janela de contexto). O artigo YaRN apresenta uma técnica para dar a esse assistente uma "supervisão" e uma memória de longo alcance, sem precisar reeducá-lo do zero.

Aqui está a explicação do que eles fizeram, usando analogias:

1. O Problema: A Régua que Encolhe (Position Interpolation)

Para entender a ordem das palavras, os modelos usam uma espécie de "régua invisível" (chamada RoPE) que marca a posição de cada palavra.

Imagine que você está tentando medir uma estrada usando uma régua de 30 cm. Se a estrada tem 1 km, você precisa de muitas réguas. O método antigo (chamado PI) tentava resolver isso "espremendo" a estrada para caber na régua. O problema? Ao espremer a estrada, você perde os detalhes: as marcas de cada metro ficam borradas. É como tentar ler um mapa de uma cidade inteira que foi encolhido até ficar do tamanho de um selo postal. Você vê que existe uma cidade, mas não consegue mais distinguir as ruas.

2. A Solução YaRN: O "Zoom Inteligente"

O YaRN (que significa "Mais uma técnica de extensão de RoPE") é muito mais esperto. Em vez de espremer tudo de uma vez, ele usa uma estratégia de zoom seletivo.

Imagine que você tem um telescópio.

Para as coisas que estão muito perto (palavras vizinhas), o YaRN mantém o foco nítido, sem mexer em nada. Ele sabe que para entender uma frase, você precisa de precisão milimétrica.
Para as coisas que estão muito longe (o início de um livro em relação ao fim), ele aplica um "zoom out" suave. Ele entende que, para saber se o personagem morreu no capítulo 10, ele não precisa saber a cor exata da meia que o personagem usava, mas sim o contexto geral.

Ele trata as frequências de informação de forma diferente: o que é detalhe fino, ele preserva; o que é contexto geral, ele estica.

3. O Tempero Especial: O Ajuste de Temperatura

Além de ajustar a "régua", os pesquisadores descobriram um truque extra: o ajuste de temperatura no Softmax.

Pense nisso como o "volume" da atenção do assistente. Quando o texto fica muito longo, o assistente começa a ficar sobrecarregado de informações e "grita" com tudo, perdendo a capacidade de distinguir o que é importante. O YaRN ajusta esse volume (a temperatura) para que, mesmo em textos gigantescos, o assistente consiga manter a calma e focar no que realmente importa, sem se perder no ruído.

4. Por que isso é incrível? (Os Resultados)

Os cientistas provaram que o YaRN é:

Muito Econômico: É como se, em vez de mandar o assistente para uma faculdade de 4 anos para aprender a ler livros longos, você desse apenas um "treinamento intensivo" de alguns dias. Ele aprende muito mais rápido e gasta muito menos energia (computação).
Um Mestre da Extrapolação: Se você treinar o assistente para ler 64 páginas, o YaRN permite que ele consiga ler 128 páginas com uma qualidade surpreendente, quase como se ele já tivesse sido treinado para isso.

Resumo da Ópera

O YaRN é como trocar uma lupa de brinquedo por um sistema de lentes de alta tecnologia que sabe exatamente quando deve dar zoom nos detalhes e quando deve mostrar a paisagem completa. Isso permite que a Inteligência Artificial "leia" livros inteiros, códigos de programação gigantescos ou documentos jurídicos complexos sem perder o sentido do que aconteceu na primeira página.

Resumo Técnico: YaRN (Yet another RoPE extensioN method)

1. O Problema: A Barreira do Contexto

Os Grandes Modelos de Linguagem (LLMs) baseados em Transformers utilizam Rotary Position Embeddings (RoPE) para codificar informações posicionais. Embora o RoPE seja altamente eficaz, esses modelos sofrem de uma limitação fundamental: eles não conseguem generalizar para sequências que excedam o comprimento de contexto utilizado durante o seu pré-treinamento.

Métodos anteriores de extensão tentaram resolver isso, mas apresentavam falhas:

Position Interpolation (PI): Estica todas as dimensões do RoPE igualmente, o que causa a perda de informações de alta frequência, degradando a capacidade do modelo de distinguir tokens próximos.
NTK-aware Interpolation: Tenta mitigar a perda de alta frequência, mas é difícil determinar o parâmetro ideal de escala e pode causar extrapolação indesejada em certas dimensões.

2. Metodologia: A Abordagem YaRN

O YaRN propõe uma solução que combina três conceitos principais para estender a janela de contexto de forma eficiente e sem perda de performance:

A. NTK-by-parts (Interpolação por Partes)

Em vez de tratar todas as dimensões do RoPE da mesma forma, o YaRN analisa o comprimento de onda ( $\lambda$ ) de cada dimensão em relação ao tamanho do contexto ( $L$ ):

Dimensões de alta frequência ( $\lambda \ll L$ ): Não são interpoladas, preservando a capacidade do modelo de entender a ordem relativa de tokens próximos.
Dimensões de baixa frequência ( $\lambda \geq L$ ): São interpoladas para evitar que as distâncias fiquem fora da distribuição (extrapolação).
Dimensões intermediárias: Utilizam uma função de transição suave (ramp function) para transitar entre os dois comportamentos.

B. Escalonamento de Atenção (Attention Scaling)

O artigo observa que a interpolação altera a entropia das distribuições de atenção. Para compensar isso, o YaRN introduz um fator de temperatura ( $t$ ) aplicado aos logits antes do softmax da atenção. Isso ajuda a manter a perplexidade estável, independentemente do comprimento da sequência. O método é implementado de forma eficiente através de um "truque de escalonamento de comprimento", sem necessidade de alterar o código do mecanismo de atenção.

C. Dynamic Scaling (Escalonamento Dinâmico)

Para uso em inferência (como na geração autoregressiva), o YaRN permite o Dynamic-YaRN. Em vez de fixar um fator de escala $s$ para todo o ciclo, o fator é atualizado dinamicamente com base no comprimento da sequência atual. Isso permite que o modelo degrade de forma graciosa em vez de falhar abruptamente ao atingir o limite de treinamento.

3. Principais Contribuições

Eficiência de Treinamento: O YaRN requer cerca de 10 vezes menos tokens e 2,5 vezes menos passos de treinamento do que os métodos anteriores para atingir resultados superiores.
Extrapolação de Contexto: Demonstra a capacidade de "treinar curto e testar longo" (train short, test long). Por exemplo, um modelo treinado com dados de 64k tokens consegue extrapolar com sucesso para 128k tokens.
Compatibilidade: Por ser uma modificação nos embeddings de posição, é totalmente compatível com implementações otimizadas como o Flash Attention 2.

4. Resultados Experimentais

Perplexidade: Em testes com o dataset Proof-pile, o YaRN superou consistentemente o PI e o NTK-aware, mantendo uma perplexidade baixa mesmo em janelas de contexto muito longas.
Recuperação de Passkey (Passkey Retrieval): O modelo demonstrou uma precisão superior a 99% na tarefa de recuperar uma chave numérica em contextos de até 128k tokens.
Benchmarks Padronizados: Ao estender o Llama 2, o YaRN manteve o desempenho em tarefas de raciocínio e conhecimento (MMLU, ARC-Challenge, etc.) muito próximo ao modelo original, com uma degradação mínima.
Eficiência Computacional: O método mostrou-se significativamente mais rápido para convergir durante o ajuste fino (fine-tuning) em comparação com o método PI.

5. Significância

O YaRN representa um avanço crucial para a democratização de modelos de contexto longo. Ele resolve o dilema entre manter a precisão local (tokens próximos) e permitir a visão global (contexto longo), fazendo-o com um custo computacional drasticamente reduzido. Isso permite que pesquisadores e empresas estendam a capacidade de modelos existentes (como a família Llama) para lidar com documentos extensos, livros ou bases de código inteiras de forma prática e eficiente.