🤖 AI

Long-Context Fine-Tuning with Limited VRAM

Este artigo apresenta um framework de ajuste fino de contexto longo e eficiente em termos de memória, combinando Atenção Global Hierárquica, retropropagação por segmentos e armazenamento de KV em camadas para permitir o treinamento em sequências de até 16.384 tokens e a avaliação de até 131.072 tokens em uma única GPU de 16 GB com desempenho comparável à atenção densa.

Autores originais: Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle

Publicado 2026-07-20

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a ler uma biblioteca cheia de livros. O robô tem um cérebro brilhante, mas sua "memória de trabalho" — a pequena mesa que ele usa para pensar enquanto lê — é incrivelmente pequena. No mundo da inteligência artificial, essa mesa é chamada de VRAM (Video Random Access Memory). Se o robô tentar ler uma história longa, ele precisa se lembrar de cada palavra que já leu para entender a frase atual. Mas se a história for muito longa, a mesa do robô fica entulhada e ele trava antes de conseguir terminar a lição. Este é o problema do "contexto longo": como ensinamos esses modelos a se lembrarem de milhares de palavras sem ficarem sem espaço na mesa?

Para resolver isso, cientistas desenvolveram alguns truques. Um é o QLoRA, que é como comprimir o cérevel do robô em uma mochila menor e mais leve para que caiba na mesa. Outro é a atenção densa (dense attention), que é a forma do robô olhar de volta para cada uma das palavras que ele leu até agora para encontrar as pistas certas. Embora isso funcione muito bem para histórias curtas, torna-se impossível para histórias longas porque o robô tem que carregar todo o histórico em sua minúscula memória de trabalho. Este artigo explora uma nova maneira de ensinar esses robôs a lidar com histórias massivas sem precisar de uma mesa gigante, usando uma mistura inteligente de truques de memória e um novo estilo de leitura tipo "mecanismo de busca".

O Problema: A Pequena Mesa do Robô

Imagine que você está estudando para um exame de história. Você tem um livro didático de 10.000 páginas. Seu cérebro só consegue conter cerca de 2.000 páginas de notas de uma vez. Se você tentar ler a página 8.000, precisará se lembrar do que aconteceu na página 100, mas suas notas estão cheias. No passado, os modelos de IA eram como estudantes que tentavam manter uma cópia de cada página individual que já haviam lido em suas mesas. Se o livro ficasse muito longo, a mesa explodia.

Os autores deste artigo queriam treinar um modelo chamado Qwen3-8B (um robô inteligente com 8 bilhões de "neurônios") em uma placa de vídeo específica chamada Quadro RTX 5000, que possui apenas 16 GB de memória. Eles tentaram ensiná-lo usando um método padrão chamado "atenção densa". O resultado? O robô conseguia lidar com uma história de 2.048 tokens (um token é um pedaço de uma palavra, como uma sílaba ou uma palavra curta). Mas assim que tentaram tornar a história 4.096 tokens longa, a mesa do robô encheu e o treinamento travou. Ele simplesmente não conseguia acomodar a memória do passado no pequeno espaço disponível.

A Solução: A Biblioteca de "Atenção Global Hierárquica" (HGA)

A equipe criou uma nova estratégia chamada Atenção Global Hierárquica (HGA). Em vez de tentar manter cada palavra do passado em cima da mesa, eles construíram um sistema de arquivamento inteligente de dois níveis.

Pense na história como uma biblioteca enorme.

Os Resumos (O Catálogo): Primeiro, o robô cria um pequeno cartão de resumo para cada bloco de 64 tokens da história. Esses cartões de resumo são tão pequenos que todos podem caber na mesa.
Os Grupos (As Prateleiras): Dentro desses blocos, existem grupos menores de 8 tokens. O robô mantém um cache de resumos para esses grupos também.
Os Livros Reais (As Palavras Exatas): Quando o robô precisa ler uma parte específica da história, ele não carrega a biblioteca inteira. Ele olha para os cartões de resumo na mesa, escolhe os blocos mais relevantes e, então, traz apenas as palavras exatas (os dados de "Chave" e "Valor") desses blocos específicos da sala de armazenamento (RAM ou disco rígido) para a mesa.

Isso é como ter um bibliotecário que sabe exatamente quais páginas você precisa. Em vez de carregar o livro inteiro, o bibliotecário traz apenas as três páginas que você está procurando. O resto do livro permanece na prateleira (na RAM ou no disco rígido), ocupando zero espaço na sua mesa.

Como Funciona na Prática

Os pesquisadores dividiram a história longa em segmentos. Eles treinam o robô em um segmento de cada vez.

O Segmento Ativo: A parte atual da história sendo aprendida está na mesa.
O Histórico: As partes passadas estão armazenadas na "sala de armazenamento".
A Magia: Quando o robô precisa olhar para trás, ele usa os cartões de resumo para encontrar as páginas certas, busca apenas aquelas páginas específicas, traz as informações e aprende com elas. Assim que termina esse segmento, ele empurra as páginas antigas de volta para a sala de armazenamento para abrir espaço para o próximo segmento.

Este método é chamado de retropropagação por segmento (segment-wise backpropagation). É como estudar um capítulo, fazer um teste e depois limpar sua mesa para estudar o próximo capítulo, mantendo um mapa de onde estão os fatos importantes nos capítulos anteriores.

Os Resultados: Histórias Maiores, Mesma Mesa

A equipe testou isso em sua placa de vídeo de 16 GB. Aqui está o que aconteceu:

O Jeito Antigo (Atenção Densa): Conseguia lidar apenas com 2.048 tokens. Em 4.096 tokens, falhou completamente.
O Novo Jeito (HGA): Treinou com sucesso em histórias de até 16.384 tokens (e até testou até 32.768 tokens) na exata mesma placa.

O uso de pico de memória para o novo método foi de 15,28 GB, o que cabe confortavelmente dentro do limite de 16 GB. O robô pôde lidar com uma história 8 vezes mais longa do que antes sem precisar de uma mesa maior.

Velocidade e Qualidade: É uma Troca?

Geralmente, quando tornamos algo mais inteligente ou maior, isso fica mais lento. Os autores verificaram se este novo método era mais lento.

Em 1.024 tokens, o novo método foi cerca de 20% mais lento que o antigo. Isso ocorre porque a "busca" pelas páginas certas leva um tempo extra quando a história é curta.
No entanto, em 2.048 tokens, o novo método foi na verdade ligeiramente mais rápido (217,75 tokens por segundo vs. 207,02 tokens por segundo).
Os autores explicam que, conforme a história fica mais longa, o método antigo tem que olhar para mais e mais palavras, tornando-se mais lento. O novo método olha apenas para um número fixo e pequeno de palavras importantes, então sua velocidade permanece constante. Eles preveem que, para histórias muito longas, o novo método será muito mais rápido.

O robô aprendeu tão bem quanto? Eles testaram o conhecimento do robô usando um teste de leitura padrão (conjunto de dados PG19).

O robô treinado com o novo método pontuou 2,7405 (uma medida de quão bem ele prevê a próxima palavra).
O robô treinado com o método antigo pontuou 2,7383.
A diferença é mínima (0,0022), o que significa que o novo método aprendeu tão bem quanto o antigo, mesmo olhando para menos palavras.

A Pegadinha: O Que o Robô Ainda Não Consegue Fazer

O artigo é muito honesto sobre o que este método não consegue fazer ainda.

Vazamento Causal (Causal Leakage): Se você treinar o robô por um tempo muito longo (centenas de milhões de tokens), ele pode começar a trapacear. Como o robô agrupa palavras para criar resumos, uma palavra inicial pode acidentalmente "ver" informações sobre uma palavra posterior que ela não deveria conhecer ainda. Isso é chamado de "vazamento causal". Os autores dizem que isso não é um problema para sessões de treinamento curtas (como as 100 etapas que eles fizeram), mas não recomendam usar isso para treinar um robô do zero para um projeto massivo de vários anos ainda.
Inferência (Ler a História): O robô pode aprender usando este novo método, mas quando chega a hora de ler ou escrever uma história, ele atualmente usa o método padrão, mais lento, para garantir que funcione com softwares existentes. Os autores estão trabalhando em uma versão de "nível de produção" que permitirá que o robô leia usando o novo método rápido também, mas isso ainda não está pronto.

Conclusão

Este artigo mostra que você não precisa de um computador gigante e super caro para treinar IA em histórias longas. Ao usar um sistema de arquivamento inteligente (HGA) e um estilo de aprendizado "por blocos", você pode encaixar uma sessão de treinamento de 16.384 tokens em uma placa de vídeo de 16 GB que anteriormente só conseguia lidar com 2.048 tokens. O robô aprende tão bem quanto, e conforme as histórias ficam mais longas, este novo método torna-se mais rápido que o antigo. É um truque inteligente que transforma um limite de memória em um quebra-cabeça gerenciável, abrindo as portas para uma IA mais inteligente que pode ler livros inteiros sem ficar sem espaço na mesa.

Resumo Técnico: Ajuste Fino de Longo Contexto com VRAM Limitada

1. Declaração do Problema

A adaptação de contexto longo em grandes modelos de linguagem é frequentemente restringida não pelo número de parâmetros de adaptadores treináveis, mas pelos requisitos de memória dos mecanismos de atenção e estados de backpropagation. Embora os métodos de Ajuste Fino de Parâmetros Eficientes (PEFT), como o QLoRA, reduzam a memória do modelo e do otimizador ao quantizar pesos congelados e treinar adaptadores de baixo rank, eles ainda dependem de atenção densa. A atenção densa exige o processamento de todo o histórico de tokens, fazendo com que a pegada de memória cresça linearmente com o comprimento da sequência. Consequentemente, o treinamento denso em hardware de consumo ou com VRAM limitada (ex: GPUs de 16 GB) frequentemente falha além de comprimentos de contexto curtos (ex: 4.096 tokens), impedindo o ajuste fino de modelos em documentos longos.

2. Metodologia

O artigo propõe um framework combinando Atenção Global Hierárquica (HGA) com backpropagation por segmento e armazenamento de Key-Value (KV) em camadas para desacoplar o conjunto de trabalho da GPU do histórico total de treinamento.

2.1 Atenção Global Hierárquica (HGA)

A HGA substitui a atenção padrão sem alterar as projeções pré-treinadas Q/K/V/O. Ela opera via um mecanismo de roteamento de dois níveis:

Seleção de Chunk: O contexto é dividido em chunks de tamanho fixo (ex: 64 tokens). Vetores de resumo compactos para cada chunk fechado permanecem residentes na VRAM. O bloco de query atual pontua esses resumos para selecionar os chunks históricos mais relevantes, juntamente com sinks fixos e janelas locais.
Seleção de Grupo: Os chunks selecionados são subdivididos em grupos menores (ex: 8 tokens). Resumos de grupos são armazenados em um buffer de VRAM maior; resumos ausentes são buscados na RAM do Host ou NVMe. O roteador seleciona os melhores grupos dentro dos chunks escolhidos.
Atenção de Token Exato: Apenas os pares Key/Value (K/V) exatos dos grupos selecionados são carregados no conjunto de trabalho para o cálculo da atenção. Vetores de resumo são usados exclusivamente para roteamento, não como valores de atenção.

Crucialmente, a seleção de roteamento ocorre sem rastreamento de gradiente, enquanto a coleta de K/V e a atenção de token exato permanecem diferenciáveis. O método não adiciona pesos de roteador aprendidos, garantindo que os gradientes atualizem as mesmas projeções que no treinamento denso.

2.2 Backward por Segmento e Armazenamento em Camadas

Para gerenciar a memória durante o backpropagation, a sequência de comprimento $L$ é dividida em segmentos de comprimento $S$ .

Backpropagation Through Time Truncado (TBPTT): Cada segmento computa a perda e executa o backward imediatamente. Na fronteira do segmento, o K/V histórico para aquele segmento é destacado do grafo de computação.
Hierarquia de Memória em Camadas:
- VRAM: Contém o modelo quantizado, adaptadores, otimizador, o segmento diferenciável ativo, K/V exatos roteados, todos os resumos de chunks e um cache de resumos de grupos.
- RAM do Host/NVMe: Armazena o K/V histórico destacado e os resumos de grupos não residentes.
- Escalabilidade: A pegada de VRAM cresce como $O(S) + O(B_{route})$ (tamanho do segmento + orçamento de roteamento), enquanto o registro histórico externo cresce como $O(L)$ . Isso permite o treinamento em sequências que excedem em muito a capacidade de VRAM, limitado apenas pela RAM do sistema e armazenamento NVMe.

3. Principais Contribuições

Contexto Treinável Estendido: O método permite o ajuste fino em uma GPU de 16 GB com um comprimento de contexto de 16.384 tokens (e avaliação até 131.072 tokens), enquanto o treinamento denso falha em 4.096 tokens no mesmo hardware.
Paridade de Qualidade: No ponto de sobreposição (2.048 tokens), os adaptadores treinados com HGA produzem pesos que são praticamente indistinguíveis daqueles treinados com atenção densa quando avaliados sob uma leitura de atenção densa padrão.
Eficiência de Throughput: Embora a HGA incorra em overhead em contextos muito curtos, ela se torna marginalmente mais rápida que o treinamento denso em 2.048 tokens. Os autores projetam que a HGA se tornará significativamente mais rápida conforme o comprimento do contexto aumenta, pois seu trabalho de atenção por token permanece aproximadamente constante enquanto o trabalho denso cresce linearmente.
Inferência Modular: O adaptador resultante pode ser usado tanto com a atenção densa original (para compatibilidade com frameworks existentes) quanto com HGA para recuperação e geração.

4. Resultados Experimentais

Os experimentos foram conduzidos usando Qwen3-8B (4-bit NF4 QLoRA) em uma Quadro RTX 5000 (16 GB) com o dataset PG19.

4.1 Viabilidade de Treinamento

Treinamento Denso: Falha (OOM - Out of Memory) em 4.096 tokens.
Treinamento HGA: Treina com sucesso até 32.768 tokens com um uso de pico de VRAM de ~15,28 GB.
Densidade de Seleção: À medida que o contexto cresce, a fração de tokens históricos atendidos diminui (de 59,4% em 2K para 4,4% em 32K), mas o modelo permanece estável.

4.2 Eficiência

1.024 tokens: A HGA é ~20% mais lenta que a densa (225,54 vs. 282,32 tokens/s) devido ao overhead de roteamento ainda não amortizado.
2.048 tokens: A HGA torna-se marginalmente mais rápida (217,75 vs. 207,02 tokens/s), marcando um crossover de throughput.

4.3 Métricas de Qualidade

Perplexidade (PPL): Em 2.048 tokens, o adaptador treinado com HGA alcança uma PPL de 15,495 sob leitura densa, comparado a 15,461 para o adaptador treinado com densa (uma diferença de ~0,04 PPL). Ambos superam significativamente o modelo base (19,185 PPL).
Recuperação: Em tarefas estilo RULER (passkey, multikey, multivalue), os adaptadores treinados com HGA alcançam 100% de recall nas tarefas de passkey e multikey em 4K/8K, igualando as linhas de base treinadas com densa.
Custo de Roteamento: Aumentar o número de chunks roteados de 8 para 32 gera retornos decrescentes na perplexidade, sugerindo que o orçamento de roteamento padrão está próximo da saturação.

5. Limitações e Alegações

O artigo nota explicitamente as seguintes limitações:

Vazamento Causal (Causal Leakage): Na implementação atual, compartilhar decisões de roteamento entre tokens dentro de um chunk cria um canal lateral causal fraco. Isso torna-se mensurável após 100–200 milhões de tokens de treinamento, onde o modelo explora informações indiretas sobre tokens futuros. Consequentemente, o método é validado para ajuste fino dentro dos horizontes testados, mas ainda não é adequado para pré-treinamento do zero. Uma variante estritamente causal é proposta como trabalho futuro.
Escopo de Avaliação: Comparações de qualidade em 8K–16K não podem ser feitas contra uma linha de base densa porque o treinamento denso falha no hardware alvo.
Prontidão para Produção: O caminho de inferência roteado é atualmente uma implementação de pesquisa. Um motor de serviço de nível de produção (ex: integrado ao vLLM ou SGLang) está em desenvolvimento.

6. Significância

O artigo demonstra que a HGA, combinada com backpropagation por segmento e armazenamento em camadas, efetivamente separa o conjunto de trabalho da GPU do histórico total de treinamento. Isso permite o ajuste fino de contexto longo em hardware com VRAM limitada sem sacrificar a qualidade dos pesos aprendidos (conforme medido por leitura densa). A abordagem oferece um caminho prático para escalar comprimentos de contexto além dos limites da atenção densa, com potencial para melhorar o throughput em sequências mais longas.