💬 NLP

Training Large Reasoning Models Efficiently via Progressive Thought Encoding

O artigo apresenta o "Progressive Thought Encoding", um método de ajuste fino eficiente que permite o treinamento por reforço de modelos de raciocínio de grande escala sob restrições de memória fixas, codificando progressivamente o raciocínio intermediário em vetores de tamanho fixo para reduzir o uso de memória e melhorar significativamente a precisão em benchmarks matemáticos complexos.

Autores originais: Zeliang Zhang, Xiaodong Liu, Hao Cheng, Hao Sun, Chenliang Xu, Jianfeng Gao

Publicado 2026-02-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zeliang Zhang, Xiaodong Liu, Hao Cheng, Hao Sun, Chenliang Xu, Jianfeng Gao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um gênio (um modelo de IA) a resolver problemas de matemática extremamente difíceis, como os de uma olimpíada nacional. Para aprender, esse gênio precisa "pensar em voz alta", gerando uma longa sequência de ideias, cálculos e tentativas antes de chegar à resposta final. Isso é chamado de "cadeia de pensamento".

O problema é que a memória do computador onde esse gênio mora é limitada.

O Problema: A Mesa de Trabalho Pequena

Pense na memória do computador (chamada de KV Cache) como uma mesa de trabalho.

Quando o gênio resolve um problema simples, ele usa poucos papéis na mesa. Tudo cabe.
Mas, para problemas difíceis, ele precisa escrever milhares de linhas de raciocínio. A mesa fica cheia!
Para não derrubar nada, o computador é forçado a jogar fora os papéis mais antigos (os primeiros pensamentos) para fazer espaço para os novos.

Aqui está o grande dilema:

Método Antigo (LoRA): Tentar guardar tudo na mesa. O gênio aprende bem, mas a mesa fica tão cheia que o computador trava, fica lento e gasta uma energia absurda.
Método Simples (Jogar fora): Jogar os papéis velhos fora para liberar espaço. O computador fica rápido, mas o gênio esquece o início da história. Ele perde o fio da meada, comete erros e resolve menos problemas.

A Solução: O "Diário de Bordo" Inteligente

Os autores deste artigo criaram uma técnica chamada Codificação Progressiva do Pensamento (Progressive Thought Encoding).

Imagine que, em vez de apenas jogar os papéis velhos no lixo, o gênio tem um diário de bordo mágico (um pequeno bloco de notas especial).

O Processo: Enquanto o gênio pensa e a mesa enche, ele joga os papéis velhos fora, MAS antes de jogá-los, ele lê rapidamente e escreve um resumo inteligente no seu diário de bordo.
O Resumo: Esse resumo não é apenas um texto; é uma "essência" do pensamento que foi transformada em um código compacto e aprendido pelo próprio cérebro do gênio (atualizando seus pesos internos).
O Resultado: Mesmo que a mesa esteja cheia e ele só veja os últimos papéis, ele pode olhar para o diário de bordo e lembrar perfeitamente do que pensou no início. Ele não perdeu a informação, apenas a compactou.

Por que isso é incrível?

Economia de Espaço: O gênio nunca precisa de uma mesa gigante. Ele pode resolver problemas longos em uma mesa pequena, porque carrega os resumos no bolso (diário).
Aprendizado Melhor: Ao contrário de apenas "jogar fora" e esquecer, o ato de criar o resumo força o cérebro do gênio a entender melhor o que é importante. Isso faz com que ele aprenda mais rápido e melhor durante o treinamento.
Velocidade: Como a mesa é pequena, ele não precisa carregar toneladas de papel. O computador fica mais rápido e gasta menos energia.

Os Resultados na Prática

Os pesquisadores testaram essa ideia em modelos de IA reais (como o Qwen e o DeepSeek) com problemas de matemática muito difíceis.

Comparação: Eles compararam com quem tentava guardar tudo (que travava o computador) e com quem jogava tudo fora (que errava muito).
Vitória: O método do "Diário de Bordo" venceu os dois.
- Eles conseguiram reduzir o uso de memória em quase 50%.
- Ao mesmo tempo, a precisão nas respostas aumentou drasticamente (em alguns testes, melhorou em mais de 20% em relação aos outros métodos).
- O modelo conseguiu resolver problemas que exigiam raciocínios muito longos, algo que antes era impossível com tanta memória limitada.

Em Resumo

Este artigo nos ensina que, para ensinar uma IA a pensar de forma complexa sem explodir o orçamento de memória, não precisamos de mesas gigantes. Precisamos apenas ensinar a IA a ser organizada: saber resumir o que já pensou e guardar essa essência de forma inteligente, permitindo que ela continue pensando no futuro sem esquecer o passado.

É como se transformássemos um gênio que precisa de uma biblioteca inteira para resolver um problema em um gênio que resolve o mesmo problema com apenas um caderno de anotações, mas com a mesma (ou maior) genialidade.

Resumo Técnico: Treinamento Eficiente de Modelos de Raciocínio de Grande Escala via Codificação Progressiva de Pensamento

1. O Problema

Os Modelos de Raciocínio de Grande Escala (LRMs - Large Reasoning Models) demonstram desempenho superior em tarefas complexas (como matemática e ciências) ao utilizar cadeias de pensamento (CoT) extensas. No entanto, o treinamento desses modelos via Aprendizado por Reforço (RL) enfrenta um gargalo crítico de eficiência:

Custo de Memória e Computação: O RL baseado em recompensas de resultado exige "rollouts" (gerações de sequências) longos. Durante a decodificação autoregressiva, o uso de memória e computação é dominado pelo cache de Chaves e Valores (KV cache), que cresce linearmente com o comprimento da sequência.
Limitação das Estratégias Atuais: Para mitigar o consumo de memória, estratégias comuns como janelas deslizantes (sliding-window) ou poda dinâmica de tokens são utilizadas. Contudo, essas abordagens descartam tokens antigos, o que rompe o contexto de longo prazo, degrada a qualidade do raciocínio e reduz a eficácia do treinamento, pois o modelo perde informações cruciais de passos anteriores da cadeia de pensamento.
Dilema: Existe uma tensão fundamental entre manter orçamentos de memória fixos (para viabilidade de treinamento) e preservar a capacidade de raciocínio de longo alcance necessária para resolver problemas difíceis.

2. Metodologia: Progressive Thought Encoding (PTE)

Os autores propõem o Progressive Thought Encoding (PTE), um método de fine-tuning eficiente em parâmetros que permite aos LRMs raciocinar efetivamente sob caches de tamanho fixo, sem descartar informações de tokens evictos (removidos).

Principais Componentes:

Codificação de Tokens Evictos: Em vez de simplesmente descartar tokens de pensamento antigos quando o cache atinge o limite, o método codifica a informação desses tokens em representações vetoriais de tamanho fixo.
Adaptação Dinâmica via LoRA: A informação contextual dos tokens evictos é incorporada dinamicamente em adaptadores leves LoRA (Low-Rank Adaptation).
- Um vetor de consulta global ( $q_g$ ) agrega informações dos tokens evictos.
- Uma matriz de estado de contexto ( $S_e$ ) é atualizada iterativamente à medida que novos tokens são evictos.
- Os pesos do LoRA ( $\Delta W$ ) são atualizados para "memorizar" o contexto perdido, permitindo que o modelo mantenha sinais de raciocínio globais mesmo com uma janela de cache pequena.
Treinamento Consciente do Cache: O objetivo de otimização (baseado no GRPO - Grouped Reinforcement Policy Optimization) é ajustado para considerar a distribuição de geração sob uma política de cache parcial. O modelo aprende a aproximar a política de cache completo usando apenas a janela limitada, mas enriquecida pelos pesos LoRA atualizados.
Estratégia de Evicção: Durante o treinamento, os tokens da pergunta (prompt) são mantidos permanentemente no cache (mecanismo de sink tokens), enquanto uma janela deslizante simples é aplicada apenas aos tokens de pensamento (thinking tokens).

3. Contribuições Chave

Identificação e Formalização: O trabalho formaliza a ineficiência do treinamento RL para LRMs sob longos rollouts como um problema de otimização com restrições de cache.
Novo Método de Fine-tuning: Propõe o Progressive Thought Encoding, uma técnica que aprende com tokens evictos para preservar a capacidade de raciocínio sob memória limitada, eliminando a necessidade de retropropagação através de caches completos.
Eficiência e Escalabilidade: Demonstra que é possível reduzir significativamente o uso de memória de pico e computação durante o treinamento, mantendo (e até melhorando) a precisão do raciocínio, permitindo rollouts mais longos e complexos que seriam impossíveis com orçamentos de memória padrão.

4. Resultados Experimentais

O método foi avaliado em três modelos (Qwen2.5-3B, Qwen2.5-7B e DeepSeek-R1-Distill-Llama-8B) em seis benchmarks matemáticos desafiadores (Math500, Olympiad, Minerva, AMC, AIME2024/2025).

Desempenho Geral:
- O PTE superou consistentemente o fine-tuning baseado em LoRA padrão e modelos sem fine-tuning.
- Ganhos Médios: +19,3% de melhoria em relação ao LoRA e +29,9% em relação aos LRMs sem fine-tuning.
- Benchmark AIME: No AIME2024/2025, houve um ganho de até +23,4% na precisão sob orçamentos de cache rigorosos.
Eficiência de Memória:
- Redução de quase 50% no uso de memória de pico da GPU em comparação com o LoRA de cache completo.
- Redução significativa no consumo de FLOPs (ex: de 7,4 TFLOPs para 4,6 TFLOPs no modelo de 8B).
Robustez sob Restrições:
- Ao contrário de métodos com janelas deslizantes simples (LoRAc), que degradam rapidamente à medida que a janela diminui, o PTE manteve alta precisão mesmo com janelas de cache muito pequenas (ex: 768 tokens).
- O método demonstrou escalabilidade favorável, continuando a melhorar o desempenho mesmo quando o comprimento de geração de teste (até 64K tokens) excedia em muito o comprimento de treinamento.

5. Significado e Impacto

Este trabalho representa um avanço significativo para a viabilidade prática do treinamento e implantação de Modelos de Raciocínio de Grande Escala:

Viabilidade de Recursos: Torna o treinamento de RL para LRMs acessível em hardware com restrições de memória, democratizando o acesso a modelos de raciocínio avançado.
Quebra do Trade-off: Demonstra que é possível superar o dilema tradicional entre eficiência de memória e qualidade de raciocínio. Ao "comprimir" o contexto perdido nos pesos do modelo, o PTE permite que o modelo "lembre" de todo o histórico de pensamento sem armazená-lo explicitamente no cache.
Futuro da Pesquisa: Abre caminho para estratégias de evicção adaptativas, tarefas de raciocínio multimodal e técnicas de otimização em tempo de inferência, estabelecendo um novo padrão para o treinamento escalável de modelos de raciocínio.

Em resumo, o Progressive Thought Encoding resolve o gargalo de memória do RL em LRMs transformando a perda de contexto em aprendizado de parâmetros, permitindo treinar modelos mais inteligentes de forma mais barata e eficiente.