💬 NLP

HRM-Text: Efficient Pretraining Beyond Scaling

O artigo apresenta o HRM-Text, um modelo de 1 bilhão de parâmetros que alcança desempenho competitivo com modelos significativamente maiores ao combinar uma arquitetura recorrente hierárquica, técnicas de treinamento especializadas e pré-treinamento apenas com instruções para reduzir drasticamente os requisitos de computação e dados para a pesquisa de modelos de linguagem fundamentais.

Autores originais: Guan Wang, Changling Liu, Chenyu Wang, Cai Zhou, Yuhao Sun, Yifei Wu, Shuai Zhen, Luca Scimeca, Yasin Abbasi Yadkori

Publicado 2026-05-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Guan Wang, Changling Liu, Chenyu Wang, Cai Zhou, Yuhao Sun, Yifei Wu, Shuai Zhen, Luca Scimeca, Yasin Abbasi Yadkori

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o estado atual da Inteligência Artificial como uma fábrica massiva e de alta velocidade. Para construir uma máquina "inteligente", essas fábricas despejam trilhões de páginas de texto bruto (como toda a internet) em um liquidificador, usando bilhões de dólares em eletricidade para processar tudo. O resultado é um modelo inteligente, mas o processo é tão caro e consumidor de energia que apenas algumas empresas gigantes podem pagar para operar a fábrica.

O artigo que você compartilhou, HRM-Text, propõe uma maneira completamente diferente de construir essas máquinas. Em vez de uma fábrica massiva e de força bruta, eles construíram uma oficina pequena e altamente eficiente que aprende como um cérebro humano.

Aqui está a explicação de como eles fizeram isso, usando analogias simples:

1. A Analogia do Cérebro: O "Pensador Lento" e o "Executor Rápido"

A maioria dos modelos de IA hoje é como uma única pessoa tentando fazer tudo ao mesmo tempo: ler, pensar e escrever, tudo em uma única corrida gigante e caótica.

Os autores observaram como os cérebros humanos funcionam. Eles notaram que nossos cérebros têm um loop frontoparietal: um sistema que separa o pensamento estratégico lento (planejando o quadro geral) do pensamento de execução rápida (fazendo o trabalho real).

O Jeito Antigo: Uma IA padrão é como um velocista tentando correr uma maratona sem parar. Ela fica cansada e confusa.
O Jeito HRM-Text: Eles construíram um modelo com duas camadas:
- O Módulo "H" (O General): Esta é a camada lenta e estratégica. Ela leva um momento para entender o quadro geral e definir a direção.
- O Módulo "L" (O Especialista): Esta é a camada rápida e de execução. Ela lida rapidamente com os detalhes e refina a resposta com base no plano do General.
- O Resultado: Ao separar o "planejamento" da "execução", o modelo não se perde nos detalhes. Ele aprende mais rápido e com mais eficiência.

2. O Método de Treinamento: Pare de Ler a Pergunta, Comece a Responder

Os modelos de IA atuais são treinados lendo um livro e tentando prever a próxima palavra para cada palavra única no livro, incluindo as próprias perguntas. É como um estudante estudando para uma prova tentando memorizar as perguntas do professor palavra por palavra, em vez de aprender a resolver os problemas.

O HRM-Text muda as regras:

O Objetivo "Conclusão de Tarefa": Em vez de tentar prever a frase inteira, o modelo só é penalizado se errar a resposta. Ele ignora a parte da pergunta durante o treinamento.
O Truque "PrefixLM": Imagine um estudante lendo uma pergunta. Com a IA padrão, o estudante só pode olhar para as palavras que já escreveu. Com o HRM-Text, o estudante tem permissão para ler a pergunta inteira primeiro (olhando para trás e para frente) antes de escrever a resposta. Isso ajuda a entender o contexto muito melhor sem precisar memorizar o texto da pergunta em si.

3. Os Estabilizadores "Mágicos"

Treinar um modelo que "pensa" em loops (recorrência) é notoriamente difícil; é como tentar equilibrar uma pilha de pratos enquanto o chão treme. O artigo introduz dois "estabilizadores" para impedir que a pilha caia:

MagicNorm: Pense nisso como um amortecedor. Ele garante que, à medida que o modelo "pensa" através de muitos passos, os números dentro do computador não fiquem nem muito grandes nem muito pequenos, o que geralmente faz o aprendizado falhar.
Atribuição de Crédito Profunda com Aquecimento: Imagine ensinar uma criança a andar. Você não pede que ela corra uma maratona no primeiro dia. Você começa com passos curtos e, à medida que ela fica mais forte, permite que ela dê passos mais longos. O HRM-Text começa olhando apenas alguns passos para trás para aprender com os erros e, gradualmente, olha mais para trás à medida que fica mais inteligente. Isso impede que o modelo fique confuso com sua própria história muito cedo.

O Resultado: Uma Vitória "Davi contra Golias"

O artigo afirma que, com esses truques, eles construíram um modelo de 1 bilhão de parâmetros (uma IA relativamente pequena) que foi treinada com apenas 40 bilhões de tokens (uma quantidade ínfima de dados em comparação com os trilhões usados por gigantes como Google ou Meta).

O Custo: Eles gastaram cerca de $1.500 e usaram 16 placas gráficas por menos de dois dias.
A Comparação: Apesar de ser minúscula e barata, este modelo performou tão bem quanto (e às vezes melhor do que) modelos massivos que custam centenas de milhares de dólares e levaram meses para serem treinados.
A Eficiência: Para obter os mesmos resultados, os modelos padrão precisaram de 100 a 900 vezes mais dados e 96 a 432 vezes mais poder de computação.

O Quadro Geral

Os autores não estão dizendo que esta é a IA perfeita final. Eles estão dizendo: "Prove que é possível."

Eles mostraram que você não precisa de um orçamento de um bilhão de dólares para construir uma IA inteligente. Ao projetar a arquitetura para pensar como um cérebro (planejamento lento + execução rápida) e treiná-la para focar apenas em resolver problemas (ignorando o texto da pergunta), você pode democratizar a pesquisa em IA. Isso significa que pequenos laboratórios, universidades e até indivíduos agora podem treinar seus próprios modelos fundamentais do zero, quebrando o monopólio que apenas as empresas mais ricas atualmente detêm.

Resumo Técnico: HRM-Text - Pré-treinamento Eficiente Além da Escala

1. Declaração do Problema

O paradigma atual para o desenvolvimento de Modelos de Linguagem de Grande Escala (LLMs) baseia-se na escala "bruta": pipelines massivos e multiestágio envolvendo pré-treinamento em texto bruto em escala de internet, seguidos por mid-training e ajuste de instruções. Essa abordagem cria uma barreira proibitiva de entrada para a pesquisa fundamental, pois exige recursos computacionais imensos e trilhões de tokens. Os autores argumentam que essa abordagem faminta por dados é ineficiente, particularmente em regimes limitados de dados, pois gasta computação significativa prevendo texto semelhante a prompts ou irrelevante para a tarefa, meramente para construir representações generalizadas. Em contraste, sistemas biológicos demonstram aprendizado altamente eficiente em termos de amostragem por meio de processamento em múltiplas escalas de tempo (por exemplo, o loop frontoparietal), sugerindo que priores arquitetônicos e objetivos direcionados poderiam reduzir radicalmente a relação entre computação e desempenho.

2. Metodologia

O artigo introduz o HRM-Text, um modelo que substitui os Transformers padrão por um Modelo Recorrente Hierárquico (HRM) e adota um objetivo de treinamento inovador. A metodologia é construída sobre duas direções sinérgicas:

A. Exploração Arquitetural: Recorrência Hierárquica

O HRM-Text utiliza uma arquitetura de dupla escala de tempo inspirada na organização funcional biológica:

Recorrência de Dupla Escala de Tempo: O modelo desacopla o cálculo em uma camada estratégica de evolução lenta (módulo H) e uma camada de execução de evolução rápida (módulo L). A passagem frontal consiste em ciclos de alto nível, onde cada ciclo executa três atualizações rápidas do módulo L seguidas por uma única atualização lenta do módulo H.
MagicNorm: Para estabilizar a recorrência profunda para modelagem de linguagem, os autores introduzem o MagicNorm. Essa técnica explora a assimetria entre os horizontes computacionais frontal e traseiro induzida pela Retropropagação Truncada no Tempo (TBPTT). Combina blocos internos PreNorm (para fluxo de gradiente) com uma camada de normalização final na saída do módulo (para limitar a variância da ativação durante a passagem frontal). Isso previne o crescimento ilimitado da variância do PreNorm puro, mantendo a estabilidade do PostNorm.
Atribuição de Crédito Profundo com Aquecimento: Para abordar a instabilidade do gradiente, o modelo emprega uma estratégia de gradiente baseada em currículo. Inicialmente, os gradientes são retropropagados apenas pelos dois últimos passos recorrentes ( $K=2$ ). À medida que o treinamento progride, o horizonte é aquecido linearmente até os últimos cinco passos ( $K=5$ ). Isso reduz a exposição a patologias de otimização associadas a caminhos de gradiente longos na inicialização.
Componentes: A arquitetura utiliza RMSNorm sem parâmetros, ativações SwiGLU, Embeddings de Posição Rotacionais (RoPE) e um mecanismo de atenção auto-regressiva com portão sigmoidal.

B. Exploração de Objetivos: Conclusão de Tarefa e PrefixLM

O artigo desafia o dogma do pré-treinamento autoregressivo em texto bruto:

Objetivo de Conclusão de Tarefa: Em vez de prever todos os tokens em uma sequência, o HRM-Text é treinado exclusivamente em pares instrução-resposta do zero. A perda é computada apenas sobre os tokens de resposta ( $-\log P(x_a | x_q)$ ), concentrando as atualizações de parâmetros na geração de respostas precisas, em vez de reconstruir o prompt.
Máscara PrefixLM: Esse objetivo é emparelhado com uma máscara de atenção PrefixLM. Isso permite atenção totalmente bidirecional (semelhante a um codificador) sobre os tokens de instrução, enquanto preserva a geração causal padrão para a resposta. Isso cria uma separação semelhante a codificador-decodificador dentro de uma implementação do tipo decodificador.

3. Principais Contribuições

Arquitetura HRM-Text: Uma implementação escalável do Modelo Recorrente Hierárquico que lida com sucesso com as complexidades abertas da modelagem de linguagem por meio de técnicas de estabilização (MagicNorm, atribuição de crédito com aquecimento).
Protocolo de Pré-treinamento Eficiente: Uma demonstração de que o treinamento exclusivamente em pares instrução-resposta com um objetivo de conclusão de tarefa e máscara PrefixLM melhora significativamente a eficiência de amostragem em comparação com o pré-treinamento padrão em texto bruto.
Prova de Existência Empírica: O artigo fornece evidências empíricas de que um modelo treinado do zero com um orçamento pequeno (40 bilhões de tokens únicos, ~$1.500 de custo computacional) pode alcançar desempenho competitivo com modelos fundamentais muito maiores (2B–7B parâmetros) treinados em conjuntos de dados vastamente maiores (até 36 trilhões de tokens).

4. Resultados

Um modelo HRM-Text de 1 bilhão de parâmetros foi treinado do zero em 16 GPUs ao longo de 1,9 dias usando 40 bilhões de tokens únicos. Os resultados demonstram:

Desempenho em Benchmarks: O modelo alcançou 60,7% no MMLU, 81,9% no ARC-C, 82,2% no DROP, 84,5% no GSM8K e 56,2% no MATH.
Ganhos de Eficiência: Em comparação com bases padrão (por exemplo, Llama3.2 3B, Gemma3 4B, Qwen3.5 2B, Olmo3 7B), o HRM-Text utilizou aproximadamente 100–900x menos tokens de treinamento e 96–432x menos computação estimada, enquanto alcançava desempenho competitivo ou superior em benchmarks de raciocínio e execução de tarefas.
Estudos de Ablação:
- Arquitetura: O HRM superou Transformers padrão com FLOPs equivalentes, Transformers em Loop e RINS. Também demonstrou estabilidade superior em comparação com o TRM (uma variante de compartilhamento de parâmetros do HRM) na escala de 1 bilhão.
- Objetivo: A combinação do objetivo de conclusão de tarefa e da máscara PrefixLM proporcionou ganhos significativos em relação às máscaras causais padrão e objetivos de texto bruto.
Profundidade Efetiva: A análise via lente de logit e similaridade de representação por camadas mostrou que o HRM mantém mudanças representacionais ativas em camadas mais profundas, indicando maior profundidade efetiva em comparação com Transformers padrão e em loop, que tendem a convergir para distribuições estáveis em camadas iniciais.
Verificação de Contaminação: A análise estatística sugeriu que o desempenho do modelo não é significativamente inflado por contaminação de dados, embora um efeito marginal tenha sido observado no benchmark DROP para configurações específicas de n-gramas.

5. Significado e Alegações

Os autores posicionam o HRM-Text não como o modelo de linguagem final ou ótimo, mas como uma prova de existência empírica de que priores estruturais específicos (recorrência hierárquica) e objetivos de treinamento direcionados (conclusão de tarefa) podem alterar radicalmente a relação entre computação e desempenho.

O artigo afirma que essa metodologia democratiza a pesquisa fundamental em IA. Ao reduzir drasticamente o preço de entrada para o pré-treinamento do zero, torna a exploração de novas arquiteturas e o treinamento do zero acessíveis à comunidade de pesquisa mais ampla, pequenos laboratórios e indivíduos, em vez de ficarem trancados atrás das barreiras computacionais da escala de trilhões de tokens. O trabalho sugere uma direção futura onde modelos recorrentes compactos se especializam em raciocínio e execução de tarefas, potencialmente desacoplados da memorização factual massiva tipicamente associada às leis de escala atuais.