🤖 machine learning

Procedural Pretraining: Warming Up Language Models with Abstract Data

Este artigo demonstra que o "pré-treinamento procedural", que envolve expor inicialmente os modelos de linguagem a uma pequena fração de dados estruturados abstratos gerados por linguagens formais e algoritmos, melhora significativamente suas capacidades de raciocínio, acelera a convergência e reduz os custos computacionais em comparação com o pré-treinamento padrão em linguagem natural.

Autores originais: Liangze Jiang, Zachary Shinnick, Anton van den Hengel, Hemanth Saratchandran, Damien Teney

Publicado 2026-05-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Liangze Jiang, Zachary Shinnick, Anton van den Hengel, Hemanth Saratchandran, Damien Teney

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Uma "Ginástica Cerebral" Antes do Teste Real

Imagine que você está treinando um estudante brilhante, mas inexperiente, para se tornar um historiador mestre. A maneira padrão de fazer isso é entregar a ele uma biblioteca massiva de livros de história (a internet) e dizer: "Leia tudo".

Os autores deste artigo sugerem uma abordagem diferente. Antes de abrir os livros de história, eles dão ao estudante algumas semanas de quebra-cabeças de lógica, exercícios de matemática e jogos de padrões. Eles chamam isso de "Pré-treinamento Procedural".

A ideia central é que, assim como bebês humanos aprendem a empilhar blocos e brincar com jogos simples antes de aprender filosofia complexa, os modelos de IA podem aprender melhor se primeiro praticarem "pensar" com dados abstratos e baseados em regras antes de começarem a memorizar o mundo real.

O que são "Dados Procedurais"?

Pense em Dados Procedurais como um nível de videogame que não tem história, personagens ou imagens. São apenas regras puras.

O Jogo: "Aqui está uma lista de números. Agora, ordene-os." ou "Aqui está uma sequência de parênteses (( )). Certifique-se de que estejam balanceados."
O Ponto: A IA não está aprendendo o que um parêntese significa (é apenas um símbolo). Ela está aprendendo como seguir uma regra, manter um registro de uma lista ou encontrar um padrão.

O artigo usa dados gerados por algoritmos de computador simples (como balancear parênteses ou embaralhar baralhos de cartas) para ensinar à IA esses movimentos musculares básicos de pensamento.

As Principais Descobertas (Os Resultados "Mágicos")

Os pesquisadores testaram essa ideia e descobriram três coisas surpreendentes:

1. Um Pouco Vai Longe

Você não precisa substituir os livros de história por quebra-cabeças de lógica. Você precisa apenas de um pequeno "aquecimento".

A Analogia: Imagine que a IA é um maratonista. Os pesquisadores descobriram que, se o corredor fizer apenas 0,1% a 0,3% de suas milhas totais de treinamento em uma esteira (os quebra-cabeças de lógica abstrata) antes de correr na pista real (os dados reais da internet), ele corre toda a prova mais rápido e melhor.
O Resultado: Modelos que receberam esse pequeno "aquecimento de lógica" aprenderam a mesma quantidade de conhecimento usando 30% a 45% menos dos dados massivos da internet. É como obter um desconto no custo do treinamento.

2. Corrige "Falhas Específicas do Cérebro"

O artigo testou se esse aquecimento ajudava em tarefas específicas e difíceis.

O Teste "Agulha no Palheiro": Imagine ler um livro de 100 páginas e ser perguntado: "Qual era a terceira palavra na página 42?" A maioria dos modelos de IA tem dificuldade com isso; eles esquecem o início quando chegam ao fim.
A Correção: Quando a IA foi aquecida com "sequências de Dyck" (um tipo específico de quebra-cabeça de parênteses balanceados), sua capacidade de encontrar aquela agulha saltou de 10% de precisão para 98%.
A Lição: Diferentes jogos de lógica corrigem diferentes músculos cerebrais. Alguns jogos ajudam com a memória; outros ajudam com a matemática.

3. O "Cérebro" Aprende em Salas Específicas

Os pesquisadores olharam dentro do "cérebro" da IA (suas camadas internas) para ver onde essa nova habilidade vivia. Eles descobriram que o cérebro da IA tem dois tipos principais de salas:

Salas de "Atenção": Estas são como os olhos da IA. Elas olham para diferentes partes de uma frase para ver como elas se conectam. O artigo descobriu que, para codificação (que é muito estruturada), as salas de "Atenção" aprenderam mais com os quebra-cabeças de lógica.
Salas "MLP": Estas são como os bancos de memória da IA, onde os fatos são armazenados. Surpreendentemente, para linguagem natural (como escrever uma história), as salas "MLP" se beneficiaram mais dos quebra-cabeças de lógica.
A Conclusão: O aquecimento de lógica não tornou apenas o cérebro inteiro "mais inteligente" de uma maneira geral; ele construiu ferramentas específicas em partes específicas do cérebro.

Como Eles Combinaram as Habilidades

Os pesquisadores também tentaram misturar diferentes tipos de quebra-cabeças de lógica.

A Analogia: Imagine que você tem um estudante que é ótimo em matemática, mas ruim em memória, e outro que é ótimo em memória, mas ruim em matemática. Em vez de fazê-los estudar juntos, os pesquisadores pegaram o "cérebro de matemática" de um e o "cérebro de memória" do outro e os costuraram juntos.
O Resultado: Este modelo "Frankenstein" foi melhor em tudo do que qualquer um dos estudantes originais. Isso sugere que podemos construir IAs melhores misturando e combinando os melhores "cérebros de lógica" de diferentes sessões de treinamento.

Resumo: Por Que Isso Importa?

O artigo argumenta que os modelos de IA atuais tentam aprender conhecimento (fatos) e raciocínio (como pensar) ao mesmo tempo, o que fica confuso.

Ao usar o Pré-treinamento Procedural, eles estão essencialmente dizendo: "Vamos ensinar à IA como pensar primeiro, usando regras simples e chatas. Uma vez que ela tenha essas ferramentas de pensamento, ela será muito mais rápida e eficiente ao aprender os fatos reais do mundo."

É uma maneira simples e leve de tornar a IA mais inteligente, mais barata de treinar e melhor em lembrar coisas, sem precisar mudar a arquitetura da IA ou inventar novos algoritmos. É apenas uma maneira melhor de começar o dia.

Resumo Técnico: Pré-treinamento Procedural: Aquecendo Modelos de Linguagem com Dados Abstratos

Declaração do Problema

Os atuais Grandes Modelos de Linguagem (LLMs) adquirem conhecimento e capacidades de raciocínio simultaneamente durante o pré-treinamento em corpora semânticos em escala web. Esse "aprendizado entrelaçado" é identificado como uma limitação chave, frequentemente levando os modelos a dependerem de heurísticas de nível superficial em vez de procedimentos de raciocínio sistemático. O artigo postula que esse entrelaçamento pode ser mitigado ao desacoplar a aquisição de habilidades algorítmicas abstratas da aquisição de conhecimento semântico rico. O problema central abordado é como "aquecer" eficientemente os modelos de linguagem com dados abstratos e estruturados para facilitar a subsequente aquisição de conhecimento semântico, de forma semelhante à maneira como os humanos aprendem lógica simples antes do raciocínio complexo.

Metodologia

Os autores propõem o Pré-treinamento Procedural, uma etapa inicial de "pré-pré-treinamento" onde os modelos são expostos a dados não semânticos gerados por algoritmos simples (linguagens formais, autômatos celulares e processos baseados em regras) antes do pré-treinamento padrão em dados semânticos (linguagem natural, código, matemática).

Configuração Experimental

Modelos: Transformers apenas decodificadores do tipo GPT-2, variando de modelos diagnósticos pequenos (2 camadas) a modelos maiores (até 1,3 bilhão de parâmetros).
Tipos de Dados Procedurais:
- Transformações de Sequência: SET (deduplicação), REVERSE (inversão), IDENTITY (identidade), UNION (união), SORT (ordenação), DELETE (exclusão).
- Operações de Memória: STACK (simulando operações de push/pop).
- Linguagens Formais: K-DYCK (parênteses balanceados aninhados) e K-DYCK SHUFFLE (embaralhamento).
- Autômatos Celulares: Regra 110 do ECA.
Regimes de Treinamento:
- Configuração Aditiva: Tokens semânticos fixos ( $T_2$ ) com tokens procedurais variáveis ( $T_1$ ) para medir ganhos de desempenho.
- Configuração Substitutiva: Redução de tokens semânticos enquanto se adiciona uma pequena quantidade de tokens procedurais para igualar o desempenho da linha de base, avaliando a eficiência dos dados.
- Mecanismos de Transferência:
  - Transferência de modelo completo: Uso de todos os pesos.
  - Transferência seletiva: Transferência apenas das camadas de Atenção ou apenas das camadas MLP para localizar onde reside a informação útil.

Abordagem Diagnóstica

Os autores utilizam tarefas algorítmicas específicas como ferramentas diagnósticas para sondar as capacidades ganhas com o pré-treinamento procedural:

Recuperação de Memória: Agulha no palheiro (HAYSTACK).
Aritmética: Adição, Adição Reversa e Multiplicação.
Processamento Lógico: Ordenação.

Principais Contribuições e Resultados

1. Aprimoramento de Habilidades Algorítmicas Específicas

Diferentes formas de dados procedurais melhoram habilidades algorítmicas distintas. Por exemplo:

Sequências Dyck melhoram significativamente a recuperação de contexto (a precisão do HAYSTACK saltou de 10% para 98%).
Regra 110 do ECA beneficia a Adição Reversa.
Operações SET e UNION auxiliam na ordenação e operações de conjuntos.
Necessidade Estrutural: Embaralhar sequências procedurais (removendo a estrutura enquanto se mantém a distribuição de tokens) faz o desempenho cair para a linha de base, confirmando que a estrutura dos dados, e não apenas os tokens, é crítica.

2. Localização da Informação Pré-treinada

Os benefícios do pré-treinamento procedural não estão distribuídos uniformemente na arquitetura do modelo:

Camadas de Atenção: Cruciais para domínios estruturados e livres de linguagem, como código puro (JAVACORPUS) e tarefas algorítmicas específicas (por exemplo, HAYSTACK). Em alguns casos, transferir apenas as camadas de atenção superou a transferência de modelo completo.
Camadas MLP: Mais benéficas para domínios de linguagem natural (WIKITEXT, C4). Isso é notável, pois as MLPs são frequentemente associadas ao armazenamento de conhecimento factual, no entanto, dados procedurais (que carecem de fatos) as melhoram para tarefas de linguagem.
Domínios Híbridos: Para conjuntos de dados que combinam linguagem e estrutura (código documentado, matemática informal), a transferência de modelo completo é ótima.

3. Eficiência de Dados e Ganhos de Desempenho

O pré-treinamento procedural atua como um complemento leve e eficiente em termos de dados ao pré-treinamento padrão:

Sobrecarga Mínima: Adicionar tão pouco quanto 0,1% – 0,3% de tokens procedurais (por exemplo, 2–4 milhões de tokens) supera significativamente as linhas de base de pré-treinamento padrão.
Substituição: Dados procedurais permitem que os modelos atinjam os mesmos valores de perda com significativamente menos tokens semânticos:
- C4 (Linguagem): 55% dos dados originais necessários.
- CODEPARROT (Código): 67% dos dados originais necessários.
- DEEPMIND-MATH (Matemática): 86% dos dados originais necessários.
Escalonamento: Esses ganhos persistem e permanecem consistentes ao escalar tamanhos de modelo até 1,3 bilhão de parâmetros e tamanhos de dados até 10,5 bilhões de tokens.

4. Utilidade a Montante

As melhorias na perplexidade de pré-treinamento e nas habilidades algorítmicas transferem-se para tarefas a montante:

Geração de Código: Modelos com aquecimento procedural mostram precisão não aleatória no MBPP (geração de código) onde as linhas de base falham completamente.
Raciocínio: As melhorias persistem no raciocínio de senso comum (ARC-Easy, HellaSwag) e na compreensão gramatical (BLiMP) após o ajuste fino.

5. Mecanismos e Combinações

Mecanismo: Os benefícios são codificados em estruturas de pesos precisas, e não meramente no afiamento genérico da atenção ou no redimensionamento de pesos.
Combinação: O artigo demonstra que os benefícios são aditivos. Misturar diferentes tipos de dados procedurais ou combinar cirurgicamente pesos de diferentes modelos pré-treinados (por exemplo, Atenção de um modelo SET + MLPs de um modelo ECA) produz desempenho superior em múltiplas tarefas.

Significado e Alegações

O artigo alega que o pré-treinamento procedural é um meio simples e leve para melhorar o desempenho dos LLMs e acelerar o pré-treinamento. Seu significado principal reside em:

Desentrelaçar Conhecimento e Raciocínio: Sugere um caminho para injetar um "prior de raciocínio algorítmico" nos modelos antes que eles adquiram conhecimento do mundo, potencialmente abordando o entrelaçamento de conhecimento e raciocínio que limita os modelos atuais.
Eficiência de Dados: Oferece um método para reduzir drasticamente o custo computacional (FLOPs) e o volume de dados necessários para treinar modelos de alto desempenho.
Modularidade: Revela que diferentes componentes da arquitetura Transformer (MLP vs. Atenção) podem ser especializados para diferentes tipos de vieses indutivos (semântico vs. estrutural), abrindo caminhos para estratégias de pré-treinamento modulares.

Os autores permanecem modestos quanto às limitações, observando que seus experimentos utilizam modelos de até 1,3 bilhão de parâmetros (menores que os LLMs mais avançados) e que combinar múltiplos tipos de dados procedurais é atualmente uma prova de conceito que requer otimização adicional. No entanto, afirmam que as descobertas fornecem um caminho promissor baseado em dados para melhorar a aquisição de capacidades de raciocínio em LLMs.