Resumo Técnico: Aprendizado através da Internalização

Declaração do Problema

O artigo investiga o fenômeno da internalização em sistemas baseados em redes neurais, focando especificamente em como esses sistemas absorvem procedimentos computacionais explícitos (como a Cadeia de Pensamento, ou Chain-of-Thought, CoT) em seus pesos para realizar tarefas de forma mais eficiente. Embora as redes neurais frequentemente se beneficiem de supervisão passo a passo para aprender tarefas complexas (por exemplo, simular semiautomatos ou computar paridades), o aprendizado direto dessas tarefas sem tal suporte é frequentemente computacionalmente difícil ou impossível para arquiteturas padrão.

O problema central abordado é duplo:

1. Mecanismo: Como os transformers transitam da geração de etapas intermediárias de raciocínio explícitas (CoT) para o cálculo direto do resultado final em menos passos (idealmente uma única passagem direta ou forward pass) mantendo a precisão?
2. Compromisso de Generalização: Este processo de internalização preserva a robustez do raciocínio original ou leva a soluções de "atalho" (shortcuts) que degradam o desempenho fora da distribuição (OOD - out-of-distribution)?
3. Dificuldade Teórica: Pode a internalização servir como uma estratégia viável para contornar limites computacionais conhecidos para o aprendizado de certas funções difíceis (como paridades) que são difíceis de aprender via treinamento direto de ponta a ponta (end-to-end)?

Metodologia

Os autores empregam uma combinação de estudos empíricos em transformers autorregressivos e análise teórica rigorosa de arquiteturas de transformers simplificadas.

1. Estrutura Empírica: Simulação de Semiautomatos

Os autores estudam a simulação de semiautomatos (especificamente o contador modular semiautomato $C_n$ e o grupo de permutação $S_3$) ao longo de $T$ passos de tempo. Eles comparam três regimes de treinamento:

• Ponta a Ponta (E2E): Treinamento apenas no estado final.
• Cadeia de Pensamento (CoT): Treinamento com todos os estados intermediários explicitamente fornecidos.
• Internalização via Currículo: Um processo de duas etapas onde o modelo é primeiro treinado com supervisão total de CoT, seguido por um currículo que remove progressivamente os tokens intermediários (amputando-os da esquerda, da direita ou indutivamente) para forçar o modelo a internalizar a computação.

Eles analisam o impacto das escolhas arquiteturais (profundidade vs. largura) e das propriedades específicas dos semiautomatos (por exemplo, a ordem do grupo) no sucesso da internalização.

2. Estrutura Teórica: Paridade Esparsa

Para fornecer garantias prováveis, os autores analisam um transformer de uma camada simplificado com atenção linear e um MLP não linear fixo. Eles estudam a tarefa de aprender uma função de paridade oculta sobre um conjunto de suporte desconhecido.

• Currículo: O modelo é treinado em uma sequência de entradas onde os tokens de CoT (paridades parciais) são progressivamente removidos da esquerda.
• Algoritmo: Eles definem um algoritmo de treinamento específico (Algoritmo 2) envolvendo gradiente descendente com inicializações e passos de arredondamento específicos para demonstrar que o modelo pode aprender o CoT explícito primeiro e depois internalizar a computação para produzir a paridade diretamente.

3. Conexão com Deslocamento de Distribuição Positivo (PDS)

O artigo enquadra a internalização dentro da estrutura de Deslocamento de Distribuição Positivo (PDS) (Medvedev et al., 2026). Eles argumentam que aprender um sistema "lento" (com CoT) em uma distribuição que inclui pistas, e então internalizá-lo, constitui um PDS. Isso permite que o modelo aprenda uma distribuição alvo "difícil" ao aprender primeiro uma distribuição deslocada "mais fácil". Eles exploram ainda se um currículo sequencial pode ser substituído por uma única distribuição de mistura (mixture distribution) contendo exemplos de vários comprimentos de CoT.

Principais Contribuições

1. Descobertas Empíricas sobre Semiautomatos

• Largura vs. Profundidade: A internalização bem-sucedida está mais fortemente correlacionada com a largura do modelo do que com a profundidade. Arquiteturas mais largas e rasas (ex: profundidade 4) superam as mais profundas (ex: profundidade 25) em orçamentos de parâmetros fixos. Isso sugere que a internalização ocorre "horizontalmente" através da largura do modelo, em vez de "verticalmente" através das camadas.
• Dificuldade de Ordem Prima: Semiautomatos com ordens primas (ex: $C_{13}, C_{17}$) são significativamente mais difíceis de internalizar do que aqueles com ordens compostas (ex: $C_{14}, C_{15}$). Os autores conjecturam que isso se relaciona à capacidade dos transformers de representar compactamente contra-semiautomatos cujas ordens possuem pequenos fatores de potência prima (Teorema 1).
• O Compromisso OOD: A internalização frequentemente leva a uma degradação no desempenho Fora da Distribuição (OOD). Enquanto modelos treinados com CoT generalizam bem para distribuições de entrada enviesadas, modelos internalizados tendem a aprender soluções de "atalho" que falham em condições OOD (Figura 1, direita).
• Direção do Currículo: O currículo à esquerda (removendo tokens do início) é geralmente mais eficaz que o currículo à direita para a internalização, provavelmente devido à estabilidade das incorporações posicionais (positional embeddings) no transformer.

2. Provas Teóricas para Paridade

• Internalização Provável: Os autores fornecem a primeira análise provável mostrando que um transformer de uma camada simplificado pode aprender uma paridade oculta com supervisão de CoT explícita e, em seguida, provavelmente internalizar a computação conforme os tokens de CoT são removidos (Teorema 2).
• Dificuldade Computacional: Eles demonstram que aprender a representação de paridade diretamente a partir dos dados sem a internalização de CoT é computacionalmente difícil (no modelo de Consulta Estatística - Statistical Query), enquanto o caminho da internalização é tratável.

3. Distribuições de Mistura como Alternativa

• O artigo demonstra que, tanto para MLPs quanto para transformers autorregressivos, o currículo sequencial para internalização pode ser substituído pelo treinamento em uma única distribuição de mistura contendo exemplos com vários comprimentos de CoT (e pistas de comprimento). Essa abordagem de mistura alcança sucesso semelhante no aprendizado de tarefas difíceis e, notavelmente, pode recuperar um melhor desempenho OOD no regime de CoT completo em comparação com modelos treinados por currículo.

Resultados

• Semiautomatos: Transformers treinados com CoT alcançam precisão quase perfeita em Distribuição (ID) e Fora da Distribuição (OOD). No entanto, após a internalização via currículo à esquerda, a precisão ID permanece alta, mas a precisão OOD cai significativamente (frequentmente para o acaso para autómatos de ordem prima).
• Tarefa de Paridade: O modelo teórico aprende com sucesso a função de paridade. Após o currículo, o modelo produz a paridade correta em uma única passagem direta, tendo internalizado a lógica de múltiplos passos.
• Aprendizado de Mistura: Experimentos mostram que o treinamento em uma mistura de comprimentos de CoT (com pistas de comprimento) permite que um único modelo responda diretamente e gere o CoT completo, muitas vezes superando modelos treinados por currículo em robustez OOD quando o CoT completo é permitido.

Significância e Alegações

O artigo afirma que o aprendizado através da internalização é uma estratégia poderosa que permite que redes neurais resolvam tarefas que seriam, de outra forma, computacionalmente intratáveis para o aprendizado direto. Ao aprender primeiro um sistema "lento" com raciocínio explícito e depois comprimir isso em pesos, os modelos podem contornar barreiras de dificuldade (como visto na tarefa de paridade).

No entanto, os autores também destacam uma ressalva crítica: a internalização não é uma panaceia. O processo frequentemente leva a uma perda de robustez, onde o modelo aprende atalhos frágeis que falham sob mudanças distributivas. Isso sugere que, embora a internalização reduza os custos de inferência e possibilite o aprendizado, ela pode comprometer as capacidades de generalização que o raciocínio explícito proporciona.

Finalmente, o trabalho conecta essas observações empíricas à estrutura de Deslocamento de Distribuição Positivo, sugerindo que o sucesso do aprendizado baseado em currículo e da internalização pode ser entendido como o aproveitamento de uma sequência de distribuições mais fáceis para aprender um alvo difícil. A descoberta de que uma única distribuição de mistura pode substituir currículos complexos oferece um caminho mais prático e robusto para treinar modelos em tarefas de raciocínio difíceis.