Resumo Técnico: Janelas Críticas de Controle de Complexidade em Transformers

Declaração do Problema

A literatura recente estabeleceu que Transformers podem alcançar generalização composicional (raciocínio) em vez de memorização em tarefas específicas, controlando a complexidade por meio de pequenas escalas de inicialização ($\gamma$) e decaimento de peso ($\lambda$). No entanto, análises existentes tratam esses hiperparâmetros como escolhas estáticas, assumindo que a magnitude da regularização é o único determinante da trajetória do modelo. Este artigo investiga uma lacuna crítica: se o timing do controle de complexidade importa. Especificamente, questiona-se se a decisão entre soluções de memorização e raciocínio é tomada ao longo de todo o treinamento ou se é determinada dentro de uma janela temporal específica e identificável.

Metodologia

Os autores empregam um quadro experimental controlado centrado na tarefa de função-âncora (introduzida por Zhang et al., 2025), onde os modelos devem compor permutações de símbolos âncora.

• Arquitetura: Pequenos Transformers de 2 e 4 camadas com pré-normalização ($d_{model}=64$, 2 cabeças).
• Treinamento: Instrumentação completa permite o rastreamento passo a passo da precisão Fora de Distribuição (OOD), índices de condensação e alinhamentos de subespaço.
• Variável Central: Os autores variam sistematicamente a colocação temporal do decaimento de peso ($\lambda$), mantendo constantes o orçamento cumulativo de regularização ($\int \lambda(t) dt$) e a escala de inicialização ($\gamma$).
• Desenho Experimental: Eles testam cronogramas "janelados" onde o decaimento de peso é aplicado apenas durante intervalos específicos (ex.: início, meio, fim) do treinamento, comparando-os com baselines de treinamento completo e sem regularização.
• Análise Teórica: Um modelo de atenção linearizado de duas camadas é analisado para derivar equações de taxa para "massa de memorização" e "massa de raciocínio", prevendo uma separação em suas escalas de tempo.

Principais Contribuições e Resultados

1. A Existência de uma Janela Crítica

A principal descoberta empírica é que o destino de um Transformer (raciocínio vs. memorização) é decidido dentro de uma janela aguda e estreita de treinamento.

• Eficácia da Janela: Aplicar decaimento de peso por uma única janela de 25% do treinamento (especificamente os passos 2.500–17.500 em uma execução de 20k passos) produz precisão OOD (0,93) comparável ao decaimento de peso de treinamento completo (0,91).
• Ineficácia Fora da Janela: Aplicar o mesmo orçamento de decaimento de peso inteiramente antes desta janela (passos 0–5.000) ou inteiramente depois dela resulta em precisão OOD ao nível do acaso (~0,15), indistinguível da ausência de regularização.
• Orçamento vs. Timing: Quando o orçamento total de regularização é mantido constante, colocá-lo no meio do treinamento produz uma precisão OOD 5–9$\times$ maior do que colocá-lo no início. Isso demonstra que quando a regularização é aplicada é mais crítico do que quanto é aplicado.

2. Nitidez da Fronteira Temporal

A transição para a janela crítica é notavelmente abrupta.

• Deslocar o início da janela em apenas 100 passos de otimização faz com que a precisão OOD média salte do acaso (0,15) para o regime de raciocínio (0,61).
• Em 400 passos, o sistema atinge o platô de raciocínio (0,93). Isso sugere um comportamento semelhante a uma transição de fase, onde a capacidade do modelo de ser direcionado para o raciocínio só está ativa após um período específico de inicialização.

3. Escala de Inicialização e Contração da Bacia

Contrariando a recomendação predominante de que uma inicialização menor é uniformemente melhor para o raciocínio, o artigo encontra uma relação matizada:

• Posição da Janela: A janela crítica desloca-se para mais cedo à medida que $\gamma$ aumenta.
• Bacia de Atração: Em escalas de inicialização muito pequenas (ex.: $\gamma=0,5$), a bacia de atração para a solução de raciocínio contrai-se significativamente. Em execuções com 12 sementes, apenas 8/12 sementes atingiram OOD > 0,5 em $\gamma=0,5$, enquanto 12/12 tiveram sucesso em $\gamma=1,1$.
• Implicação: Uma inicialização moderada ($\gamma \in [0,7, 1,1]$) fornece uma bacia de atração mais ampla para soluções de raciocínio sob tempo de treinamento finito, desafiando o heurístico "quanto menor, melhor".

4. Especificidade da Tarefa e Escopo

O fenômeno não é universal a todas as tarefas de generalização atrasada:

• Grokking (Aritmética Modular): A janela crítica não aparece. Na aritmética modular, um decaimento de peso constante devidamente ajustado alcança o grokking 5$\times$ mais rápido do que cronogramas localizados no tempo.
• SCAN (add_prim_jump): Transformers vanilla de 2 camadas falham em alcançar a bacia de solução composicional inteiramente sob qualquer cronograma, indicando que o fenômeno requer uma paisagem de perda onde ambas as bacias de memorização e raciocínio são acessíveis.

5. Mecanismo Teórico: Separação de Duas Escalas de Tempo

Os autores fornecem uma conta teórica baseada em um modelo linearizado mostrando que os circuitos de memorização e raciocínio evoluem sob equações de taxa qualitativamente diferentes:

• Taxa de Memorização: $\mu_m = \Theta(1)$ (independente de $\gamma$).
• Taxa de Raciocínio: $\mu_r = \Theta(\gamma^2)$.
• Mecanismo: Como o raciocínio evolui muito mais lentamente do que a memorização em $\gamma$ pequeno, existe um intervalo de tempo onde a memorização saturou, mas o raciocínio ainda está se desenvolvendo. O decaimento de peso aplicado durante este intervalo suprime seletivamente o caminho de memorização saturado, permitindo que o caminho de raciocínio cresça. O decaimento de peso aplicado antes deste intervalo contrai ambos os caminhos proporcionalmente (sem efeito na razão), e aplicado depois, o modelo já se comprometeu com a memorização.

6. Robustez

• Profundidade: O fenômeno persiste em modelos de 4 camadas, embora o platô de raciocínio seja menor e a variância das sementes seja maior, consistente com a previsão teórica de contração da bacia à medida que a dimensionalidade dos parâmetros aumenta.
• Otimizador: O fenômeno se reproduz sob SGD vanilla com momento. Notavelmente, sob SGD, o decaimento de peso constante performa significativamente pior do que cronogramas janelados, enquanto o AdamW mascara parcialmente este efeito via pré-condicionamento adaptativo.

Significado e Alegações

O artigo alega caracterizar uma transição de fase localizada no tempo previamente não reportada na generalização composicional. Seu significado reside em:

1. Reenquadramento do Controle de Complexidade: Desloca o paradigma de uma visão estática de hiperparâmetros para uma dinâmica, temporal. A "receita" para induzir raciocínio não é apenas "$\gamma$ pequeno + decaimento de peso", mas "$\gamma$ pequeno + decaimento de peso aplicado durante a janela crítica".
2. Correção de Recomendações Anteriores: Fornece uma ressalva à recomendação de inicialização mínima, mostrando que uma inicialização moderada pode ser superior para estabilidade (largura da bacia) em regimes de treinamento de tempo finito.
3. Alinhamento Teórico: Oferece uma explicação teórica de duas escalas de tempo que prevê a existência, posição e largura da janela crítica, bem como a contração da bacia observada.
4. Definição de Escopo: Delimita que este mecanismo aplica-se especificamente a configurações onde o modelo pode acessar tanto as bacias de memorização quanto de raciocínio, distinguindo-o de outros fenômenos de generalização como o grokking.

Os autores concluem que o controle de complexidade é fundamentalmente um fenômeno temporal e que os quadros estáticos existentes são incompletos para explicar como os Transformers selecionam entre soluções de raciocínio e memorização.