Resumo Técnico: O Grokking Vale a Pena?

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente exibem uma "maldição do raciocínio de dois saltos" (two-hop reasoning), onde falham em compor fatos aprendidos separadamente em uma cadeia coerente de inferência. Por exemplo, um modelo pode recordar que "a esposa de Barack é Michelle" e "Michelle nasceu em 1964", mas falhar em inferir "a esposa de Barack nasceu em 1964" através de computação interna. Essa falha é atribuída a um desajuste representacional: Transformers padrão recuperam fatos atômicos em camadas superficiais, mas camadas mais profundas não são treinadas para utilizar essas representações latentes específicas como entradas para etapas subsequentes de recuperação.

A literatura recente sugere que Transformers com compartilhamento de parâmetros podem superar isso ao passar por uma fase de treinamento prolongada conhecida como "grokking", durante a qual um "Circuito de Generalização" emerge. Este circuito permite que o modelo internalize cadeias de raciocínio ao recuperar explicitamente entidades intermediárias (pontes) em camadas intermediárias. No entanto, questões fundamentais permanecem: um modelo que passou pelo grokking é verdadeiramente superior ao seu contraparte não-grokking em tarefas de jusante (downstream)? O custo computacional extensivo de esperar pela fase de grokking é justificado? A capacidade de raciocínio adquirida através do grokking transfere-se efetivamente para novos fatos?

Metodologia

Os autores empregam um estudo mecanístico utilizando uma arquitetura de Transformer de compartilhamento de parâmetros de última geração em uma tarefa de raciocínio composicional sintética.

• Construção do Conjunto de Dados: Foi construído um conjunto de dados sintético compreendendo 2.000 entidades e 200 relações únicas, totalizando 40.000 fatos atômicos. Os dados são particionados em subconjuntos de Distribuição Interna (ID) e Fora da Distribuição (OOD). Os modelos são treinados em todas as consultas atômicas, mas apenas em consultas composicionais construídas a partir de fatos ID. A avaliação ocorre em consultas composicionais envolvendo fatos OOD para testar a generalização genuína em vez da memorização.
• Análise Mecanística: O estudo utiliza a técnica "logit lens" para decodificar estados ocultos em todas as camadas, visualizando a maturação dos Circuitos de Generalização. Um traço de inferência é categorizado como "Ponte encontrada" se o estado oculto decodificado corresponder à entidade ponte real.
• Variações Experimentais:
  1. Grokking Natural: Treinamento em dados composicionais padrão apenas ID para observar a emergência natural do grokking.
  2. Aumento de Supervisão Total: Fornecer supervisão composicional em fatos OOD (Aumento Total de Primeiro Salto e Aumento Total de Segundo Salto) para acelerar o aprendizado e testar se o caminho de raciocínio muda.
  3. Avaliação de Transferibilidade: Ajuste fino (fine-tuning) de modelos pré-treinados (tanto os naturalmente grokked quanto os "fake grokked") em uma mistura de fatos ID retidos e 2.000 fatos atômicos inteiramente novos para avaliar a capacidade de assimilar novo conhecimento e compô-lo.

Principais Descobertas

1. Caminhos de Raciocínio Idênticos

Ao contrário da hipótese de que o grokking representa a aquisição súbita de um novo paradigma de raciocínio, o estudo descobre que modelos não-grokked e grokked seguem caminhos de inferência idênticos para consultas composicionais de distribuição interna.

• O "Circuito de Generalização" não é uma nova estrutura formada apenas após o grokking; em vez disso, o caminho de raciocínio é estabelecido precocemente no treinamento para fatos ID.
• O grokking é caracterizado como o processo de integrar fatos OOD esparsamente supervisionados neste circuito naturalmente estabelecido.
• Modelos treinados com supervisão composicional total em fatos OOD alcançam o mesmo caminho de raciocínio e desempenho de transferência que modelos naturalmente grokked, porém em significativamente menos etapas.

2. Dissociação de Comportamento e Mecanismo

O artigo demonstra que o comportamento de grokking (alta precisão em casos não vistos) não está intrinsecamente ligado à formação de um Circuito de Generalização.

• Sob regimes de dados específicos (ex: Aumento Total de Segundo Salto), modelos podem alcançar alta precisão em composições OOD sem nunca recuperar corretamente a entidade ponte nas camadas intermediárias.
• Esses modelos "fake grokked" carecem do mecanismo subjacente do Circuito de Generalização e, crucialmente, falham em transferir essa capacidade para novos fatos, ao contrário dos modelos que possuem o circuito verdadeiro.

3. Transferibilidade Limitada

Mesmo quando um Circuito de Generalização maduro está presente, sua transferibilidade para novos conhecimentos é limitada.

• Embora o circuito permita que os modelos recuperem entidades ponte para novos fatos, ele não garante a capacidade de completar o segundo salto do raciocínio se o segundo salto envolver um fato novo.
• Para estabelecer um circuito confiável para novo conhecimento, os modelos ainda requerem ou uma fase adicional de grokking ou um ajuste fino substancialmente maior cobrindo os novos fatos e suas composições.
• Modelos "fake grokked" falham em se adaptar ao raciocínio composicional misturando novos e antigos fatos, meramente memorizando novos fatos atômicos sem aprender a raciocinar sobre eles.

Significância e Alegações

O artigo desafia a visão predominante de que o grokking representa a aquisição genuína de um paradigma de raciocínio generalizado. Em vez disso, propõe que o grokking é um mecanismo para integrar dados esparsos em uma estrutura existente.

Os autores concluem que a decisão de buscar o grokking envolve um equilíbrio entre escassez de dados e recursos computacionais:

• Sob supervisão esparsa: Treinar até o grokking pode ser necessário para forçar a integração dos fatos no circuito de raciocínio.
• Sob supervisão suficiente: Se houver dados composicionais suficientes, os modelos podem parar no ponto de saturação do treinamento e alcançar desempenho equivalente sem o overhead computacional da fase prolongada de grokking.

Em última análise, o estudo sugere que Transformers "grokked" não alcançam um domínio completo da lógica composicional comparável ao raciocínio humano, pois sua capacidade de generalizar padrões de raciocínio através de domínios permanece restrita.

Limitações

Os autores reconhecem duas limitações primárias:

1. Restrições Computacionais: A investigação sobre o "fake grokking" não é exaustiva devido aos ciclos de treinamento extremos necessários para observar fenômenos de grokking, deixando a fronteira precisa das condições de colapso do circuito como uma questão em aberto.
2. Escopo Arquitetural: As descobertas são específicas para Transformers com compartilhamento de parâmetros. Transformers padrão com pesos de camada independentes lutam inerentemente com esta forma de generalização implícita, e os resultados podem não se estender a essas arquiteturas.