Nothing from Something: Can a Language Model Discover 0?

Resumo Técnico: Nada de Algo: Pode um Modelo de Linguagem Descobrir o 0?

Definição do Problema
O artigo investiga a capacidade de redes neurais artificiais de realizar generalização "fora da distribuição" (out-of-distribution), especificamente a habilidade de hipotetizar e aprender novas estruturas matemáticas genuínas não presentes em seus dados de treinamento. Embora os modelos de linguagem de grande escala (LLMs) recentes tenham alcançado alto desempenho em benchmarks matemáticos complexos (ex: IMO, Putnam), esses sucessos dependem amplamente de dados de treinamento que espelham a complexidade e o conteúdo dos problemas de teste. Os autores postulam que a verdadeira descoberta matemática exige que um sistema consiga transpor uma lacuna conceitual — mover-se de um universo de conceitos para um que contenha conceitos mais poderosos. Usando a introdução do número "zero" como um estudo de caso, o artigo questiona: pode um modelo treinado exclusivamente em aritmética de dígitos únicos positivos generalizar para incluir o zero, e o pré-treinamento de linguagem facilita esse salto?

Metodologia
Os autores utilizam uma configuração experimental controlada usando transformadores do tipo decodificador-apenas estilo GPT (especificamente arquiteturas do tamanho do GPT-2).

• Modelos: Duas configurações principais foram testadas: um modelo pequeno (4 camadas, dimensão de embedding de 128, ~800K parâmetros) e um modelo maior (12 camadas, dimensão de embedding de 768, ~124M parâmetros). Ambos foram avaliados sob quatro condições: (1) pré-treinados em OpenWebText sem filtros, (2) pré-treinados em um corpus OpenWebText filtrado (removendo números e símbolos matemáticos), (3) pré-treinados em dados sem filtros, mas sem o treinamento matemático específico, e (4) sem nenhum pré-treinamento.
• Construção de Dados:
  • Tarefa Aritmética: Os modelos foram treinados em problemas de adição e subtração de dígitos únicos de comprimento variável (2–4 operandos).
  • Estratégia de Holdout do Zero: Os conjuntos de treinamento e validação continham apenas problemas onde o zero não aparecia como operando ou resultado (exceto na casa das unidades de respostas de múltiplos dígitos como "10"). O conjunto de teste consistia inteiramente de problemas que exigiam o zero (ex: "3-3=0" ou "0+5=5").
  • Tokenização: Foi utilizado um esquema de tokenização manual customizado onde cada dígito e símbolo é um token distinto. Isso garante que o modelo trate o "0" como um token específico, em vez de parte de um token de número inteiro maior.
  • Pré-treinamento de Linguagem: Para garantir que os modelos "filtrados" não tivessem exposição prévia à aritmética, os autores curaram uma versão do OpenWebText removendo todos os caracteres não naturais, convertendo números em palavras e filtrando símbolos matemáticos. Verificações de perplexidade confirmaram que esses modelos estavam desconhecidos de tokens aritméticos antes do treinamento aritmético específico.
• Design Experimental:
  1. Generalização Zero-Shot: Modelos treinados em aritmética apenas de positivos foram testados em problemas inclusivos de zero.
  2. Aprendizado Few-Shot: Uma pequena fração dos dados de treinamento (variando de 1 a 1024 exemplos) foi substituída por problemas inclusivos de zero para medir a eficiência de amostragem.
  3. Experimentos de Controle: O procedimento de holdout do zero foi repetido para os dígitos 1–9 (e 1–7 em uma configuração de base-8) para determinar se o zero é unicamente difícil de generalizar.

Resultos Principais

1. Falha na Generalização Zero-Shot: Independentemente do pré-treinamento de linguagem ou do tamanho do modelo, os modelos de tamanho GPT-2 falharam em generalizar para o zero quando este estava inteiramente ausente da distribuição de treinamento. Mesmo conforme a perda de treinamento diminuía e a acurácia de validação saturava, a acurácia de teste em problemas inclusivos de zero permaneceu em níveis de acaso.
2. Impacto de Dados Few-Shot: Quando um pequeno número de exemplos inclusivos de zero foi introduzido no conjunto de treinamento, o desempenho do modelo melhorou significamente.
   • Para o modelo com pré-treinamento de linguagem, apenas 64 exemplos (0,64% dos dados de treinamento) renderam >60% de acurácia, e 1024 exemplos (>90% de acurácia).
   • Eficiência de Amostragem: O pré-treinamento de linguagem reduziu o número de exemplos necessários para o few-shot em aproximadamente 50% em comparação com modelos sem pré-treinamento. Isso sugere que as habilidades de linguagem atuam como um andaime para a descoberta matemática.
3. O Zero é Especial: A dificuldade de generalização variou por dígito. Dígitos no meio do intervalo (ex: 4, 5) foram mais fáceis de generalizar do que o zero ou o dígito de "transporte/vai um" (9 em base-10, 7 em base-8).
   • A análise dos vetores de embedding revelou que as representações para 0 e 9 possuem menos "vizinhos próximos" (dígitos com alta similaridade de cosseno) em comparação aos dígitos centrais. Isso apoia a hipótesa de que os modelos têm dificuldade em extrapolar para dígitos com vizinhos representacionais esparsos.
4. Limites de Escala: Experimentos com modelos maiores de 1 bilhão de parâmetros, de código aberto (incluídos no Apêndice), também falharam em descobrir o zero no tempo de teste sem exposição explícita, sugerindo que o escalonamento sozinho não resolve este problema específico de generalização.

Significância e Alegações
O artigo afirma fornecer um benchmark rigoroso para a "generalização conceitual" em modelos neurais, distinta da generalização composicional. Os autores concluem que:

• Os atuais modelos de tamanho GPT-2 não podem descobrir espontaneamente o conceito de zero através de treinamento aritmético sozinho; eles requerem exposição explícita.
• O pré-treinamento de linguagem não permite a descoberta zero-shot, mas acelera significativamente o processo de aprendizagem uma vez que o conceito é introduzido, reduzindo o requisito de dados em cerca de metade.
• Este achado é paralelo às teorias da ciência cognitiva (ex: Carey, 2009) que sugerem que as habilidades de linguagem servem de andaime para a evolução de conceitos formais na cognição humana.
• A dificuldade de generalização para o zero (e para o dígito de transporte) destaca uma limitação na capacidade dos modelos de extrapolar além da "interpolação" das representações de tokens existentes.

Os autores mantêm uma postura modesta, observando que, embora estes resultados iluminem os mecanismos de generalização em aritmética simples, eles ainda não demonstram a capacidade da IA de gerar independentemente provas matemáticas complexas e novas. O trabalho serve como um passo fundamental para entender como medir e potencialmente habilitar a verdadeira descoberta matemática em sistemas de IA.