Classification of integers based on residue classes via modern deep learning algorithms

Resumo Técnico: Classificação de Inteiros Baseada em Classes de Resíduos via Algoritmos Modernos de Aprendizado Profundo

Enunciado do Problema
O estudo investiga a capacidade de sistemas modernos de aprendizado de máquina de classificar inteiros com base em suas classes de resíduos quando divididos por pequenos números primos (especificamente $p=2, 3, 7$ e até $31$). Embora humanos possam facilmente determinar a paridade (mod 2) ou aplicar regras de soma de dígitos para divisibilidade por 3, os autores postulam que esta tarefa apresenta um desafio não trivial para computadores, particularmente para sistemas de Inteligência Artificial que se espera que discernam padrões matemáticos de forma autônoma sem regras projetadas explicitamente por humanos. A questão central é se arquiteturas de aprendizado profundo de última geração, plataformas de Aprendizado de Máquina Automatizado (AutoML) e Grandes Modelos de Linguagem (LLMs) podem aprender efetivamente essas regras de divisibilidade a partir de dados brutos ou se dependem fundamentalmente de recursos projetados por humanos (human-engineered features).

Metodologia
Os autores conduziram uma avaliação abrangente através de quatro categorias metodológicas distintas usando um espaço amostral de inteiros não negativos até $2^{32}-1$.

1. Redes Neurais Profundas (DNNs): O estudo testou Redes Neurais Artificiais (ANN), Redes Neurais Convolucionais (CNN), Redes Neurais Recorrentes (RNN) e Bidirectional Encoder Representations from Transformers (BERT).

   • Engenharia de Recursos (Feature Engineering): Um componente crítico da metodologia foi a aplicação sistemática de várias representações de recursos aos inteiros de entrada. Estas incluíram:
     • Valores inteiros brutos.
     • Representações binárias e de base três.
     • Codificações N-gramas (Um-grama, Dois-gramas, Três-gramas e combinações destes) tratando os dígitos como sequências.
     • Codificações aprimoradas incorporando a soma dos dígitos ou a soma dos dígitos módulo $p$ (especificamente para $p=3$).
   • Arquitetura: A ANN utilizou uma estrutura simples de duas camadas (64 e 32 neurônios). As CNNs utilizaram camadas de convolução 1D e max-pooling. As RNNs empregaram uma única camada LSTM. Modelos BERT foram ajustados (fine-tuned) para classificação de sequência.

2. Aprendizado de Máquina Automatizado (AutoML): Os autores avaliaram pipelines da Amazon (AWS Sagemaker), Google (Vertex AI) e Microsoft (Azure ML Studio). Estas plataformas foram testadas com dados brutos e diversos recursos projetados para determinar se poderiam selecionar autonomamente modelos e recursos otimizos.

3. Regressão de Séries de Fourier: Uma abordagem matemática inovadora foi proposta utilizando regressão linear em vetores de base de séries de Fourier. Para um dado módulo $p$, o valor de entrada $x$ é transformado em vetores seno e cosseno: $\sin(2\pi j x / p)$ e $\cos(2\pi j x / p)$ para $j=1, \dots, \lfloor p/2 \rfloor$. A regressão de Mínimos Quadrados Ordinários (OLS) foi utilizada para ajustar os rótulos, com as previsões arredondadas para o inteiro mais próximo.

4. Grandes Modelos de Linguagem (LLMs): O estudo avaliou as capacidades de raciocínio matemático de modelos de código aberto (GPT-J-6B, LLaMA-7B, Falcon-40B) e modelos de código fechado (ChatGPT, GPT-4 com intérprete de código). Os prompts foram desenhados para elicir explicações de regras de divisibilidade ou o design de algoritmos para resolver o problema de classificação.

Resultados Principais

• Dependência do Espaço de Recursos: O desempenho de todos os modelos de aprendizado profundo foi criticamente dependente do espaço de recursos de entrada.

  • Mod 2: Dados brutos renderam uma precisão próxima ao acaso (~0.5). A representação binária alcançou precisão de 1.000. Codificações N-gramas melhoraram a precisidade para ~0.8.
  • Mod 3: Dados brutos e codificações N-gramas simples tiveram desempenho insatisfatório. No entanto, incorporar a "soma dos dígitos" ou a "soma dos dígitos módulo 3" ao vetor de recursos permitiu que os modelos atingissem alta precisão (>0.9).
  • Especificidades do BERT: O BERT alcançou precisão de 1.000 com a codificação "Um-grama + soma", mas falhou (~0.33) apenas com "Um-grama". Os autores atribuem isso ao espaço de embedding de pré-treinamento do BERT, que provavelmente captura a natureza recursiva das somas de dígitos, enquanto outras redes trataram a soma como um valor contínuo não visto.

• Limitações do AutoML: As plataformas de AutoML falharam em alcançar uma classificação eficaz quando fornecidas com dados brutos. Elas só obtiveram sucesso quando fornecidas com recursos explicitamente projetados (por exemplo, a soma dos dígitos para mod 3). As plataformas favoreceram fortemente algoritmos baseados em árvores sobre o aprendizado profundo para esta tarefa.

• Sucesso da Série de Fourier: O método proposto de regressão de série de Fourier utilizando vetores de base de Fourier alcançou precisão de 1.000 para ambos os problemas mod 3 e mod 7. Notavelmente, isso foi alcançado com um conjunto de dados mínimo (200 amostras), demonstrando que a natureza periódica da função de resíduo pode ser perfeitamente capturada com poucos exemplos de treinamento quando a base matemática correta é utilizada.

• Falhas de LLMs:

  • LLMs de código aberto (GPT-J, LLaMA, Falcon) produziram consistentemente respostas imprecisas e pouco informativas sobre regras de divisibilidade para primos $p \geq 7$, e frequentemente falharam também para primos menores.
  • O ChatGPT mostrou desempenho melhorado para primos pequenos, mas recorreu ao uso do operador módulo (%) para $p \geq 23$, não fornecendo nenhuma regra matemática informativa.
  • O GPT-4, ao ser solicitado a projetar um algoritmo de aprendizado profundo para o problema, gerou código que era sintaticamente correto, mas falhou em identificar técnicas apropriadas de engenharia de recursos ou selecionar algoritmos ideais, resultando em uma solução ineficaz.

Significância e Conclusões
O artigo conclui que, apesar dos avanços em AutoML e nas capacidades de raciocínio de Grandes Modelos de Linguagem, a engenharia de recursos permanece uma tarefa indispensável para melhorar o desempenho e a interpretabilidade dos modelos.

1. Engenharia de Recursos é Primordial: O estudo demonstra que o aumento da complexidade do modelo ou do tamanho do conjunto de dados não pode compensar a falta de engenharia de recursos apropriada. Sem transformações específicas do domínio (como a representação binária para mod 2 ou somas de dígitos para mod 3), mesmo modelos sofisticados falham em aprender padrões matemáticos simples.
2. Limitações da IA Atual: A incapacidade do AutoML de descobrir autonomamente esses recursos e a falha dos LLMs em articular ou projetar algoritmos para esses problemas sugere que os sistemas de IA atuais carecem de uma abordagem sistemática e autônoma para discernir padrões matemáticos fundamentais a partir de dados de treinamento.
3. Interpretabilidade Matemática: O método de regressão de série de Fourier oferece uma alternativa altamente eficaz, interpretável e eficiente em termos de dados para problemas de classificação periódica, alcançando precisão perfeita com um número mínimo de exemplos de treinamento.

Em resumo, os autores argumentam que, na era do AutoML e dos LLMs, o conhecimento de domínio humano aplicado através da engenharia de recursos ainda é o principal motor de sucesso na resolução de problemas matemáticos estruturados, e confiar nesses modelos para tais tarefas sem um preparo cuidadoso dos dados é arriscado e frequentemente ineficaz.