🤖 machine learning

Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression

Este artigo demonstra que a regressão simbólica de profundidade fixa pode descobrir efetivamente regras de atualização de pesos de redes neurais compactas e de alto desempenho que superam significativamente os otimizadores padrão projetados à mão em benchmarks de pequena escala, sugerindo uma abordagem leve e promissora para a descoberta automatizada de otimizadores.

Autores originais: Charles Brum, Edward Finkelstein

Publicado 2026-07-27

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Charles Brum, Edward Finkelstein

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a pintar um quadro, mas o robô é desajeitado e vive borrando a tela. Para consertar isso, você precisa de um conjunto de instruções — uma receita — que diga ao robô exatamente como ajustar suas pinceladas para chegar mais perto da obra-prima. No mundo da inteligência artificial, essas instruções são chamadas de "regras de atualização de pesos". Elas são os passos matemáticos que um computador dá para aprender com seus erros. Por décadas, cientistas criaram manualmente essas receitas, misturando ingredientes como "momentum" (para manter o robô se movendo em uma boa direção) ou "taxas adaptativas" (para desacelerar quando as coisas ficam complicadas). Mas aqui está a grande questão: será que estamos perdendo uma receita melhor? E se houver uma maneira secreta e super eficiente de ensinar o robô que nenhum humano pensou em escrever ainda? Este é o campo de atuação da "regressão simbólica", uma técnica que atua como um alquimista digital, buscando através de combinações infinitas de símbolos matemáticos para encontrar a fórmula perfeita para o aprendizado.

Neste artigo, dois pesquisadores decidiram deixar o computador cozinhar. Em vez de adivinhar quais ingredientes tornam o melhor otimizador, eles usaram um método chamado regressão simbólica para caçar novas regras de atualização de pesos. Pense nisso como um algoritmo genético que cria milhões de diferentes expressões matemáticas, testando cada uma para ver se ela ajuda uma pequena rede neural a aprender uma tarefa de forma mais rápida e precisa do que as melhores regras projetadas por humanos. Eles não apenas ajustaram as receitas existentes; eles deixaram o computador inventar inteiramente novas usando uma caixa de ferramentas de operações matemáticas comuns (como adição, multiplicação ou raiz quadrada) e ingredientes padrão como gradientes e momentum.

Os resultados foram surpreendentemente saborosos. De 30 desafios de aprendizado diferentes, as regras descobertas pelo computador venceram os melhores otimizadores ajustados por humanos em 25 casos. Quando o computador encontrava um vencedor, ele reduzia em média 44,47% do erro (medido como Erro Quadrático Médio) em comparação aos métodos padrão. No entanto, o artigo é cuidadoso ao notar que esses experimentos foram realizados em redes pequenas e simples e apenas por 10 épocas (uma única rodada de treinamento). Os autores sugerem que, embora essas novas regras sejam compactas e eficazes para essas tarefas específicas, ainda não sabemos se elas se sustentarão no mundo real, bagunçado e complexo do aprendizado profundo massivo.

As regras descobertas não pareciam todas iguais. Algumas eram simples, enquanto outras eram misturas selvagens de funções trigonométricas, exponenciais e expressões racionais. No entanto, muitas compartilhavam um espírito comum: elas combinavam momentum (como uma bola rolando e ganhando velocidade) com normalização adaptativa (ajustando o tamanho do passo com base no desempenho passado). Os pesquisadores descobriram que o computador conseguia tropeçar nessas fórmulas eficazes e interpretáveis sem ser explicitamente instruído a fazê-lo. Isso sugere que o espaço do "como aprender" é vasto e cheio de joias escondidas que a intuição humana pode negligenciar. Mas antes de jogarmos fora nossos velhos livros de receitas, os autores alertam que essas descobertas são um começo promissor, não uma vitória final. As regras precisam ser testadas em redes maiores e sessões de treinamento mais longas para ver se são verdadeiramente o futuro do aprendizado de IA ou apenas um truque inteligente para pequenos quebra-cabeças.

Resumo Técnico: Buscando o Espaço de Regras de Atualização de Pesos de Redes Neurais Feed-Forward com Regressão Simbólica de Profundidade Fixa

Declaração do Problema

O treinamento de redes neurais feed-forward depende de regras de atualização de pesos (otimizadores) para minimizar funções de erro. Embora otimizadores padrão como SGD, Momentum, Adam e AdaGrad sejam amplamente utilizados, eles são frequentemente projetados de forma heurística. Os autores investigam se a regressão simbólica pode descobrir algoritmicamente regras de atualização de pesos explícitas e compactas que superem empiricamente esses otimizadores projetados à mão e ajustados em hiperparâmetros em benchmarks de regressão simbólica de pequena escala, sem aumentar significativamente a complexidade computacional.

Metodologia

Espaço de Busca e Representação

O estudo utiliza Regressão Simbólica para buscar regras de atualização de pesos representadas como árvores de expressão de profundidade fixa.

Operadores: O espaço de busca inclui um conjunto fixo de operadores unários (ex: ln, exp, sin, tanh, sqrt), operadores binários (+, -, *, /, ^) e hiperparâmetros específicos (η, θ, ϵ, γ, β1, β2).
Operandos: Os nós folha das árvores de expressão são derivados de quantidades comuns em otimizadores existentes. Estes incluem pesos atuais, gradientes, termos de velocidade, médias móveis de gradientes (primeiros e segundos momentos) e gradientes quadrados acumulados. Os operandos são definidos para refletir a mecânica do Heavy-Ball, Nesterov, AdaGrad, RMSProp, Adadelta, Adam e AdamW.
Restrição: Todas as regras geradas são restringidas a uma profundidade de árvore de expressão fixa de 5.

Configuração Experimental

Benchmarks: A avaliação utiliza 10 funções de benchmark de regressão simbólica (5 de Hemberg et al. e 5 de Feynman et al.) com variadas profundidades e complexidades de árvore de expressão.
Arquiteturas: Três arquiteturas distintas de redes neurais feed-forward totalmente conectadas são testadas para cada benchmark, variando o número de camadas e o uso de funções de ativação sigmoide vs. linear. Isso resulta em 30 combinações únicas de benchmark/rede.
Comparação com Baseline: Antes da regressão simbólica, é realizada uma busca em grade (grid search) sobre os hiperparâmetros de otimizadores estabelecidos (Gradiente Descendente, Heavy-Ball, NAG, AdaGrad, RMSProp, AdaDelta, Adam, AdamW) para estabelecer o melhor desempenho de baseline possível para cada combinação.
Processo Evolutivo: Um algoritmo de Programação Genética (GP) evolui populações de candidatas regras de atualização.
- População: Tamanho máximo de 100 candidatos por thread.
- Avaliação: Os candidatos são avaliados treinando uma rede neural inicializada aleatoriamente por exatamente 10 épocas usando a regra candidata. A métrica de fitness é o Erro Quadrático Médio (MSE).
- Semeadura (Seeding): Experimentos subsequentes tentam semear populações com regras descobertas em benchmarks anteriores, embora revertam para populações aleatórias se a semeadura não resultar em resultados competitivos.
- Terminação: As execuções param se as melhorias se tornarem insignificantes ou se 100 expressões superarem o baseline.

Principais Contribuições

Descoberta Empírica de Otimizadores: O artigo demonstra que a regressão simbólica pode descobrir regras de atualização de pesos explícitas que superam os melhores otimizadores padrão ajustados em hiperparâmetros.
Compactação e Interpretabilidade: As regras descobertas são estruturalmente compactas (profundidade fixa) e interpretáveis, frequentemente combinando motivos reconhecíveis, como normalização adaptativa, termos do tipo momentum e transformações não lineares, apesar de não serem explicitamente restringidas a essas formas.
Exploração do Espaço de Busca: O trabalho explora um vasto espaço de equações potenciais (estimado em $\approx 1.71 \times 10^{65}$ regras únicas para a profundidade dada) para encontrar dinâmicas eficazes, revelando que múltiplas expressões algebricamente distintas podem alcançar desempenho comparável.

Resultados

Taxa de Sucesso: Em 25 de 30 combinações de benchmark/rede neural, o procedimento de regressão simbólica descobriu uma regra de atualização que superou o melhor otimizador estabelecido ajustado em hiperparâmetros.
Ganho de Desempenho: Nos 25 casos de melhoria, a redução agregada do Erro Quadrático Médio (MSE) foi de 44,47%.
Casos de Falha: Os 5 casos onde a regressão simbólica falhou em encontrar uma regra superior concentraram-se na maior arquitetura de rede neural (Rede Neural 3), sugerindo que as regras descobertas podem tornar-se menos competitivas conforme a complexidade do modelo aumenta.
Diversidade Estrutural: As melhores regras descobertas não convergiram para uma única forma simbólica. No entanto, quatro "assinaturas de expressão canônicas" reapareceram em múltiplos benchmarks, todas incorporando estatísticas de gradiente acumulado. Muitas regras utilizaram não linearidades (trigonométricas, hiperbólicas, exponenciais) e expressões racionais envolvendo médias móveis.

Significância e Limitações

Os autores posicionam este trabalho como um estudo preliminar em vez de um benchmark definitivo para otimizadores de deep learning.

Significância: Os resultados sugerem que a regressão simbólica serve como um mecanismo leve para a descoberta de variantes de otimizadores compactas, explícitas e de alto desempenho. Destaca que dinâmicas de otimização eficazes podem admitir representações simbólicas de baixa complexidade, mesmo quando suas formas funcionais variam significamente entre tarefas.
Limitações: O estudo é restrito a pequenas redes neurais treinadas por apenas 10 épocas em tarefas de regressão simbólica, não em datasets de aprendizado de máquina de larga escala ou tarefas de classificação. A busca é estocástica e as regras descobertas carecem de garantias teóricas de convergência.
Perspectivas Futuras: O artigo conclui que validações adicionais são necessárias em arquiteturas maiores, horizontes de treinamento mais longos e benchmarks padrão de deep learning. Trabalhos futuros também devem incorporar penalidades de complexidade, restrições de estabilidade e simplificação algébrica post-hoc para garantir que os otimizadores descobertos sejam também performantes e analisáveis.