No One-Size-Fits-All Neurons: Task-based Neurons for Artificial Neural Networks

Resumo Técnico: Não Existe um Neurônio Único para Todos: Neurônios Baseados em Tarefas para Redes Neurais Artificiais

Problema
A pesquisa atual em aprendizado profundo concentra-se predominantemente no design de novas arquiteturas de rede (ex: caminhos curtos, Busca de Arquitetura Neural) enquanto utiliza quase exclusivamente um tipo único e homogêneo de neurônio: o neurônio linear (um produto interno seguido de uma ativação não linear). Esta abordagem contrasta com a realidade biológica, onde o céreos humano exibe uma diversidade neuronal significativa e depende de neurônios "baseados em tarefas" em vez de um tipo universal. Embora estudos recentes tenham introduzido neurônios não lineares específicos (ex: quadráticos ou polinomiais), estes permanecem como designs fixos que podem não ser ideais para todas as tarefas. O artigo postula que não existe um "tamanho único" para neurônios e que o campo deve mudar do design de arquiteturas baseadas em tarefas para o design de neurônios baseados em tarefas que possuam um viés indutivo intrínseco específico para os dados em questão.

Metodologia
Os autores propõem um framework de duas etapas para prototipar neurônios baseados em tarefas, centrado na Regressão Simbólica Vetorizada (VSR):

1. Regressão Simbólica Vetorizada (VSR):

   • Objetivo: Identificar fórmulas analíticas ideais para ajustar dados de entrada utilizando um espaço predefinido de funções base (ex: polinômios, funções trigonométricas).
   • Mecanismo: Ao contrário da Regressão Simbólica (SR) tradicional, que frequentemente gera fórmulas heterogêneas para diferentes variáveis, a VSR impõe homogeneidade. Ela empilha todas as variáveis de entrada em um vetor e regulariza cada variável para realizar a mesma computação.
   • Operadores: O espaço de busca inclui operadores vetoriais (produto de Hadamard, produto interno) e operadores escalares (+, −, ×, ÷) aplicados elemento a elemento.
   • Algoritmo de Busca: O framework utiliza Programação Genética (GP) com mutação, crossover e seleção para evoluir árvores de expressão. O resultado é uma fórmula matemática que representa um padrão básico nos dados.
   • Vantagens: A VSR aborda a ineficiência computacional da SR tradicional em altas dimensões, permite computação paralela (crucial para aceleração por GPU) e reduz a complexidade do espaço de busca para $O(d)$ parâmetros.

2. Parametrização de Neurônios e Integração na Rede:

   • Reparametrização: As constantes fixas na fórmula descoberta pela VSR são substituídas por parâmetros aprendíveis. Isso transforma a fórmula estática em uma função de agregação dinâmica para um neurônio.
   • Funções de Ativação: Funções de ativação padrão (ex: ReLU, Sigmoid) são mantidas e anexadas à saída agregada, pois são comprovadamente eficazes.
   • Adaptação de Arquitetura:
     • Redes Totalmente Conectadas: A fórmula aprendida é expandida em termos polinomiais (ex: $x, x \odot x, x \odot x \odot x$), cada um multiplicado por uma matriz de pesos aprendível.
     • Redes Convolucionais: Para imagens, um autoencoder primeiro reduz a dimensionalidade. A fórmula VSR é então aplicada aos vetores latentes, e os termos resultantes são convertidos em núcleos de convolução aprendíveis.
   • Base Teórica: O artigo apresenta um teorema (Teorema 1) sugerindo que, se uma rede de camada única usando neurônios baseados em tarefas atingir um erro ótimo menor ($\|e^*_1\|$) do que um neurônio genérico, então uma rede mais profunda composta por esses neurônios ($\|e^*_l\|$) também atingirá um erro menor, desde que a arquitetura seja consistente.

Principais Contribuições

1. Framework de Neurônio Baseado em Tarefa: Um novo roteiro para NeuroAI que projeta neurônios baseados na tarefa específica em vez de usar uma arquitetura universal. Isso introduz uma nova dimensão ao design de modelos de aprendizado profundo.
2. Regressão Simbólica Vetorizada (VSR): A primeira aplicação de regressão simbólica ao design de neurônios de aprendizado profundo. A VSR resolve os problemas de escalabilidade da SR tradicional em espaços de alta dimensão e facilita a computação paralela.
3. Validação Empírica: Experimentos sistemáticos em dados sintéticos, benchmarks públicos e aplicações do mundo real demonstrando que neurônios baseados em tarefas e suas redes associadas superam neurônios pré-definidos e modelos de última geração.

Resultos

• Dados Sintéticos: A VSR recuperou com sucesso fórmulas polinomiais de verdade (ground-truth) a partir de dados ruidosos. Redes baseadas em tarefas (TN) alcançaram um Erro Quadrático Médio (MSE) significativamente menor do que Redes Lineares (LN), mesmo com menos parâmetros e profundidades menores.
• Dados Tabulares: Em conjuntos de dados do mundo real (Colisão de Partículas de Alta Energia e Predição de Asteroides), a TN superou modelos avançados como XGBoost, LightGBM, CatBoost, TabNet e vários modelos de Transformer para dados tabulares (TabTransformer, FT-Transformer). A TN obteve o melhor desempenho em ambos os conjuntos de dados com capacidade mínima (variantes de camada única).
• Comparação com KANs: A TN demonstrou desempenho superior ou altamente competitivo contra as Redes Kolmogorov-Arnold (KAN) e suas variantes (ChebyKAN, FourierKAN, FastKAN) em 16 conjuntos de dados de regressão e classificação, muitas vezes com menos parâmetros e FLOPs.
• Dados de Imagem: Quando aplicada às 20 classes de pior desempenho do ImageNet usando backbones MobileNet-V2, ResNet-18 e ViT-B-32, a TN superou consistentemente os neurônios convencionais, alcançando maior precisão Top-1 com menos parâmetros.
• Escalabilidade: Experimentos mostraram que, enquanto a SR tradicional tem dificuldades com dimensões acima de 80, a VSR mantém um desempenho robusto e escala efetivamente até 400 dimensões, superando a SR em regimes de alta dimensão.
• Ablação: Comparações com neurônios usando polinômios aleatórios confirmaram que as fórmulas aprendidas via VSR não são arbitrárias, mas capturam padrões essenciais dos dados.

Significância e Alegações
O artigo afirma que o framework proposto representa um passo significativo em direção à NeuroAI ao introduzir diversidade neuronal em redes artificiais. Argumenta-se que:

• Eficiência: Neurônios baseados em tarefas podem alcançar alto desempenho com redes mais rasas e menos parâmetros em comparação com neurônios genéricos, sugerindo que a "profundidade" de uma rede pode ser trocada por "expressividade do neurônio".
• Adaptabilidade: O método é flexível; embora os experimentos iniciais tenham usado polinômios, o framework pode se estender a outras funções base (ex: funções trigonométricas) para atender a tarefas específicas de física ou processamento de sinais.
• Viabilidade: A abordagem é computacionalmente viável, com a VSR convergindo de forma confiável e os tempos de inferência da TN sendo comparáveis aos de redes lineares.
• Potencial Futuro: Os autores sugerem que os neurônios baseados em tarefas podem ser integrados em arquiteturas descobertas por Busca de Arquitetura Neural (NAS), oferecendo um caminho sinérgico para pesquisas futuras de AutoML.

O artigo mantém um tom modesto, reconhecendo que, embora os resultados sejam promissores, o processo VSR requer mais otimização para velocidade e que a seleção de funções base pode ser automatizada de forma mais ampla em trabalhos futuros. Não pretende resolver todos os desafios do aprendizado profundo, mas oferece uma alternativa viável ao paradigma atual de neurônios homogêneos.