Resumo Técnico: TESLA (Taylor Expansion of Sinusoidal Learnable Activations)

1. Definição do Problema

Redes neurais padrão, que tipicamente dependem do empilhamento de não-linearidades locais (ex: ReLU, GeLU) com mapas lineares, exibem um "viés espectral" em direção ao aprendizado de componentes de baixa frequência (baixo grau). Esta limitação as torna ineficientes para tarefas que exigem interações globais, combinações de alta ordem de coordenadas de entrada ou simetrias globais específicas.

Um exemplo canônico deste desafio é o problema da paridade (determinar se o número de uns em um vetor binário é ímpar ou par). Esta tarefa é linearmente inseparável e requer interação global entre todos os bits de entrada. Arquiteturas tradicionais frequentemente falham em generalizar para tarefas de paridade, especialmente quando a dimensionalidade da entrada ($n$) aumenta ou quando os dados são escassos, porque representar tais estruturas de alta ordem tipicamente exige profundidade, largura ou normas de peso excessivas. Além disso, tentativas existentes para abordar o viés espectral — como ativações periódicas (SIREN) ou embeddings de características de Fourier — frequentemente sofrem de instabilidade de otimização, sobreajuste (overfitting) em regimes de poucos dados ou uma falta de controle explícito sobre o grau polinomial da ativação.

2. Metodologia: TESLA

Os autores propõem o TESLA (Taylor Expansion of Sinusoidal Learnable Activations), uma função de ativação paramétrica projetada para fornecer controle explícito e aprendível sobre o grau polinomial e os componentes de frequência das ativações de redes neurais.

2.1 Definição

O TESLA é definido como uma combinação linear finita de termos de seno e cosseno compartilhados entre todos os neurônios de uma camada:
$$\phi_K(z) = \sum_{k=1}^{K} \left( \frac{a_k}{k} \sin(kz) + \frac{b_k}{k} \cos(kz) \right)$$
onde:

• $K \in \mathbb{N}$ controla a frequência máxima (contagem de harmônicos).
• $\{a_k, b_k\}_{k=1}^K$ são coeficientes escalares aprendíveis.
• A escala $1/k$ é uma escolha de design para gerenciar as magnitudes dos gradientes.

2.2 Interpretação Teórica

Embora implementado como uma expansão trigonométrica, os autores analisam o TESLA através de sua expansão de Taylor (Maclaurin). Isso revela que os coeficientes polinomiais efetivos da ativação são funcionais lineares explícitos dos coeficientes trigonométricos aprendidos $\{a_k, b_k\}$. Esta formulação permite que a rede amplifique ou atenue seletivamente ordens polinomiais (graus) específicas ao nível da ativação, em vez de depender da espectralização no lado da entrada (como características de Fourier), o que deixa a seleção de modo para camadas posteriores.

2.3 Controle de Estabilidade e Complexidade

Para garantir a estabilidade e evitar o sobreajuste, o TESLA introduz um orçamento de coeficiente:
$$A_K = \sum_{k=1}^{K} (|a_k| + |b_k|)$$
A análise teórica mostra que $A_K$ limita a constante de Lipschitz da ativação e da rede. Especificamente, a constante de Lipschitz de uma rede de $L$ camadas é limitada pelo produto das normas de operador das camadas e $A_K^{L-1}$. Este orçamento permite o controle das magnitudes dos gradientes e da complexidade de Rademacher, garantindo que o aumento da faixa de frequência ($K$) não desestabilize inerentemente a otimização.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Garantias Teóricas: Os autores derivam limites de Lipschitz estritos e garantias de generalização baseadas na complexidade de Rademacher. Eles caracterizam a dinâmica de aprendizado usando análise de Kernel de Tangente Neural (NTK), mostrando que o viés indutivo do TESLA favorece naturalmente a recuperação de estruturas de baixa e média frequência, permitindo simultaneamente o aprendizado seletivo de componentes de ordem superior.
2. Resultados de Aproximação Construtiva: O artigo fornece limites superiores para a aproximação de funções do tipo crista (ridge) e de interação usando o TESLA. Inversamente, ele esboça limites inferiores demonstrando que ativações lineares por partes padrão requerem significativamente mais recursos (profundidade/largura) para representar estruturas oscilatórias ou globais em comparação ao TESLA.
3. Validação Empírica: Os autores demonstram que o TESLA generaliza efetivamente em benchmarks sintéticos (Paridade, Forrelation) e tarefas de domínio contínuo (PINNs, INRs), mantendo-se competitivo em tarefas de visão em larga escala (ImageNet-100) com um overhead computacional desprezível.

4. Resultados Experimentais

4.1 Benchmarks Sintéticos

• Tarefa de Paridade: Em tarefas de paridade com comprimento de entrada $n=32$, o TESLA alcança uma generalização forte usando apenas 100.000 amostras de treinamento (aprox. 0,002% do espaço de entrada). Crucialmente, ele permanece robusto sob ruído de rótulo pesado (até 30%), mantendo alta precisão onde as ativações de linha de base (ReLU, GeLU) colapsam para o chute aleatório (50%).
• Comparação com Baselines Periódicos: O TESLA supera significativamente o SIREN, SNAKE e embeddings de características de Fourier em tarefas de paridade e Forrelation. Enquanto o SIREN e os embeddings de Fourier frequentemente falham em capturar correlações globais em regimes de alto ruído ou alta dimensão, o TESLA mantém um desempenho estável. Por exemplo, em paridade de 32 bits sem ruído, o TESLA atinge ~96% de precisão, enquanto o SIREN cai para ~50%.
• Forrelation: Na tarefa de Forrelation (um problema de decisão de correlação global), o TESLA converge mais rápido e alcança maior precisão através de vários tamanhos de camada oculta comparado às ativações padrão.

4.2 Tarefas de Domínio Contínuo

• PINNs: Para resolver a equação de Burgers viscosa 1D, o TESLA alcança a menor perda final entre as ativações comparadas (incluindo ReLU, Tanh e SIREN).
• Representações Neurais Implícitas (INRs): Em tarefas de reconstrução de imagem (Kodak24, DIV2K), o TESLA atinge os limiares de PSNR alvo mais rapidamente e alcança maior qualidade final (PSense/SSIM) do que o SIREN e o ReLU.
• Regressão de Frequência Mista: O TESLA é o único método testado que alcança um MSE de teste abaixo de 0,011 para sinais compostos por componentes de alta frequência mistas.

4.3 Visão em Larga Escala (ImageNet-100)

O TESLA foi avaliado no ImageNet-100 usando arquiteturas ViT, MLP-Mixer, ResNet-18 e MobileNetV3.

• Desempenho: O TESLA alcança uma precisão Top-1 comparável ou ligeiramente superior à do ReLU, GeLU e SiLU em todas as arquiteturas.
• Eficiência: O método incorre em um overhead de throughput desprezível (aumento de aprox. 1% nos FLOPs).
• Estabilidade: Ao contrário do SIREN, que exibiu severa instabilidade de otimização e baixa precisão (ex: ~4% Top-1 em ViT) sob as mesmas configurações de treinamento, o TESLA treinou de forma estável e atingiu os níveis de precisão padrão.

5. Significância e Alegações

O artigo afirma que o TESLA oferece uma alternativa robusta e prática aos métodos de espectralização apenas de entrada. Ao mover o controle espectral para o nível da ativação via coeficientes aprendíveis, o TESLA permite que os praticantes ajustem o viés indutivo de uma rede com mudanças arquiteturais mínimas, preservando a compatibilidade com pipelines de treinamento padrão.

Os autores enfatizam que o TESLA preenche a lacuna entre a análise teórica de viés espectral e a aplicação prática. Ele permite o controle explícito de graus polinomiais, facilitando o aprendizado de interações globais de alta ordem com as quais as ativações padrão têm dificuldade, sem sacrificar a estabilidade ou a escalabilidade em cargas de trabalho de visão do mundo real. O trabalho sugere que o controle de grau no nível da ativação é uma estratégia viável para melhorar a eficiência de amostragem e a generalização em tarefas dominadas por simetrias globais.