Resumo Técnico: Redes Neurais Racionais possuem Vantagens de Expressividade

Definição do Problema

Redes neurais profundas dependem fortemente da escolha de funções de ativação não lineares para controlar a expressividade e a treinabilidade. Embora as arquiteturas modernas utilizem predominantemente ativações suaves e fixas (ex: GELU, Swish/SiLU, Mish, ELU/SELU/CELU) ou funções lineares por partes (ex: ReLU e variantes), essas escolhas impõem limitações específicas sobre como eficientemente as redes podem aproximar funções com transições abruptas, vincos ou singularidades complexas próximas. O artigo investiga se substituir essas ativações fixas por funções de ativação racionais de baixo grau treináveis oferece uma vantagem teórica e prática em termos de eficiência de parâmetros e poder de expressão.

Metodologia

Estrutura Teórica

Os autores estabelecem separações de teoria de aproximação entre redes racionais e redes construídas a partir de ativações padrão suaves ou lineares por partes.

• Redes Racionais: Definidas como redes feedforward onde a não linearidade escalar em cada camada é uma função racional $r(x) = P(x)/Q(x)$ com polinômios de baixo grau $P$ e $Q$. Os coeficientes são aprendidos durante o treinamento.
• Métricas de Aproximação: A expressividade é medida pelo número de parâmetros treináveis (tamanho da rede) necessários para atingir um erro uniforme $\epsilon$ em um domínio compacto fixo (ex: $[-1, 1]^d$).
• Ferramentas Teóricas Principais:
  • Teoria de Aproximação Racional: Aproveitando resultados clássicos (ex: Trefethen, Gonchar) mostrando que funções racionais podem aproximar características não suaves (como $|x|$ ou ReLU) e funções com singularidades próximas de forma exponencialmente mais eficiente do que polinômios ou substitutos suaves.
  • Provas Construtivas: O artigo fornece construções explícitas usando funções de Zolotarev, iterações de média aritmética-geométrica (AGM) e o método de Halley para aproximar ativações suaves (como GELU) usando redes racionais.
  • Limites Inferiores (Lower Bounds): Provando que aproximar certos alvos racionais (especificamente aqueles com polos próximos à reta real) usando redes suaves de parâmetros limitados requer significativamente mais parâmetros devido às restrições de curvatura.

Configuração Experimental

Os autores avaliam as ativações racionais em três domínios distintos, mantendo arquiteturas, otimizadores e orçamentos de treinamento fixos enquanto variam apenas a função de ativação:

1. Visão Supervisionada: Classificação de imagens CIFAR-10 usando arquiteturas VGG4 e VGG8, e classificação de Tiny ImageNet usando modelos baseados em Transformer (ViT, CaiT, Swin).
2. Aprendizado por Reforço Offline: Benchmarks de locomoção de controle contínuo (HalfCheetah, Hopper, Walker2d) usando os conjuntos de dados Minari medium e algoritmos IQL e TD3+BC.
3. Análise de Normalização: Investigando a interação entre ativações racionais adaptativas e camadas de normalização (BatchNorm, LayerNorm), especificamente testando variantes "sem-LayerNorm" em Transformers.

Principais Contribuições

1. Separação Exponencial na Complexidade de Parâmetros:

   • Suave $\to$ Racional: Qualquer rede construída a partir de ativações suaves padrão (GELU, Swish, SiLU, etc.) pode ser uniformemente aproximada por uma rede racional com um overhead de tamanho de apenas $O(\text{poly}(\log \log(1/\epsilon)))$. Especificamente, o artigo prova um limite de tamanho de $O(\log^3 \log(1/\epsilon))$ para GELU.
   • Racional $\to$ Suave: Inversamente, aproximar uma família de funções racionais de pior caso (com polos próximos ao domínio) usando redes suaves de parâmetros limitados requer um tamanho de pelo menos $\Omega(\log(1/\epsilon))$.
   • Resultado: Isso estabelece um hiato exponencial de expressividade, onde redes racionais podem alcançar a mesma precisão com significativamente menos parâmetros do que redes de ativação suave em regimes envolvendo estrutura não suave.

2. Extensão para Arquiteturas Complexas:

   • Os resultados de separação são elevados de funções escalares para redes feedforward completas, ativações portadas (gated) e arquiteturas do tipo Transformer (especificamente as subcamadas MLP).
   • O artigo demonstra que redes racionais podem aproximar modelos suaves portados com baixo overhead, enquanto o inverso exige alto overhead.

3. Normalização e Identificabilidade:

   • Os autores formalizam que as camadas de normalização padrão podem ser prejudiciais às ativações racionais adaptativas. A normalização introduz transformações afins aprendidas que podem ser absorvidas pelos coeficientes racionais, levando à não-identificabilidade e má condicionamento.
   • Além disso, a estocasticidade dependente dos dados na normalização (ex: BatchNorm) amplifica o ruído do gradiente devido às sensibilidades polinomiais dos coeficientes racionais.
   • Descoberta: Remover a normalização (ex: variantes de Transformers "no-LayerNorm") permite que os racionais adaptativos funcionem como mecanismos de redimensionamento aprendíveis, frequentemente estabilizando o treinamento onde ativações fixas falham.

4. Provas Construtivas:

   • O artigo fornece provas construtivas baseadas na teoria clássica de aproximação, incluindo o uso de funções de Zolotarev e construções AGM, para demonstrar como redes racionais podem realizar eficientemente não-linearidades complexas.

Resultados Experimentais

• CIFAR-10: As ativações racionais consistemente alcançaram a maior precisão de teste Top-1 tanto em modelos VGG4 quanto VGG8, superando ReLU, LeakyReLU, Swish e GELU. No pipeline de treinamento aumentado, as variantes racionais (inicializadas para imitar LeakyReLU ou GELU) permaneceram com alto desempenho mesmo quando o GroupNorm foi aplicado, embora o GroupNorm tenha induzido uma queda de desempenho maior para os racionais em comparação com as ativações fixas.
• RL Offline: Em datasets MuJoCo medium, as ativações racionais igualaram ou superaram as melhores ativações fixas em 5 de 6 configurações (IQL e TD3+BC em HalfCheetah, Hopper, Walker2d). Notavelmente, modelos racionais com larguras menores (128) foram competitivos ou superiores a modelos GELU muito maiores (largura 384), validando a hipótesia de eficiência de parâmetros.
• Tiny ImageNet (Transformers): As ativações racionais igualaram ou melhoraram a melhor precisão de validação EMA para modelos ViT, CaiT e Swin. Crucialmente, em uma variante ViT "no-LayerNorm", as ativações fixas (ReLU, GELU) divergiram para NaNs, enquanto a variante racional permaneceu estável e alcançou alta precisão (61.24%), apoiando a afirmação de que a normalização pode ser restritiva para racionais adaptativos.
• Formas Aprendidas: Visualizações das funções racionais aprendidas mostraram que elas rapidamente realocam a curvatura para regiões de alta densidade de entrada, frequentemente desenvolvendo formas de "portão" (gating) não-monótonas localizadas, semelhantes às ativações fixas bem-sucedidas como Swish e Mish.

Significância e Alegações

O artigo alega que as redes neurais racionais oferecem uma fundação matematicamente natural e computacionalmente eficiente para o aprendizado profundo. A principal significância reside na vantagem de expressividade: ativações racionais podem representar funções com transições nítidas e singularidades complexas usando exponencialmente menos parâmetros do que as modernas ativações suaves.

Os autores argumentam que essa vantagem teórica se traduz diretamente na prática, resultando em:

• Maior Precisão: Alcançando melhor desempenho em tarefas de visão e RL com arquiteturas idênticas.
• Convergência Mais Rápida: Atingindo um desempenho forte mais cedo durante o treinamento.
• Eficiência de Parâmetros: Alcançando resultados comparáveis ou superiores com larguras de rede menores.
• Robustez em Regimes Sem Normalização: Permitindo o treinamento de Transformers profundos sem camadas de normalização, um regime onde as ativações fixas frequentemente falham.

O trabalho sugere que o campo deve reconsiderar o domínio das ativações suaves fixas, propondo que funções racionais treináveis fornecem uma alternativa principista que se alinha melhor aos requisitos estruturais de distribuições de dados complexas.