Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance

Resumo Técnico: Swish-T

1. Problema e Motivação

As funções de ativação são fundamentais para introduzir não-linearidade em redes neurais profundas. Embora o ReLU tenha sido um avanço significativo devido à sua simplicidade e eficiência, ele sofre do problema do "ReLU morrendo" (dying ReLU), onde neurônios tornam-se inativos e param de aprender. Variantes como Leaky ReLU e PReLU tentaram resolver isso, mas introduzem descontinuidades na derivada em zero.

Funções mais recentes e suaves, como GELU, Swish e Mish, superaram o ReLU em muitas tarefas devido à sua não monotonicidade e suavidade. No entanto, os autores identificam que o Swish, embora eficaz, pode se beneficiar de um controle mais sofisticado sobre o limiar de ativação e a aceitação de valores negativos durante as fases iniciais do treinamento. A motivação central é incorporar termos de viés (bias) diretamente dentro da função de ativação para ajustar dinamicamente a resposta da rede, melhorando a adaptação aos sinais de entrada e a estabilidade do treinamento.

2. Metodologia: A Família Swish-T

Os autores propõem a família Swish-T, que melhora a função Swish original ($y = x \cdot \sigma(\beta x)$) adicionando um viés baseado na função Tanh.

• Definição Base (Swish-T):
  A função é definida como:
  $$f(x; \beta, \alpha) = x\sigma(\beta x) + \alpha \tanh(x)$$
  Onde:

  • $\sigma$ é a função sigmoide.
  • $\beta$ é um parâmetro treinável.
  • $\alpha$ é um hiperparâmetro que escala o termo $\tanh$ (limitando o viés a $[-\alpha, \alpha]$).
  • O termo $\alpha \tanh(x)$ permite uma aceitação mais ampla de valores negativos no início do treinamento e cria uma curva não monotônica mais suave.

• Variantes da Família:
  Para otimizar eficiência computacional e adaptabilidade, foram desenvolvidas três variantes principais:

  1. Swish-TA: Simplifica a equação unificando os coeficientes de $x$ para 1. Não possui parâmetros treináveis, focando em eficiência computacional máxima.
     $$f_A(x; \alpha) = \sigma(x)(x + 2\alpha) - \alpha$$
  2. Swish-TB: Reintroduz o parâmetro treinável $\beta$ na versão simplificada, permitindo adaptação dinâmica do viés.
     $$f_B(x; \beta, \alpha) = \sigma(\beta x)(x + 2\alpha) - \alpha$$
  3. Swish-TC (Proposta Principal): Garante simetria quando o sinal de $\beta$ muda e controla o viés de forma mais estável. É a variante que demonstrou o melhor desempenho geral.
     $$f_C(x; \beta, \alpha) = \sigma(\beta x)\left(x + \frac{2\alpha}{\beta}\right) - \frac{\alpha}{\beta}$$

• Derivação de Gradientes:
  O artigo fornece as expressões analíticas para os gradientes em relação a $x$ e ao parâmetro $\beta$, demonstrando que todas as variantes são diferenciáveis e eficientes para retropropagação (backpropagation). O Swish-TC, em particular, evita multiplicações diretas que poderiam causar explosão de gradiente, garantindo estabilidade.

3. Contribuições Principais

1. Introdução do Viés Tanh: Propõe uma nova abordagem de adicionar um viés parametrizado via $\tanh$ à função Swish, permitindo melhor controle do limiar de ativação e suavidade na curva.
2. Família de Variantes: Desenvolvimento de três variantes (Swish-T, Swish-TA, Swish-TB, Swish-TC) para atender a diferentes necessidades de eficiência computacional e estabilidade.
3. Validação Empírica Abrangente: Testes extensivos em múltiplas arquiteturas (ResNet, ShuffleNet, SENet, EfficientNet, MobileNet, DenseNet) e conjuntos de dados (MNIST, Fashion MNIST, SVHN, CIFAR-10, CIFAR-100).
4. Estudo de Ablação (Não Paramétrico): Demonstração de que as variantes podem ser usadas como funções não paramétricas (com $\beta$ fixo, ex: 6.0), alcançando desempenho superior ou comparável com treinamento mais rápido e menor uso de memória.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando PyTorch e GPUs NVIDIA, comparando o Swish-T contra ReLU, GELU, SiLU, Swish, Mish, SMU e SMU-1.

• Desempenho em CIFAR-10 e CIFAR-100:

  • A família Swish-T consistentemente superou as funções tradicionais.
  • O Swish-TC alcançou a maior precisão (Top-1) em várias arquiteturas. Por exemplo, no modelo ShuffleNetV2 (2.x) no CIFAR-10, atingiu 94.27% (superando o ReLU em 2.34%).
  • No CIFAR-100, o Swish-TC também mostrou superioridade, com uma melhoria de 4.12% sobre o ReLU em algumas configurações.
  • No DenseNet-121, o Swish-TC empatou com o SMU em precisão (94.95% no CIFAR-10), mas com tempos de treinamento mais rápidos.

• Estudo de Ablação (Fixação de Beta):

  • Ao fixar $\beta = 6.0$ (um valor observado como ótimo em muitas arquiteturas) e remover a atualização do parâmetro durante o treinamento, as variantes Swish-TB-6 e Swish-TC-6 alcançaram desempenho ainda superior em modelos como ResNet-18.
  • Isso confirma que o Swish-T pode funcionar como uma função não paramétrica de alta performance, reduzindo a complexidade do treinamento e o uso de memória.

• Eficiência:

  • As curvas de treinamento mostram que o Swish-T, especialmente as variantes simplificadas, convergem de forma estável e, em alguns casos, mais rapidamente que o SMU e o SMU-1.

5. Significado e Conclusão

O trabalho demonstra que a incorporação de um viés baseado em Tanh na função Swish é uma melhoria eficaz para redes neurais profundas. O Swish-TC destaca-se como uma função de ativação robusta, oferecendo:

• Melhoria de Desempenho: Superou consistentemente o estado da arte em tarefas de classificação de imagens.
• Flexibilidade: Pode ser usada como função paramétrica (com $\beta$ treinável) ou não paramétrica (com $\beta$ fixo), adaptando-se a restrições de hardware ou requisitos de velocidade.
• Estabilidade: Mantém a característica de centralização em zero e controla o campo receptivo na região negativa, prevenindo instabilidades comuns em funções de ativação não monotônicas.

Os autores concluem que a família Swish-T é uma escolha versátil e robusta para diversas arquiteturas de redes neurais, com o código disponível publicamente para reprodução e uso futuro.