Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance

1. Planteamiento del Problema

Las funciones de activación son fundamentales en el aprendizaje profundo para introducir no linealidad. Aunque funciones modernas como ReLU han mejorado el flujo de gradientes, sufren del problema de "ReLU moribundo" (dying ReLU), donde las neuronas se vuelven inactivas. Variantes como Leaky ReLU o PReLU abordan esto pero introducen discontinuidades en la derivada en cero.

Funciones más avanzadas como Swish, GELU y Mish ofrecen aproximaciones suaves y no monótonas que mejoran el rendimiento. Sin embargo, los autores identifican que Swish, aunque potente, podría beneficiarse de un control más sofisticado sobre el umbral de activación y la aceptación de valores negativos durante las etapas iniciales del entrenamiento. El objetivo es superar las limitaciones de las funciones existentes mediante una modificación que permita una curva no monótona más suave y una mejor adaptación a los datos de entrada.

2. Metodología: La Familia Swish-T

Los autores proponen la familia Swish-T, que mejora la función Swish original ($x \cdot \sigma(\beta x)$) añadiendo un sesgo (bias) basado en la función Tanh.

• Definición Base (Swish-T):
  La función se define como:
  $$f(x; \beta, \alpha) = x\sigma(\beta x) + \alpha \tanh(x)$$
  Donde:

  • $\sigma$ es la función sigmoide.
  • $\beta$ es un parámetro entrenable (inicializado en 1.0).
  • $\alpha$ es un hiperparámetro que escala el sesgo (inicializado en 0.1).
  • El término $\alpha \tanh(x)$ permite una aceptación más amplia de valores negativos al inicio del entrenamiento y suaviza la curva no monótona.

• Variantes de la Familia:
  Para optimizar la eficiencia computacional y la estabilidad, se derivaron tres variantes principales:

  1. Swish-TA: Simplifica la ecuación unificando los coeficientes de $x$ a 1. Elimina parámetros entrenables, lo que la hace computacionalmente muy eficiente.
     $$f_A(x) = \sigma(x)(x + 2\alpha) - \alpha$$
  2. Swish-TB: Reintroduce el parámetro entrenable $\beta$ en la versión simplificada, permitiendo una adaptación dinámica del sesgo.
     $$f_B(x) = \sigma(\beta x)(x + 2\alpha) - \alpha$$
  3. Swish-TC: Diseñada para garantizar simetría cuando $\beta$ cambia de signo y controlar mejor la magnitud del sesgo.
     $$f_C(x) = \sigma(\beta x)(x + \frac{2\alpha}{\beta}) - \frac{\alpha}{\beta}$$
     Esta variante evita multiplicaciones directas entre $\alpha$ y $\beta$ que podrían causar inestabilidad en el gradiente, ofreciendo un comportamiento más robusto.

• Cálculo de Gradientes:
  El artículo deriva las expresiones analíticas para la retropropagación de cada variante, demostrando que son diferenciables de manera eficiente y mantienen un flujo de gradiente controlado, evitando explosiones o desapariciones abruptas.

3. Contribuciones Clave

1. Introducción de Swish-T: Una nueva familia de funciones que integra un sesgo paramétrico de Tanh en Swish, mejorando la capacidad de modelar patrones complejos y la estabilidad del entrenamiento.
2. Diseño de Variantes Específicas: Desarrollo de Swish-TA (eficiencia), Swish-TB (adaptabilidad) y Swish-TC (estabilidad y simetría), cada una optimizada para diferentes contextos de aplicación.
3. Validación Empírica Exhaustiva: Evaluación en múltiples arquitecturas (ResNet-18, ShuffleNetV2, SENet, EfficientNet, MobileNet, DenseNet) y conjuntos de datos estándar (MNIST, Fashion MNIST, SVHN, CIFAR-10, CIFAR-100).
4. Estudio de Ablación: Demostración de que las variantes pueden funcionar como funciones no paramétricas (con $\beta$ fijo) sin sacrificar rendimiento, lo que reduce la complejidad de entrenamiento y el uso de memoria.

4. Resultados Experimentales

Los experimentos compararon Swish-T contra ReLU, GELU, SiLU (Swish-1), Mish, SMU y SMU-1.

• Rendimiento General: La familia Swish-T superó consistentemente a las funciones tradicionales en la mayoría de los casos.
• CIFAR-10:
  • Swish-TC logró la mayor precisión con ShuffleNetV2 (2.x) alcanzando un 94.27% (una mejora del 2.34% sobre ReLU).
  • En DenseNet-121, Swish-TC igualó la precisión máxima de SMU (94.95%) pero con tiempos de entrenamiento más rápidos.
• CIFAR-100:
  • Swish-TC mostró una mejora significativa del 4.12% sobre ReLU en ResNet-18.
  • En el estudio de ablación, al fijar $\beta = 6.0$ (un valor óptimo observado en otros modelos), las versiones no paramétricas Swish-TC-6 y Swish-TB-6 lograron las mejores puntuaciones absolutas en ResNet-18 (79.06% en CIFAR-100), superando incluso a las versiones con parámetros entrenables.
• Eficiencia: Las variantes no paramétricas (Swish-TA, Swish-TC-6) ofrecen velocidades de aprendizaje rápidas y menor uso de memoria al eliminar la actualización de parámetros adicionales durante la retropropagación.

5. Significado e Impacto

El trabajo de Swish-T representa un avance significativo en el diseño de funciones de activación al demostrar que la incorporación de un sesgo dinámico basado en Tanh mejora la capacidad de las redes neuronales para manejar valores negativos y estabilizar el entrenamiento.

• Versatilidad: La familia ofrece opciones tanto para entornos donde la precisión es crítica (usando parámetros entrenables) como para entornos donde la eficiencia computacional y la simplicidad son prioritarias (usando versiones no paramétricas).
• Robustez: La capacidad de mantener un rendimiento superior sin necesidad de ajustar parámetros adicionales en ciertas configuraciones (estudio de ablación) sugiere que estas funciones son robustas y menos propensas a la sobreajuste de hiperparámetros.
• Aplicabilidad: Los resultados en diversas arquitecturas (desde redes ligeras como MobileNet hasta densas como DenseNet) indican que Swish-T es una solución generalizable para problemas de clasificación de imágenes y tiene potencial para extenderse a otras tareas como detección de objetos o segmentación semántica.

En conclusión, Swish-T no solo mejora el rendimiento de las redes neuronales existentes, sino que también ofrece un nuevo paradigma de diseño que equilibra la complejidad matemática con la eficiencia práctica, posicionándose como una alternativa superior a las funciones de activación estándar actuales.