Resumen Técnico: TESLA (Expansión de Taylor de Activaciones Sinusoidales Aprendibles)

1. Planteamiento del Problema

Las redes neuronales estándar, que típicamente dependen de la acumulación de no linealidades locales (p. ej., ReLU, GeLU) con mapas lineales, exhiben un "sesgo espectral" hacia el aprendizaje de componentes de baja frecuencia (bajo grado). Esta limitación las hace ineficientes para tareas que requieren interacciones globales, combinaciones de alto orden de coordenadas de entrada o simetrías globales específicas.

Un ejemplo canónico de este desafío es el problema de la paridad (determinar si el número de unos en un vector binario es impar o par). Esta tarea es linealmente inseparable y requiere una interacción global entre todos los bits de entrada. Las arquitecturas tradicionales suelen fallar en la generalización a tareas de paridad, especialmente cuando la dimensionalidad de entrada ($n$) aumenta o cuando los datos son escasos, porque representar tales estructuras de alto orden típicamente demanda una profundidad, anchura o normas de peso excesivas. Además, los intentos existentes para abordar el sesgo espectral —como las activaciones periódicas (SIREN) o los incrustamientos de características de Fourier (Fourier feature embeddings)— a menudo sufren de inestabilidad en la optimización, sobreajuste en regímenes de pocos datos o una falta de control explícito sobre el grado polinómico de la activación.

2. Metodología: TESLA

Los autores proponen TESLA (Taylor Expansion of Sinusoidal Learnable Activations), una función de activación paramétrica diseñada para proporcionar un control explícito y aprendible sobre el grado polinómico y los componentes de frecuencia de las activaciones de la red neuronal.

2.1 Definición

TESLA se define como una combinación lineal finita de términos de seno y coseno compartidos en todas las neuronas de una capa:
$$\phi_K(z) = \sum_{k=1}^{K} \left( \frac{a_k}{k} \sin(kz) + \frac{b_k}{k} \cos(kz) \right)$$
donde:

• $K \in \mathbb{N}$ controla la frecuencia máxima (conteo de armónicos).
• $\{a_k, b_k\}_{k=1}^K$ son coeficientes escalares aprendibles.
• El escalamiento $1/k$ es una elección de diseño para gestionar las magnitudes de los gradientes.

2.2 Interpretación Teórica

Aunque se implementa como una expansión trigonométrica, los autores analizan TESLA a través de su expansión de Taylor (Maclaurin). Esto revela que los coeficientes polinómicos efectivos de la activación son funcionales lineales explícitos de los coeficientes trigonométricos aprendidos $\{a_k, b_k\}$. Esta formulación permite que la red amplifique o atenúe selectivamente órdenes polinómicos específicos (grados) a nivel de la activación, en lugar de depender de la espectralización en el lado de la entrada (como las características de Fourier) que deja la selección de modos a las capas posteriores.

2.3 Control de Estabilidad y Complejidad

Para asegurar la estabilidad y prevenir el sobreajuste, TESLA introduce un presupuesto de coeficientes:
$$A_K = \sum_{k=1}^{K} (|a_k| + |b_k|)$$
El análisis teórico muestra que $A_K$ acota la constante de Lipschitz de la activación y de la red. Específicamente, la constante de Lipschitz de una red de $L$ capas está acotada por el producto de las normas de operador de las capas y $A_K^{L-1}$. Este presupuesto permite controlar las magnitudes de los gradientes y la complejidad de Rademacher, asegurando que el aumento del rango de frecuencia ($K$) no desestabilice inherentemente la optimización.

3. Contribuciones Clave

El artículo presenta tres contribuciones primarias:

1. Garantías Teóricas: Los autores derivan límites de Lipschitz ajustados y garantías de generalización basadas en la complejidad de Rademacher. Caracterizan la dinámica de aprendizaje utilizando el análisis de Kernel de Tangente Neuronal (NTK), mostrando que el sesgo inductivo de TESLA favorece naturalmente la recuperación de estructuras de baja y media frecuencia, permitiendo al mismo tiempo el aprendizaje selectivo de componentes de alto orden.
2. Resultados de Aproximación Constructiva: El artículo proporciona límites superiores para aproximar funciones de tipo cresta (ridge) e interacción utilizando TESLA. Por el contrario, esboza límites inferiores demostrando que las activaciones lineales por partes estándar requieren sustancialmente más recursos (profundidad/anchura) para representar estructuras oscilatorias o globales en comparación con TESLA.
3. Validación Empírica: Los autores demuestran que TESLA generaliza eficazmente en benchmarks sintéticos (Paridad, Forrelation) y tareas de dominio continuo (PINNs, INRs), manteniéndose competitivo en tareas de visión a gran escala (ImageNet-100) con un overhead computacional insignificante.

4. Resultados Experimentales

4.1 Benchmarks Sintéticos

• Tarea de Paridad: En tareas de paridad con longitud de entrada $n=32$, TESLA logra una fuerte generalización usando solo 100,000 muestras de entrenamiento (aproximadamente el 0.002% del espacio de entrada). Crucialmente, se mantiene robusto bajo ruido de etiquetas pesado (hasta 30%), reteniendo una alta precisión donde las activaciones de referencia (ReLU, GeLU) colapsan a un simple azar (50%).
• Comparación con Baselines Periódicos: TESLA supera significativamente a SIREN, SNAKE y los incrustamientos de características de Fourier en las tareas de paridad y Forrelation. Mientras que SIREN y los incrustamientos de Fourier a menudo fallan en capturar correlaciones globales en regímenes de alto ruido o alta dimensión, TESLA mantiene un rendimiento estable. Por ejemplo, en la paridad de 32 bits sin ruido, TESLA alcanza aproximadamente un 96% de precisión, mientras que SIREN cae a ~50%.
• Forrelation: En la tarea de Forrelation (un problema de decisión de correlación global), TESLA converge más rápido y alcanza una mayor precisión a través de varios tamaños de capa oculta en comparación con las activaciones estándar.

4.2 Tareas de Dominio Continuo

• PINNs: Para resolver la ecuación de Burgers viscosa 1D, TESLA logra la pérdida final más baja entre las activaciones comparadas (incluyendo ReLU, Tanh y SIREN).
• Representaciones Neuronales Implícitas (INRs): En tareas de reconstrucción de imágenes (Kodak24, DIV2K), TESLA alcanza los umbrales de PSNR objetivo más rápido y logra una mayor calidad final (PSNR/SSIM) que SIREN y ReLU.
• Regresión de Frecuencia Mixta: TESLA es el único método probado que logra un MSE de prueba inferior a 0.011 para señales compuestas de componentes de alta frecuencia mixtas.

4.3 Visión a Gran Escala (ImageNet-100)

TESLA fue evaluado en ImageNet-100 utilizando arquitecturas ViT, MLP-Mixer, ResNet-18 y MobileNetV3.

• Rendimiento: TESLA logra una precisión Top-1 comparable o ligeramente superior a ReLU, GeLU y SiLU en todas las arquitecturas.
• Eficiencia: El método incurre en un overhead de throughput insignificante (aproximadamente un aumento del 1% en FLOPs).
• Estabilidad: A diferencia de SIREN, que exhibió una severa inestabilidad de optimización y una pobre precisión (por ejemplo, ~4% de Top-1 en ViT) bajo los mismos ajustes de entrenamiento, TESLA se entrenó de forma estable y alcanzó niveles de precisión estándar.

5. Significado y Reivindicaciones

El artículo afirma que TESLA ofrece una alternativa robusta y práctica a los métodos de espectralización basados únicamente en la entrada. Al trasladar el control espectral al nivel de la activación mediante coeficientes aprendibles, TESLA permite a los profesionales ajustar el sesgo inductivo de una red con cambios arquitectónicos mínimos, preservando la compatibilidad con los pipelines de entrenamiento estándar.

Los autores enfatizan que TESLA cierra la breancia entre el análisis teórico del sesgo espectral y la aplicación práctica. Permite el control explícito de los grados polinómicos, facilitando el aprendizaje de interacciones globales de alto orden con las que las activaciones estándar luchan, sin sacrificar la estabilidad o la escalabilidad en cargas de trabajo de visión del mundo real. El trabajo sugiere que el control del grado a nivel de activación es una estrategia viable para mejorar la eficiencia de muestreo y la generalización en tareas dominadas por simetrías globales.