🤖 machine learning

Fractional Optimizers Meet Fractal Activation Functions: An Empirical Study of Multi-Scale Optimization in Neural Network

Este estudio empírico investiga la interacción entre los optimizadores fraccionarios y las funciones de activación fractales, revelando que si bien ninguno sirve como un reemplazo universal, ciertas combinaciones específicas —como el escalado fraccionario de estilo regularización con funciones de activación fractales seleccionadas— ofrecen mejoras prometedoras para el entrenamiento de redes neuronales.

Autores originales: Sebastian Raubitzek, Georg Goldenits, Sebastian Schrittwieser, Philip König, Kevin Mallinger

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sebastian Raubitzek, Georg Goldenits, Sebastian Schrittwieser, Philip König, Kevin Mallinger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, las computadoras aprenden ajustando sus configuraciones internas para minimizar los errores, un proceso impulsado por herramientas matemáticas llamadas optimizadores. Estas herramientas actúan como un excursionista que intenta encontrar el punto más bajo en un vasto valle con niebla, dando pasos basados en la pendiente del terreno bajo sus pies. Durante décadas, el enfoque estándar ha sido observar únicamente la pendiente inmediata, ignorando lo que sucedió un momento antes. Sin embargo, la naturaleza rara vez es tan simple. Muchos patrones naturales, desde el borde dentado de una costa hasta el ritmo fluctuante de un latido cardíaco, poseen una complejidad rugosa y autosimilar que se repite en cada escala. Los matemáticos llaman a esto geometría fractal. Recientemente, los investigadores han comenzado a preguntarse si estas dos ideas —patrones rugosos y multiescala, y las herramientas matemáticas utilizadas para medirlos— podrían combinarse para ayudar a las computadoras a aprender mejor. Específicamente, se preguntaron si el uso de funciones de activación "fractales", que inyectan esta estructura compleja y rugosa en la red neuronal, funcionaría mejor cuando se empareja con optimizadores "fraccionarios", que están diseñados para recordar pasos pasados durante una historia más larga en lugar de solo reaccionar al presente.

Un equipo de investigadores se propuso probar esta idea construyendo un marco experimental unificado para ver cómo interactúan estos dos conceptos. No se limitaron a suponer; construyeron una prueba rigurosa que involucraba dos etapas distintas. Primero, crearon paisajes controlados de dos dimensiones que imitaban la rugosidad de la geometría fractal. Algunos de estos paisajes eran suaves y predecibles, mientras que otros fueron deliberadamente desordenados con capas de oscilaciones diminutas y repetitivas para simular la complejidad de los datos del mundo real. Enviaron veintiún métodos de optimización diferentes a través de estas superficies para ver cuáles podían encontrar los puntos más bajos de manera más confiable. En la segunda etapa, pasaron a un entorno más realista, entrenando redes neuronales en diez conjuntos de datos públicos utilizados para tareas de clasificación. Emparejaron estas redes con cuatro tipos específicos de funciones de activación fractales y las probaron contra los mismos veintiún optimizadores, realizando cada experimento cuarenta veces para asegurar que los resultados no fueran solo accidentes de suerte.

Los resultados revelaron una verdad sorprendente sobre cómo trabajan estas herramientas juntas. En los paisajes rugosos y controlados, los métodos que recordaban sus pasos pasados funcionaron excepcionalmente bien. Cuando el terreno estaba lleno del tipo de patrones persistentes y repetitivos que crean los fractales, los optimizadores que miraban hacia atrás en su historia podían navegar la niebla y encontrar el objetivo de manera más efectiva que aquellos que solo miraban la pendiente inmediata. Sin embargo, la historia cambió drásticamente cuando los investigadores pasaron a los experimentos de redes neuronales. En el entorno caótico del entrenamiento de un modelo computacional real, donde los datos se procesan en lotes pequeños y ruidosos, los mismos métodos basados en la memoria a menudo tuvieron dificultades. El mismo mecanismo que ayudó en las superficies deterministas y suaves —mirar hacia los pasos anteriores— tendía a amplificar el ruido aleatorio encontrado en los datos del mundo real, lo que provocaba inestabilidad o un progreso más lento.

El estudio encontró que el enfoque más exitoso no era aplicar ciegamente estructuras fractales o de memoria en todas partes, sino encontrar combinaciones específicas y cuidadosas. Los investigadores descubrieron que un tipo particular de optimizador, que ajusta el tamaño del paso de aprendizaje basándose en una regla matemática sin almacenar una larga historia de gradientes pasados, resultó ser el más robusto y efectivo en casi todos los conjuntos de datos. Este método, cuando se combinaba con una función de activación fractal específica que añade una cantidad moderada de rugosidad a la red, produjo consistentemente los mejores resultados. En contraste, los métodos que dependían fuertemente de almacenar y promediar gradientes pasados a menudo funcionaban mal en el entorno ruidoso del entrenamiento de redes neuronales, a pesar de su éxito en las superficies controladas.

En última instancia, el artículo demuestra que, si bien las funciones de activación fractales y los optimizadores fraccionarios son matemáticamente compatibles y pueden ser poderosos cuando se combinan correctamente, no son una solución universal. El beneficio proviene de la combinación específica de la función de activación, el diseño del optimizador y la naturaleza de los datos. Los investigadores demostraron que simplemente añadir etiquetas de "fractal" o "fraccionario" a un método no garantiza un mejor rendimiento; de hecho, el uso indiscriminado de técnicas basadas en la memoria puede ser perjudicial en entornos ruidosos. En cambio, el camino más práctico es tratar la elección de la función de activación y el optimizador como una decisión conjunta, seleccionando la pareja específica que se adapte al problema en cuestión. El estudio concluye que, para la mayoría de las aplicaciones prácticas, un método que ajusta los tamaños de paso localmente sin una fuerte dependencia de la historia pasada ofrece el mejor equilibrio entre velocidad, estabilidad y precisión, demostando que, a veces, mirar hacia atrás es menos útil que mirar hacia adelante con las herramientas adecuadas.

Resumen Técnico: Optimizadores Fraccionarios se Encuentran con Funciones de Activación Fractales

Planteamiento del Problema

El entrenamiento de redes neuronales suele enfrentarse a paisajes de pérdida con estructuras irregulares y multiescala. Mientras que la geometría fractal proporciona un marco matemático para describir tal rugosidad, y el cálculo fraccionario ofrece herramientas para analizar el comportamiento no local y los efectos de memoria, estos dos campos se han desarrollado históricamente de forma independiente dentro de la investigación de redes neuronales.

Trabajos previos establecieron que las funciones de activación fractales (derivadas de series de tipo Weierstrass y Blancmange) pueden inyectar representaciones no lineales multiescala en las redes, aumentando potencialmente la expresividad. Por separado, se han propuesto optimizadores fraccionarios para extender el descenso de gradiente de primer orden mediante la incorporación de derivadas de orden no entero, las cuales introducen efectos de memoria y comportamiento no local. Sin embargo, la interacción entre estos dos componentes —específicamente, si los optimizadores diseñados con principios de memoria fraccionaria son adecuados para entrenar redes que utilizan activaciones fractales— sigue sin explorarse. Además, la eficacia de los optimizadores fraccionarios sobre paisajes de objetivos explícitamente perturbados con estructuras fractales no ha sido evaluada sistemáticamente.

Metodología

El estudio emplea un marco experimental de dos etapas para investigar la interacción entre las activaciones fractales y los optimizadores fraccionarios.

1. Fundamento Matemático

Los autores establecen un vínculo teórico entre las funciones de tipo Weierstrass y las derivadas fraccionarias. Demuestran que para una función de tipo Weierstrass con un exponente de rugosidad $\gamma_H$ , existen derivadas fraccionarias de orden $\nu < \gamma_H$ que mapean la función a otra función de tipo Weierstrass con un exponente reducido. La formulación discreta de Grünwald–Letnikov (G-L) se identifica como el mecanismo computacional que discretiza estas derivadas, proporcionando una suma de historial ponderada con coeficientes de decaimiento algebraico. Este núcleo sirve como base para los optimizadores basados en memoria, mientras que la serie de Weierstrass truncada sirve como base para las activaciones fractales.

2. Diseño Experimental

El estudio evalúa 21 optimizadores a través de cinco grupos y cuatro funciones de activación fractal (más líneas base estándar) en dos tareas distintas:

Tarea A: Optimización de Superficies Controladas
- Superficies: Funciones de referencia Ackley y Himmelblau.
- Variantes: Formas estándar y variantes aditivas perturbadas por series de tipo Weierstrass ( $P_J$ ) para introducir una rugosidad multiescala controlada.
- Métricas: Pérdida final, mejor pérdida, tasa de éxito (alcanzar mínimos conocidos), distancia a los mínimos y tiempo de ejecución.
- Configuración: 40 ejecuciones repetidas por optimizador por variante de superficie.
Tarea B: Clasificación de Redes Neuronales
- Conjuntos de Datos: Diez conjuntos de datos de clasificación públicos de OpenML (p. ej., Iris, Wine, Ionosphere, Vehicle Silhouettes).
- Arquitectura: Perceptrones Multicapa (MLP) de alimentación hacia adelante (feed-forward).
- Activaciones: Cuatro activaciones fractales (Blancmange modulada, Coseno decreciente, Weierstrass–Tanh modificada, Weierstrass–Mandelbrot $x+\sin$ ) junto con ReLU y Tanh.
- Configuración: 40 ejecuciones repetidas por configuración (optimizador $\times$ activación $\times$ orden fraccionario).

3. Familias de Optimizadores

Los 21 optimizadores se categorizan de la siguiente manera:

Líneas Base Clásicas: SGD, RMSprop, Adam, Adadelta.
Tipo Herrera (Escalamiento Local): Reescalan el gradiente actual utilizando un factor de ley de potencia inspirado en Caputo $f_\nu(g_t)$ sin almacenar el historial (p. ej., FSGD, FAdam).
Basados en Memoria (Historial Explícito): Reemplazan el gradiente actual con un gradiente G-L de historial finito $g^{(\nu)}_t$ , estabilizado por salvaguardas de descenso y emparejamiento de norma (p. ej., MemoryFSGD, MemoryFAdam).
Memoria Adaptativa: Combinan el gradiente ordinario y el gradiente fraccionario con emparejamiento de norma mediante un coeficiente de mezcla $\lambda_t$ acotado, controlado por estabilidad y pérdida (p. ej., AdaptiveMemoryFSGD).
Trabajos Relacionados: Incluye métodos como AdaGL, FCSGD_GL y variantes de AOFGD.

Contribuciones Clave

Marco Teórico Unificado: El artículo conecta explícitamente el análisis de las derivadas fraccionarias de las funciones de tipo Weierstrass con las construcciones discretas de G-L utilizadas en los optimizadores, demostrando que las activaciones fractales y los optimizadores fraccionarios son dos realizaciones del mismo mecanismo matemático multiescala.
Nuevo Marco Adaptativo: Introducción de la familia de optimizadores AdaptiveMemory. Estos métodos mantienen el orden fraccionario $\nu$ fijo pero adaptan un coeficiente de confianza $\lambda_t$ para controlar la contribución del término de memoria, permitiendo una reducción exacta al optimizador clásico cuando la memoria se considera poco fiable.
Comparación Empírica Sistemática: Una evaluación exhaustiva de 21 optimizadores en superficies perturbadas fractalmente y en tareas de clasificación de redes neuronales, proporcionando una visión granular de cómo diferentes mecanismos fraccionarios (escalamiento local vs. memoria explícita) se desempeñan bajo diversas condiciones.

Resultados

Experimentos de Optimización de Superficies

Dominancia de la Familia de Optimizadores: La familia de optimizadores base (SGD vs. RMSprop/Adadelta) fue el factor dominante. Los métodos de tipo SGD superaron a otros en Ackley y Himmelblau, independientemente de las modificaciones fraccionarias.
Efecto de la Perturbación Fractal:
- En Himmelblau, la perturbación fractal aditiva redujo la fiabilidad de todos los métodos pero favoreció a los métodos de orden adaptativo (AOFGD_Adam) y a las variantes basadas en Adam.
  - En Ackley, la perturbación creó regiones de bajo valor que las variantes de memoria y de SGD con perturbación estocástica (p. ej., FCSGD_GL, MemoryFSGD) pudieron explotar, aunque las tasas de éxito generales siguieron siendo bajas debido a la meseta exterior plana.
Memoria vs. Escalamiento: En las superficies controladas, la memoria de gradiente explícita (grupo basado en memoria) resultó ser fiable, particularmente en paisajes perturbados donde existían estructuras oscilatorias persistentes.

Experimentos de Clasificación de Redes Neuronales

Activaciones Fractales: Las activaciones fractales dominaron las 15 mejores configuraciones en 8 de los 10 conjuntos de datos y proporcionaron la mejor configuración única en 6 conjuntos de datos. Sin embargo, al promediar entre todas las configuraciones de optimizadores, las activaciones estándar (ReLU, Tanh) a menudo superaron a las fractales. La Weierstrass–Tanh modificada (subcrítica) fue la activación fractal más consistente, mientras que la variante Weierstrass–Mandelbrot supercrítica generalmente tuvo un desempeño pobre.
Desempeño de los Optimizadores:
- Tipo Herrera (Escalamiento Local): Estos métodos fueron los más fuertes en general, logrando la única mejor configuración en 6 conjuntos de datos y compartiendo el primer lugar en un 7º. Ofrecieron un alto rendimiento con un costo computacional insignificante.
- Memoria Explícita (Memoria-GL): Estos métodos funcionaron mal en la clasificación, cayendo frecuentemente fuera de los 15 mejores y exhibiendo una alta varianza. Los autores atribuyen esto a la amplificación del ruido de muestreo en el entrenamiento por minibatches, contrastando con su éxito en superficies deterministas.
- Memoria Adaptativa: Este grupo mostró una mejor robustez que los métodos de memoria simple, clasificándose más alto en los promedios de grupo y ganando en dos conjuntos de datos (Simulación de colapsos de modelos climáticos, Identificación de vidrio).
Interacción: Los mejores resultados se lograron mediante emparejamientos específicos (p. ej., Weierstrass–Tanh modificada con optimizadores de tipo Herrera) en lugar de la aplicación universal de componentes fractales. No hubo un orden fraccionario ( $\nu$ ) universalmente óptimo; las configuraciones ganadoras utilizaron $\nu \in \{0.75, 1.25, 1.50\}$ .

Significación y Reivindicaciones

El artículo sostiene que las activaciones fractales y los optimizadores fraccionarios son modificaciones matemáticamente compatibles de diferentes partes del problema de entrenamiento (representación vs. dinámica de optimización), pero su combinación produce beneficios solo a través de emparejamientos específicos e identificables, más que como reemplazos universales.

Mecanismo vs. Clasificación: El estudio destaca una divergencia crítica: la memoria de gradiente explícita es beneficiosa en paisajes multiescala deterministas (experimentos de superficie) pero se convierte en un lastre en el entrenamiento estocástico por minibatches (clasificación), donde amplifica el ruido.
Guía Práctica: Los autores recomiendan:
1. Seleccionar conjuntamente la función de activación, la formulación del optimizador y el orden fraccionario.
2. Utilizar el escalamiento local de tipo Herrera como la extensión fraccionaria por defecto debido a su costo insignificante y su límite clásico exacto.
3. Tratar el orden fraccionario como un hiperparámetro discreto para ser ajustado.
4. Reservar la memoria de gradiente explícita para entornos de bajo ruido con estructuras multiescala persistentes, o utilizarla únicamente a través de un mezclado adaptativo acotado (el marco de la $\lambda_t$ propuesto).

El estudio concluye que, si bien el marco unificado proporciona una base reproducible para la investigación futura, el uso indiscriminado de la memoria de gradiente explícita no está respaldado por los datos, y el "mejor" método depende altamente del conjunto de datos específico y del emparejamiento activación-optimizador.