🤖 machine learning

Learning Expressive Random Feature Models via Parametrized Activations

Este artículo introduce el Modelo de Características Aleatorias con Funciones de Activación Aprendibles (RFLAF), el cual parametriza las funciones de activación mediante sumas ponderadas de funciones base para expandir significativamente la expresividad del modelo y lograr un rendimiento y eficiencia superiores en comparación con los modelos tradicionales de características aleatorias de activación fija.

Autores originales: Zailin Ma, Jiansheng Yang, Yaodong Yang

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zailin Ma, Jiansheng Yang, Yaodong Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer patrones, como distinguir un gato de un perro en una foto. Para hacer esto, el robot utiliza un "traductor" matemático llamado Modelo de Características Aleatorias (Random Feature Model). Imagina este traductor como una línea de ensamblaje de una fábrica.

En una fábrica estándar (modelos tradicionales), los trabajadores (las funciones de activación) están atrapados haciendo exactamente el mismo movimiento repetitivo cada vez. Son rígidos. Si la tarea cambia ligeramente, la fábrica lucha por adaptarse porque los trabajadores no pueden cambiar su rutina.

Este artículo presenta una nueva fábrica más inteligente llamada RFLAF (Modelo de Características Aleatorias con Funciones de Activación Aprendibles). Así es como funciona, desglosado en conceptos simples:

1. El Problema: Los Trabajadores Rígidos

De la forma antigua, la fábrica utiliza una "herramienta" fija (una función de activación fija) para procesar datos. Es como intentar arreglar un neumático pinchado con un martillo. Puede funcionar para algunas cosas, pero es terrible para otras. El modelo no puede aprender qué herramienta es la mejor para el trabajo específico; simplemente usa la que le tocó al nacer.

2. La Solución: El Kit de Herramientas de Cambio de Forma

Los autores proponen dar a los trabajadores de la fábrica un kit de herramientas de cambio de forma. En lugar de una herramienta fija, los trabajadores tienen un conjunto de bloques de construcción básicos (llamados "funciones de base"). Estos bloques son como:

Funciones de Base Radial (RBF): Piensa en estas como curvas suaves en forma de campana (como una colina suave).
Splines: Piensa en estos como reglas flexibles y doblables.
Polinomios: Piensa en estos como líneas curvas y sinuosas.

La magia de RFLAF es que el modelo aprende cómo mezclar y combinar estos bloques. Determina: "Para esta tarea específica, necesito un 30% de una colina, un 50% de una regla doblable y un 20% de un zigzag". Crea una herramienta personalizada sobre la marcha que se ajusta perfectamente a los datos.

3. El Descubrimiento de la "Colina Única"

Antes de construir el complejo kit de herramientas, los autores estudiaron qué sucede si solo usas una de estas formas de "colina" (una única Función de Base Radial o RBF).

El Hallazgo: Descubrieron una fórmula matemática oculta (un "kernel") que describe exactamente cómo interactúa esta única colina con los datos.
El Límite: Encontraron que usar solo una colina no es suficiente para hacer al modelo súper inteligente. Sigue siendo un poco limitado, como tener solo un tipo de destornillador.

4. El Poder de la Mezcla

El verdadero avance ocurre cuando combinas muchas de estas colinas con pesos aprendibles.

El Resultado: Al mezclar muchas colinas, el modelo puede representar una variedad mucho más amplia de formas y patrones. Se vuelve increíblemente expresivo, lo que significa que puede entender datos complejos mucho mejor que los antiguos modelos rígidos.
El Costo: Los autores demuestran matemáticamente que no necesitas una fábrica masiva para hacer esto. Solo necesitas un poco más de "espacio" (parámetros) para obtener un gran aumento en el rendimiento. Es como mejorar el motor de un coche pequeño con un sistema de inyección de combustible ligeramente mejor para obtener la velocidad de un coche de carreras.

5. La Carrera: Colinas vs. Reglas

El equipo probó su nueva fábrica contra las antiguas usando datos del mundo real (como reconocer números escritos a mano o predecir precios de viviendas).

Los Ganadores: Los modelos que utilizan Colinas (RBFs) y Reglas Doblables (Splines) superaron consistentemente a los antiguos modelos rígidos.
El Velocista: Aunque tanto las Colinas como las Reglas fueron buenas, las Colinas (RBFs) fueron las claras campeonas. Eran tres veces más rápidas de computar que las Reglas, mientras que seguían ofreciendo los mejores resultados.
Los Perdedores: Las "líneas sinuosas" (polinomios) eran inestables y a menudo fallaban cuando las tareas se volvían demasiado complejas.

6. La Prueba de "Congelado" vs. "Descongelado"

Finalmente, los autores realizaron un experimento final. Tomaron su nueva "fábrica inteligente" y permitieron que cambiara todo, no solo las herramientas, sino también la configuración inicial de la línea de ensamblaje (descongelando los parámetros de la primera capa).

El Resultado: Incluso cuando se compararon con las redes neuronales estándar y modernas (el estado del arte actual), su enfoque de "fábrica inteligente" se mantuvo a la altura y a menudo funcionó mejor. Esto demuestra que la idea de "aprender la herramienta" es una actualización poderosa para cualquier red neuronal.

Resumen

En resumen, este artículo dice: "Deja de usar un martillo para todo. Dale a tu IA un maletín de herramientas con diversas formas, deja que aprenda a mezclarlas y obtendrás un modelo más inteligente, rápido y adaptable". Específicamente, usar mezcladores en "forma de colina" (RBFs) es el punto ideal para obtener el mejor rendimiento con la menor cantidad de potencia de cómputo adicional.

Resumen Técnico: Aprendizaje de Modelos de Características Aleatorias Expresivas mediante Activaciones Parametrizadas

1. Planteamiento del Problema

Los modelos de Características Aleatorias (RF, por sus siglas en inglés), introducidos como una alternativa escalable a los métodos de kernel, aproximan funciones de kernel utilizando un número finito de características aleatorias. Aunque son computacionalmente eficientes, los modelos RF estándar suelen emplear funciones de activación fijas (por ejemplo, ReLU, Sigmoide, Coseno). Esta rigidez limita su adaptabilidad en diversas tareas, impidiendo que el modelo busque automáticamente las funciones de activación óptimas para ajustar distribuciones de datos específicas. Por el contrario, desarrollos recientes en módulos de activación aprendibles, como las Redes Kolmogorov-Arnold (KANs), han demostrado efectividad pero a menudo enfrentan desafíos de escalabilidad u optimización. El artículo aborda la brecha entre la eficiencia de los modelos RF de activación fija y la expresividad de las redes de activación aprendibles proponiendo un marco que parametriza las funciones de activación dentro del entorno de RF.

2. Metodología

Los autores introducen el Modelo de Características Aleatorias con Funciones de Activación Aprendibles (RFLAF).

Formulación del Modelo

En RFLAF, la función de activación $\sigma$ no es fija, sino que está parametrizada como una suma ponderada de funciones de base $\{B_i(x)\}_{i=1}^N$ dentro del marco de características aleatorias. El modelo se define como:
$\hat{f}(x; a, v) := \frac{1}{M} \sum_{m=1}^M \sum_{i=1}^N a_i B_i(w_m^\top x) v_m$
donde:

$w_m \sim \mathcal{N}(0, I_d)$ son características aleatorias fijas muestreadas de una distribución Gaussiana.
$B_i(x)$ son funciones de base (por ejemplo, Funciones de Base Radial, B-splines, Polinomios) con centros y anchuras preestablecidos.
$a = (a_1, \dots, a_N)$ y $v = (v_1, \dots, v_M)$ son parámetros aprendibles.

Los autores se centran en las Funciones de Base Radial (RBFs) como la base representativa para el análisis teórico, definidas como $B_i(x) = \exp\left(-\frac{(x-c_i)^2}{2h_i^2}\right)$ .

Enfoque Teórico

Análisis de RBF Única: Los autores derivan primero la forma analítica explícita del kernel inducido por una única activación RBF. Establecen la expansión de Taylor de este kernel invariante de rotación y caracterizan el Espacio de Hilbert Reproductor (RKHS) asociado.
Múltiples RBFs y Aproximación: Extendiendo a múltiples RBFs, utilizan el Teorema de Aproximación Universal Gaussiano. Demuestran que una suma ponderada de RBFs puede aproximar cualquier función de activación continua con soporte compacto con un error $\epsilon$ arbitrario.
Límites de Generalización: Utilizando la complejidad de Rademacher, los autores derivan límites de generalización para el proceso de aprendizaje. Analizan la complejidad de muestra requerida para lograr un riesgo excesivo bajo, mostrando que el número de características aleatorias $M$ debe escalar con la raíz cuadrada del tamaño de la muestra $n$ ( $M = \Theta(\sqrt{n})$ ) para lograr un rendimiento óptimo, coincidiendo con los resultados más agudos para los modelos RF estándar.

3. Contribuciones Clave

El artículo realiza las siguientes contribuciones específicas:

Nueva Derivación de Kernel: Los autores identifican y proporcionan la primera forma analítica del kernel inducido por una sola RBF como función de activación, extendiendo los resultados previos sobre activaciones Gaussianas centradas a casos no centrados generales.
Garantías Teóricas: Proporcionan límites rigurosos de aproximación y generalización para RFLAF. La teoría garantiza que el modelo mejora la capacidad de representación con un costo mínimo de menos del doble de parámetros en comparación con los modelos RF estándar.
Validación Empírica: Experimentos extensos demuestran que los RFLAF con RBF o B-splines superan consistentemente a los modelos RF estándar con activaciones fijas en diversas tareas de clasificación y regresión.
Análisis de Eficiencia: El estudio destaca que los RFLAF basados en RBF son aproximadamente tres veces más eficientes computacionalmente que los RFLAF basados en B-splines, logrando un rendimiento superior o comparable.
Extensión a Redes Neuronales: Al descongelar los parámetros de la primera capa de los RFLAF, los autores validan la ventaja de expresividad de los componentes de activación aprendibles en redes neuronales regulares de dos capas (denominadas LAN), mostrando que pueden superar a los MLP estándar y a las KAN en términos de velocidad de convergencia y estabilidad.

4. Resultados Experimentales

Los autores evaluaron RFLAF en siete conjuntos de datos del mundo real (MNIST, CIFAR-10, Adult, Protein, CT, Workloads, MillionSongs) y conjuntos de datos sintéticos.

Rendimiento: Los RFLAF con RBF y B-splines lograron consistentemente menores pérdidas de prueba y mayores precisiones en comparación con los modelos RF estándar (RFMLP) con activaciones fijas (ReLU, Cos, Tanh, Sigmoid).
Eficiencia: Aunque las B-splines funcionaron bien, se encontró que las RBF eran de 2 a 4 veces más rápidas en tiempos de entrenamiento y prueba. Por ejemplo, en el conjunto de datos "Workloads", las RBF mejoraron la pérdida de prueba en aproximadamente un 70% en comparación con la mejor activación fija (Sigmoide) con un incremento de tiempo inferior al 30%.
Sensibilidad al Tamaño de la Grilla: Los experimentos mostraron que un número pequeño de funciones de base ( $N=16$ o $32$) es suficiente para superar significativamente a los modelos RF estándar, ofreciendo un buen equilibrio entre rendimiento y costo computacional.
Recuperación de la Activación: En tareas sintéticas, RFLAF recuperó con éxito las funciones de activación de la verdad de campo (ground-truth), demostrando su capacidad para aprender no linealidades óptimas sin búsqueda de cuadrícula (grid search).
Redes de Dos Capas: Al aplicarse a redes regulares de dos capas (LAN), los modelos basados en RBF lograron el mejor rendimiento entre LAN, MLP y KAN, convergiendo más rápido que KAN y superando a MLP.

5. Significado y Reivindicaciones

El artículo afirma proporcionar una comprensión más profunda de los componentes de activación aprendibles dentro de las arquitecturas modernas de redes neuronales. Al integrar activaciones aprendibles en el marco de características aleatorias, el trabajo cierra la brecha entre la eficiencia teórica de los métodos de kernel y la adaptabilidad del aprendizaje profundo.

Los autores posicionan a RFLAF como un método que:

Expande el Espacio de Funciones: Expande sustancialmente el espacio de funciones representado en comparación con los modelos RF de activación fija sin un aumento proporcional en la complejidad computacional.
Ofrece una Sobrecarga Mínima: Logra mejoras significativas de rendimiento con un incremento mínimo en el recuento de parámetros y el tiempo de entrenamiento.
Valida las Activaciones Aprendibles: Proporciona evidencia de que los módulos de activación aprendibles son efectivos no solo en arquitecturas complejas como las KAN, sino también en estructuras de dos capas más simples y escalables.

El trabajo concluye que RFLAF abre nuevas direcciones para los modelos de características aleatorias, sugiriendo que parametrizar las activaciones es una estrategia viable y eficiente para mejorar la expresividad de los modelos tanto en métodos de kernel como en redes neuronales.