🤖 machine learning

Learning Expressive Random Feature Models via Parametrized Activations

Cet article introduit le Modèle de Caractéristiques Aléatoires avec Fonctions d'Activation Apprenables (RFLAF), qui paramètre les fonctions d'activation à l'aide de sommes pondérées de fonctions de base afin d'étendre considérablement l'expressivité du modèle et d'obtenir des performances et une efficacité supérieures par rapport aux modèles de caractéristiques aléatoires traditionnels à activation fixe.

Auteurs originaux : Zailin Ma, Jiansheng Yang, Yaodong Yang

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zailin Ma, Jiansheng Yang, Yaodong Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître des motifs, comme distinguer un chat d'un chien sur une photo. Pour ce faire, le robot utilise un « traducteur » mathématique appelé Modèle de Caractéristiques Aléatoires (Random Feature Model). Pour comprendre cela, imaginez ce traducteur comme une chaîne de montage d'usine.

Dans une usine standard (les modèles traditionnels), les travailleurs (les fonctions d'activation) sont coincés dans le même mouvement répétitif à chaque fois. Ils sont rigides. Si la tâche change légèrement, l'usine a du mal à s'adapter car les travailleurs ne peuvent pas changer leur routine.

Ce document présente une nouvelle usine plus intelligente appelée RFLAF (Modèle de Caractéristiques Aléatoires avec Fonctions d'Activation Apprenables). Voici comment elle fonctionne, décomposée en concepts simples :

1. Le Problème : Les Travailleurs Rigides

De la vieille manière, l'usine utilise un « outil » fixe (une fonction d'activation fixe) pour traiter les données. C'est comme essayer de réparer un pneu crevé avec un marteau. Cela peut fonctionner pour certaines choses, mais c'est terrible pour d'autres. Le modèle ne peut pas apprendre quel outil est le meilleur pour la tâche spécifique ; il utilise simplement celui avec lequel il est né.

2. La Solution : La Boîte à Outils Métamorphe

Les auteurs proposent de donner aux travailleurs de l'usine une boîte à outils métamorphe. Au lieu d'un outil fixe, les travailleurs disposent d'un ensemble de blocs de construction de base (appelés fonctions de base). Ces blocs sont comme :

Fonctions de Base Radiale (RBF) : Considérez-les comme des courbes douces en forme de cloche (comme une colline douce).
Splines : Considérez-les comme des règles flexibles et pliables.
Polynômes : Considérez-les comme des lignes sinueuses et ondulées.

La magie du RFLAF est que le modèle apprend comment mélanger et assortir ces blocs. Il comprend : « Pour cette tâche spécifique, j'ai besoin de 30 % d'une colline, 50 % d'une règle pliable et 20 % d'une ondulation. » Il crée un outil sur mesure à la volée qui s'adapte parfaitement aux données.

3. La Découverte de la « Colline Unique »

Avant de construire la boîte à outils complexe, les auteurs ont étudié ce qui se passe si vous utilisez simplement une seule de ces formes de « colline » (une seule Fonction de Base Radiale).

La Découverte : Ils ont découvert une formule mathématique cachée (un « noyau » ou kernel) qui décrit exactement comment cette colline unique interagit avec les données.
La Limite : Ils ont découvert qu'utiliser une seule colline ne suffit pas pour rendre le modèle super intelligent. Il reste un peu limité, comme n'avoir qu'un seul type de tournevis.

4. La Puissance du Mélange

La véritable percée se produit lorsque vous combinez plusieurs de ces collines avec des poids apprenables.

Le Résultat : En mélangeant de nombreuses collines, le modèle peut représenter une variété beaucoup plus large de formes et de motifs. Il devient incroyablement expressif, ce qui signifie qu'il peut comprendre des données complexes bien mieux que les anciens modèles rigides.
Le Coût : Les auteurs prouvent mathématiquement que vous n'avez pas besoin d'une usine massive pour faire cela. Vous avez seulement besoin d'un tout petit peu plus d'« espace » (paramètres) pour obtenir un énorme gain de performance. C'est comme améliorer le moteur d'une petite voiture avec un système d'injection de carburant légèrement meilleur pour obtenir une vitesse de voiture de course.

5. La Course : Collines contre Règles

L'équipe a testé sa nouvelle usine contre les anciennes en utilisant des données du monde réel (comme la reconnaissance de chiffres écrits à la main ou la prédiction du prix des maisons).

Les Gagnants : Les modèles utilisant des Collines (RBF) et des Règles (Splines) ont systématiquement battu les anciens modèles rigides.
Le Rapide : Bien que les deux modèles (Collines et Règles) soient bons, les Collines (RBF) ont été les grands champions. Elles étaient trois fois plus rapides à calculer que les Règles, tout en offrant les meilleurs résultats.
Les Perdants : Les « lignes ondulées » (polynômes) étaient instables et s'effondraient souvent lorsque les tâches devenaient trop complexes.

6. Le Test « Gelé » vs « Dégelé »

Enfin, les auteurs ont mené une dernière expérience. Ils ont pris leur nouvelle « usine intelligente » et ont laissé le modèle changer tout, pas seulement les outils, mais aussi la configuration initiale de la chaîne de montage (en « dégelant » les paramètres de la première couche).

Le Résultat : Même lorsqu'ils sont comparés aux réseaux neuronaux standards et modernes (l'état de l'art actuel), leur approche d'« usine intelligente » a tenu son rang et a souvent été plus performante. Cela prouve que l'idée d'« apprendre l'outil » est une amélioration puissante pour n'importe quel réseau neuronal.

Résumé

En bref, ce document dit : « Arrêtez d'utiliser un marteau pour tout. Donnez à votre IA une boîte à outils de formes, laissez-la apprendre comment les mélanger, et vous obtiendrez un modèle plus intelligent, plus rapide et plus adaptable. » Plus précisément, utiliser des mélangeurs en forme de « collines » (RBF) est le point idéal pour obtenir les meilleures performances avec le moins de puissance de calcul supplémentaire.

Résumé Technique : Apprentissage de Modèles de Caractéristiques Aléatoires Expressifs via des Activations Paramétrées

1. Énoncé du Problème

Les modèles de Caractéristiques Aléatoires (Random Feature - RF), introduits comme une alternative évolutive aux méthodes à noyau, approximent les fonctions de noyau en utilisant un nombre fini de caractéristiques aléatoires. Bien que très efficaces sur le plan computationnel, les modèles RF standards emploient généralement des fonctions d'activation fixes (ex. : ReLU, Sigmoïde, Cosinus). Cette rigidité limite leur adaptabilité à travers diverses tâches, empêchant le modèle de rechercher automatiquement les fonctions d'activation optimales pour s'ajuster à des distributions de données spécifiques. Inversement, les développements récents des modules d'activation apprenables, tels que les réseaux Kolmogorov-Arnold (KAN), ont démontré une certaine efficacité mais font souvent face à des défis de scalabilité ou d'optimisation. L'article traite l'écart entre l'efficacité des modèles RF à fonctions fixes et l'expressivité des réseaux à activations apprenables en proposant un cadre qui paramètre les fonctions d'activation au sein du cadre des RF.

2. Méthodologie

Les auteurs introduisent le Modèle de Caractéristiques Aléatoires avec Fonctions d'Activation Apprenables (RFLAF).

Formulation du Modèle

Dans le RFLAF, la fonction d'activation $\sigma$ n'est pas fixe mais est paramétrée comme une somme pondérée de fonctions de base $\{B_i(x)\}_{i=1}^N$ au sein du cadre des caractéristiques aléatoires. Le modèle est défini par :
$\hat{f}(x; a, v) := \frac{1}{M} \sum_{m=1}^M \sum_{i=1}^N a_i B_i(w_m^\top x) v_m$
où :

$w_m \sim \mathcal{N}(0, I_d)$ sont des caractéristiques aléatoires fixes échantillonnées à partir d'une distribution gaussienne.
$B_i(x)$ sont des fonctions de base (ex. : fonctions de base radiales, B-splines, polynômes) avec des centres et des largeurs pré-établis.
$a = (a_1, \dots, a_N)$ et $v = (v_1, \dots, v_M)$ sont des paramètres apprenables.

Les auteurs se concentrent sur les Fonctions de Base Radiales (RBF) comme base représentative pour l'analyse théorique, définies par $B_i(x) = \exp\left(-\frac{(x-c_i)^2}{2h_i^2}\right)$ .

Approche Théorique

Analyse RBF Unique : Les auteurs dérivent d'abord la forme analytique explicite du noyau induit par une activation RBF unique. Ils établissent le développement de Taylor de ce noyau invariant par rotation et caractérisent l'espace de Hilbert à noyau reproduisant (RKHS) associé.
RBF Multiples & Approximation : En étendant cela à plusieurs RBF, ils utilisent le théorème d'approximation universelle de Gauss. Ils prouvent qu'une somme pondérée de RBF peut approximer toute fonction cible continue à support compact avec une erreur $\epsilon$ arbitraire.
Bornes de Généralisation : En utilisant la complexité de Rademacher, les auteurs dérivent des bornes de généralisation pour le processus d'apprentissage. Ils analysent la complexité de l'échantillon requise pour atteindre un faible risque excédentaire, montrant que le nombre de caractéristiques aléatoires $M$ doit croître avec la racine carrée de la taille de l'échantillon $n$ ( $M = \Theta(\sqrt{n})$ ) pour atteindre une performance optimale, correspondant aux résultats les plus précis pour les modèles RF standards.

3. Contributions Clés

L'article présente les contributions spécifiques suivantes :

Nouvelle Dérivation de Noyau : Les auteurs identifient et fournissent la première forme analytique du noyau induit par une seule RBF en tant que fonction d'activation, étendant les résultats précédents sur les activations gaussiennes centrées aux cas non centrés généraux.
Garanties Théoriques : Ils fournissent des bornes d'approximation et de généralisation rigoureuses pour le RFLAF. La théorie garantit que le modèle améliore la capacité de représentation avec un coût minimal de moins de deux fois le nombre de paramètres par rapport aux modèles RF standards.
Validation Empirique : Des expériences approfondies démontrent que les RFLAF avec des RBF ou des B-splines surpassent systématiquement les modèles RF standards avec des activations fixes sur diverses tâches de classification et de régression.
Analyse d'Efficacité : L'étude souligne que les RFLAF basés sur les RBF sont environ trois fois plus efficaces sur le plan computationnel que les RFLAF basés sur les B-splines tout en atteignant une performance supérieure ou comparable.
Extension aux Réseaux de Neurones : En "dégelant" les paramètres de la première couche des RFLAF, les auteurs valident l'avantage d'expressivité des composants d'activation apprenables sur les réseaux de neurones réguliers à deux couches (appelés LAN), montrant qu'ils peuvent surpasser les MLP et les KAN standards en termes de vitesse de convergence et de stabilité.

4. Résultats Expérimentaux

Les auteurs ont évalué le RFLAF sur sept jeux de données du monde réel (MNIST, CIFAR-10, Adult, Protein, CT, Workloads, MillionSongs) et des jeux de données synthétiques.

Performance : Les RFLAF avec RBF et B-splines ont systématiquement obtenu des pertes de test plus faibles et des précocités plus élevées par rapport aux modèles RF standards (RFMLP) avec des activations fixes (ReLU, Cos, Tanh, Sigmoid).
Efficacité : Bien que les B-splines aient bien performé, il a été constaté que les RBF étaient 2 à 4 fois plus rapides en temps d'entraînement et de test. Par exemple, sur le jeu de données "Workloads", les RBF ont amélioré la perte de test d'environ 70 % par rapport à la meilleure activation fixe (Sigmoid) avec une augmentation de temps de moins de 30 %.
Sensibilité de la Taille de la Grille : Les expériences ont montré qu'un petit nombre de fonctions de base ( $N=16$ ou $32$) est suffisant pour surpasser significativement les modèles RF standards, offrant un bon compromis entre performance et coût computationnel.
Récupération d'Activation : Sur des tâches synthétiques, le RFLAF a réussi à récupérer les fonctions d'activation de vérité terrain à partir des données, démontrant sa capacité à apprendre des non-linéarités optimales sans recherche par grille.
Réseaux à Deux Couches : Appliqués à des réseaux réguliers à deux couches (LAN), les modèles basés sur les RBF ont obtenu les meilleures performances parmi LAN, MLP et KAN, convergeant plus rapidement que KAN et surpassant MLP.

5. Signification et Revendications

L'article affirme fournir une compréhension plus profonde des composants d'activation apprenables au sein des architectures modernes de réseaux de neurones. En intégrant des activations apprenables dans le cadre des caractéristiques aléatoires, ce travail comble l'écart entre l'efficacité théorique des méthodes à noyau et l'adaptabilité du deep learning.

Les auteurs positionnent le RFLAF comme une méthode qui :

Élargit l'Espace de Fonction : Élargit considérablement l'espace de fonctions représentées par rapport aux modèles RF à fonctions fixes sans augmentation proportionnelle de la complexité computationnelle.
Offre un Surcoût Minimal : Atteint des gains de performance significatifs avec une augmentation minimale du nombre de paramètres et du temps d'entraînement.
Valide les Activations Apprenables : Fournit la preuve que les modules d'activation apprenables sont efficaces non seulement dans les architectures complexes comme les KAN, mais aussi dans des structures plus simples et plus scalables à deux couches.

Le travail conclut que le RFLAF ouvre de nouvelles directions pour les modèles de caractéristiques aléatoires, suggérant que la paramétrage des activations est une stratégie viable et efficace pour améliorer l'expressivité des modèles tant dans les méthodes à noyau que dans les réseaux de neurones.