🤖 machine learning

Learning Expressive Random Feature Models via Parametrized Activations

Dit artikel introduceert het Random Feature Model met Leerbare Activatiefuncties (RFLAF), dat activatiefuncties parametriseert met behulp van gewogen sommen van basisfuncties om de expressiviteit van het model aanzienlijk uit te breiden en een superieure prestatie en efficiëntie te bereiken in vergelijking met traditionele random feature-modellen met vaste activatiefuncties.

Oorspronkelijke auteurs: Zailin Ma, Jiansheng Yang, Yaodong Yang

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zailin Ma, Jiansheng Yang, Yaodong Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om patronen te herkennen, zoals het onderscheiden van een kat van een hond op een foto. Om dit te doen, gebruikt de robot een wiskundige "vertaler" genaamd een Random Feature Model. Zie deze vertaler als een fabriekslijn.

In een standaardfabriek (traditionele modellen) zijn de arbeiders (de activatiefuncties) gestrand op precies dezelfde herhalende beweging bij elke uitvoering. Ze zijn rigide. Als de taak licht verandert, heeft de fabriek moeite met aanpassen omdat de arbeiders hun routine niet kunnen veranderen.

Dit artikel introduceert een nieuwe, slimmere fabriek genaamd RFLAF (Random Feature Model with Learnable Activation Functions). Zo werkt het, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De Rigide Arbeiders

Op de oude manier gebruikt de fabriek een vaste "tool" (een vaste activatiefunctie) om gegevens te verwerken. Het is alsof je probeert een lekke band te repareren met een hamer. Het werkt misschien voor sommige dingen, maar het is verschrikkelijk voor andere. Het model kan niet leren welke tool het beste is voor de specificende taak; het gebruikt gewoon de tool waarmee het geboren is.

2. De Oplossing: De Vormveranderende Gereedschapskist

De auteurs stellen voor om de fabrieksarbeiders een vormveranderende gereedschapskist te geven. In plaats van één vaste tool, hebben de arbeiders een set basisbouwstenen (genaamd "basisfuncties"). Deze blokken zijn bijvoorbeeld:

Radial Basis Functions (RBFs): Denk aan deze als gladde, klokvormige curves (zoals een zachte heuvel).
Splines: Denk aan deze als flexibele, buigzame linialen.
Polynomials: Denk aan deze als kronkelige, golvende lijnen.

De magie van RFLAF is dat het model leert hoe het deze blokken kan mengen en combineren. Het ontdekt: "Voor deze specifieke taak heb ik 30% van een heuvel, 50% van een buigzame liniaal en 20% van een golf nodig." Het creëert ter plekke een aangepaste tool die perfect bij de data past.

3. De Ontdekking van de "Enkele Heuvel"

Voordat ze de complexe gereedschapskist bouwden, bestudeerden de auteurs wat er gebeurt als je slechts één van deze "heuvel"-vormen gebruikt (een enkele Radial Basis Function).

De Bevinding: Ze ontdekten een verborgen wiskundige formule (een "kernel") die precies beschrijft hoe deze enkele heuvel met data interacteert.
De Limiet: Ze ontdekten dat het gebruik van slechts één heuvel niet genoeg is om het model superintelligent te maken. Het is nog steeds een beetje beperkt, alsof je maar één type schroevendraaier hebt.

4. De Kracht van de Mix

De echte doorbraak vindt plaats wanneer je veel van deze heuvels combineert met leerbare gewichten.

Het Resultaat: Door veel heuvels bij elkaar te mixen, kan het model een veel grotere variëteit aan vormen en patronen vertegenrichten. Het wordt ongelooflijk expressief, wat betekent dat het complexe data veel beter kan begrijpen dan de oude rigide modellen.
De Kosten: De auteurs bewijzen wiskundig dat je geen enorme fabriek nodig hebt om dit te doen. Je hebt slechts een heel klein beetje meer "ruimte" (parameters) nodig om een enorme boost in prestaties te krijgen. Het is alsochten een kleine automotor te upgraden met een iets beter brandstofinjectiesysteem om de snelheid van een racewagen te krijgen.

5. De Race: Heuvels versus Linialen

Het team testte hun nieuwe fabriek tegen de oude fabrieken met behulp van real-world data (zoals het herkennen van handgeschreven cijfers of het voorspellen van huizenprijzen).

De Winnaars: De modellen die Heuvels (RBFs) en Buigzame Linialen (Splines) gebruikten, versloegen consequent de oude rigide modellen.
De Snelheidsduivel: Hoewel zowel Heuvels als Linialen goed waren, waren de Heuvels (RBFs) de duidelijke kampioenen. Ze waren drie keer sneller om te berekenen dan de Linialen, terwijl ze nog steeds de beste resultaten leverden.
De Verliezers: De "golvende lijnen" (polynomials) waren onstabiel en braken vaak af wanneer de taken te complex werden.

6. De "Frozen" versus "Unfrozen" Test

Ten slotte deden de auteurs een laatste experiment. Ze namen hun nieuwe "slimme fabriek" en lieten het alles veranderen, niet alleen de tools, maar ook de initiële opstelling van de assemblagelijn (het "unfreezen" van de parameters van de eerste laag).

De Uitkomst: Zelfs in vergelijking met standaard, moderne neurale netwerken (de huidige state-of-the-art), hield hun "slimme fabriek"-aanpak stand en presteerde deze vaak zelfs beter. Dit bewijst dat het idee van "het leren van de tool" een krachtige upgrade is voor elk neuraal netwerk.

Samenvatting

Kortom, dit artikel zegt: "Stop met het gebruiken van een hamer voor alles. Geef je AI een gereedschapskist van vormen, laat het leren hoe het ze kan mixen, en je krijgt een slimmer, sneller en aanpasbaarder model." Specifiek is het gebruik van "heuvelvormige" mixers (RBFs) het ideale punt om de beste prestaties te krijgen met de minste hoeveelheid extra rekenkracht.

Technische Samenvatting: Het leren van expressieve Random Feature Modellen via Geparametriseerde Activaties

1. Probleemstelling

Random Feature (RF) modellen, geïntroduceerd als een schaalbaar alternatief voor kernelmethoden, benaderen kernelfuncties met behulp van een eindig aantal willekeurige kenmerken (random features). Hoewel computationeel efficiënt, maken standaard RF-modellen doorgaans gebruik van vaste activatiefuncties (bijv. ReLU, Sigmoid, Cosine). Deze rigiditeit beperkt hun aanpasbaarheid aan diverse taken, waardoor het model niet automatisch de optimale activatiefuncties kan zoeken om specifieke datadistributies te fitten. Daartegenover staan recente ontwikkelingen in leerbare activatiemodules, zoals Kolmogorov-Arnold Networks (KANs), die effectiviteit hebben aangetoond maar vaak kampen met uitdagingen op het gebied van schaalbaarheid of optimalisatie. Het artikel adresseert de kloof tussen de efficiëntie van vaste RF-modellen en de expressiviteit van leerbare activatienetwerken door een raamwerk voor te stellen dat activatiefuncties binnen de RF-setting parametriseert.

2. Methodologie

De auteurs introduceren het Random Feature Model met Leerbare Activatiefuncties (RFLAF).

Modelformulering

In RFLAF is de activatiefunctie $\sigma$ niet vast, maar geparametriseerd als een gewogen som van basisfuncties $\{B_i(x)\}_{i=1}^N$ binnen het random feature raamwerk. Het model wordt gedefinieerd als:
$\hat{f}(x; a, v) := \frac{1}{M} \sum_{m=1}^M \sum_{i=1}^N a_i B_i(w_m^\top x) v_m$
waarbij:

$w_m \sim \mathcal{N}(0, I_d)$ vaste random features zijn gesampled uit een Gaussische distributie.
$B_i(x)$ basisfuncties zijn (bijv. Radial Basis Functions, B-splines, Polynomen) met vooraf ingestelde centra en breedtes.
$a = (a_1, \dots, a_N)$ en $v = (v_1, \dots, v_M)$ leerbare parameters zijn.

De auteurs richten zich op Radial Basis Functions (RBFs) als de representatieve basis voor theoretische analyse, gedefinieerd als $B_i(x) = \exp\left(-\frac{(x-c_i)^2}{2h_i^2}\right)$ .

Theoretische Aanpak

Enkele RBF Analyse: De auteurs leiden eerst de expliciete analytische vorm af van de kernel geïnduceerd door een enkele RBF-activatie. Ze stellen de Taylor-expansie van deze rotatie-invariante kernel vast en karakteriseren de bijbehorende Reproducing Kernel Hilbert Space (RKHS).
Meerdere RBFs & Approximatie: Bij het uitbreiden naar meerdere RBFs maken ze gebruik van de Gaussische Universele Approximatietheorema. Ze bewijzen dat een gewogen som van RBFs elke continue doelactivatiefunctie met compact ondersteuning tot een willekeurige fout $\epsilon$ kan benaderen.
Generalisatiegrenzen: Met behulp van de Rademacher-complexiteit leiden de auteurs generalisatiegrenzen af voor het leerproces. Ze analyseren de steekproefcomplexiteit die vereist is om een lage excess risk te bereiken, waarbij ze aantonen dat het aantal random features $M$ moet schalen met de vierkantswortel van de steekproefomvang $n$ ( $M = \Theta(\sqrt{n})$ ) om optimale prestaties te behalen, wat overeenkomt met de scherpste resultaten voor standaard RF-modellen.

3. Belangrijkste Bijdragen

Het artikel levert de volgende specifieke bijdragen:

Nieuwe Kernelafleiding: De auteurs identificeren en bieden de eerste analytische vorm van de kernel geïnduceerd door een enkele RBF als activatiefunctie, waarmee ze eerdere resultaten over gecentreerde Gaussische activaties uitbreiden naar algemene niet-gecentreerde gevallen.
Theoretische Garanties: Ze bieden rigoureuze benaderings- en generalisatiegrenzen voor RFLAF. De theorie garandeert dat het model de representatieve capaciteit verbetert met een minimale kosten van minder dan tweemaal het aantal parameters vergeleken met standaard RF-modellen.
Empirische Validatie: Uitgebreide experimenten tonen aan dat RFLAFs met RBFs of B-splines consequent beter presteren dan standaard RF-modellen met vaste activaties over diverse classificatie- en regressietaken.
Efficiëntieanalyse: De studie benadrukt dat RBF-gebaseerde RFLAFs ongeveer drie keer zo computationeel efficiënt zijn als B-spline-gebaseerde RFLAFs, terwijl ze superieur of vergelijkbare prestaties leveren.
Extensie naar Neurale Netwerken: Door de parameters van de eerste laag van RFLAFs te 'unfreezen', valideren de auteurs het voordeel van de expressiviteit van leerbare activatiecomponenten op reguliere twee-laagse neurale netwerken (getiteld LANs), waarbij zij aantonen dat ze standaard MLPs en KANs kunnen overtreffen in termen van convergentiesnelheid en stabiliteit.

4. Experimentele Resultaten

De auteurs evalueerden RFLAF op zeven real-world datasets (MNIST, CIFAR-10, Adult, Protein, CT, Workloads, MillionSongs) en synthetische datasets.

Prestaties: RFLAFs met RBFs en B-splines behaalden consequent lagere testverliezen en hogere accuratessen vergeleken met standaard RF-modellen (RFMLP) met vaste activaties (ReLU, Cos, Tanh, Sigmoid).
Efficiëntie: Hoewel B-splines goed presteerden, bleek dat RBFs 2–4 keer sneller waren in trainings- en testtijden. Bijvoorbeeld, op de "Workloads"-dataset verbeterden RBFs het testverlies met ~70% vergeleken met de beste vaste activatie (Sigmoid) met minder dan een 30% toename in tijd.
Gevoeligheid voor Gridgrootte: Experimenten toonden aan dat een klein aantal basisfuncties ( $N=16$ of $32$) voldoende is om standaard RF-modellen significant te overtreffen, wat een goede balans biedt tussen prestaties en computationele kosten.
Activatieherstel: Op synthetische taken slaagde RFLAF erin de grondwaarheid (ground-truth) activatiefuncties uit de data te herstellen, wat de bekwaamheid demonstreert om optimale niet-lineariteiten te leren zonder grid search.
Twee-laagse Netwerken: Bij toepassing op reguliere twee-laagse netwerken (LAN) behaalden RBF-gebaseerde modellen de beste prestaties onder LAN, MLP en KAN, waarbij ze sneller convergeren dan KAN en MLP overtreffen.

5. Betekenis en Claims

Het artikel claimt een dieper begrip van leerbare activatiecomponenten te bieden binnen moderne neurale netwerkarchitecturen. Door leerbare activaties te integreren in het random feature raamwerk, overbrugt dit werk de kloof tussen de theoretische efficiëntie van kernelmethoden en de aanpasbaarheid van deep learning.

De auteurs positioneren RFLAF als een methode die:

De Functieruimte Uitbreidt: De gerepresenteerde functieruimte substantieel uitbreidt vergeleken met vaste RF-modellen zonder een evenredige toename in computationele complexiteit.
Minimale Overhead Biedt: Significante prestatiewinsten behaalt met een minimale toename in het aantal parameters en de trainingstijd.
Leerbare Activaties Valideert: Bewijs levert dat leerbare activatiemodules effectief zijn, niet alleen in complexe architecturen zoals KANs, maar ook in eenvoudigere, meer schaalbare twee-laagse structuren.

Het werk concludeert dat RFLAF nieuwe richtingen opent voor random feature modellen, waarbij wordt gesuggereerd dat het parametriseren van activaties een levensvatbare en efficiënte strategie is voor het verbeteren van de expressiviteit van zowel kernelmethoden als neurale netwerken.