🤖 machine learning

Learning Expressive Random Feature Models via Parametrized Activations

Dieses Paper führt das Random Feature Model mit lernbaren Aktivierungsfunktionen (RFLAF) ein, welches Aktivierungsfunktionen durch gewichtete Summen von Basisfunktionen parametrisiert, um die Expressivität des Modells signifikant zu erweitern und eine überlegene Leistung sowie Effizienz im Vergleich zu traditionellen Random-Feature-Modellen mit festen Aktivierungsfunktionen zu erreichen.

Ursprüngliche Autoren: Zailin Ma, Jiansheng Yang, Yaodong Yang

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zailin Ma, Jiansheng Yang, Yaodong Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Muster zu erkennen, wie zum Beispiel die Unterscheidung zwischen einer Katze und einem Hund auf einem Foto. Um dies zu tun, verwendet der Roboter einen mathematischen „Übersetzer“ namens Random Feature Model. Stellen Sie sich diesen Übersetzer als eine Fabrik-Montagelinie vor.

In einer Standardfabrik (traditionelle Modelle) sind die Arbeiter (die Aktivierungsfunktionen) dazu verdammt, immer dieselbe repetitive Bewegung auszuführen. Sie sind starr. Wenn sich die Aufgabe leicht ändert, hat die Fabrik Schwierigkeiten, sich anzupassen, weil die Arbeiter ihre Routine nicht ändern können.

Dieses Paper stellt eine neue, intelligentere Fabrik namens RFLAF (Random Feature Model with Learnable Activation Functions) vor. So funktioniert sie, unterteilt in einfache Konzepte:

1. Das Problem: Die starren Arbeiter

Auf die alte Art verwendet die Fabrik ein festes „Werkzeug“ (eine feste Aktivierungsfunktion), um Daten zu verarbeiten. Es ist, als würde man versuchen, einen platten Reifen mit einem Hammer zu reparieren. Für manche Dinge mag es funktionieren, aber für andere ist es schrecklich. Das Modell kann nicht lernen, welches Werkzeug am besten für den jeweiligen Job ist; es benutzt einfach das, mit dem es geboren wurde.

2. Die Lösung: Der formveränderliche Werkzeugkasten

Die Autoren schlagen vor, den Fabrikarbeitern einen formveränderlichen Werkzeugkasten zu geben. Anstatt eines festen Werkzeugs haben die Arbeiter einen Satz grundlegender Bausteine (genannt „Basisfunktionen“). Diese Blöcke sind etwa:

Radiale Basisfunktionen (RBFs): Denken Sie an diese als glatte, glockenförmige Kurven (wie ein sanfter Hügel).
Splines: Denken Sie an diese als flexible, biegbare Lineale.
Polynome: Denken Sie an diese als kurvige, wackelige Linien.

Die Magie von RFLAF liegt darin, dass das Modell lernt, wie man diese Blöcke mischt und kombiniert. Es findet heraus: „Für diese spezifische Aufgabe brauche ich 30 % eines Hügels, 50 % eines biegbaren Lineals und 20 % eines Wackelns.“ Es erstellt ein maßgeschneidertes Werkzeug direkt vor Ort, das perfekt zu den Daten passt.

3. Die Entdeckung des „Einzelnen Hügels“

Bevor sie den komplexen Werkzeugkasten bauten, untersuchten die Autoren, was passiert, wenn man nur einen einzigen dieser „Hügel“-Formen (eine einzige Radiale Basisfunktion) verwendet.

Das Ergebnis: Sie entdeckten eine verborgene mathematische Formel (einen „Kernel“), die genau beschreibt, wie dieser einzelne Hügel mit Daten interagiert.
Die Grenze: Sie fanden heraus, dass die Verwendung von nur einem Hügel nicht ausreicht, um das Modell superintelligent zu machen. Es ist immer noch etwas begrenzt, so als hätte man nur einen einzigen Typ von Schraubendreher zur Verfügung.

4. Die Kraft der Mischung

Der wahre Durchbruch geschieht, wenn man viele dieser Hügel mit lernbaren Gewichten kombiniert.

Das Ergebnis: Durch das Mischen vieler Hügel kann das Modell eine viel größere Vielfalt an Formen und Mustern darstellen. Es wird unglaublich expressiv, was bedeutet, dass es komplexe Daten viel besser verstehen kann als die alten starren Modelle.
Die Kosten: Die Autoren beweisen mathematisch, dass man keine riesige Fabrik benötigt, um dies zu erreichen. Man braucht nur ein winziges bisschen mehr „Raum“ (Parameter), um einen riesigen Leistungsschub zu erhalten. Es ist, als würde man einen kleinen Automotor mit einem etwas besseren Einspritzsystem aufrüsten, um Rennwagen-Geschwindigkeit zu erreichen.

5. Das Rennen: Hügel gegen Lineale

Das Team testete ihre neue Fabrik gegen die alten Modelle unter Verwendung von Realdaten (wie dem Erkennen handgeschriebener Zahlen oder der Vorhersage von Hauspreisen).

Die Gewinner: Die Modelle, die Hügel (RBFs) und biegbare Lineale (Splines) verwendeten, gewannen konsequent gegen die alten starren Modelle.
Der Sprinter: Während sowohl Hügel als auch Lineale gut waren, waren die Hügel (RBFs) die klaren Champions. Sie waren dreimal schneller zu berechnen als die Lineale, während sie gleichzeitig die besten Ergebnisse lieferten.
Die Verlierer: Die „wackeligen Linien“ (Polynome) waren instabil und brachen oft zusammen, wenn die Aufgaben zu komplex wurden.

6. Der „Eingefroren“- vs. „Aufgetaut“-Test

Schließlich führten die Autoren ein letztes Experiment durch. Sie nahmen ihre neue „smarte Fabrik“ und ließen sie alles verändern – nicht nur die Werkzeuge, sondern auch den ursprünglichen Aufbau der Montagelinie (das „Entfrosten“ der Parameter der ersten Schicht).

Das Ergebnis: Selbst im Vergleich zu Standard-Modellen moderner neuronaler Netze (dem aktuellen Stand der Technik) bestand ihre „smarte Fabrik“-Methode standhaft und war oft sogar besser. Dies beweist, dass die Idee, „das Werkzeug zu lernen“, ein leistungsstarkes Upgrade für jedes neuronale Netz ist.

Zusammenfassung

Kurz gesagt sagt dieses Paper: „Hör auf, für alles einen Hammer zu benutzen. Gib deiner KI einen Werkzeugkasten voller Formen, lass sie lernen, wie man sie mischt, und du erhältst ein intelligenteres, schnelleres und anpassungsfähigeres Modell.“ Insbesondere die Verwendung von „hügelartigen“ Mischern (RBFs) ist der ideale Mittelweg, um die beste Leistung bei geringstem zusätzlichem Rechenaufwand zu erzielen.

Technisches Resümee: Erlernen expressiver Random-Feature-Modelle mittels parametrisierter Aktivierungen

1. Problemstellung

Random-Feature-Modelle (RF-Modelle), die als skalierbare Alternative zu Kernel-Methoden eingeführt wurden, approximieren Kernel-Funktionen mithilfe einer endlichen Anzahl von Zufallsmerkmalen. Während diese Modelle rechentechnisch effizient sind, verwenden Standard-RF-Modelle typischerweise feste Aktivierungsfunktionen (z. B. ReLU, Sigmoid, Cosinus). Diese Starrheit begrenzt ihre Anpassungsfähigkeit an diverse Aufgaben, da sie das Modell daran hindert, automatisch optimale Aktivierungsfunktionen anzupassen, um spezifische Datenverteilungen abzubilden. Im Gegensatz dazu haben jüngste Entwicklungen bei lernbaren Aktivierungsmodulen, wie etwa Kolmogorov-Arnold-Netzwerken (KANs), zwar die Effektivität demonstriert, stehen jedoch oft vor Herausforderungen hinsichtlich Skalierbarkeit oder Optimierung. Die vorliegende Arbeit adressiert die Lücke zwischen der Effizienz fester RF-Modelle und der Expressivität lernbarer Aktivierungsnetzwerke, indem sie ein Framework vorschlägt, das Aktivierungsfunktionen innerhalb des RF-Settings parametrisiert.

2. Methodik

Die Autoren führen das Random Feature Model with Learnable Activation Functions (RFLAF) ein.

Modellformulierung

In RFLAF ist die Aktivierungsfunktion $\sigma$ nicht fest vorgegeben, sondern wird als gewichtete Summe von Basisfunktionen $\{B_i(x)\}_{i=1}^N$ innerhalb des Random-Feature-Frameworks parametrisiert. Das Modell ist definiert als:
$\hat{f}(x; a, v) := \frac{1}{M} \sum_{m=1}^M \sum_{i=1}^N a_i B_i(w_m^\top x) v_m$
wobei:

$w_m \sim \mathcal{N}(0, I_d)$ feste Zufallsmerkmale sind, die aus einer Gaußschen Verteilung gezogen wurden.
$B_i(x)$ Basisfunktionen (z. B. Radial Basis Functions, B-Splines, Polynome) mit vordefinierten Zentren und Breiten sind.
$a = (a_1, \dots, a_N)$ und $v = (v_1, \dots, v_M)$ lernbare Parameter sind.

Die Autoren konzentrieren sich auf Radial Basis Functions (RBFs) als repräsentative Basis für die theoretische Analyse, definiert als $B_i(x) = \exp\left(-\frac{(x-c_i)^2}{2h_i^2}\right)$ .

Theoretischer Ansatz

Analyse einer einzelnen RBF: Die Autoren leiten zunächst die explizite analytische Form des Kernels ab, der durch eine einzelne RBF-Aktivierung induziert wird. Sie etablieren die Taylor-Entwicklung dieses rotationsinvarianten Kernels und charakterisieren den zugehörigen Reproducing Kernel Hilbert Space (RKHS).
Mehrere RBFs & Approximation: Bei der Erweiterung auf mehrere RBFs nutzen sie das Gaußsche universelle Approximations-Theorem. Sie beweisen, dass eine gewichtete Summe von RBFs jede stetige Zielaktivierungsfunktion mit kompaktem Träger mit einem beliebigen Fehler $\epsilon$ approximieren kann.
Generalisierungsschranken: Unter Verwendung der Rademacher-Komplexität leiten die Autoren Generalisierungsschranken für den Lernprozess ab. Sie analysieren die notwendige Stichprobenkomplexität, um einen geringen Excess Risk zu erreichen, und zeigen, dass die Anzahl der Zufallsmerkmale $M$ mit der Quadratwurzel der Stichprobengröße $n$ skalieren muss ( $M = \Theta(\sqrt{n})$ ), um eine optimale Leistung zu erzielen, was den schärfsten Ergebnissen für Standard-RF-Modelle entspricht.

3. Zentrale Beiträge

Das Paper leistet die folgenden spezifischen Beiträge:

Neuartige Kernel-Ableitung: Die Autoren identifizieren und liefern die erste analytische Form des durch eine einzelne RBF induzierten Kernels, wodurch sie frühere Ergebnisse zu zentrierten Gaußschen Aktivierungen auf allgemeine nicht-zentrierte Fälle erweitern.
Theoretische Garantien: Sie bieten rigorose Approximations- und Generalisierungsschranken für RFLAF. Die Theorie garantiert, dass das Modell die Repräsentationsfähigkeit mit einem minimalen Aufwand von weniger als dem Doppelten der Parameteranzahl im Vergleich zu Standard-RF-Modellen verbessert.
Empirische Validierung: Umfangreiche Experimente zeigen, dass RFLAFs mit RBFs oder B-Splines Standard-RF-Modelle mit festen Aktivierungen über verschiedene Klassifikations- und Regressionsaufgaben hinweg konsistent übertreffen.
Effizienzanalyse: Die Studie hebt hervor, dass RBF-basierte RFLAFs etwa dreimal recheneffizienter sind als B-Spline-basierte RFLAFs, während sie eine überlegene oder vergleichbare Leistung erbringen.
Erweiterung auf Neuronale Netze: Durch das „Unfreezing“ der Parameter der ersten Schicht von RFLAFs validieren die Autoren den Expressivitätsvorteil lernbarer Aktivierungskomponenten auf regulären zwei-schichtigen neuronalen Netzwerken (bezeichnet als LANs) und zeigen, dass diese in Bezug auf Konvergenzgeschwindigkeit und Stabilität Standard-MLPs und KANs übertreffen können.

4. Experimentelle Ergebnisse

Die Autoren evaluierten RFLAF auf sieben realen Datensätzen (MNIST, CIFAR-10, Adult, Protein, CT, Workloads, MillionSongs) sowie auf synthetischen Datensätzen.

Leistung: RFLAFs mit RBFs und B-Splines erzielten konsistent geringere Testverluste und höhere Genauigkeiten im Vergleich zu Standard-RF-Modellen (RFMLP) mit festen Aktivierungen (ReLU, Cos, Tanh, Sigmoid).
Effizienz: Während B-Splines eine gute Leistung zeigten, wurde festgestellt, dass RBFs bei der Trainings- und Testzeit 2–4 Mal schneller sind. Beispielsweise verbesserten RBFs auf dem „Workloads“-Datensatz den Testverlust um ca. 70 % im Vergleich zur besten festen Aktivierung (Sigmoid) bei einer Steigerung der Zeit um weniger als 30 %.
Sensitivität der Rastergröße: Experimente zeigten, dass eine geringe Anzahl von Basisfunktionen ( $N=16$ oder $32$) ausreicht, um Standard-RF-Modelle signifikant zu übertreffen, was einen guten Kompromiss zwischen Leistung und Rechenaufwand bietet.
Rekonstruktion der Aktivierung: Bei synthetischen Aufgaben konnte RFLAF die Ground-Truth-Aktivierungsfunktionen aus den Daten erfolgreich rekonstruieren, was die Fähigkeit demonstriert, optimale Nichtlinearitäten ohne Grid-Search zu erlernen.
Zwei-Schicht-Netzwerke: Bei der Anwendung auf reguläre zwei-schichtige Netzwerke (LAN) erreichten RBF-basierte Modelle die beste Leistung unter LAN, MLP und KAN, konvergierten schneller als KAN und übertrafen MLP.

5. Bedeutung und Ansprüche

Das Paper beansprucht, ein tieferes Verständnis lernbarer Aktivierungskomponenten innerhalb moderner neuronaler Netzwerkarchitekturen zu vermitteln. Durch die Integration lernbarer Aktivierungen in das Random-Feature-Framework schließt die Arbeit die Lücke zwischen der theoretischen Effizienz von Kernel-Methoden und der Anpassungsfähigkeit von Deep Learning.

Die Autoren positionieren RFLAF als eine Methode, die:

Den Funktionsraum erweitert: Den repräsentierten Funktionsraum im Vergleich zu festen RF-Modellen erheblich erweitert, ohne die Rechenkomplexität proportional zu steigern.
Minimalen Overhead bietet: Signifikante Leistungssteigerungen mit einem minimalen Anstieg der Parameteranzahl und der Trainingszeit erzielt.
Lernbare Aktivierungen validiert: Beweist, dass lernbare Aktivierungsmodule nicht nur in komplexen Architekturen wie KANs, sondern auch in einfacheren, skalierbareren zwei-schichtigen Strukturen effektiv sind.

Die Arbeit kommt zu dem Schluss, dass RFLAF neue Wege für Random-Feature-Modelle eröffnet und nahelegt, dass die Parametrisierung von Aktivierungen eine praktikable und effiziente Strategie zur Steigerung der Expressivität sowohl in Kernel-Methoden als auch in neuronalen Netzen ist.