📊 statistics

Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks

Diese Arbeit charakterisiert die Reproducing Kernel Hilbert Spaces (RKHS) von NTK- und NNGP-Kerneln für eine breite Klasse von Aktivierungsfunktionen, die lediglich bei Null nicht glatt sind, und zeigt auf, wie deren Glattheit und die Tiefe des Netzwerks die Eigenschaften dieser Kernel beeinflussen.

Ursprüngliche Autoren: David Holzmüller, Max Schölpple

Veröffentlicht 2026-04-28

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: David Holzmüller, Max Schölpple

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „Black Box“ der KI verstehen

Stell dir vor, du versuchst zu verstehen, wie ein extrem komplexer, riesiger Motor funktioniert. Du kannst ihn nicht aufschrauben, weil er aus Milliarden winziger Zahnräder besteht. In der Welt der Künstlichen Intelligenz (KI) sind diese Zahnräder die „Aktivierungsfunktionen“. Sie entscheiden, ob ein Signal in einem neuronalen Netz weitergegeben wird oder nicht.

Bisher wussten Wissenschaftler zwar ziemlich genau, wie der Motor läuft, wenn man ganz einfache Zahnräder benutzt (die sogenannte ReLU-Funktion – man kann sie sich wie einen Lichtschalter vorstellen: entweder Licht an oder aus). Aber sobald man modernere, „weichere“ Zahnräder benutzt (wie SELU oder ELU, die das Licht sanft dimmen statt nur an/aus zu schalten), wurde es mathematisch extrem unübersichtlich. Man wusste zwar, dass sie gut funktionieren, aber man konnte nicht genau berechnen, warum sie die Informationen so schön verarbeiten.

Die Lösung: Das „Echo-Prinzip“ der Mathematik

Die Forscher David Holzmüller und Max David Schölpple haben jetzt eine Art „mathematisches Röntgengerät“ entwickelt. Sie haben nicht versucht, jedes einzelne Zahnrad zu untersuchen, sondern sie haben geschaut, wie das „Echo“ (in der Fachsprache: der Kernel) des gesamten Systems aussieht.

Hier sind die drei wichtigsten Erkenntnisse, erklärt mit Metaphern:

1. Die „Glätte“ bestimmt die Qualität (Die Analogie zum Wasserlauf)

Stell dir vor, du schüttest Wasser über eine Landschaft.

Wenn die Landschaft aus scharfen, kantigen Steinen besteht (ReLU), entstehen viele kleine, chaotische Spritzer und Wirbel.
Wenn die Landschaft aus sanften Hügeln besteht (weichere Funktionen), fließt das Wasser in gleichmäßigen, eleganten Bahnen.

Das Paper zeigt mathematisch: Die „Glätte“ der Aktivierungsfunktion bestimmt direkt, wie „glatt“ die Funktionen sind, die die KI am Ende lernt. Je sanfter die Funktion, desto eleganter und „glatter“ sind die Muster, die die KI erkennt. Das hilft uns zu verstehen, warum manche KIs weniger „zittrig“ in ihren Vorhersagen sind als andere.

2. Tiefe vs. Breite (Die Analogie zum Orchester)

Ein großes Rätsel der KI-Forschung war: Macht es einen Unterschied, ob wir ein Orchester mit 100 Musikern haben, die alle gleichzeitig spielen (ein „breites“ Netz), oder ob wir 10 Musiker haben, die nacheinander in 10 Etappen spielen (ein „tiefes“ Netz)?

Die Forscher haben herausgefunden: Bei den meisten modernen, sanften Funktionen ist das Ergebnis für die mathematische Struktur fast das Gleiche. Es ist, als würde man denselben Song spielen – egal, ob er in einem riesigen Saal (breit) oder in einer Reihe von kleinen Räumen (tief) widerhallt, die Grundstruktur des Klangs (der Kernel) bleibt ähnlich. Das erklärt, warum „tiefe“ Netze oft so effizient sind, ohne dass die Mathematik völlig explodiert.

3. Das „Rauschen“ beim Start (Die Analogie zum Radio)

Wenn eine KI gerade erst trainiert wird, ist sie wie ein Radio, das nur Rauschen von sich gibt. Das Paper liefert nun eine exakte Formel dafür, wie dieses „Rauschen“ aussieht. Sie haben bewiesen, dass die KI beim Start nicht einfach nur Chaos produziert, sondern ein sehr spezifisches, mathematisch vorhersagbares Muster. Das ist so, als wüsste man genau, welches Frequenzband das Rauschen hat, bevor man überhaupt den ersten Sender eingestellt hat.

Warum ist das wichtig für uns?

Wir bauen immer größere und komplexere KIs (wie ChatGPT). Wenn wir nur „raten“, warum sie funktionieren, bauen wir im Blindflug.

Dieses Paper liefert die Baupläne für die unsichtbaren Strukturen im Inneren. Es gibt den Entwicklern eine Art „Navigationssystem“, mit dem sie besser vorhersagen können, welche „Zahnräder“ (Aktivierungsfunktionen) sie einbauen müssen, damit die KI effizienter lernt, weniger Fehler macht und mathematisch stabil bleibt.

Kurz gesagt: Die Forscher haben das Handbuch für die unsichtbare Mechanik moderner KI geschrieben.

1. Problemstellung

Die theoretische Analyse von tiefen neuronalen Netzen stützt sich häufig auf das Regime der unendlich breiten Netze. In diesem Grenzfall verhalten sich Netze entweder wie ein Gauß-Prozess (beschrieben durch den Neural Network Gaussian Process (NNGP)-Kernel) oder ihre Trainingsdynamik folgt einem Gradientenabstieg basierend auf dem Neural Tangent Kernel (NTK).

Bisherige theoretische Arbeiten konzentrierten sich primlich auf die ReLU-Aktivierungsfunktion (oder deren Potenzen) oder auf unendlich glatte Funktionen. Das Problem besteht darin, dass für die meisten in der Praxis verwendeten Aktivierungsfunktionen (wie SELU, ELU, LeakyReLU oder GELU), die zwar glatt sind, aber eine Unstetigkeit oder Nicht-Differenzierbarkeit bei Null aufweisen, die Struktur der zugehörigen Reproducing Kernel Hilbert Spaces (RKHS) kaum verstanden ist. Ohne die Kenntnis der RKHS-Struktur lassen sich Aussagen über die Generalisierung, die Trainingsgeschwindigkeit und die Glattheit der gelernten Funktionen nur schwer treffen.

2. Methodik

Die Autoren entwickeln ein mathematisches Framework, um die Eigenschaften dieser Kernel auf der Sphäre $S^d$ zu charakterisieren. Die Kernmethodik umfasst:

Dual-Aktivierungsfunktionen: Sie nutzen die Theorie der dualen Aktivierung $\hat{\phi}$ , um die Kernel-Rekursionen (NNGP und NTK) in eine Form zu bringen, die das Verhalten der Funktionen an den Rändern des Intervalls $[-1, 1]$ analysiert.
Analyse der Rand-Asymptotik: Der entscheidende technische Schritt ist die Untersuchung des Verhaltens der dualen Aktivierung bei $t \to 1$ (bzw. $t \to -1$ ). Die Autoren zeigen, dass die Glattheit der Aktivierungsfunktion $\phi$ direkt die Rate bestimmt, mit der die Eigenwerte des Kernels abfallen.
Zerlegung in gerade/ungerade Teile: Für Netzwerke ohne Bias (Bias-free) nutzen sie die Symmetrieeigenschaften der Aktivierungsfunktionen, um die RKHS in gerade und ungerade Teilräume zu zerlegen.
Kombinatorische Kalküle: Sie entwickeln ein Kalkül für die algebraische Manipulation von Funktionen mit kontrolliertem Randverhalten (Klassen wie $P_{\alpha,\beta}$ , $R_\gamma$ und $Q_{\alpha,\beta}$ ), um die Rekursionen über die Schichten hinweg zu verfolgen.

3. Hauptbeiträge (Key Contributions)

Charakterisierung der RKHS (Theorem 9): Die wichtigste Leistung ist die allgemeine Charakterisierung der RKHS für NTK und NNGP. Sie zeigen, dass für eine breite Klasse von Aktivierungsfunktionen, deren einzige Unstetigkeit bei Null liegt, die RKHS äquivalent zu Sobolev-Räumen $H^s(S^d)$ sind.
Erweiterung der Aktivierungsfunktionen: Die Theorie wird von ReLU auf Funktionen wie SELU, ELU, LeakyReLU, GELU, SiLU und viele mehr ausgeweitet.
Unterscheidung zwischen Polynomen und nicht-polynomiellen Funktionen: Sie zeigen, dass bei polynomischen Aktivierungen die RKHS von der Netzwerktiefe abhängt, während sie bei den meisten anderen (nicht-unendlich glatten) Funktionen für verschiedene Tiefen äquivalent bleibt.
Glattheit der Stichprobenpfade (Theorem 14): Sie stellen eine Verbindung zwischen der RKHS und der Glattheit der Funktionen her, die durch den NNGP-Kernel generiert werden (die Pfade gewinnen im unendlich breiten Grenzfall eine halbe Ordnung an Glattheit).

4. Zentrale Ergebnisse (Results)

Die Ergebnisse lassen sich in drei Hauptkategorien unterteilen, basierend auf der Glattheit $s$ der Aktivierung $\phi$ :

Endliche Glattheit ( $1 \leq s < \infty$ ):
- Die RKHS des NTK ist äquivalent zum Sobolev-Raum $H^{d/2 + s - 1/2}(S^d)$ .
- Die RKHS des NNGP ist äquivalent zum Sobolev-Raum $H^{d/2 + s + 1/2}(S^d)$ .
- Beispiel: Für ReLU ( $s=1$ ) sind die RKHS Sobolev-Räume mit Ordnung $d/2 - 1/2$ (NTK) bzw. $d/2 + 3/2$ (NNGP).
Unendliche Glattheit ( $s = \infty$ , nicht-polynomiell):
- Die Kernel sind universell, aber die RKHS sind in alle Sobolev-Räume enthalten (die Eigenwerte fallen schneller als jede Potenz ab).
Polynomische Aktivierungen:
- Die RKHS enthalten nur Polynome, deren maximaler Grad exponentiell mit der Tiefe des Netzwerks wächst.

5. Bedeutung (Significance)

Die Arbeit hat weitreichende Implikationen für die Theorie des Deep Learning:

Tiefe vs. Breite: Sie liefert eine theoretische Erklärung dafür, warum das Kernel-Regime (unendlich breit) bei vielen Aktivierungen die Vorteile der Tiefe nicht vollständig abbilden kann, da die RKHS für verschiedene Tiefen äquivalent sind (solange $s < \infty$ ).
Generalisierung und Spektraler Bias: Die Ergebnisse ermöglichen es, Generalisierungstheorien (wie die Untersuchung von Overfitting) auf eine viel größere Palette von Aktivierungsfunktionen anzuwenden. Zudem wird deutlich, wie die Wahl der Aktivierung den "Spectral Bias" (die Tendenz, niedrige Frequenzen schneller zu lernen) beeinflusst.
Trainingdynamik: Durch die präzise Kenntnis der Glattheit der NNGP-Pfade können Konvergenzraten für das Training im Kernel-Regime präziser abgeleitet werden.
Praktische Relevanz: Die Arbeit schließt eine signifikante Lücke zwischen der mathematischen Theorie (die oft auf ReLU fixiert war) und der modernen Praxis, in der glattere Funktionen wie GELU oder SELU Standard sind.