🤖 AI

Rational Neural Networks have Expressivity Advantages

Diese Arbeit zeigt, dass neuronale Netze, die lernbare rationale Aktivierungsfunktionen niedrigen Grades nutzen, eine signifikant höhere Expressivität und Parametereffizienz im Vergleich zu solchen mit Standard-Aktivierungsfunktionen mit festen Werten erreichen, wobei sie exponentielle Approximationsvorteile bieten, die sowohl theoretisch beweisbar als auch empirisch validiert sind.

Ursprüngliche Autoren: Maosen Tang, Alex Townsend

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Maosen Tang, Alex Townsend

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen ein Robotergehirn (ein neuronales Netz), um komplexe Rätsel zu lösen. Um dieses Gehirn intelligent zu machen, müssen Sie ihm „Aktivierungsfunktionen“ geben. Betrachten Sie diese als die Schalter oder Tore des Gehirns, die entscheiden, wie Informationen von einer Schicht der Neuronen zur nächsten fließen.

Seit Jahren verwenden Ingenieure zwei Haupttypen von Schaltern:

Der „stückweise“ Schalter: Wie eine Treppe. Er ist scharf und kantig (z. B. ReLU).
Der „glatte“ Schalter: Wie ein sanfter, rollender Hügel (z. B. GELU, Swish, Sigmoid). Dies sind die heutigen Champions der modernen KI.

Die große Entdeckung
Dieses Paper stellt einen neuen Typ von Schalter vor, den Rationalen Aktivierungsschalter. Anstatt eine feste Form zu haben (wie eine vorgefertigte Kunststoffform), sind diese Schalter trainierbar. Sie werden aus „rationalen Funktionen“ (Brüchen von Polynomen) gebaut, was bedeutet, dass die KI lernen kann, ihre eigenen Schalter während des Trainings umzugestalten, um das spezifische Rätsel, das sie löst, optimal zu passen.

Die Autoren behaupten, dass diese neuen Schalter den alten glatten Schaltern in zwei wesentlichen Punkten überlegen sind:

1. Die „Magische Linse“-Analogie (Effizienz)

Stellen Sie sich vor, Sie möchten das Bild eines gezackten Berggipfels zeichnen.

Der glatte Schalter (Der alte Weg): Wenn Sie versuchen, einen scharfen Berg nur mit glatten, rollenden Hügeln zu zeichnen, müssen Sie Tausende von winzigen Hügeln übereinanderstapeln, um die Schärfe vorzutäuschen. Das erfordert viel Aufwand und Material (Parameter), um es richtig zu machen.
Der rationale Schalter (Der neue Weg): Dieser Schalter ist wie eine magische Linse, die natürlich in der Lage ist, scharfe Ecken und plötzliche Abfälle einzufangen. Sie können denselben Berg mit nur einer Handvoll an Schichten zeichnen.

Die mathematische Magie: Das Paper beweist, dass ein Netzwerk, das diese neuen rationalen Schalter verwendet, um das gleiche Maß an Genauigkeit zu erreichen, exponentiell weniger Parameter benötigt als ein Netzwerk mit Standard-Glatt-Schaltern.

Wenn ein glattes Netzwerk die Größe $X$ benötigt, um genau zu sein, benötigt das rationale Netzwerk vielleicht nur $\log(\log(X))$ .
Auf einfaches Deutsch übersetzt: Es ist der Unterschied zwischen der Notwendigkeit, eine ganze Bibliothek voller Bücher zu brauchen, um eine Geschichte zu beschreiben, gegenüber der Notwendigkeit, nur einer einzigen, perfekt geschriebenen Seite.

2. Das „Schweizer Taschenmesser“ vs. das „Feste Werkzeug“

Feste Schalter (GELU, ReLU, etc.): Diese sind wie ein Hammer. Sie sind großartig darin, Nägel einzuschlagen, aber wenn Sie Holz schneiden oder eine Schraube drehen müssen, haben sie Schwierigkeiten. Sie haben eine feste Form, die sich nicht ändern kann.
Rationale Schalter: Diese sind wie ein Schweizer Taschenmesser, das seine eigene Klinge umgestalten kann. Wenn die Daten eine glatte Kurve zeigen, wird der Schalter glatt. Wenn die Daten einen scharfen Ausschlag haben, kann der Schalter sich augenblicklich so verändern, dass er eine scharfe Ecke erhält. Da sie in der Lage sind, ihre Form anzupassen, können sie komplexe Muster viel effizienter darstellen.

Was die Experimente zeigten

Die Autoren haben nicht nur Mathematik betrieben; sie haben dies in der realen Welt getestet:

Bilderkennung (CIFAR-10 & Tiny ImageNet): Als sie die Standard-Schalter gegen rationale Schalter in Bildklassifizierern austauschten, lernte die KI schneller und wurde genauer.
- Fun Fact: In einem Experiment versuchten sie, „Normalisierungsschichten“ (einen Standard-Sicherheitsmechanismus in der KI) zu entfernen, um zu sehen, ob die rationalen Schalter dies allein bewältigen könnten. Die alten Schalter stürzten ab und scheiterten, aber die rationalen Schalter funktionierten weiter und schnitten sogar besser ab.
Robotersteuerung (Reinforcement Learning): Sie testeten dies an Robotern, die das Laufen lernten (in einer Simulation). Die rationalen Schalter ermöglichten es den Robotern, bessere Strategien mit der gleichen Rechenleistung zu erlernen.

Der Haken (Das Problem mit dem „Sicherheitsventil“)

Das Paper fand auch eine Warnung. Rationale Schalter sind sehr flexibel, aber sie sind sensibel.

Die Analogie: Stellen Sie sich ein sehr empfindliches Mikrofon vor. Wenn Sie es direkt neben einen Lautsprecher stellen, der den Schall auch noch verstärkt (wie eine „Normalisierungsschicht“), entsteht eine laute, kreischende Rückkopplung, die die Aufnahme ruiniert.
Die Lösung: Die Autoren fanden heraus, dass für diese rationalen Schalter manchmal notwendig ist, die Standard-„Normalisierungsschichten“, die normalerweise vor ihnen sitzen, auszuschalten. Als sie dies taten, glänzten die rationalen Schalter noch heller.

Zusammenfassung

Dieses Paper argumenttiert, dass trainierbare rationale Aktivierungsfunktionen ein mächtigeres, effizienteres und flexibleres Werkzeug zum Bau von KI sind als die glatten, festen Schalter, die wir heute verwenden. Sie können dieselbe Aufgabe mit viel weniger „Gehirnleistung“ (Parametern) erledigen und können sich an scharfe, komplexe Muster anpassen, mit denen andere Schalter Schwierigkeiten haben. Es ist wie ein Upgrade von einem Satz fester Kunststoffformen zu einem Satz selbstformbaren Tons, der alles werden kann, was die KI gerade benötigt.

Technisches Resümee: Rationale Neuronale Netze besitzen Vorteile in der Expressivität

Problemstellung

Tiefe neuronale Netze verlassen sich stark auf die Wahl nichtlinearer Aktivierungsfunktionen, um die Expressivität und Trainierbarkeit zu steuern. Während moderne Architekturen überwiegend feste, glatte Aktivierungen (z. B. GELU, Swish/SiLU, Mish, ELU/SELU/CELU) oder stückweise lineare Funktionen (z. B. ReLU und Varianten) verwenden, legen diese Entscheidungen spezifische Einschränkungen darüber fest, wie effizient Netzwerke Funktionen mit scharfen Übergängen, Knicken oder nahen komplexen Singularitäten approximieren können. Die Arbeit untersucht, ob der Ersatz dieser festen Aktivierungen durch trainierbare rationale Aktivierungsfunktionen niedrigen Grades einen theoretischen und praktischen Vorteil in Bezug auf die Parametereffizienz und die Ausdruckskraft bietet.

Methodik

Theoretischer Rahmen

Die Autoren etablieren approximationstheoretische Trennungen zwischen rationalen neuronalen Netzen und Netzwerken, die aus Standard-Glättungs- oder stückweise linearen Aktivierungen bestehen.

Rationale Netzwerke: Definiert als Feedforward-Netzwerke, bei denen die skalare Nichtlinearität jeder Schicht eine trainierbare rationale Funktion $r(x) = P(x)/Q(x)$ mit Polynomen $P$ und $Q$ niedrigen Grades ist. Die Koeffizienten werden während des Trainings gelernt.
Approximationsmetriken: Die Expressivität wird durch die Anzahl der trainierbaren Parameter (Netzwerkgröße) gemessen, die erforderlich sind, um einen uniformen Fehler $\epsilon$ auf einem festen kompakten Bereich (z. B. $[-1, 1]^d$ ) zu erreichen.
Wichtige theoretische Werkzeuge:
- Rationale Approximationstheorie: Nutzung klassischer Ergebnisse (z. B. Trefethen, Gonchar), die zeigen, dass rationale Funktionen nicht-glatte Merkmale (wie $|x|$ oder ReLU) und Funktionen mit nahen Singularitäten exponentiell effizienter approximieren können als Polynome oder glatte Surrogate.
- Konstruktive Beweise: Die Arbeit liefert explizite Konstruktionen unter Verwendung von Zolotarev-Funktionen, arithmetisch-geometrischer Mittel-Iterationen (AGM) und der Halley-Methode, um glatte Aktivierungen (wie GELU) durch rationale Netzwerke zu approximieren.
- Untere Schranken: Beweis, dass die Approximation bestimmter rationaler Zielvorgaben (speziell solcher mit Polen nahe der reellen Achse) unter Verwendung von beschränkten Parametern und glatten Netzwerken signifikant mehr Parameter erfordert, was auf Krümmungsbeschränkungen zurückzuführen ist.

Experimenteller Aufbau

Die Autoren evaluieren rationale Aktivierungen in drei verschiedenen Domänen, wobei Architekturen, Optimierer und Trainingsbudgets fixiert bleiben, während nur die Aktivierungsfunktion variiert wird:

Überwachte Vision: CIFAR-10 Bildklassifizierung unter Verwendung von VGG4- und VGG8-Architekturen sowie Tiny ImageNet Klassifizierung unter Verwendung von Transformer-basierten Modellen (ViT, CaiT, Swin).
Offline Reinforcement Learning: Kontinuierliche Steuerungs-Lokomotions-Benchmarks (HalfCheetah, Hopper, Walker2d) unter Verwendung der Minari-Medium-Datensätze und Algorithmen IQL und TD3+BC.
Normalisierungsanalyse: Untersuchung der Interaktion zwischen adaptiven rationalen Aktivierungen und Normalisierungsschichten (BatchNorm, LayerNorm), speziell durch Tests von „No-LayerNorm“-Varianten in Transformern.

Zentrale Beiträge

Exponentielle Trennung in der Parameterkomplexität:
- Glatt $\to$ Rational: Jedes Netzwerk, das aus Standard-Glatt-Aktivierungen (GELU, Swish, SiLU, etc.) aufgebaut ist, kann durch ein rationales Netzwerk mit einem Größenaufwand von nur $O(\text{poly}(\log \log(1/\epsilon)))$ uniform approximiert werden. Speziell beweist die Arbeit eine Größenbeschränkung von $O(\log^3 \log(1/\epsilon))$ für GELU.
- Rational $\to$ Glatt: Umgekehrt erfordert die Approximation einer Worst-Case-Familie von rationalen Funktionen (mit Polen nahe dem Definitionsbereich) unter Verwendung von beschränkten Parametern und glatten Netzwerken eine Größe von mindestens $\Omega(\log(1/\epsilon))$ .
- Ergebnis: Dies etabliert eine exponentielle Lücke in der Expressivität, wobei rationale Netzwerke dieselbe Genauigkeit mit signifikant weniger Parametern erreichen können als Netzwerke mit glatten Aktivierungen in Regimen, die nicht-glatte Strukturen beinhalten.
Erweiterung auf komplexe Architekturen:
- Die Trennungsergebnisse werden von skalaren Funktionen auf vollständige Feedforward-Netzwerke, Gated-Aktivierungen und Transformer-Stil-Architekturen (speziell die MLP-Subschichten) übertragen.
- Die Arbeit zeigt, dass rationale Netzwerke Gated-Smooth-Modelle mit geringem Overhead approximieren können, während der umgekehrte Fall einen hohen Overhead erfordert.
Normalisierung und Identifizierbarkeit:
- Die Autoren formalisieren, dass Standard-Normalisierungsschichten für adaptive rationale Aktivierungen nachteilig sein können. Normalisierung führt gelernte affine Transformationen ein, die von den rationalen Koeffizienten absorbiert werden können, was zu Nicht-Identifizierbarkeit und schlechter Konditionierung führt.
- Zudem verstärkt die datenabhängige Stochastik in der Normalisierung (z. B. BatchNorm) das Gradientenrauschen aufgrund der polynomischen Sensitivitäten der rationalen Koeffizienten.
- Befund: Das Entfernen der Normalisierung (z. B. „no-LayerNorm“ Transformer) ermöglicht es rationalen Funktionen, als lernbare Rescaling-Mechanismen zu fungieren, was dort das Training stabilisiert, wo feste Aktivierungen versagen.
Konstruktive Beweise:
- Die Arbeit liefert konstruktive Beweise basierend auf klassischer Approximationstheorie, einschließlich der Verwendung von Zolotarev-Funktionen und AGM-Konstruktionen, um zu demonstrieren, wie rationale Netzwerke komplexe Nichtlinearitäten effizient realisieren können.

Experimentelle Ergebnisse

CIFAR-10: Rationale Aktivierungen erreichten konsistent die höchste Top-1 Testgenauigkeit in beiden VGG4- und VGG8-Modellen und übertrafen dabei ReLU, LeakyReLU, Swish und GELU. In der augmentierten Trainingspipeline blieben rationale Varianten (initialisiert, um LeakyReLU oder GELU nachzuahmen) selbst bei Anwendung von GroupNorm leistungsstark.
Offline RL: Auf MuJoCo Medium-Datensätzen entsprachen rationale Aktivierungen in 5 von 6 Settings (IQL und TD3+BC auf HalfCheetah, Hopper, Walker2d) den besten festen Aktivierungen oder übertrafen diese sogar. Bemerkenswert ist, dass rationale Modelle mit geringerer Breite (128) mit wesentlich breiteren GELU-Modellen (384 Breite) konkurrenzfähig waren oder diese übertrafen, was die Hypothese der Parametereffizienz validiert.
Tiny ImageNet (Transformer): Rationale Aktivierungen entsprachen oder verbesserten die beste EMA-Validierungsgenauigkeit für ViT, CaiT und Swin-Modelle. Entscheidend war, dass in einer „no-LayerNorm“ ViT-Variante feste Aktivierungen (ReLU, GELU) zu NaNs divergierten, während die rationale Variante stabil blieb und eine hohe Genauigkeit (61,24 %) erreichte, was die Behauptung stützt, dass Normalisierung für adaptive Rationale restriktiv sein kann.
Gelernte Formen: Visualisierungen der gelernten rationalen Funktionen zeigten, dass sie Krümmung schnell in Regionen mit hoher Datendichte umverteilen und oft lokalisierte, nicht-monotone „Gating“-Formen entwickeln, ähnlich erfolgreichen festen Aktivierungen wie Swish und Mish.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass rationale neuronale Netze eine mathematisch natürliche und recheneffiziente Grundlage für Deep Learning bieten. Die Kernbedeutung liegt im Vorteil der Expressivität: Rationale Aktivierungen können Funktionen mit scharfen Übergängen und komplexen Singularitäten mit exponentiell weniger Parametern darstellen als moderne glatte Aktivierungen.

Die Autoren argumentieren, dass sich dieser theoretische Vorteil direkt in der Praxis niederschlägt, was zu Folgendem führt:

Höhere Genauigkeit: Erzielung besserer Performance bei Vision- und RL-Aufgaben mit identischen Architekturen.
Schnellere Konvergenz: Erreichen einer starken Performance früher im Training.
Parametereffizienz: Erreichen vergleichbarer oder überlegener Ergebnisse mit kleineren Netzwerkbreiten.
Robustheit in Normalisierungsfreien Regimen: Ermöglichen das Training tiefer Transformer ohne Normalisierungsschichten – ein Regime, in dem feste Aktivierungen oft scheitern.

Die Arbeit legt nahe, dass das Fachgebiet die Dominanz fester glatter Aktivierungen überdenken sollte, und schlägt vor, dass trainierbare rationale Funktionen eine fundierte Alternative bieten, die besser mit den strukturellen Anforderungen komplexer Datenverteilungen korrespondiert.