🤖 machine learning

Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations

Dieser Artikel stellt ein allgemeines Unterscheidbarkeitsrahmenwerk auf, um die universelle Darstellbarkeit von Gleitkommaneuronalen Netzen unter realistischen Ausführungssemantiken zu charakterisieren, und beweist, dass willkürliche Reduktionsreihenfolgen und beschränkte ULP-Fehler in Aktivierungsimplementierungen die exakte Funktionsdarstellung für eine breite Klasse praktischer Aktivierungsfunktionen nicht ausschließen.

Ursprüngliche Autoren: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein neuronales Netzwerk als eine riesige, komplexe Fabrik vor, die Rohmaterialien (Daten) sortiert und in Fertigprodukte (Antworten) verwandelt. Seit Jahrzehnten wurden die Baupläne für diese Fabriken von Mathematikern entworfen, die davon ausgingen, dass die Fabrik über perfekte Werkzeuge verfügt. Sie gingen davon aus, dass das Ergebnis beim Addieren zweier Zahlen immer exakt korrekt ist und dass die „Aktivierungsschalter" der Fabrik (die Teile, die entscheiden, wie viel Signal weitergeleitet wird) mit absoluter mathematischer Präzision funktionieren.

Doch reale Computer verwenden keine perfekten Werkzeuge. Sie nutzen Gleitkommaarithmetik, was so ist, als würde eine Fabrik mit leicht abgenutzten Linealen arbeiten. Wenn Sie Zahlen addieren, kann die Reihenfolge, in der Sie sie addieren, das Ergebnis verändern (weil das Lineal nicht perfekt ist), und die „Aktivierungsschalter" sind möglicherweise nicht exakt auf die theoretische Position eingestellt – sie können um einen winzigen Bruchteil einer Haarbreite abweichen.

Diese Arbeit stellt eine kritische Frage: Wenn wir unser neuronales Netzwerk mit diesen unvollkommenen, realen Werkzeugen bauen, kann es dann immer noch alles tun, was wir von ihm erwarten? Insbesondere: Kann es immer noch lernen, jedes mögliche Muster oder jede Funktion darzustellen, oder zerstört die Unvollkommenheit die Magie?

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Das Problem der „Reihenfolge der Operationen"

In einer perfekten Welt ist das Addieren von Zahlen wie das Stapeln von Blöcken: Es spielt keine Rolle, ob Sie Block A auf B und dann C stapeln oder B auf C und dann A; der Turm ist derselbe.
In der realen Welt (Gleitkomma) spielt die Reihenfolge eine Rolle. Es ist wie der Versuch, Farbe in einem Eimer zu mischen, der leicht undicht ist. Wenn Sie zuerst die rote Farbe eingießen und dann die blaue, erhalten Sie einen leicht anderen Farbton als wenn Sie zuerst blau und dann rot eingießen.

Die Erkenntnis der Arbeit: Die Autoren bewiesen, dass das Netzwerk immer noch alles lernen kann, selbst wenn die Fabrik jede beliebige Reihenfolge zum Mischen dieser Farben (Addieren von Zahlen) verwendet, vorausgesetzt, die „Aktivierungsschalter" sind gut genug. Sie benötigen keine feste, perfekte Reihenfolge, um die Arbeit zu erledigen.

2. Der „Unterscheidbarkeits"-Test

Um zu verstehen, wie eine Fabrik Gegenstände sortiert, stellen Sie sich vor, Sie hätten zwei sehr ähnlich aussehende Äpfel (Eingang A und Eingang B).

Das Problem: Wenn die erste Maschine der Fabrik (die erste Schicht) beide Äpfel in exakt die gleiche Form quetscht, wird der Rest der Fabrik niemals wissen, dass sie unterschiedlich waren. Sie wird sie für immer als denselben Apfel behandeln.
Die Lösung der Arbeit: Die Autoren führten eine Regel namens „Unterscheidbarkeit" ein. Sie bewiesen, dass eine Schicht, damit ein Netzwerk ein „universeller" Lerner ist (alles tun kann), in der Lage sein muss, jedes einzelne Paar verschiedener Eingaben zu unterscheiden. Wenn die erste Schicht zwei verschiedene Eingaben nicht unterscheiden kann, scheitert das gesamte Netzwerk.
Die gute Nachricht: Sie zeigten, dass die meisten gängigen Aktivierungsfunktionen (wie ReLU, Sigmoid, Tanh, Swish usw.) Eingaben auch mit unvollkommener Mathematik unterscheiden können.

3. Das Problem des „unvollkommenen Schalters"

In der Theorie schaltet ein Schalter genau dann ein, wenn der Eingang 0,5 erreicht. In der Realität schaltet der Schalter aufgrund von Fertigungsgrenzen möglicherweise bei 0,5000001 oder 0,4999999 ein.

Die Erkenntnis der Arbeit: Frühere Theorien sagten: „Wenn der Schalter nicht perfekt ist, könnte das Netzwerk versagen." Diese Arbeit sagt: „Nicht unbedingt."
Sie bewiesen, dass das Netzwerk Eingaben immer noch unterscheiden und alles lernen kann, solange der „Fehler" (die Unvollkommenheit) klein und begrenzt ist (wie eine Abweichung von nur wenigen winzigen Einheiten oder „ulps").
Das Ergebnis: Sie bestätigten, dass beliebte Aktivierungsfunktionen, die im echten Leben verwendet werden – wie Sigmoid, Tanh, ReLU, GELU, Swish und sogar Sin – robust genug sind, um auch dann perfekt zu funktionieren, wenn ihre Implementierungen im Computercode mathematisch nicht perfekt sind.

4. Das „Cosinus"-Gegenbeispiel

Die Autoren fanden auch einen spezifischen Fall, in dem die Fabrik doch versagt. Sie zeigten, dass das Netzwerk möglicherweise bestimmte Eingaben nicht unterscheiden kann, wenn Sie eine Cosinus-Aktivierungsfunktion verwenden (die wie eine Welle auf und ab wackelt), weil sich die Welle wiederholt. Es ist wie eine Fabrik, in der zwei verschiedenfarbige Bälle genau denselben Blauton erhalten, weil die Lackiermaschine zu schnell durch die Farben zyklisch wechselt.

Dies erklärt, warum einige theoretische Funktionen im Mathematikunterricht funktionieren, aber im echten Computercode versagen.

Zusammenfassung: Die große Erkenntnis

Die Arbeit sagt im Wesentlichen: „Machen Sie sich keine Sorgen um die winzigen Fehler in der Mathematik Ihres Computers."

Obwohl reale Computer Folgendes haben:

Lineale, die nicht perfekt sind (Rundungsfehler),
Mischreihenfolgen, die das Ergebnis verändern (nicht-assoziative Addition),
Schalter, die nicht perfekt kalibriert sind (ungenau implementierte Aktivierungen),

...sind neuronale Netze, die mit diesen Werkzeugen gebaut wurden, immer noch kräftig genug, um jede Funktion darzustellen, die Sie ihnen vorwerfen, solange Sie Standard-Aktivierungsfunktionen (wie ReLU oder Sigmoid) verwenden. Die „Magie" neuronaler Netze übersteht den Übergang von der perfekten mathematischen Theorie zur chaotischen, realen Ingenieurskunst.

Technische Zusammenfassung: Ausdrucksstärke von Floating-Point-Neuronalen Netzen mit beliebigen Reduktionsreihenfolgen und ungenauen Aktivierungsimplementierungen

1. Problemstellung

Bestehende theoretische Rahmenwerke für die Ausdrucksstärke neuronaler Netze stützen sich überwiegend auf exakte Rechenarithmetik. Praktische neuronale Netze operieren jedoch unter Floating-Point-Arithmetik mit endlicher Präzision, die durch folgende Merkmale gekennzeichnet ist:

Endliche Darstellbarkeit: Parameter und Aktivierungen gehören zu einer diskreten Menge von Maschinenzahlen.
Rundungsfehler: Arithmetische Operationen verursachen Rundungsfehler.
Nicht-Assoziativität: Floating-Point-Addition ist nicht assoziativ, was bedeutet, dass der Ausgang affiner Transformationen von der Reduktionsreihenfolge (der Reihenfolge, in der Terme summiert werden) abhängt.
Ungenau Implementierungen: Praktische Implementierungen von Aktivierungsfunktionen (z. B. exp, tanh, sin) weichen oft um mehrere Einheiten in der letzten Stelle (ulp) von korrekt gerundeten Werten ab, um die Rechenkosten zu optimieren.

Frühere Arbeiten zur Floating-Point-Ausdrucksstärke waren durch idealisierte Annahmen begrenzt, wie zum Beispiel:

Die Einschränkung der Analyse auf stückweise lineare Aktivierungen (z. B. ReLU, Step).
Die Annahme fester Reduktionsreihenfolgen von links nach rechts.
Die Annahme korrekt gerundeter Aktivierungsimplementierungen.

Diese Annahmen versagen darin, das Verhalten von Netzen in modernen, massiv parallelen Umgebungen (z. B. GPUs) zu erfassen, in denen Reduktionsreihenfolgen variieren und wo glatte, weit verbreitete Aktivierungen (z. B. Sigmoid, GELU, Swish) mit begrenzten Approximationsfehlern implementiert werden. Folglich bleibt unklar, ob Floating-Point-neuronale Netze unter diesen realistischen Bedingungen ihre universelle Darstellbarkeit beibehalten.

2. Methodik

Die Autoren führen ein allgemeines Rahmenwerk ein, um die universelle Darstellbarkeit von Floating-Point-Neuronalen Netzen zu analysieren. Ein Netz gilt als „universeller Darsteller", wenn es jede Funktion zwischen vorgeschriebenen Floating-Point-Domänen exakt darstellen kann.

Wichtige Definitionen und Rahmenwerk

Floating-Point-Neuronale Netze ( $N(I,S)$ ): Definiert unter einer beliebigen Reduktionsreihenfolge $S$ . Die affine Transformation in Schicht $\ell$ berechnet $\Sigma((w_i \otimes x); o_{d_{in}}) \oplus b_i$ , wobei $\Sigma$ die Reduktionssumme gemäß der Reihenfolge $o$ bezeichnet und $\otimes, \oplus$ Floating-Point-Multiplikation und -Addition sind.
Unterscheidbarkeit: Das eingeführte Kernkonzept ist die $\sigma$ -Unterscheidbarkeit. Eine Domäne $X$ $X$ ist unter $S$ $S$ $\sigma$ $σ$ -unterscheidbar, wenn für jedes Paar verschiedener $x, x' \in X$ $x, x^{'} \in X$ eine Floating-Point-affine Transformation $\phi$ $ϕ$ existiert, sodass $\sigma(\phi(x)) \neq \sigma(\phi(x'))$ $σ (ϕ (x)) \neq = σ (ϕ (x^{'}))$ .
- Notwendigkeit: Die Arbeit beweist, dass, wenn eine Domäne nicht $\sigma$ -unterscheidbar ist, das Netz nicht alle Funktionen auf dieser Domäne darstellen kann (Lemma 2).
- Genügendkeit: Unter milden Bedingungen an die Aktivierungsfunktion (Bedingung 1) wird gezeigt, dass $\sigma$ -Unterscheidbarkeit für die universelle Darstellbarkeit hinreichend ist (Satz 5).

Technischer Ansatz

Trennpunkte: Die Autoren definieren „Trennpunkte" ( $\eta$ ), an denen sich der Ausgang der Aktivierungsfunktion relativ zum Floating-Point-Gitter diskontinuierlich ändert (d. h. $\sigma(\eta^-) \notin \{\sigma(\eta), \sigma(\eta^+)\}$ ). Sie etablieren Bedingungen, unter denen diese Punkte sowohl für korrekt gerundete als auch für ungenaue Implementierungen existieren.
Übertragbarkeit: Eine Reihe technischer Lemmata (Abschnitt V) zeigt, dass unter Bedingung 1 bestimmte Paare von Floating-Point-Zahlen unter Verwendung von Additionen von links nach rechts und Aktivierungsfunktionen auf Zielwerte „übertragen" werden können. Dies ermöglicht die Konstruktion von Netzen, die spezifische Eingaben isolieren.
Umgang mit Ungenauigkeit: Für Implementierungen mit begrenzten ulp-Fehlern leiten die Autoren Bedingungen (Bedingung 2) ab, die sicherstellen, dass der Approximationsfehler die notwendigen Trennpunkte nicht kollabieren lässt, sofern die Präzision $p$ ausreichend hoch ist (z. B. $p \geq 7$ ).

3. Hauptbeiträge

A. Allgemeines Unterscheidbarkeits-Rahmenwerk

Die Arbeit etabliert eine notwendige und hinreichende Bedingung für die universelle Darstellbarkeit basierend auf Unterscheidbarkeit.

Notwendige Bedingung: Wenn ein Netz nicht jedes Paar verschiedener Eingaben in der ersten Schicht durch eine affine Transformation gefolgt von einer Aktivierung unterscheiden kann, kann es nicht alle Funktionen darstellen. Dieses Rahmenwerk verallgemeinert frühere Gegenbeispiele (z. B. korrekt gerundetes Cosinus) auf breitere Klassen von Funktionen.
Hinreichende Bedingung: Wenn die Aktivierungsfunktion Bedingung 1 (Existenz spezifischer Ausgabewerte $C_0, C_1, C_2$ ) erfüllt und die Domäne $\sigma$ -unterscheidbar ist, kann ein vier Schichten tiefes Netz jede Funktion auf dieser Domäne darstellen. Entscheidend ist, dass dies für beliebige Reduktionsreihenfolgen gilt und beweist, dass universelle Darstellbarkeit kein Artefakt einer spezifischen Summationssequenz ist.

B. Erweiterung auf praktische Aktivierungsfunktionen

Die Theorie erstreckt sich über stückweise lineare Funktionen hinaus auf eine breite Klasse glatter, praktischer Aktivierungen:

Korrekt gerundet: Die Arbeit beweist die universelle Darstellbarkeit für korrekt gerundete Versionen von Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish und sin.
Ungenau Implementierungen: Die Autoren liefern überprüfbare Bedingungen, unter denen Implementierungen mit begrenzten ulp-Fehlern (bis zu $K=10$ ulps) weiterhin universelle Darsteller bleiben. Dies deckt praktische Bibliotheken ab, in denen Funktionen wie exp und sin approximiert werden.

C. Negative Ergebnisse und Gegenbeispiele

Das Rahmenwerk identifiziert spezifische Aktivierungsfunktionen, die unter bestimmten Bedingungen nicht als universelle Darsteller fungieren.

Korollar 4: Netze, die korrekt gerundetes Cosinus, $\sqrt{1+x^2}$ , cosh oder $e^{-x^2}$ verwenden, können nicht alle Funktionen auf bestimmten Domänen (z. B. $[-2^{p+3}, 2^{p+3}]_F$ ) darstellen, da sie die Unterscheidbarkeitsbedingung nicht erfüllen. Dies verallgemeinert das bekannte Gegenbeispiel der Cosinus-Aktivierung.

4. Ergebnisse

Die Arbeit stellt folgende Hauptsätze fest:

Satz 5: Wenn $\sigma$ Bedingung 1 erfüllt und $X$ $\sigma$ -unterscheidbar mit dem Bereich $[-2^{e_{max}}, 2^{e_{max}}]_F$ ist, dann kann jede Funktion $f: X \to (F \cup \{-\infty, \infty\})^{d_{out}}$ durch ein vier Schichten tiefes $\sigma$ -Netz unter beliebiger Reduktionsreihenfolge $S$ dargestellt werden.
Korollar 9 & 12: Für korrekt gerundetes Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish und sin gilt die universelle Darstellbarkeit über großen Domänen (z. B. $(-2^{e_{max}-1}, 2^{e_{max}-1})_F^d$ ). Bemerkenswerterweise erweist sich sogar die Identitäts-Aktivierungsfunktion in der Floating-Point-Arithmetik (im Gegensatz zur Reellen Arithmetik) als universeller Darsteller aufgrund der nicht-affinen Natur von Floating-Point-Operationen.
Korollar 13 & 16: Für Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish und sin, implementiert mit begrenzten ulp-Fehlern (Bedingung 2), gilt die universelle Darstellbarkeit, sofern die Präzision $p \geq 7$ ist.

5. Bedeutung und Behauptungen

Die Arbeit beansprucht, das theoretische Verständnis von Floating-Point-Neuronalen Netzen erheblich zu verallgemeinern:

Realismus: Sie geht über idealisierte Annahmen (feste Reduktionsreihenfolgen, korrekte Rundung) hinaus zu Modellen, die die tatsächliche Hardwareausführung (beliebige Reihenfolgen, begrenzte ulp-Fehler) widerspiegeln.
Breite Anwendbarkeit: Sie liefert die ersten theoretischen Garantien für die Ausdrucksstärke von Netzen, die glatte, nicht-stückweise lineare Aktivierungen (wie GELU und Swish) unter realistischen Floating-Point-Semantiken verwenden.
Fundamentale Einsicht: Sie zeigt, dass das Phänomen der „universellen Approximation" in der Floating-Point-Arithmetik gegenüber der Nicht-Assoziativität der Addition und Implementierungsungenauigkeiten robust ist, sofern die Aktivierungsfunktion ausreichende „trennende" Eigenschaften beibehält.
Einschränkungen: Die Ergebnisse sind bezüglich Low-Precision-Formate (z. B. float8) bescheiden, wo die Anzahl der darstellbaren Werte zu gering ist, damit die abgeleiteten Bedingungen ohne spezifische Nachschlagetabellen-Implementierungen gelten. Die Arbeit weist zudem darauf hin, dass die Beweise auf der Existenz spezifischer Trennpunkte beruhen, was für bestimmte Funktionen (wie Cosinus) oder sehr niedrige Präzisionen scheitern kann.

Die Autoren betonen, dass diese Ergebnisse aus einem neuen Rahmenwerk abgeleitet sind, das nicht auf stückweiser Linearität, festen Summationsreihenfolgen oder exakten Aktivierungsverhalten beruht, und damit eine rigorosere Grundlage für das Verständnis neuronaler Netze in praktischen, endlichen Präzisionsumgebungen bietet.