🤖 machine learning

Floating-Point Networks with Automatic Differentiation Can Represent Almost All Floating-Point Functions and Their Gradients

Diese Arbeit zeigt, dass neuronale Netze, die unter praktischer Gleitkomma-Arithmetik und automatischer Differenzierung operieren, theoretisch beliebige Zielfunktionswerte und die entsprechenden Gradienten darstellen können, wodurch sich die Ergebnisse der universellen Approximation auf reale computergestützte Einschränkungen ausweiten.

Ursprüngliche Autoren: Sejun Park, Yeachan Park, Geonho Hwang

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sejun Park, Yeachan Park, Geonho Hwang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Rätsel zu lösen. In der Welt der reinen Mathematik gehen wir davon aus, dass der Roboter über einen unendlichen Vorrat an perfekten, unendlich präzisen Zahlen (wie reelle Zahlen) verfügt und Berechnungen durchführen kann, ohne jemals einen winzigen Fehler zu machen. Unter diesen perfekten Bedingungen wussten wir bereits, dass ein neuronales Netz (das Gehirn des Robotors) nicht nur die Antwort auf das Rätsel lernen kann, sondern auch, wie sich die Antwort verändert, wenn man das Rätsel leicht verändert. Diese „Veränderung“ wird als Gradient bezeichnet.

Reale Computer arbeiten jedoch nicht mit perfekten Zahlen. Sie verwenden Gleitkommazahlen, die wie eine begrenzte Anzahl von Trittsteinen über einem Fluss sind. Da es nur so viele Steine gibt, muss der Computer Zahlen runden, was zu winzigen Fehlern (Rundungsfehlern) führt. Darüber hinaus ist die Art und Weise, wie Computer diese Veränderungen berechnen (unter Verwendung einer Methode namens automatischer Differenzierung), ein spezifisches, schrittweises Rezept, das von diesen winzigen Fehlern abhängt.

Dieses Paper stellt eine große Frage: Kann ein reales Computergehirn, mit all seinen Rundungsfehlern und begrenzten Trittsteinen, immer noch lernen, sowohl jede gewünschte Antwort als auch jede gewünschte „Veränderung“ (Gradient) gleichzeitig zu erzeugen?

Die Kernentdeckung: Der „Zaubertrick“ des Rundens

Die Autoren sagen Ja, und sie beweisen dies mit einem cleveren Trick.

Stellen Sie sich ein neuronales Netz wie ein Fließband in einer Fabrik vor.

Die alte Sichtweise: In der perfekten Welt der Mathematik: Wenn Sie möchten, dass die Fabrik eine bestimmte Zahl und eine bestimmte „Änderungsrate“ ausgibt, justieren Sie einfach die Maschinen.
Das Problem der realen Welt: In der realen Computerwelt haben die „Maschinen“ (mathematische Operationen) einen Fehler: Sie sind nicht perfekt konsistent. Wenn Sie drei Zahlen in einer anderen Reihenfolge multiplizieren, erhalten Sie möglicherweise ein leicht anderes Ergebnis, weil gerundet wird. Dies wird als Nicht-Assoziativität bezeichnet.

Die Autoren entdeckten, dass dieser „Fehler“ eigentlich eine Superkraft ist.

Sie zeigen, dass man ein Gleitkomma-Netzwerk bauen kann, das wie eine zwei-gesichtige Münze fungiert:

Seite A (Die Ausgabe): Es liefert exakt die Antwort, die Sie wollen (z. B. „Die Temperatur beträgt 25 Grad“).
Seite B (Der Gradient): Es liefert jedes beliebige Änderungssignal, das Sie wollen (z. B. „Wenn Sie den Input minimal ändern, ändert sich der Output um exakt diesen Betrag“), selbst wenn dieses Änderungssignal nichts mit der Mathematik der Antwort selbst zu tun hat.

Die „Zwei-Spur“-Analogie

Stellen Sie sich vor, Sie bauen eine Maschine, die einen Input nimmt und ein Resultat liefert.

Spur 1 (Die Antwort): Sie wollen, dass die Maschine „Hallo“ sagt.
Spur 2 (Die Reaktion): Sie wollen, dass die Maschine „Feuer!“ schreit, wenn man sie anstößt, obwohl „Hallo“ und „Feuer!“ keinerlei logische Verbindung haben. In einer perfekten mathematischen Welt müsste die Reaktion („Feuer!“) mathematisch an die Antwort („Hallo“) gebunden sein. Wenn Sie die Antwort ändern, ändert sich die Reaktion proportional. Sie können sie nicht einfach unabhängig voneinander wählen.

Aber in der Gleitkomma-Welt zeigen die Autoren, dass Sie die „Rundungsfehler“ als geheimen Code nutzen können. Durch die sorgfältige Anordnung der Berechnungsschritte (wie etwa die Reihenfolge der Multiplikation) kann die Maschine:

Die Antwort perfekt berechnen.
Gleichzeitig eine „Reaktion“ berechnen, die völlig unabhängig von der Antwort ist, und damit den Gradienten effektiv hacken.

Warum das wichtig ist (laut dem Paper)

Das Paper spricht nicht davon, Krankheiten zu heilen oder selbstfahrende Autos zu bauen. Stattdessen konzentriert es sich auf die theoretischen Grenzen dessen, was diese Netzwerke leisten können:

Totale Kontrolle: Sie können ein Netzwerk so bauen, dass es jeden Datensatz und jeden gewünschten Gradienten abbildet, solange Sie genügend Schichten (Tiefe) in Ihrem Netzwerk haben. Es ist wie eine Universalfernbedienung, mit der Sie den Fernseher so programmieren können, dass er jedes beliebige Bild anzeigt und auf jeden Tastendruck auf jede erdenkliche Weise reagiert.
Sicherheit und Privatsphäre: Da Sie die Gradienten unabhängig manipulieren können, könnten Sie theoretisch ein Netzwerk darauf trainieren, die richtige Antwort zu geben, aber die „Hinweise“ (Gradienten) zu verbergen, die Angreifer nutzen, um die Daten zu rekonstruieren. Sie können das Netzwerk „Ja“ sagen lassen, während seine „Flüstertöne“ (Gradienten) sagen: „Hier ist nichts zu sehen“.
Die Regeln der Mathematik brechen: Das Paper hebt einen fundamentalen Unterschied zwischen „perfekter Mathematik“ und „Computer-Mathematik“ hervor. In der perfekten Mathematik ist der Gradient ein Sklave der Funktion. In der Computer-Mathematik kann der Gradient dank der Rundungsfehler ein freier Akteur sein.

Die „Zutaten“

Die Autoren haben bewiesen, dass dies für die gebräuchlichsten „Aktivierungsfunktionen“ (die Schalter innerhalb des Gehirns) funktioniert, die heute verwendet werden, wie zum Beispiel:

ReLU (Der häufigste Schalter)
Sigmoid und Tanh (S-förmige Kurven)
Swish, GELU, ELU (Neuere, glattere Schalter)

Sie haben gezeigt, dass dieser „Zaubertrick“ funktioniert, solange der Computer Standardformate (wie 16-Bit, 32-Bit oder 64-Bit-Floats) verwendet.

Zusammenfassung

Einfach ausgedrückt: Gleitkomma-neuronale Netze sind flexibler, als wir dachten. Weil Computer winzige Rundungsfehler machen, können sie tatsächlich so programmiert werden, dass sie gleichzeitig jede Antwort und jedes „Änderungssignal“ ausgeben, selbst wenn diese beiden Dinge logischerweise nichts miteinander zu tun haben sollten. Das Paper beweist, dass diese Netzwerke mächtig genug sind, um fast jede Funktion und deren Gradient darzustellen, wobei sie die Einschränkung des Computers (Rundungsfehler) in ein Merkmal für totale Kontrolle verwandeln.

Technisches Resümee: Floating-Point-Netzwerke mit automatischer Differenzierung können fast alle Floating-Point-Funktionen und deren Gradienten repräsentieren

1. Problemstellung

Moderne Anwendungen neuronaler Netze erfordern häufig nicht nur die Approximation von Funktionswerten, sondern auch die Berechnung von Gradienten bezüglich der Eingaben. Diese Gradienten sind entscheidend für Aufgaben wie das wissenschaftliche maschinelle Lernen (Lösen partieller Differentialgleichungen), Sensitivitätsanalysen, inverse Probleme, Reinforcement Learning, Adversarial Attacks und die Generierung von Eingaben.

Theoretische Ergebnisse in der Approximationstheorie haben etabliert, dass neuronale Netze mit reellen Parametern und exakter Arithmetik sowohl differenzierbare Funktionen als auch deren Gradienten auf kompakten Domänen approximieren können. Diese theoretischen Garantien lassen sich jedoch nicht direkt auf praktische Implementierungen übertragen. In der realen Welt operieren neuronale Netze unter Verwendung von Gleitkomma-Arithmetik (IEEE 754 Standard), bei der Parameter und Zwischenwerte auf eine endliche Menge von Zahlen beschränkt sind und Operationen Rundungsfehler beinhalten. Folglich ist ein praktisches Netzwerk ein Algorithmus, der durch eine Sequenz von Gleitkomma-Operationen definiert ist, statt durch eine kontinuierliche reelle Funktion. Darüber hinaus werden Gradienten in diesen Systemen mittels automatischer Differenzierung (AD) (z. B. Backpropagation) berechnet, die auf diesen Rechengraph angewendet wird. Unter Gleitkomma-Arithmetik sind die AD-Ausgaben nicht notwendigerweise die Ableitungen einer differenzierbaren reellen Funktion, sondern das Ergebnis eines spezifischen Rechenverfahrens, das der Nicht-Assoziativität und Rundung unterliegt.

Das zentrale Problem, das in dieser Arbeit adressiert wird, lautet: Können Floating-Point-neuronale Netze, gepaart mit automatischer Differenzierung, beliebige Funktionswerte und beliebige Gradienten repräsentieren?

2. Methodik und Framework

2.1 Definitionen und Setup

Die Autoren definieren ein Floating-Point-neuronales Netz $f$ als eine Komposition aus Floating-Point-affinen Transformationen $\rho_l$ und einer punktweisen Aktivierungsfunktion $\sigma$ :
$f(x) = \rho_L \circ \sigma \circ \rho_{L-1} \circ \dots \circ \sigma \circ \rho_1(x)$
wobei $\rho_l(x) = A_l \otimes x \oplus b_l$ . Hierbei bezeichnen $\otimes$ und $\oplus$ die Gleitkomma-Multiplikation bzw. -Addition, welche Rundungsoperationen einschließen.

Die Gradientenberechnung wird unter Verwendung des Reverse-Mode-Algorithmus der automatischen Differenzierung modelliert, bezeichnet als $DAD$. Für eine zusammengesetzte Funktion $\phi_x \circ f$ , wobei $\phi_x$ eine Skalarfunktion (z. B. eine Verlustfunktion) und $\phi'_x$ deren Ableitung ist, wird der Gradient wie folgt berechnet:
$DAD(\phi_x \circ f, x) = \phi'_x(f(x)) \otimes \rho'_L(z_L) \otimes \sigma'(y_{L-1}) \otimes \dots \otimes \rho'_1(x)$
Entscheidend ist, dass die Multiplikationen in einer links-assoziativen Weise ausgewertet werden ( $((a \otimes b) \otimes c) \dots$ ), um der Nicht-Assoziativität von Gleitkomma-Operationen Rechnung zu tragen. Diese Nicht-Assoziativität ist ein zentraler Mechanismus, der in den Beweisen ausgenutzt wird.

2.2 Konstruktionsstrategie des Netzwerks

Um die Repräsentierbarkeit zu beweisen, konstruieren die Autoren spezifische Netzwerke, um die Repräsentation von Funktionswerten von der Repräsentation von Gradienten zu entkoppeln. Die Kernstrategie besteht darin, zwei Sub-Netzwerke, $f_1$ und $f_2$ , mittels einer Konkatenationsoperation ( $\#$ ) zu kombinieren:

$f_1$ (Funktionswert-Netzwerk): Darauf ausgelegt, die Ziel-Funktionswerte $f^*(x)$ auszugeben und gleichzeitig einen Null-Gradienten ( $D f_1, x = 0$ ) zu erzeugen. Dies wird erreicht, indem Indikatorfunktionen für spezifische Eingaben konstruiert und Gradienten durch sequentielle Multiplikation mit kleinen Gewichten unterdrückt werden.
$f_2$ (Gradienten-Netzwerk): Darauf ausgelegt, Null-Funktionswerte auszugeben ( $f_2(x) = 0$ ), während es bei einem nicht-Null-Eingangsgradienten einen spezifischen Zielgradienten $g^*(x)$ erzeugt. Dieses Netzwerk nutzt die Nicht-Assoziativität der Gleitkomma-Multiplikation, um die Gradientenamplitude und -richtung unabhängig vom Funktionswert zu manipulieren.

Das finale Netzwerk wird als $f = f_2 \# f_1$ konstruiert, was es dem Netzwerk ermöglicht, gleichzeitig $f(x) = f^*(x)$ und $DAD(\phi_x \circ f, x) = g^*(x)$ zu erfüllen.

2.3 Bedingungen an Aktivierungsfunktionen

Die Beweise stützen sich auf spezifische technische Bedingungen (Bedingungen 1–3), die an die Aktivierungsfunktion $\sigma$ und deren Ableitung $\sigma'$ gestellt werden. Diese Bedingungen stellen sicher, dass die Fähigkeit besteht:

Eingaben zu unterscheiden (Bedingung 1).
Gradienten ohne Überlauf zu unterdrücken oder zu verstärken (Bedingung 2).
Spezifische Gradientenwerte in der ersten Schicht zu generieren (Bedingung 3).

Die Autoren verifizieren, dass diese Bedingungen für eine breite Palette praktischer Aktivierungsfunktionen gelten, einschließlich ReLU, ELU, GELU, Swish, Sigmoid und tanh, unter Standard-Floating-Point-Formaten (float16, float32, float64, bfloat16 und 8-Bit-Formate).

3. Zentrale Beiträge und Ergebnisse

3.1 Repräsentation beliebiger Werte und Gradienten (Theorem 3.1 / Theorem 1)

Das primäre Ergebnis stellt fest, dass für fast alle Zielfunktionen $f^*$ und Zielgradienten $g^*$ (unter einer milden Konsistenzbedingung, wonach $g^*(x)=0$ , falls der Eingangsgradient Null ist) ein Floating-Point-Netzwerk $f$ existiert, sodass:
$f(x) = f^*(x) \quad \text{und} \quad DAD(\phi_x \circ f, x) = g^*(x)$
Dies gilt für Netzwerke mit so wenig wie 7 Schichten für Standard-Aktivierungsfunktionen (ReLU, ELU, GELU, Swish) und etwas mehr für Sigmoid und tanh, sofern die Domäne innerhalb eines spezifischen Bereichs liegt (z. B. $[-\Omega/8, \Omega/8]^d$ ).

3.2 Repräsentation von Gradienten, die von der Eingabe abhängen (Theorem 3.2 / Theorem 2)

Die Autoren erweitern das Ergebnis, um zu zeigen, dass ein einziges Netzwerk $f$ Gradienten repräsentieren kann, die beliebige Funktionen sowohl der Eingabe $x$ als auch des Eingangsgradienten $y = \phi'_x(f(x))$ sind. Speziell gilt: Für fast alle $f^*$ und $g^*(x, y)$ , die die Symmetrie $g^*(x, -y) = -g^*(x, y)$ erfüllen, existiert ein Netzwerk $f$ , sodass:
$f(x) = f^*(x) \quad \text{und} \quad DAD(\phi_x \circ f, x) = g^*(x, \phi'_x(f(x)))$
Dieses Ergebnis verdeutlicht eine fundamentale Diskrepanz zwischen exakter und Floating-Point-Arithmetik. In exakter Arithmetik muss der Gradient einer Komposition $\nabla(\phi \circ f)$ proportional zu $\phi'(f(x))$ sein. In der Gleitkomma-Arithmetik hingegen kann das Netzwerk aufgrund von Nicht-Assoziativität und Rundung Gradienten erzeugen, die nicht proportional zum Eingangsgradienten sind, und somit den Gradienten effektiv "manipulieren", während der korrekte Funktionswert beibehalten wird.

3.3 Generalisierung auf andere Aktivierungsfunktionen

Die Arbeit liefert generalisierte Theoreme (Theoreme 5 und 7) für Aktivierungsfunktionen, die die Bedingungen 1–3 erfüllen, und erweitert die Ergebnisse über die spezifische Menge $\Sigma$ hinaus auf allgemeine Aktivierungsfunktionen.

4. Bedeutung und Ansprüche

Die Arbeit behauptet zu demonstrieren, dass Floating-Point-neuronale Netze mit automatischer Differenzierung über eine universelle Repräsentationskapazität sowohl für Funktionswerte als auch für Gradienten verfügen – eine Eigenschaft, die durch die klassische Approximationstheorie, welche von reeller Arithmetik ausgeht, nicht garantiert wird.

Die Bedeutung dieser Arbeit liegt in:

Überbrückung von Theorie und Praxis: Sie validiert die theoretische Fähigkeit neuronaler Netze, Gradienten zu fitten, auf die tatsächlichen Algorithmen anzuwenden, die in modernen Deep-Learning-Frameworks (PyTorch, TensorFlow) genutzt werden, welche auf Gleitkomma-Arithmetik basieren.
Gradienten-Manipulation: Sie zeigt auf, dass Floating-Point-Netzwerke Zielaufgaben (Fitting von Funktionswerten) ausführen können, während sie gleichzeitig "manipulierte" Gradienten besitzen. Dies impliziert, dass in der Praxis via AD berechnete Gradienten nicht strikt die Ableitung der zugrunde liegenden mathematischen Funktion widerspiegeln müssen, sondern Artefakte des Rechengraphen und der Rundung sein können.
Sicherheits- und Datenschutzrelevanz: Die Fähigkeit, Funktionswerte zu fitten und gleichzeitig beliebige (z. B. Null- oder irreführende) Gradienten auszugeben, deutet auf potenzielle Mechanismen hin, die vor gradientenbasierten Angriffen oder Analysen schützen können, da die Gradienteninformation vom Funktionsverhalten entkoppelt werden kann.
Wissenschaftliches maschinelles Lernen: Die Ergebnisse stützen das theoretische Fundament für den Einsatz neuronaler Netze als Surrogatmodelle für physikalische Modelle, bei denen sowohl die Lösung als auch deren Sensitivität (Gradient) erforderlich sind, indem sie bestätigen, dass Finite-Präzisions-Implementierungen theoretisch die notwendige Fidelität erreichen können.

Die Autoren wahren einen bescheidenen Ton und merken an, dass ihre Ergebnisse für "fast alle" Funktionen gelten (unter Ausschluss einer Null-Menge pathologischer Fälle) und von spezifischen Bedingungen bezüglich der Domänengröße und der Gleitkomma-Präzision abhängen (z. B. die Anforderung $E \ge 6$ für die Haupttheoreme, wenngleich Erweiterungen für geringere Präzision existieren). Sie behaupten nicht, dass alle möglichen Gradientenverhaltensweisen ohne Einschränkungen erreichbar sind (z. B. ist die Symmetrie-Einschränkung $g^*(x, -y) = -g^*(x, y)$ inhärent in der Definition von AD enthalten).