🤖 machine learning

Floating-Point Neural Networks Are Provably Robust Universal Approximators

Diese Arbeit etabliert das erste Intervall-Universal-Approximations-Theorem für Floating-Point-Neuronale-Netzwerke, indem sie beweist, dass diese die direkte Abbildung jeder gerundeten Zielfunktion perfekt approximieren können und dadurch die Existenz nachweislich robuster Netzwerke sowie die rechnerische Vollständigkeit von Floating-Point-Straight-Line-Programmen garantiert.

Ursprüngliche Autoren: Geonho Hwang, Wonyeol Lee, Yeachan Park, Sejun Park, Feras Saad

Veröffentlicht 2026-01-28

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Geonho Hwang, Wonyeol Lee, Yeachan Park, Sejun Park, Feras Saad

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Die „pixelierte“ Realität

Stellen Sie sich vor, Sie versuchen, eine perfekte, glatte Kurve auf ein Blatt Papier zu zeichen. In der Welt der reinen Mathematik (der Einstellung der „Reellen Zahlen“) verfügen Sie über einen unendlichen Vorrat an Tinte und können eine Linie zeichnen, die so dünn ist, dass sie keine Breite hat. Sie können jeden Punkt auf der Kurve mit absoluter Präzision treffen.

In der realen Welt der Computer haben wir jedoch nicht unendlich viel Tinte. Wir haben Gleitkommazahlen (Floating-Point Numbers). Betrachten Sie diese als ein Gitter aus winzigen, diskreten Pixeln. Sie können keine perfekt glatte Linie zeichnen; Sie können nur Punkte auf bestimmten Gittersquadraten platzieren. Wenn Sie versuchen, eine Kurve zu zeichnen, sieht diese „zackig“ oder „pixelig“ aus.

Lange Zeit machten sich Informatiker Sorgen, dass neuronale Netze (KI-Gehirne), da sie auf diesen „pixelierten“ Computern laufen, ihre Superkräfte verlieren könnten. Speziell befürchteten sie, dass man, wenn man versuchte, eine KI zu bauen, die robust ist (das heißt, die nicht durch winzige, verrauschte Änderungen ihrer Eingabewerte verwirrt wird), diese zu „pixelig“ wäre, um komplexe Aufgaben präzise zu erlernen.

Dieses Paper sagt: „Keine Sorge. Selbst mit dem pixeligen Gitter kann die KI alles perfekt lernen.“

Das Kernproblem: Das „Lineal“ vs. die „Karte“

Um den Durchbruch zu verstehen, müssen wir uns ansehen, wie wir testen, ob eine KI robust ist.

Der alte Weg (Reelle Zahlen): Stellen Sie sich vor, Sie haben eine Karte einer Stadt (die Funktion, die die KI lernen soll). Sie wollen beweisen, dass Sie, wenn Sie sich irgendwo in einem bestimmten Viertel befinden (einem Eingabefeld), immer im selben Stadtviertel auf der Karte ankommen werden. In der alten Welt der Mathematik konnten Sie dies beweisen, indem Sie zeigten, dass der „Schatten“ der KI (ihre Intervallanalyse) das Viertel perfekt abdeckt.
Das neue Problem (Gleitkommazahlen): Wenn man zu einem Computer wechselt, ist die Karte nicht mehr glatt; sie ist ein Gitter. Das „Viertel“ ist nun eine Sammlung spezifischer Gittersquadrate. Die alten mathematischen Beweise brachen zusammen, weil sie davon ausgingen, dass man unendliche Präzision nutzen könnte. Sie berücksichtigten nicht, dass Computer Zahlen abrunden (wie das Abrunden von $0,99999$ auf $1,0$).

Die große Frage war: Können wir immer noch beweisen, dass eine computerbasierte KI robust ist und jede Funktion lernen kann, selbst mit all dieser Rundung und Pixelierung?

Die Lösung: Der „Perfekte Pixel-Matcher“

Die Autoren beweisen, dass dies ja möglich ist. Sie haben ein neues mathematisches Theorem (ein „Intervall-Universal-Approximations-Theorem“) entwickelt, das speziell für Gleitkommazahlen konzipiert ist.

Hier ist die Analogie:
Stellen Sie sich vor, Sie haben ein Zielbild, das aus Pixeln besteht (die „gerundete Zielfunktion“). Sie wollen eine Maschine bauen (ein neuronales Netz), die, wenn Sie ihr ein Feld aus Pixeln einspeisen, exakt dasselbe Feld an Pixeln ausgibt, das das Zielbild produzieren würde.

Früherer Glaube: Da Computer Zahlen runden, könnte die Maschine immer etwas daneben liegen. Sie wäre vielleicht „gut genug“, aber niemals exakt richtig.
Der Befund dieses Papers: Die Autoren haben einen speziellen Typ von neuronalem Netz konstruiert, der wie ein perfekter Pixel-Matcher fungiert. Egal wie der Computer die Zahlen rundet, dieses Netzwerk kann so gebaut werden, dass es exakt das gleiche Ergebnis wie die Zielfunktion für jede mögliche Eingabe liefert.

Der „magische“ Trick:
Das Paper zeigt, dass die „Unvollkommenheiten“ der Gleitkomma-Mathematik (die Rundungsfehler) tatsächlich als Merkmale genutzt werden können, nicht als Fehler. Indem sie das Netzwerk sorgfältig entwerfen, zeigen die Autoren, dass das Netzwerk die Rundungsfehler so „einfangen“ kann, dass es in der Lage ist, zwischen verschiedenen Gittersquadraten perfekt zu unterscheiden. Es ist, als würde man die zackigen Kanten der Pixel nutzen, um ein schärferes, präziseres Schloss-Schlüssel-System zu erzeugen.

Wichtige Erkenntnisse (Das „Und was nun?“)

1. Robustheit ist möglich (Der „unzerbrechliche Schild“)

In der Welt der KI-Sicherheit bedeutet „Robustheit“, dass eine KI nicht durch eine winzige, fast unsichtbare Änderung an einem Bild getäuscht wird (wie etwa ein Aufkleber auf einem Stoppschild, der die KI glauben lässt, es sei ein Geschwindigkeitsbegrenzungsschild).

Die Behauptung: Das Paper beweist, dass, wenn es theoretisch irgendeine ideale, robuste Art gibt, Daten zu klassifizieren (selbst wenn es noch kein neuronales Netz ist), wir ein neuronales Netz bauen können, das exakt so robust ist.
Die Metapher: Wenn es in der Theorie einen perfekten, unzerbrechlichen Schild gibt, beweist dieses Paper, dass wir einen physischen Schild aus Computercode bauen können, der genauso unzerbrechlich ist. Wir müssen nicht die Genauigkeit opfern, um Sicherheit zu gewinnen.

2. Die Überraschung der „Identität“

Normalerweise, wenn man eine sehr einfache Aktivierungsfunktion verwendet (wie die „Identitätsfunktion“, bei der die Ausgabe einfach die Eingabe ist), ist ein neuronales Netz nur eine einfache gerade Linie. Es kann keine komplexen Kurven lernen.

Die Wendung: In der Welt der Gleitkommazahlen kann selbst ein Netzwerk, das die „Identitätsfunktion“ nutzt, komplexe, nicht-lineare Formen lernen!
Warum? Weil die Rundungsfehler des Computers die „gerade Linie“ auf Pixelebene wackeln und biegen lassen. Das Paper beweist, dass diese Wackelbewegungen ausreichen, um jede Funktion zu approximieren. Es ist, als würde man sagen, dass ein gerades Lineal einen Kreis zeichnen kann, wenn man nur ein Gitter aus Punkten zur Verfügung hat und genau weiß, wie man die Ecken abrundet.

3. Die Kraft der „kleinen Werkzeuge“

Das Paper zeigt auch, dass man keine ausgeklügelten Werkzeuge braucht, um jedes Computerprogramm zu simulieren. Man benötigt lediglich Addition und Multiplikation (und Konstanten).

Die Metapher: Stellen Sie sich vor, Sie haben eine riesige, komplexe Fabrik (ein Computerprogramm). Das Paper beweist, dass Sie eine Maschine bauen können, die exakt dieselbe Arbeit leistet, indem Sie nur einen Hammer und einen Schraubendreher verwenden, vorausgesetzt, Sie ordnen sie auf die richtige Weise an. Dies deutet darauf hin, dass die grundlegenden mathematischen Operationen innerhalb eines neuronalen Netzes unglaublich leistungsstark sind, selbst in der begrenzten Welt der Gleitkommazahlen.

Zusammenfassung

Dieses Paper schließt die Lücke zwischen der mathematischen Theorie (die von perfekter, unendlicher Präzision ausgeht) und der computerbasierten Realität (die unperfekte, gerundete Zahlen verwendet).

Es sagt uns, dass die „Pixelierung“ von Computern nicht die Leistungsfähigkeit neuronaler Netze einschränkt. Wir können immer noch KI-Systeme bauen, die:

Universal sind: Sie können jede Aufgabe lernen.
Beweisbar robust sind: Wir können mathematisch beweisen, dass sie nicht durch kleine Fehler oder Angriffe getäuscht werden können.
Exakt sind: Sie können eine Zielfunktion perfekt matchen, nicht nur „gut genug“.

Die Autoren haben uns im Wesentlichen den Bauplan an die Hand gegeben, um eine „perfekt robuste“ KI zu bauen, selbst wenn diese auf der unperfekten Hardware der realen Welt läuft.

Technisches Resümee: Floating-Point-Neuronale Netze sind bewiesenermaßen robuste universelle Approximatoren

1. Problemstellung

Das klassische Theorem der universellen Approximation (UA) und das jüngere Theorem der Intervall-universellen Approximation (IUA) legen fest, dass neuronale Netze stetige Funktionen und deren direkte Bildabbildungen (Intervalle) mit beliebiger Genauigkeit approximieren können. Diese theoretischen Ergebnisse beruhen jedoch auf der unrealistischen Annahme, dass neuronale Netze über unendlich präzise reelle Zahlen operieren. In der Praxis verwenden Softwareimplementierungen endliche Gleitkommazahlen (Floating-Point), was Diskretisierung, Begrenztheit, Rundungsfehler und potenziellen Überlauf/Unterlauf einführt.

Die zentrale, in dieser Arbeit behandelte offene Frage ist, ob das IUA-Theorem im Kontext von Gleitkommazahlen gilt. Konkret: Kann ein Floating-Point-neuronales Netz unter Verwendung von abstrakter Interpretation (Intervall-Domäne) die direkte Bildabbildung einer gerundeten Zielfunktion perfekt erfassen? Vorherige Arbeiten konnten dies nicht etablieren, da die der Gleitkommaarithmetik inhärenten Rundungsfehler die für reelle Netze verwendeten Beweistechniken (z. B. die Konstruktion spezifischer Subnetze, die auf exakter Arithmetik beruhen) ungültig machen.

2. Methodik

Die Autoren entwickeln einen rigorosen theoretischen Rahmen, um die Lücke zwischen reellwertiger Theorie und praktischer Gleitkommaarithmetik zu schließen.

2.1 Formalisierung der Floating-Point-Semantik

Das Paper definiert neuronale Netze als Funktionen über der Menge endlicher Gleitkommazahlen $\mathcal{F}$ , unter Verwendung von IEEE-754-konformen Operationen ( $\oplus, \ominus, \otimes$ ) im Modus „Round to nearest (ties to even)“. Die Intervallsemantik $\nu^\sharp$ wird über abstrakte Intervalle $\langle a, b \rangle$ definiert, welche die Menge der Floats innerhalb von $[a, b]$ repräsentieren.

2.2 Bedingungen an Aktivierungsfunktionen

Um das Theorem zu beweisen, führen die Autoren Bedingung 1 ein, eine Menge von Einschränkungen für die Aktivierungsfunktion $\sigma: \mathcal{F} \to \mathcal{F}$ . Diese Bedingungen stellen sicher, dass die Funktion:

Exakt Null und einen spezifischen Nicht-Null-Wert innerhalb eines beschränkten Bereichs ausgeben kann.
Eine Monotonie oder ein spezifisches Schwellenwertverhalten um einen kritischen Wert $\eta$ aufweist.
Eine Lipschitz-ähnliche Stetigkeitsbeschränkung erfüllt, um unbegrenztes Wachstum zu verhindern.

Das Paper zeigt, dass die korrekt gerundeten Versionen gängiger Aktivierungsfunktionen (ReLU, GELU, Sigmoid, Tanh etc.) diese Bedingungen erfüllen, indem sie häufig Lemma 1 nutzen, welches Eigenschaften reeller Funktionen auf deren Floating-Point-Pendants abbildet.

2.3 Beweisstrategie: Separabilität und Indikator-Konstruktion

Der Kern des Beweises besteht in der Konstruktion eines neuronalen Netzes, das als „universeller Intervall-Approximator“ fungiert. Die Methodik gliedert sich in zwei Hauptphasen:

Separabilität: Die Autoren definieren eine Eigenschaft namens $([a, b]_\mathcal{F}, \eta, K, L_\phi, L_\psi)$ -Separabilität. Diese Eigenschaft garantiert die Existenz von Netzen, die skalierte Indikatorfunktionen implementieren können (z. B. Abbildung von Eingaben $\le z$ auf 0 und Eingaben $> z$ auf $K$ ) unter Intervallsemantik.
- Der Beweis konstruiert spezifische Subnetze (z. B. $\mu_z$ , $\tau_{\theta, \theta'}$ ), welche die Rundungsfehler ausnutzen, um Intervalle zu „kontrahieren“. Beispielsweise wird ein Netzwerk so entworfen, dass Eingaben in einem bestimmten Bereich nach dem Durchlaufen der Aktivierungsfunktion auf ein Singleton-Intervall $\langle \eta, \eta \rangle$ oder $\langle \eta^+, \eta^+ \rangle$ abgebildet werden.
- Entscheidend ist, dass die Konstruktion unendliche Werte in den Zwischenschichten vermeidet, womit das Problem des Überlaufs adressiert wird, das reelle Beweise beim Skalieren von Gewichten auf beliebige Größenordnungen plagt.
Komposition zur universellen Approximation: Unter Verwendung der Separabilitäts-Eigenschaft konstruieren die Autoren Netze für:
- Indikatorfunktionen beliebiger Boxen.
- Indikatorfunktionen beliebiger Teilmengen des Eingaberaums.
- Schließlich die Zielfunktion selbst, indem diese als eine Floating-Point-Linearkombination dieser Indikatorfunktionen ausgedrückt wird. Der Beweis verwaltet die Floating-Point-Summation sorgfältig, um sicherzustellen, dass die akkumulierten Rundungsfehler exakt mit der Rekonstruktion der Bildabbildung der Zielfunktion übereinstimmen.

3. Zentrale Beiträge

3.1 Das Floating-Point IUA-Theorem (Theorem 1)

Das Paper beweist, dass für jede Zielfunktion $f: \mathbb{R}^d \to \mathbb{R}$ und eine breite Klasse von Aktivierungsfunktionen, die Bedingung 1 erfüllen, ein Floating-Point-neuronales Netz $\nu$ existiert, dessen Intervallsemantik $\nu^\sharp$ die direkte Bildabbildung der gerundeten Zielfunktion $\hat{f}$ über dem Bereich $[-1, 1]^d \cap \mathcal{F}^d$ exakt berechnet.

Exaktheit: Im Gegensatz zum reellwertigen IUA, das eine $\delta$ -Approximation anstrebt, erreicht die Floating-Point-Version $\delta = 0$ (exakte Übereinstimmung), da der Bereich endlich ist.
Generalität: Das Theorem gilt für beliebige Zielfunktionen (nicht nur stetige) und eine breite Palette von Aktivierungsfunktionen, einschließlich der Identitätsfunktion (was im reellwertigen IUA unmöglich ist).

3.2 Existenz proventierbar robuster Netze (Theorem 2)

Als Korollar beweist das Paper, dass, falls ein ideal robuster Klassifikator existiert (selbst wenn dies kein neuronales Netz ist), ein Floating-Point-neuronales Netz existiert, das mittels Intervallanalyse beweisbar robust ist und identische Vorhersagen trifft. Dies klärt die Frage, ob fundamentale Grenzen für die Ausdrucksstärke proventierbar robuster Netzwerke im Floating-Point-Setting existieren: solche Grenzen existieren nicht.

3.3 Floating-Point-Intervall-Vollständigkeit (Theorem 3)

Das Paper etabliert ein überraschendes Ergebnis bezüglich der computationellen Vollständigkeit: Die Klasse der Straight-Line-Floating-Point-Programme, die nur Addition ( $\oplus$ ) und Multiplikation ( $\otimes$ ) verwenden, ist Floating-Point-Intervall-vollständig. Dies bedeutet, dass solche einfachen Programme die Intervallsemantik jedes terminierenden Floating-Point-Programms simulieren können, das endliche Floats als Eingabe erhält und endliche oder unendliche Floats zurückgibt. Dieses Ergebnis erweitert das IUA-Theorem auf die Identitäts-Aktivierungsfunktion über den gesamten Bereich $\mathcal{F}^d$ .

4. Ergebnisse und Vergleiche

Das Paper hebt drei fundamentale Unterschiede zwischen dem neuen Floating-Point IUA-Theorem und früheren reellwertigen Ergebnissen hervor:

Zielfunktionen: Reellwertiges IUA approximiert stetige Funktionen; Floating-Point IUA berechnet exakt das Bild jeder gerundeten Zielfunktion (da der Bereich endlich ist).
Aktivierungsfunktionen: Reellwertiges IUA erfordert „stauchbare“ (non-affine) Aktivierungen; Floating-Point IUA gilt sogar für die Identitätsfunktion. Dies liegt daran, dass Floating-Point-affine Transformationen über die reellen Zahlen nicht strikt affin sind, da Rundungsfehler die Linearität brechen und nicht-lineare Verhaltensweisen approximieren können.
Approximation vs. Exaktheit: Reelle Ergebnisse liefern $\delta$ -Approximationen; Floating-Point-Ergebnisse liefern exakte Übereinstimmungen mit der gerundeten Zielfunktion.

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass diese Arbeit die theoretische Lücke zwischen auf abstrakter Interpretation basierender Robustheitsverifikation und praktischen Floating-Point-Implementierungen schließt.

Theoretische Absicherung: Es demonstriert, dass das Fehlen von State-of-the-Art-Genauigkeit in proventierbar robusten Netzwerken nicht auf einer fundamentalen Limitierung ihrer Ausdrucksstärke beruht, sondern wahrscheinlich auf Optimierungsschwierigkeiten oder den spezifisch verwendeten Verifikationsalgorithmen.
Vollständigkeit: Das Ergebnis der Intervall-Vollständigkeit legt nahe, dass einfache arithmetische Operationen ausreichen, um komplexe Floating-Point-Verhaltensweisen unter Intervallsemantik zu simulieren, was neue Einblicle in die Rechenleistung von Floating-Point-Programmen bietet.
Praktische Relevanz: Durch die Validierung des IUA-Theorems für Gleitkommazahlen liefert das Paper eine theoretische Grundlage für den Einsatz der Intervallanalyse in sicherheitskritischen Bereichen (Gesundheitswesen, autonomes Fahren), in denen die Gleitkommaarithmetik der Standard ist.

Das Paper stellt explizit klar, dass es sich hierbei um Existenzbeweise handelt; es behauptet nicht, dass aktuelle Trainingsalgorithmen solche Netze leicht finden können, noch schlägt es neue Trainingsmethoden vor. Der Beitrag ist rein theoretischer Natur und stellt fest, dass die „Ausdrucksstärke-Obergrenze“ für proventierbar robuste Floating-Point-Netze effektiv nicht existent ist.