📊 statistics

Limitations of Learning Tanh Neural Networks with Finite Precision

Diese Arbeit zeigt auf, dass das Lernen von $\tanh$ -Neuronalen Netzen, die lokalisierte Bump-Funktionen enthalten, unter Beschränkungen durch endliche Präzision fundamental auf eine Monte-Carlo-Konvergenzrate beschränkt ist, sofern das Sampling-Budget nicht exponentiell mit der Netzwerkgröße wächst, wodurch bekannte Einschränkungen von ReLU-Netzwerken auf den $\tanh$ -Kontext ausgeweitet werden.

Ursprüngliche Autoren: Philipp Grohs, Matěj Trödler

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Philipp Grohs, Matěj Trödler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, ein ganz bestimmtes, winziges Geheimnis zu erkennen, das in einem riesigen, dunklen Raum verborgen ist. Der Computer ist ein „neuronales Netz“, eine Art von KI, die durch das Betrachten von Beispielen lernt. In dieser Arbeit untersuchen die Autoren eine spezielle Art von KI, die ein mathematisches Werkzeug namens tanh (hyperbolischer Tangens) zur Informationsverarbeitung nutzt. Dieses Werkzeug ist glatt und kurvig, im Gegensatz zum „ReLU“-Werkzeug, das in vielen anderen KIs verwendet wird und eher wie ein scharfer Ein/Aus-Schalter funktioniert.

Die Autoren stellen eine grundlegende Frage: Wie viele „Samples“ (oder Blicke) benötigt der Computer, um dieses Geheimnis perfekt zu lernen, unter der Annahme, dass der Computer eine begrenzte Fähigkeit besitzt, sehr kleine Zahlen wahrzunehmen?

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Das Problem der „verschwommenen Sicht“ (Endliche Präzision)

Stellen Sie sich vor, der Computer trägt eine Brille, die leicht beschlagen ist. Wenn eine Zahl kleiner ist als ein winziger Staubkorn (nennen wir das die „Maschinengenauigkeit“), verschleiert die Brille des Computers diese Zahl vollständig, und er sieht sie als Null. Er kann nicht zwischen einem winzigen Flüstern und völliger Stille unterscheiden.

Die Autoren zeigen, dass der Computer aufgrund dieser „verschwommenen Sicht“ vor einer massiven Hürde steht. Er kann nicht zwischen einer Funktion unterscheiden, die überall wirklich Null ist, und einer Funktion, die einen winzigen, scharfen „Höcker“ in einer Ecke verbirgt – es sei denn, dieser Höcker ist groß genug, um durch den Nebel gesehen zu werden.

2. Die Konstruktion des „unsichtbaren Höckers“

Die Autoren haben einen speziellen mathematischen Trick angewandt, um ihren Punkt zu beweisen. Sie erschufen eine „Höcker“-Funktion (einen kleinen Hügel aus Daten), die:

Hoch und scharf in der Mitte ist (so hat sie viel „Masse“ oder Bedeutung).
Exponentiell dünn an den Rändern verläuft.

Weil die Ränder so schnell dünner werden, werden sie schließlich so klein, dass die „verschwommene Sicht“ des Computers sie als Null interpretiert. Für den Computer sieht dieser Höcker überall wie ein flacher, leerer Boden aus, mit Ausnahme eines winzigen, unsichtbaren Punktes.

3. Das „Nadel im Heuhaufen“-Spiel

Stellen Sie sich nun vor, Sie spielen ein Spiel, bei dem Sie versuchen müssen, diese verborgenen Höcker zu finden.

Das Setup: Sie haben einen riesigen Raum (den Datenraum). Sie können eine begrenzte Anzahl von „Sensoren“ (Samples) abwerfen, um nach Höckern zu suchen.
Die Falle: Die Autoren haben bewiesen, dass man, wenn die Höcker so verborgen sind, dass sie die „verschwommene Sicht“ des Computers ausnutzen, tausende dieser Höcker im Raum verstecken kann.
Das Ergebnis: Selbst wenn Sie eine riesige Anzahl von Sensoren abwerfen, besteht eine hohe Wahrscheinlichkeit, dass keiner Ihrer Sensoren auf den winzigen, verborgenen Stellen landet, an denen die Höcker tatsächlich existieren. Ihre Sensoren werden alle „Null“ lesen (weil die Höcker außerhalb ihrer winzigen Zentren für sie unsichtbar sind).

4. Die „exponentielle Kosten“

Dies führt zur Hauptschlussfolgerung der Arbeit: Lernen ist unglaublich teuer.

In der Welt der ReLU-Netzwerke (den scharfen Ein/Aus-Schaltern) wächst die Anzahl der benötigten Samples, um eine Funktion zu lernen, in gewissem Maße vorhersehbar. Aber für diese glatten tanh-Netzwerke fanden die Autoren heraus, dass die Anzahl der Samples, die Sie benötigen, um zu garantieren, dass Sie die Funktion genau lernen können, exponentiell mit der Größe des Netzwerks wächst.

Denken Sie es sich so vor:

Wenn Sie ein kleines Netzwerk lernen wollen, benötigen Sie vielleicht 10 Samples.
Wenn Sie das Netzwerk etwas größer machen, benötigen Sie vielleicht 100 Samples.
Wenn Sie es ein Stück größer machen, benötigen Sie vielleicht 1.000.000 Samples.
Wenn Sie es nur ein kleines bisschen größer machen, benötigen Sie vielleicht mehr Samples, als es Atome im Universum gibt.

5. Die „instabile Wahrheit“

Die Arbeit hebt auch eine beängstigende Instabilität hervor. Sie zeigten, dass man zwei verschiedene Funktionen haben kann, die für den Computer identisch aussehen (weil die Unterschiede kleiner sind, als die „verschwommene Sicht“ wahrnehmen kann), die sich aber in Wirklichkeit völlig unterscheiden (die eine hat einen großen Höcker, die andere nicht).

Selbst wenn Sie einen perfekten Algorithmus hätten, bedeutet die Tatsache, dass der Computer die winzigen Unterschiede nicht sehen kann, dass er niemals stabil sein kann. Eine winzige, unsichtbare Änderung der Eingabe könnte zu einer massiven, unvorhersehbaren Änderung der Ausgabe führen. Es ist, als versuche man, ein Kartenhaus auf einem vibrierenden Tisch zu balancieren; egal wie gut Ihre Hände sind, die Vibration des Tisches (die endliche Präzision) macht eine stabile Struktur unmöglich.

Zusammenfassung

Die Arbeit argumentiert, dass für glatte, kurvige neuronale Netze (tanh) die endliche Präzision wie eine harte Wand wirkt. Sie verhindert, dass der Computer Funktionen mit scharfen, lokalisierten Merkmalen lernt, es sei denn, man ist bereit, eine astronomisch große Anzahl von Samples in das Problem zu werfen. In vielen realistischen Szenarien macht dies das Lernen dieser spezifischen Arten von Netzwerken rechentechnisch unmöglich – nicht, weil die Mathematik zu schwer zu lösen wäre, sondern weil man schlichtweg nicht genug „Augen“ (Samples) hat, um die Details zu sehen, bevor die „verschwommene Sicht“ des Computers sie wegblendet.

Technische Zusammenfassung: Einschränkungen beim Lernen von Tanh-Neuronalen Netzen mit endlicher Präzision

Problemstellung
Diese Arbeit untersucht die fundamentalen Einschränkungen beim Lernen von Klassen von neuronalen Netzen mit Hyperbeltangens ( $\tanh$ )-Aktivierungsfunktionen unter der Bedingung der Arithmetik mit endlicher Präzision. Während theoretische Ergebnisse belegen, dass neuronale Netze über universelle Approximationsfähigkeiten verfügen, ist das praktische Lernen durch die Verfügbarkeit nur endlich vieler abgetasteter Werte und die endliche Präzision von Rechengeräten beschränkt. Die Autoren adressieren die Frage: Wie viele Stichproben $m$ sind notwendig, um zu garantieren, dass ein Algorithmus jede Funktion in einer Klasse von $\tanh$ -Netzen auf eine spezifische Genauigkeit $\epsilon$ approximieren kann?

Die Studie konzentriert sich auf das Zusammenspiel zwischen der glatten, nicht-homogenen Natur von $\tanh$ -Aktivierungen und den durch die endliche Präzision (Quantisierung) auferlegten Beschränkungen. Im Gegensatz zu ReLU-Netzen, bei denen aufgrund der Homogenitätseigenschaft ( $\rho(\lambda x) = \lambda \rho(x)$ ) exakte lokale „Bump“-Funktionen konstruiert werden können, sind $\tanh$ -Netze reell-analytisch und können im Allgemeinen keine Funktionen mit kompaktem Träger (exakt Null auf Mengen mit positivem Maß) erzeugen. Dies schafft eine signifikante analytische Hürde für den Nachweis von Schranken der Lernkomplexität, da Standardtechniken, die auf exakter Lokalisierung beruhen, hier versagen.

Methodik
Die Autoren entwickeln einen neuartigen Rahmen, um die fehlende exakte kompakte Unterstützung in $\tanh$ -Netzen durch die Nutzung von Arithmetik mit endlicher Präzision zu überwinden. Ihr Ansatz umfasst drei primäre technische Komponenten:

Lokalisierung mit endlicher Präzision: Die Autoren setzen eine Quantisierungskarte $Q_{\epsilon_p}$ voraus, bei der jeder Wert mit der Magnitude $|x| \le \epsilon_p$ auf Null gerundet wird. Sie konstruieren neuronale Netze, die „scharf lokalisierte Bumps“ erzeugen: Funktionen, die auf einem kleinen Würfel nicht-trivial sind, aber außerhalb dieses Bereichs exponentiell schnell abfallen. Durch die Abstimmung der Netzwerktiefe und der Parameter werden die „Schwänze“ (Tails) dieser Funktionen so manipuliert, dass sie unter den Maschinengenauigkeitsschwellenwert $\epsilon_p$ fallen, wodurch sie für das Rechengerät als Null ununterscheidbar werden, obwohl sie eine positive $L_p$ -Norm besitzen.
Fixpunkt-Iterationsmechanismus: Eine zentrale Innovation ist die Ausnutzung der Fixpunktstruktur der $\tanh$ -Aktivierung. Für eine skalierte Aktivierung $\sigma_a(x) = \tanh(ax)$ mit $a > 1$ existieren nicht-triviale Fixpunkte $\pm x_\star$ , die $\tanh(ax_\star) = x_\star$ erfüllen. Die Autoren entwerfen Netzwerkschichten, die iterativ $\sigma_a$ auf eine grobe Bump-Funktion anwenden. Diese Iteration verstärkt das Signal und treibt den Output in Richtung eines Sprungfunktions-Profils (konvergiert zu $\pm x_\star$ innerhalb des Trägers und fällt außerhalb schnell ab). Dieser Mechanismus ersetzt die auf Homogenität basierenden Konstruktionen, die in der ReLU-Analyse verwendet werden.
Adaptives Randomisiertes Algorithmen-Framework: Die unteren Schranken werden für adaptive randomisierte Algorithmen hergeleitet, die Stichprobenpunkte basierend auf vorherigen Beobachtungen wählen und interne Zufälligkeit nutzen können. Der Beweis nutzt ein „Taubenloch“-Argument (Pigeonhole Principle): Durch die Konstruktion einer großen Familie disjunkter Bump-Funktionen (zentriert auf einem Gitter) und den Nachweis, dass deren Träger kleiner als die Abtastdichte sind, zeigen die Autoren, dass ein signifikanter Anteil dieser Funktionen an allen Stichprobenpunkten quantisierte Nullwerte liefern wird. Folglich kann der Algorithmus diese Funktionen nicht von der Nullfunktion unterscheiden.

Wesentliche Beiträge und Ergebnisse
Das Paper etabliert eine untere Schranke für die Stichprobenkomplexität beim Lernen von $\tanh$ -neuronalen Netzen. Das Hauptergebnis (Theorem 6) beweist, dass für eine Klasse von Netzwerken mit Eingangsdimension $d$ , Tiefe $L$ , Breite $B$ und beschränkten Koeffizienten die Approximationsfehlerrate $\epsilon$ für jeden Algorithmus, der $m$ Stichproben verwendet, gilt:
$\epsilon \gtrsim C \cdot m^{-1/p}$
wobei die Konstante $C$ von den Architekturparametern des Netzwerks abhängt.

Zentrale Erkenntnisse:

Exponentielle Abhängigkeit von der Architektur: Die zulässige Anzahl an Stichproben $m$ , die erforderlich ist, um eine feste Genauigkeit zu erreichen, wächst exponentiell in Bezug auf die Architekturparameter des Netzwerks (speziell Breite und Tiefe). Dies impliziert, dass das Lernen unpraktikabel wird, wenn die Netzwerkgröße zunimmt, selbst wenn das Optimierungsproblem berechenbar lösbar wäre.
Vergleich mit ReLU: Während das ReLU-Setting (Berner et al., 2023) eine untere Schranke aufweist, die mit $m^{-1/d - 1/p}$ skaliert, liefert das $\tanh$ -Setting unter endlicher Präzision eine Schranke, die mit $m^{-1/p}$ skaliert. Jedoch hängt der Konstantenfaktor der $\tanh$ -Schranke exponentiell von der Architektur ab, was zu einer ähnlichen praktischen Unpraktikabilität führt.
Inhärente Instabilität: Die Ergebnisse offenbaren eine fundamentale Instabilität im Lernproblem. Für jeden Algorithmus, der eine subexponentielle Anzahl an Stichproben verwendet, existieren Paare von Netzwerken, die sich an allen Stichprobenpunkten durch eine vernachlässigbare Störung (unterhalb der Maschinengenauigkeit) unterscheiden, aber eine große $L_p$ -Distanz (Ordnung 0,5) aufweisen. Somit kann kein Rekonstruktionsverfahren gleichzeitig genau und stabil innerhalb des genannten Stichprobenregimes sein.
Rolle der Präzision: Das Härteergebnis ist von der Annahme der endlichen Präzision abhängig. Die Konstruktion beruht auf der Fähigkeit, den „Schwanz“ der Bump-Funktion unter den Quantisierungsschwellenwert $\epsilon_p$ zu „verstecken“.

Bedeutung und Ansprüche
Das Paper beansprucht, die bisherigen Härteergebnisse für ReLU-Netze auf die weit verbreitete $\tanh$ -Aktivierung auszuweiten, welche in rekurrenten Architekturen (RNNs, LSTMs), physikinformierten neuronalen Netzen (PINNs) und modernen Foundation Models allgegenwärtig ist.

Die Autoren betonen, dass ihre Ergebnisse nicht bloß die rechnerische Komplexität (Laufzeit) betreffen, sondern informationstheoretische Limitationen. Selbst wenn ein Optimierungsalgorithmus das globale Minimum finden könnte, ist die Anzahl der Stichproben, die zur eindeutigen Identifizierung der Funktion aus Punkt-Evaluierungen erforderlich ist, prohibitiv hoch. Die Arbeit verdeutlicht, dass die Glattheit und die analytische Natur von $\tanh$ , die oft als vorteilhaft für die Differenzierbarkeit angesehen werden, schwere Herausforderungen für die Lernbarkeit in Umgebungen mit endlicher Präzision mit sich bringen – insbesondere hinsichtlich der Konstruktion lokalisierter Merkmale, die für den Nachweis unterer Schranken notwendig sind.

Das Paper liefert ein vereinfachtes Theorem (Theorem 1) und eine vollständige technische Aussage (Theorem 6) mit expliziten Abhängigkeiten von Parametern wie Maschinengenauigkeit $\epsilon_p$ , Netzwerkbreite $B$ , Tiefe $L$ und Koeffizientenbindung $c$ . Es enthält zudem ein Werkzeug zur numerischen Verifizierung, um zu demonstrieren, dass für moderate Netzwerkgrößen und realistische Maschinengenauigkeiten die erforderlichen Stichprobenmengen für eine uniforme Rekonstruktion astronomisch groß werden, was die Lernaufgabe rechnerisch unpraktikabel macht.