📊 statistics

Limitations of Learning Tanh Neural Networks with Finite Precision

Dit artikel toont aan dat onder beperkingen van eindige precisie, het leren van $\tanh$ -neurale netwerken die gelokaliseerde bump-functies bevatten, fundamenteel beperkt is tot een Monte Carlo-convergentiesnelheid, tenzij het bemonsteringsbudget exponentieel groeit met de netwerkomvang, waardoor bekende beperkingen van ReLU-netwerken worden uitgebreid naar de $\tanh$ -setting.

Oorspronkelijke auteurs: Philipp Grohs, Matěj Trödler

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Philipp Grohs, Matěj Trödler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren om een heel specifiek, minuscuul geheim te herkennen dat verborgen ligt in een enorme, donkere kamer. De computer is een "neuraal netwerk", een type AI dat leert door naar voorbeelden te kijken. In dit artikel onderzoeken de auteurs een specifiek soort AI dat een wiskundig hulpmiddel genaamd tanh (hyperbolische tangens) gebruikt om informatie te verwerken. Dit hulpmiddel is vloeiend en gebogen, in tegen tegenstelling tot het "ReLU"-hulpmiddel dat in veel andere AI's wordt gebruikt, wat meer werkt als een scherpe aan/uit-schakelaar.

De auteurs stellen een fundamentele vraag: Hoeveel "samples" (of inkijkjes) heeft de computer nodig om dit geheim perfect te leren, ervan uitgaande dat de computer een beperkt vermogen heeft om zeer kleine getallen waar te nemen?

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. Het "Wazige Visie" Probleem (Eindige Precisie)

Stel je voor dat de computer een bril draagt die licht beslagen is. Als een getal kleiner is dan een minuscuul stofje (laten we dit de "machineprecisie" noemen), vervaagt de bril de computer volledig, en ziet hij het als nul. De computer kan het verschil niet zien tussen een zacht gefluister en totale stilte.

De auteurs laten zien dat de computer, vanwege deze "wazige visie", voor een enorme hindernis staat. De computer kan niet het onderscheid maken tussen een functie die overal echt nul is en een functie die een piepklein, scherp "bultje" heeft verborgen in een hoekje, tenzij dat bultje groot genoeg is om door de mist heen gezien te worden.

2. De Constructie van het "Onzichtbare Bultje"

De auteurs hebben een speciale wiskundige truc gebruikt om hun punt te bewijzen. Ze creëerden een "bult"-functie (een kleine heuvel van data) die is:

Hoog en scherp in het midden (zodat het veel "massa" of belang heeft).
Exponentieel dun aan de randen.

Omdat de randen zo snel dunner worden, worden ze uiteindelijk zo klein dat de "wazige bril" van de computer ze volledig als nul ziet. Voor de computer ziet dit bultje er overal uit als een platte, lege vloer, behalve op één minuscuul, onzichtbaar punt.

3. Het "Naald in een Hooiberg" Spel

Stel je nu voor dat je een spel speelt waarbij je deze verborgen bultjes moet vinden.

De Opstelling: Je hebt een enorme kamer (de dataruimte). Je kunt een beperkt aantal "sensoren" (samples) laten zakken om te controleren op bultjes.
De Valstrik: De auteurs hebben bewezen dat als de bultjes op een manier worden verborgen die misbruik maakt van de "wazige visie" van de computer, je duizenden van deze bultjes in de kamer kunt verstoppen.
Het Resultaat: Zelfs als je een enorm aantal sensoren laat zakken, is er een hoge waarschijnlijkheid dat geen enkele van je sensoren precies op de kleine, verborgen plekken landt waar de bultjes zich daadwerkelijk bevinden. Jouw sensoren zullen allemaal "nul" lezen (omdat de bultjes buiten hun kleine centrum onzichtbaar zijn voor hen).

4. De "Exponentiële Kosten"

Dit leidt tot de belangrijkste conclusie van het artikel: Leren is ongelooflijk duur.

In de wereld van ReLU-netwerken (de scherpe aan/uit-schakelaars), groeit het aantal samples dat nodig is om te leren op een enigszins voorspelbare manier. Maar voor deze vloeiende tanh-netwerken ontdekten de auteurs dat het aantal samples dat je nodig hebt om te garanderen dat je de functie nauwkeurig kunt leren, exponentieel groeit met de grootte van het netwerk.

Denk hierbij aan:

Als je een klein netwerk wilt leren, heb je misschien 10 samples nodig.
Als je het netwerk iets groter maakt, heb je misschien 100 samples nodig.
Als je het weer een beetje groter maakt, heb je misschien 1.000.000 samples nodig.
Als je het nog een klein beetje groter maakt, heb je misschien meer samples nodig dan er atomen in het universum zijn.

5. De "Instabiele Waarheid"

Het artikel belicht ook een angstwekkende instabiliteit. Ze lieten zien dat je twee verschillende functies kunt hebben die voor de computer identiek lijken (omdat de verschillen kleiner zijn dan wat de "wazige bril" kan zien), maar in werkelijkheid zijn ze totaal verschillend (de een heeft een groot bultje, de ander niet).

Zelfs als je een perfect algoritme zou hebben, betekent het feit dat de computer de kleine verschillen niet kan zien dat hij nooit stabiel kan zijn. Een minuscule, onzichtbare verandering in de input kan leiden tot een enorme, onvoorspelbare verandering in de output. Het is alsof je een kaartenhuis probeert te balanceren op een trillende tafel; hoe goed je handen ook zijn, de trilling van de tafel (de eindige precisie) maakt een stabiele structuur onmogelijk.

Samenvatting

Het artikel betoogt dat voor vloeiende, gebogen neurale netwerken (tanh), eindige precisie fungeert als een harde muur. Het voorkomt dat de computer functies leert die scherpe, gelokaliseerde kenmerken hebben, tenzij je bereid bent om een astronomisch groot aantal samples op het probleem af te vuren. In veel realistische scenario's maakt dit het leren van deze specifieke soorten netwerken computationeel onmogelijk, niet omdat de wiskunde te moeilijk op te lossen is, maar omdat je simpelweg niet genoeg "ogen" (samples) hebt om de details te zien voordat de "wazige bril" van de computer ze wegblaast.

Technische Samenvatting: Beperkingen van het leren van Tanh-neurale netwerken met eindige precisie

Probleemstelling
Dit artikel onderzoekt de fundamentele beperkingen van het leren van klassen van neurale netwerken met hyperbolische tangens ( $\tanh$ ) activatiefuncties onder rekenkunde met eindige precisie. Hoewel theoretische resultaten vaststellen dat neurale netwerken over universele benaderingscapaciteiten beschikken, wordt praktisch leren beperkt door de beschikbaarheid van slechts eindig veel gesamplede waarden en de eindige precisie van computationele apparaten. De auteurs adresseren de vraag: Hoeveel samples $m$ zijn noodzakelijk om te garanderen dat een algoritme elke functie in een klasse van $\tanh$ -netwerken tot een specifieke nauwkeurigheid $\epsilon$ kan benaderen?

De studie richt zich op de interactie tussen de vloeiende, niet-homogene aard van $\tanh$ -activaties en de beperkingen die worden opgelegd door eindige precisie (kwantisatie). In tegen tegenstelling tot ReLU-netwerken, waar gelokaliseerde "bump"-functies exact kunnen worden geconstrueerd vanwege de homogeniteitseigenschap ( $\rho(\lambda x) = \lambda \rho(x)$ ), zijn $\tanh$ -netwerken reëel-analytisch en kunnen ze over het algemeen geen functies met compact ondersteuning produceren (exact nul op verzamelingen met een positieve maat). Dit creëert een aanzienlijke analytische hindernis voor het bewijzen van ondergrenzen op de leercomplexiteit, aangezien standaardtechnieken die vertrouwen op exacte lokalisatie falen.

Methodologie
De auteurs ontwikkelen een nieuw kader om het gebrek aan exacte compacte ondersteuning in $\tanh$ -netwerken te overwinnen door gebruik te maken van rekenkunde met eindige precisie. Hun aanpak omvat drie primaire technische componenten:

Lokalisatie met eindige precisie: De auteurs gaan uit van een kwantiseringskaart $Q_{\epsilon_p}$ waarbij elke waarde met een grootte $|x| \le \epsilon_p$ naar nul wordt afgerond. Ze construeren neurale netwerken die "scherp gelokaliseerde bumps" produceren: functies die niet-triviaal zijn op een kleine kubus, maar exponentieel snel vervallen buiten dit gebied. Door de diepte en parameters van het netwerk af te stemmen, worden de "staarten" van deze functies gedwongen onder de machineprecisie-drempel $\epsilon_p$ te vallen, waardoor ze ononderscheidbaar worden van nul voor het computationele apparaat, ondanks dat ze een positieve $L_p$ -norm hebben.
Vaste-punt iteratiemechanisme: Een kerninnovatie is het exploiteren van de vaste-puntstructuur van de $\tanh$ -activatie. Voor een geschaalde activatie $\sigma_a(x) = \tanh(ax)$ met $a > 1$ , bestaan er niet-triviale vaste punten $\pm x_\star$ die voldoen aan $\tanh(ax_\star) = x_\star$ . De auteurs ontwerpen netwerklagen die iteratief $\sigma_a$ toepassen op een grove bump-functie. Deze iteratie versterkt het signaal en drijft de output richting een stapfunctie-profiel (convergerend naar $\pm x_\star$ binnen de ondersteuning en snel vervallend buiten). Dit mechanisme vervangt de op homogeniteit gebaseerde constructies die gebruikt worden in de ReLU-analyse.
Adaptief Randomised Algoritme Kader: De ondergrenzen worden afgeleid voor adaptieve gerandomiseerde algoritmen, die vorige observaties kunnen gebruiken om nieuwe steekproefpunten te kiezen en interne willekeur kunnen gebruiken. Het bewijs maakt gebruik van een "duivenhok"-argument: door een grote familie van disjuncte bump-functies (gecentreerd op een rooster) te construeren en aan te tonen dat hun ondersteuning kleiner is dan de sampling-dichtheid, demonstreren de auteurs dat een aanzienlijk deel van deze functies bij alle gesampleerde punten een gekwantiseerde waarde van nul zal opleveren. Bijgevolg kan het algoritme deze functies niet onderscheiden van de nul-functie.

Belangrijkste Bijdragen en Resultaten
Het artikel stelt een ondergrens vast voor de sampling-complexiteit van het leren van $\tanh$ -neurale netwerken. Het hoofdbestanddeel (Theorem 6) bewijst dat voor een klasse van netwerken met inputdimensie $d$ , diepte $L$ , breedte $B$ en begrensde coëfficiënten, de benaderingsfout $\epsilon$ voor elk algoritme dat $m$ samples gebruikt voldoet aan:
$\epsilon \gtrsim C \cdot m^{-1/p}$
waarbij de constante $C$ afhankelijk is van de architectuurparameters van het netwerk.

Belangrijkste bevindingen zijn:

Exponentiële Afhankelijkheid van Architectuur: Het toegestane aantal samples $m$ dat nodig is om een vaste nauwkeurigheid te bereiken, groeit exponentieel met betrekking tot de architectuurparameters van het netwerk (specifiek breedte en diepte). Dit impliceert dat leren onhaalbaar wordt naarmate het netwerk groter wordt, zelfs als het optimalisatieprobleem computationeel oplosbaar zou zijn.
Vergelijking met ReLU: Terwijl de ReLU-setting (Berner et al., 2023) een ondergrens vertoont die schaalt met $m^{-1/d - 1/p}$ , levert de $\tanh$ -setting onder eindige precisie een grens die schaalt met $m^{-1/p}$ . Echter, de constante factor in de $\tanh$ -grens is exponentieel afhankelijk van de architectuur, wat leidt tot een vergelijkbare praktische onhaalbaarheid.
Intrinsieke Instabiliteit: De resultaten onthullen een fundamentele instabiliteit in het leerprobleem. Voor elk algoritme dat een sub-exponentieel aantal samples gebruikt, bestaan er paren netwerken die verschillen door een verwaarloosbare perturbatie (onder de machineprecisie) bij alle gesamplede punten, maar een grote $L_p$ -afstand hebben (orde 0.5). Hierdoor kan geen enkele reconstructieprocedure tegelijkertijd accuraat en stabiel zijn binnen de gestelde sampling-regime.
Rol van Precisie: De hardheidsresultaten zijn afhankelijk van de aanname van eindige precisie. De constructie berust op het vermogen om de staart van de bump-functie onder de kwantiseringsdrempel $\epsilon_p$ te "verbergen".

Betekenis en Claims
Het artikel claimt eerdere hardheidsresultaten voor ReLU-netwerken uit te breiden naar de veelgebruikte $\tanh$ -activatie, die prevalent is in recurrente architecturen (RNN's, LSTM's), physics-informed neural networks (PINNs) en moderne foundation models.

De auteurs benadrukken dat hun resultaten niet louter gaan over computationele complexiteit (looptijd), maar over informatie-theoretische beperkingen. Zelfs als een optimalisatie-algoritme de globale minimum zou kunnen vinden, is het aantal samples dat nodig is om de functie uniek te identificeren op basis van punt-evaluaties prohibitief groot. Het werk benadrukt dat de gladheid en het analytische karakter van $\tanh$ , vaak gezien als voordelig voor differentieerbaarheid, ernstige uitdagingen introduceren voor de leerbaarheid in omgevingen met eindige precisie, met name met betrekking tot de constructie van gelokaliseerde kenmerken die nodig zijn voor het bewijzen van ondergrenzen.

Het artikel biedt een vereenvoudigd theorema (Theorem 1) en een volledig technisch statement (Theorem 6) met expliciete afhankelijkheden van parameters zoals machineprecisie $\epsilon_p$ , netwerkbreedte $B$ , diepte $L$ en coëfficiënt-grenzen $c$ . Het bevat een numerieke verificatietool om aan te tonen dat voor gematigde netwerkgroottes en realistische machineprecisies, de benodigde sample-omvang voor uniforme recover wordt astronomisch groot, wat de leeropdracht computationeel onhaalbaar maakt.