🤖 machine learning

Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations

Dit artikel stelt een algemeen onderscheidingskader op om de universele representabiliteit van drijvende-kommoneurale netwerken onder realistische uitvoeringssemantiek te karakteriseren, en bewijst dat willekeurige reductievolgorde en begrenste ulp-fouten in implementaties van activatiefuncties een exacte functierepresentatie voor een brede klasse van praktische activatiefuncties niet uitsluiten.

Oorspronkelijke auteurs: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een neurale netwerk voor als een enorme, complexe fabriek die is ontworpen om ruwe materialen (data) te sorteren en om te zetten in eindproducten (antwoorden). Decennia lang werden de blauwdrukken voor deze fabrieken getekend door wiskundigen die ervan uitgingen dat de fabriek perfecte gereedschappen bezat. Zij gingen ervan uit dat als je twee getallen optelde, het resultaat altijd exact correct was, en dat de "activeringsschakelaars" van de fabriek (de onderdelen die beslissen hoeveel signaal er wordt doorgegeven) werkten met absolute, wiskundige precisie.

Echter, echte computers gebruiken geen perfecte gereedschappen. Ze maken gebruik van drijvende-kommaberekening, wat vergelijkbaar is met een fabriek die gebruikmaakt van linialen die licht versleten zijn. Wanneer je getallen optelt, kan de volgorde waarin je ze optelt het resultaat veranderen (omdat de liniaal niet perfect is), en staan de "activeringsschakelaars" misschien niet op de exacte theoretische positie—they kunnen een haarbreedte afwijken.

Dit artikel stelt een kritische vraag: Als we onze neurale-netwerkfabriek bouwen met deze onvolmaakte, echte gereedschappen, kan hij dan nog steeds alles doen wat we van hem verwachten? Specifiek: kan hij nog steeds leren om elk mogelijk patroon of elke functie te representeren, of breekt de onvolkomenheid de magie?

Hier is de uiteenzetting van hun bevindingen met behulp van eenvoudige analogieën:

1. Het probleem van de "Volgorde van Bewerkingen"

In een perfecte wereld is het optellen van getallen als het stapelen van blokken: het maakt niet uit of je blok A op B stapelt, en dan C, of B op C, en dan A; de toren is hetzelfde.
In de echte wereld (drijvende komma) maakt de volgorde wel uit. Het is als het proberen te mengen van verf in een emmer die lichtjes lekt. Als je eerst de rode verf erin giet en dan de blauwe, krijg je een iets andere tint dan wanneer je eerst blauw giet en dan rood.

De bevinding van het artikel: De auteurs bewezen dat zelfs als de fabriek een willekeurige volgorde gebruikt om deze verf te mengen (getallen op te tellen), het netwerk nog steeds alles kan leren, mits de "activeringsschakelaars" goed genoeg zijn. Je hebt geen vaste, perfecte volgorde nodig om de klus te klaren.

2. De "Onderscheidbaarheid"-test

Om te begrijpen hoe een fabriek items sorteert, stel je voor dat je twee zeer gelijkend ogende appels hebt (Input A en Input B).

Het probleem: Als de eerste machine van de fabriek (de eerste laag) beide appels tot exact dezelfde vorm platdrukt, zal de rest van de fabriek nooit weten dat ze verschillend waren. Ze zullen ze voor altijd behandelen als dezelfde appel.
De oplossing van het artikel: De auteurs introduceerden een regel genaamd "Onderscheidbaarheid". Zij bewezen dat een netwerk om een "universele" leraar te zijn (in staat om alles te doen), zijn eerste laag in staat moet zijn om elk enkel paar verschillende invoerwaarden uit elkaar te houden. Als de eerste laag twee verschillende invoerwaarden niet uit elkaar kan houden, faalt het hele netwerk.
Het goede nieuws: Zij toonden aan dat de meeste gebruikelijke activeringsfuncties (zoals ReLU, Sigmoid, Tanh, Swish, enz.) invoerwaarden kunnen onderscheiden, zelfs met imperfecte wiskunde.

3. Het probleem van de "Onvolmaakte Schakelaar"

In theorie gaat een schakelaar precies aan wanneer de invoer 0,5 bereikt. In werkelijkheid, door productielimieten, gaat de schakelaar misschien aan bij 0,5000001 of 0,4999999.

De bevinding van het artikel: Eerdere theorieën zeiden: "Als de schakelaar niet perfect is, kan het netwerk breken." Dit artikel zegt: "Niet noodzakelijk."
Zij bewezen dat zolang de "onvolkomenheid" (de fout) klein en begrensd is (zoals afwijken door slechts een paar tiny eenheden, of "ulps"), het netwerk nog steeds invoerwaarden kan onderscheiden en alles kan leren.
Het resultaat: Zij bevestigden dat populaire activeringsfuncties die in het echt worden gebruikt—zoals Sigmoid, Tanh, ReLU, GELU, Swish en zelfs Sin—robuust genoeg zijn om perfect goed te werken, zelfs als hun computercode-implementaties wiskundig niet perfect zijn.

4. Het "Cosinus"-tegenvoorbeeld

De auteurs vonden ook een specifiek geval waarin de fabriek wel breekt. Zij toonden aan dat als je een Cosinus-activeringsfunctie gebruikt (die op en neer beweegt als een golf), het netwerk bepaalde invoerwaarden mogelijk niet uit elkaar kan houden omdat de golf zichzelf herhaalt. Het is als een fabriek hebben waar twee verschillende gekleurde ballen exact dezelfde blauwe tint krijgen geverfd, omdat de verfmachine te snel door de kleuren cyclen.

Dit verklaart waarom sommige theoretische functies werken in de wiskundeles maar falen in echte computercode.

Samenvatting: De grote les

Het artikel zegt in wezen: "Maak je geen zorgen over de kleine fouten in de wiskunde van je computer."

Hoewel echte computers hebben:

Linialen die niet perfect zijn (afrondingsfouten),
Mengordes die het resultaat veranderen (niet-associatieve optelling),
Schakelaars die niet perfect zijn gekalibreerd (onexacte activeringsimplementaties),

...zijn neurale netwerken die met deze gereedschappen zijn gebouwd nog steeds krachtig genoeg om elke functie te representeren die je op ze afvuurt, zolang je standaard activeringsfuncties gebruikt (zoals ReLU of Sigmoid). De "magie" van neurale netwerken overleeft de overgang van perfecte wiskundetheorie naar rommelige, echte engineering.

Technische Samenvatting: Uitdrukkingskracht van Floating-Point Neurale Netwerken met Willekeurige Reductievolgorde en Onnauwkeurige Implementaties van Activeringsfuncties

1. Probleemstelling

Bestaande theoretische kaders voor de uitdrukkingskracht van neurale netwerken vertrouwen voornamelijk op exacte reële rekenkunde. Echter, praktische neurale netwerken werken onder floating-point rekenkunde met eindige precisie, gekenmerkt door:

Eindige Representabiliteit: Parameters en activeringen behoren tot een discrete verzameling machinenummers.
Afrondingsfouten: Rekenkundige bewerkingen leiden tot afrondingsfouten.
Non-associativiteit: Floating-point optelling is niet-associatief, wat betekent dat de output van affiene transformaties afhankelijk is van de reductievolgorde (de volgorde waarin termen worden opgeteld).
Onnauwkeurige Implementaties: Praktische implementaties van activeringsfuncties (bijv. exp, tanh, sin) wijken vaak af van correct afgeronde waarden met meerdere eenheden in de laatste plaats (ulp) om de rekentijd te optimaliseren.

Vorige werken die floating-point uitdrukkingskracht behandelen, zijn beperkt door geïdealiseerde aannames, zoals:

Het beperken van de analyse tot stuksgewijs lineaire activeringen (bijv. ReLU, Step).
Het aannemen van vaste reductievolgorde van links naar rechts.
Het aannemen van correct afgeronde implementaties van activeringsfuncties.

Deze aannames slagen er niet in het gedrag van netwerken in moderne, massaal parallelle omgevingen (bijv. GPU's) vast te leggen, waar reductievolgorde varieert en waar gladde, veelgebruikte activeringen (bijv. Sigmoid, GELU, Swish) worden geïmplementeerd met begrenste benaderingsfouten. Bijgevolg blijft het onduidelijk of floating-point neurale netwerken hun universele representabiliteit behouden onder deze realistische omstandigheden.

2. Methodologie

De auteurs introduceren een algemeen kader om de universele representabiliteit van floating-point neurale netwerken te analyseren. Een netwerk wordt beschouwd als een "universele representator" als het elke functie tussen voorgeschreven floating-point domeinen exact kan representeren.

Belangrijkste Definities en Kader

Floating-Point Neurale Netwerken ( $N(I,S)$ ): Gedefinieerd onder een willekeurige reductievolgorde $S$ . De affiene transformatie in laag $\ell$ berekent $\Sigma((w_i \otimes x); o_{d_{in}}) \oplus b_i$ , waarbij $\Sigma$ de reductiesom aanduidt volgens volgorde $o$ , en $\otimes, \oplus$ floating-point vermenigvuldiging en optelling zijn.
Onderscheidbaarheid: Het kernconcept dat wordt geïntroduceerd is $\sigma$ -onderscheidbaarheid. Een domein $X$ $X$ is $\sigma$ $σ$ -onderscheidbaar onder $S$ $S$ als voor elk paar verschillende $x, x' \in X$ $x, x^{'} \in X$ er een floating-point affiene transformatie $\phi$ $ϕ$ bestaat zodat $\sigma(\phi(x)) \neq \sigma(\phi(x'))$ $σ (ϕ (x)) \neq = σ (ϕ (x^{'}))$ .
- Noodzaak: Het artikel bewijst dat als een domein niet $\sigma$ -onderscheidbaar is, het netwerk niet alle functies op dat domein kan representeren (Lemma 2).
- Voldoende: Onder milde voorwaarden voor de activeringsfunctie (Voorwaarde 1) wordt aangetoond dat $\sigma$ -onderscheidbaarheid voldoende is voor universele representabiliteit (Stelling 5).

Technische Aanpak

Scheidende Punten: De auteurs definiëren "scheidende punten" ( $\eta$ ) waar de output van de activeringsfunctie discontinu verandert ten opzichte van het floating-point rooster (d.w.z. $\sigma(\eta^-) \notin \{\sigma(\eta), \sigma(\eta^+)\}$ ). Zij stellen voorwaarden vast waaronder deze punten bestaan voor zowel correct afgeronde als onnauwkeurige implementaties.
Overdraagbaarheid: Een reeks technische lemma's (Sectie V) toont aan dat onder Voorwaarde 1 specifieke paren floating-point getallen kunnen worden "overgedragen" naar doelwaarden met behulp van optellingen van links naar rechts en activeringsfuncties. Dit maakt de constructie van netwerken mogelijk die specifieke inputs isoleren.
Omgaan met Onnauwkeurigheid: Voor implementaties met begrenste ulp-fouten leiden de auteurs voorwaarden af (Voorwaarde 2) die garanderen dat de benaderingsfout de noodzakelijke scheidende punten niet doet instorten, mits de precisie $p$ voldoende hoog is (bijv. $p \geq 7$ ).

3. Belangrijkste Bijdragen

A. Algemeen Kader voor Onderscheidbaarheid

Het artikel stelt een noodzakelijke en voldoende voorwaarde voor universele representabiliteit op basis van onderscheidbaarheid.

Noodzakelijke Voorwaarde: Als een netwerk niet elk paar verschillende inputs in de eerste laag kan onderscheiden via een affiene transformatie gevolgd door activering, kan het niet alle functies representeren. Dit kader generaliseert eerdere tegenvoorbeelden (bijv. correct afgeronde cosinus) naar bredere klassen van functies.
Voldoende Voorwaarde: Als de activeringsfunctie Voorwaarde 1 voldoet (het bestaan van specifieke outputwaarden $C_0, C_1, C_2$ ) en het domein $\sigma$ -onderscheidbaar is, kan een netwerk van vier lagen elke functie op dat domein representeren. Cruciaal geldt dit voor willekeurige reductievolgorde, wat bewijst dat universele representabiliteit geen artefact is van een specifieke sommatievolgorde.

B. Uitbreiding naar Praktische Activeringsfuncties

De theorie gaat verder dan stuksgewijs lineaire functies tot een brede klasse van gladde, praktische activeringen:

Correct Afgerond: Het artikel bewijst universele representabiliteit voor correct afgeronde versies van Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish en sin.
Onnauwkeurige Implementaties: De auteurs leveren verifieerbare voorwaarden waaronder implementaties met begrenste ulp-fouten (tot $K=10$ ulps) universele representatoren blijven. Dit omvat praktische bibliotheken waar functies zoals exp en sin worden benaderd.

C. Negatieve Resultaten en Tegenvoorbeelden

Het kader identificeert specifieke activeringsfuncties die onder bepaalde voorwaarden falen om universele representatoren te zijn.

Corollarium 4: Netwerken die gebruikmaken van correct afgeronde cosinus, $\sqrt{1+x^2}$ , cosh, of $e^{-x^2}$ kunnen niet alle functies representeren op specifieke domeinen (bijv. $[-2^{p+3}, 2^{p+3}]_F$ ) omdat ze niet voldoen aan de voorwaarde voor onderscheidbaarheid. Dit generaliseert het bekende tegenvoorbeeld van de cosinus-activering.

4. Resultaten

Het artikel stelt de volgende hoofdtheorema's vast:

Stelling 5: Als $\sigma$ voldoet aan Voorwaarde 1 en $X$ $\sigma$ -onderscheidbaar is met bereik $[-2^{e_{max}}, 2^{e_{max}}]_F$ , dan kan elke functie $f: X \to (F \cup \{-\infty, \infty\})^{d_{out}}$ worden gerepresenteerd door een $\sigma$ -netwerk van vier lagen onder elke reductievolgorde $S$ .
Corollarium 9 & 12: Voor correct afgeronde Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish en sin geldt universele representabiliteit over grote domeinen (bijv. $(-2^{e_{max}-1}, 2^{e_{max}-1})_F^d$ ). Opmerkelijk is dat zelfs de Identiteit-activeringsfunctie wordt aangetoond als een universele representator in floating-point rekenkunde (in tegenstelling tot reële rekenkunde) vanwege de niet-affiene aard van floating-point bewerkingen.
Corollarium 13 & 16: Voor Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish en sin geïmplementeerd met begrenste ulp-fouten (Voorwaarde 2) geldt universele representabiliteit, op voorwaarde dat de precisie $p \geq 7$ .

5. Betekenis en Beweringen

Het artikel claimt de theoretische kennis van floating-point neurale netwerken aanzienlijk te generaliseren:

Realisme: Het gaat voorbij aan geïdealiseerde aannames (vaste reductievolgorde, correct afronden) naar modellen die daadwerkelijke hardware-uitvoering reflecteren (willekeurige volgorde, begrenste ulp-fouten).
Brede Toepasbaarheid: Het biedt de eerste theoretische garanties voor de uitdrukkingskracht van netwerken die gladde, niet-stuksgewijs lineaire activeringen gebruiken (zoals GELU en Swish) onder realistische floating-point semantiek.
Fundamenteel Inzicht: Het toont aan dat het fenomeen "universele benadering" in floating-point rekenkunde robuust is tegen de non-associativiteit van optelling en implementatieonnauwkeurigheden, op voorwaarde dat de activeringsfunctie voldoende "scheidende" eigenschappen behoudt.
Beperkingen: De resultaten zijn bescheiden wat betreft lage precisie-formaten (bijv. float8), waar het aantal representeerbare waarden te klein is voor de afgeleide voorwaarden om te gelden zonder specifieke lookup-tabel-implementaties. Het artikel merkt ook op dat de bewijzen afhankelijk zijn van het bestaan van specifieke scheidende punten, wat kan falen voor bepaalde functies (zoals cosinus) of zeer lage precisies.

De auteurs benadrukken dat deze resultaten zijn afgeleid uit een nieuw kader dat niet afhankelijk is van stuksgewijze lineariteit, vaste sommatievolgorde of exacte activeringsgedragingen, en daarmee een rigoureuzere basis biedt voor het begrijpen van neurale netwerken in praktische, eindige precisie-omgevingen.