Technische Samenvatting: Floating-Point Netwerken met Automatische Differentiatie Kunnen Bijna Alle Floating-Point Functies en Hun Gradiënten Representeren

1. Probleemstelling

Moderne toepassingen van neurale netwerken vereisen vaak niet alleen de benadering van functiewaarden, maar ook de berekening van gradiënten met betrekking tot inputs. Deze gradiënten zijn cruciaal voor taken zoals scientific machine learning (het oplossen van partiële differentiaalvergelijkingen), sensitiviteitsanalyse, inverse problemen, reinforcement learning, adversarial attacks en inputgeneratie.

Theoretische resultaten in de benaderingstheorie hebben vastgesteld dat neurale netwerken met reële parameters en exacte rekenkunde zowel differentieerbare functies als hun gradiënten kunnen benaderen op compacte domeinen. Deze theoretische garanties zijn echter niet direct van toepassing op praktische implementaties. Werkelijke neurale netwerken opereren met behulp van floating-point rekenkunde (IEEE 754 standaard), waarbij parameters en tussenliggende waarden beperkt zijn tot een eindige verzameling getallen, en operaties gepaard gaan met afrondingsfouten. Gevolgelijk is een praktisch netwerk een algoritme dat wordt gedefinieerd door een sequentie van floating-point operaties in plaats van een continue reële functie. Bovendien worden gradiënten in deze systemen berekend via Automatische Differentiatie (AD) (bijv. backpropagation) toegepast op deze computationele graaf. Onder floating-point rekenkunde zijn AD-outputs niet noodzakelijkerwijs de afgeleiden van een differentieerbare reële functie, maar zijn ze in plaats daarvan het resultaat van een specifieke computationele procedure die onderhevig is aan niet-associativiteit en afronding.

Het centrale probleem dat in dit werk wordt aangepakt is: Kunnen floating-point neurale netwerken, gecombineerd met automatische differentiatie, willekeurige functiewaarden en willekeurige gradiënten representeren?

2. Methodologie en Raamwerk

2.1 Definities en Opzet

De auteurs definiëren een floating-point neuraal netwerk $f$ als een compositie van floating-point affine transformaties $\rho_l$ en een puntgewijze activatiefunctie $\sigma$:
$$f(x) = \rho_L \circ \sigma \circ \rho_{L-1} \circ \dots \circ \sigma \circ \rho_1(x)$$
waarbij $\rho_l(x) = A_l \otimes x \oplus b_l$. Hierbij staan $\otimes$ en $\oplus$ voor respectievelijk floating-point vermenigvuldiging en optelling, welke afrondingsoperaties bevatten.

De gradiëntberekening wordt gemodelleerd met behulp van het reverse-mode automatische differentiatie algoritme, aangeduid als $DAD$. Voor een samengestelde functie $\phi_x \circ f$, waarbij $\phi_x$ een scalaire functie is (bijv. een verliesfunctie) en $\phi'_x$ de afgeleide daarvan, wordt de gradiënt berekend als:
$$DAD(\phi_x \circ f, x) = \phi'_x(f(x)) \otimes \rho'_L(z_L) \otimes \sigma'(y_{L-1}) \otimes \dots \otimes \rho'_1(x)$$
Cruciaal is dat de vermenigvuldigingen op een links-associatieve wijze worden geëvalueerd ($((a \otimes b) \otimes c) \dots$) om rekening te houden met de niet-associativiteit van floating-point operaties. Deze niet-associativiteit is een kernmechanisme dat in de bewijzen wordt geëxploiteerd.

2.2 Strategie voor Netwerkconstructie

Om de representeerbaarheid te bewijzen, construeren de auteurs specifieke netwerken om de representatie van de functiewaarde te ontkoppelen van de representatie van de gradiënt. De kernstrategie houdt in dat twee sub-netwerken, $f_1$ en $f_2$, worden gecombineerd met behulp van een concatenatie-operatie ($\#$):

1. $f_1$ (Functiewaarde Netwerk): Ontworpen om de doel-functiewaarden $f^*(x)$ te produceren terwijl het een nul-gradiënt genereert ($D f_1, x = 0$). Dit wordt bereikt door indicatorfuncties voor specifieke inputs te construeren en gradiënten te onderdrukken door sequentiële vermenigvuldiging met kleine gewichten.
2. $f_2$ (Gradiënt Netwerk): Ontworpen om nul functiewaarden te produceren ($f_2(x) = 0$) terwijl het een specifieke doel-gradiënt $g^*(x)$ produceert wanneer de input-gradiënt niet nul is. Dit netwerk maakt gebruik van de niet-associativiteit van floating-point vermenigvuldiging om de grootte en richting van de gradiënt onafhankelijk van de functiewaarde te manipuleren.

Het uiteindelijke netwerk wordt geconstrueerd als $f = f_2 \# f_1$, waardoor het netwerk gelijktijdig kan voldoen aan $f(x) = f^*(x)$ en $DAD(\phi_x \circ f, x) = g^*(x)$.

2.3 Condities op Activatiefuncties

De bewijzen steunen op specifieke technische condities (Condities 1–3) opgelegd aan de activatiefunctie $\sigma$ en de afgeleide $\sigma'$. Deze condities waarborgen het vermogen om:

• Inputs te onderscheiden (Conditie 1).
• Gradiënten te onderdrukken of te versterken zonder overflow (Conditie 2).
• Specifieke gradiëntwaarden te genereren in de eerste laag (Conditie 3).

De auteurs verifiëren dat deze condities standhouden voor een breed scala aan praktische activatiefuncties, inclusief ReLU, ELU, GELU, Swish, Sigmoid en tanh, onder standaard floating-point formaten (float16, float32, float64, bfloat16 en 8-bit formaten).

3. Belangrijkste Bijdragen en Resultaten

3.1 Representatie van Willekeurige Waarden en Gradiënten (Theorem 3.1 / Theorem 1)

Het primaire resultaat stelt dat voor bijna alle doel-functies $f^*$ en doel-gradiënten $g^*$ (met een milde consistentievoorwaarde waarbij $g^*(x)=0$ als de input-gradiënt nul is), er een floating-point netwerk $f$ bestaat zodanig dat:
$$f(x) = f^*(x) \quad \text{en} \quad DAD(\phi_x \circ f, x) = g^*(x)$$
Dit geldt voor netwerken met slechts 7 lagen voor standaard activatiefuncties (ReLU, ELU, GELU, Swish) en iets meer voor Sigmoid en tanh, mits het domein binnen een specifiek bereik ligt (bijv. $[-\Omega/8, \Omega/8]^d$).

3.2 Representatie van Gradiënten Afhankelijk van Input-afgeleiden (Theorem 3.2 / Theorem 2)

De auteurs breiden het resultaat uit om aan te tonen dat een enkel netwerk $f$ gradiënten kan representeren die willekeurige functies zijn van zowel de input $x$ als de input-gradiënt $y = \phi'_x(f(x))$. Specifiek, voor bijna alle $f^*$ en $g^*(x, y)$ die voldoen aan de symmetrie $g^*(x, -y) = -g^*(x, y)$, bestaat er een netwerk $f$ zodanig dat:
$$f(x) = f^*(x) \quad \text{en} \quad DAD(\phi_x \circ f, x) = g^*(x, \phi'_x(f(x)))$$
Dit resultaat benadrukt een fundamenteel verschil tussen exacte en floating-point rekenkunde. In exacte rekenkunde moet de gradiënt van een compositie $\nabla(\phi \circ f)$ proportioneel zijn aan $\phi'(f(x))$. In floating-point rekenkunde, door niet-associativiteit en afronding, kan het netwerk gradiënten produceren die niet proportioneel zijn aan de input-gradiënt, waardoor de gradiënt effectief "gemanipuleerd" wordt terwijl de correcte functiewaarde behouden blijft.

3.3 Generalisatie naar Andere Activatiefuncties

Het artikel biedt gegeneraliseerde theorems (Theorems 5 en 7) voor activatiefuncties die voldoen aan Condities 1–3, waarmee de resultaten worden uitgebreid voorbij de specifieke set $\Sigma$ naar algemene activatiefuncties.

4. Betekenis en Claims

Het artikel beweert aan te tonen dat floating-point neurale netwerken met automatische differentiatie beschikken over universele representatiekracht voor zowel functiewaarden als gradiënten, een eigenschap die niet gegarandeerd wordt door de klassieke benaderingstheorie die uitgaat van reële rekenkunde.

De betekenis van dit werk ligt in:

1. Overbruggen van Theorie en Praktijk: Het valideert dat het theoretische vermogen van neurale netwerken om gradiënten te fitten zich uitstrekt tot de werkelijke algoritmen die worden gebruikt in moderne deep learning frameworks (PyTorch, TensorFlow), die vertrouwen op floating-point rekenkunde.
2. Gradiëntmanipulatie: Het onthult dat floating-point netwerken doelgerichte taken kunnen uitvoeren (het fitten van functiewaarden) terwijl ze tegelijkertijd "gemanipuleerde" gradiënten kunnen hebben. Dit impliceert dat gradiënten die via AD in praktische settings worden berekend, niet strikt de afgeleide van de onderliggende wiskundige functie reflecteren, maar in plaats daarvan artefacten zijn van de computationele graaf en afronding.
3. Beveiligings- en Privacy-implicaties: Het vermogen om functiewaarden te fitten terwijl willekeurige (bijv. nul of misleidende) gradiënten worden geproduceerd, suggereert potentiële mechanismen voor bescherming tegen gradiënt-gebaseerde aanvallen of redeneringen, aangezien de gradiëntinformatie van het functiegedrag kan worden ontkoppeld.
4. Scientific Machine Learning: De resultaten ondersteunen de theoretische basis voor het gebruik van neurale netwerken als surrogaten voor fysieke modellen waarbij zowel de oplossing als de sensitiviteit (gradiënt) vereist zijn, en bevestigen dat finite-precision implementaties theoretisch de benodigde getrouwheid kunnen bereiken.

De auteurs hanteren een bescheiden toon en merken op dat hun resultaten gelden voor "bijna alle" functies (uitgesloten van een maat nul set van pathologische gevallen) en leunen op specifieke condities met betrekking tot de domeingrootte en floating-point precisie (bijv. het vereisen van $E \ge 6$ voor de hoofdtheorema's, hoewel extensies voor lagere precisie bestaan). Ze beweren niet dat alle mogelijke gradiëntgedragingen bereikbaar zijn zonder beperkingen (bijv. de symmetrie-eis $g^*(x, -y) = -g^*(x, y)$ is inherent aan de definitie van AD).