🤖 machine learning

Floating-Point Neural Networks Are Provably Robust Universal Approximators

Dit artikel stelt de eerste Interval Universele Approximatiestelling voor floating-point neurale netwerken vast, waarbij wordt bewezen dat zij de directe beeldafbeelding van elke afgeronde doelunctie perfect kunnen benaderen en daarmee het bestaan van bewijsbaar robuuste netwerken en de computationele volledigheid van floating-point straight-line programma's garanderen.

Oorspronkelijke auteurs: Geonho Hwang, Wonyeol Lee, Yeachan Park, Sejun Park, Feras Saad

Gepubliceerd 2026-01-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Geonho Hwang, Wonyeol Lee, Yeachan Park, Sejun Park, Feras Saad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Gepixelde" Realiteit

Stel je voor dat je een perfecte, vloeiende curve probeert te tekenen op een vel papier. In de wereld van de pure wiskunde (de "Reële Getallen"-setting) heb je een oneindige voorraad inkt en kun je een lijn tekenen die zo dun is dat deze geen breedte heeft. Je kunt elk punt op de curve met absolute precisie raken.

Echter, in de echte wereld van computers hebben we geen oneindige inkt. We hebben floating-point getallen. Zie dit als een raster van kleine, discrete pixels. Je kunt geen perfect vloeiende lijn tekenen; je kunt alleen stippen op specifieke rastervierkanten plaatsen. Als je een curve probeert te tekenen, ziet deze er "gekarteld" of "gepixelde" uit.

Lange tijd maakten computerwetenschappers zich zorgen dat omdat neurale netwerken (AI-hersenen) draaien op deze "gepixelde" computers, ze hun superkrachten zouden kunnen verliezen. Specifiek waren ze bezorgd dat als je een AI zou maken die robuust is (wat betekent dat het niet in de war raakt door minuscule, ruisachtige veranderingen in de input), deze te "gepixelde" zou zijn om complexe taken nauwkeurig te leren.

Dit artikel zegt: "Maak je geen zorgen. Zelfs met het gepixelde raster kan de AI nog steeds alles perfect leren."

Het Kernprobleem: Het "Liniaal" vs. De "Kaart"

Om te begrijpen wat de doorbraak is, moeten we kijken naar hoe we testen of een AI robuust is.

De Oude Manier (Reële Getallen): Stel je voor dat je een kaart van een stad hebt (de functie die de AI moet leren). Je wilt bewijzen dat als je ergens in een specifieke buurt staat (een input-box), je altijd in hetzelfde district op de kaart terechtkomt. In de oude wiskundige wereld kon je dit bewijzen door aan te tonen dat de "schaduw" van de AI (zijn intervalanalyse) de buurt perfect dekt.
Het Nieuwe Probleem (Floating Point): Wanneer we overstappen naar een computer, is de kaart niet langer vloeiend; het is een raster. De "buurt" is nu een verzameling specifieke rastervierkanten. De oude wiskundige bewijzen braken omdat ze ervan uitgingen dat je oneindige precisie kon gebruiken. Ze hielden geen rekening met het feit dat computers getallen afronden (zoals $0,99999$ afronden naar $1,0$).

De grote vraag was: Kunnen we nog steeds bewijzen dat een computergestuurde AI robuust is en elke functie kan leren, zelfs met al deze afrondingen en pixelatie?

De Oplossing: De "Perfecte Pixel Matcher"

De auteurs bewijzen dat dit ja, kan. Ze hebben een nieuwe wiskundige stelling ontwikkeld (een "Interval Universal Approximation" stelling) die specif kind is voor floating-point getallen.

Hier is de analogie:
Stel je voor dat je een doelafbeelding hebt die uit pixels bestaat (de "Afgeronde Doelfunctie"). Je wilt een machine bouwen (een Neuraal Netwerk) die, wanneer je er een doos met pixels in voert, exact dezelfde doos met pixels produceert als de doelafbeelding zou produceren.

Vroegere overtuiging: Omdat computers getallen afronden, zou de machine er altijd net naast kunnen zitten. Het zou "goed genoeg" kunnen zijn, maar nooit exact juist.
De bevinding van dit artikel: De auteurs hebben een specifiek type neuraal netwerk geconstrueerd dat werkt als een perfecte pixel matcher. Hoe de computer de getallen ook afrondt, dit netwerk kan zo worden gebouwd dat het exact hetzelfde resultaat produceert als de doelfunctie voor elke mogelijke input.

De "Magische" Truc:
Het artikel laat zien dat de "onvolkomenheden" van floating-point wiskunde (de afrondingsfouten) eigenlijk als kenmerken gebruikt kunnen worden, in plaats van als fouten. Door het netwerk zorgvuldig te ontwerpen, laten de auteurs zien dat het netwerk de afrondingsfouten op een manier kan "vangen" waardoor het tussen verschillende rastervierkanten perfect onderscheid kan maken. Het is also eigenlijk de kartelige randen van de pixels gebruiken om een scherper, preciezer slot-en-sleutel systeem te creëren.

Belangrijkste Conclusies (De "Wat maakt dit belangrijk?")

1. Robuustheid is Mogelijk (Het "Onbreekbare Schild")

In de wereld van AI-veiligheid betekent "robuustheid" dat de AI niet in de war wordt gebracht door een minuscule, bijna onzichtbare verandering aan een afbeelding (zoals een sticker op een stopbord waardoor de AI denkt dat het een snelheidsbord is).

De claim: Het artikel bewijst dat als er een ideaal, robuust manier bestaat om data te classificeren (zelfs als dat nog geen neuraal netwerk is), we een neuraal netwerk kunnen bouwen dat exact die robuustheid heeft.
De metafoor: Als er in theorie een perfect, onbreekbaar schild bestaat, bewijst dit artikel dat we een fysiek schild van computercode kunnen bouwen dat net zo onbreekbaar is. We hoeven de nauwkeurigheid niet op te offeren om veiligheid te krijgen.

2. De "Identiteit" Verrassing

Normaal gesproken, als je een zeer eenvoudige activatiefunctie gebruikt (zoals de "Identiteit"-functie, waarbij de output simpelweg de input is), is een neuraal netwerk slechts een eenvoudige rechte lijn. Het kan geen complexe curven leren.

De twist: In de wereld van floating-point getallen kan zelfs een netwerk dat de "Identiteit"-functie gebruikt, complexe, niet-lineaire vormen leren!
Waarom? Omdat de afrondingsfouten van de computer de "rechte lijn" op pixelniveau laten wiebelen en buigen. Het artikel bewijst dat deze wiebelingen genoeg zijn om elke functie te benaderen. Het is alsof je zegt dat een rechte liniaal een cirkel kan tekenen als je alleen een raster van stippen hebt en precies weet hoe je de hoeken moet afronden.

3. De Kracht van "Kleine Tools"

Het artikel laat ook zien dat je geen fancy tools nodig hebt om elk computerprogramma te simuleren. Je hebt alleen optelling en vermenigvuldiging nodig (en constanten).

De metafoor: Stel je voor dat je een enorme, complexe fabriek hebt (een computerprogramma). Het artikel bewijst dat je een machine kunt bouen die exact hetzelfde werk doet met alleen een hamer en een schroevendraaier, mits je ze op de juiste manier arrangeert. Dit suggereert dat de basis wiskundige operaties binnen een neuraal netwerk ongelooflijk krachtig zijn, zelfs in de beperkte wereld van floating-point getallen.

Samenvatting

Dit artikel overbrugt de kloof tussen wiskundige theorie (die uitgaat van perfecte, oneindige precisie) en de computerrealiteit (die gebruik maakt van imperfecte, afgeronde getallen).

Het vertelt ons dat de "pixelatie" van computers de kracht van neurale netwerken niet beperkt. We kunnen nog steeds AI-systemen bouwen die:

Universeel zijn: Ze kunnen elke taak leren.
Bewijsbaar Robuust zijn: We kunnen wiskundig bewijzen dat ze niet worden misleid door kleine fouten of aanvallen.
Exact zijn: Ze kunnen een doelرfunctie perfect matchen, niet alleen "bijna goed".

De auteurs hebben ons in feite de blauwdrukken gegeven om een "perfect robuuste" AI te bouwen, zelfs wanneer deze draait op de imperfecte hardware van de echte wereld.

Technische Samenvatting: Floating-Point Neurale Netwerken zijn Bewijsbaar Robuuste Universele Approximatoren

1. Probleemstelling

De klassieke Universele Approximatie (UA) stelling en de recentere Interval Universele Approximatie (IUA) stelling stellen vast dat neurale netwerken continue functies en hun directe beeldkaarten (intervallen) met willekeurige nauwkeurigheid kunnen benaderen. Deze theoretische resultaten rusten echter op de onrealistische aanname dat neurale netwerken opereren over oneindig precieze reële getallen. In de praktijk gebruiken software-implementaties eindige-precisie floating-point rekenkunde, wat discretisering, begrensdheid, afrondingsfouten en potentieel overflow/underflow introduceert.

De centrale open vraag die dit artikel behandelt, is of de IUA-stelling standhoudt in de floating-point setting. Specifiek: kan een floating-point neuraal netwerk, wanneer geanalyseerd via abstracte interpretatie (intervaldomein), de directe beeldkaart van een afgeronde doelunctie perfect vatten? Eerdere werken hebben dit niet vastgesteld, grotendeels omdat de inherente afrondingsfouten in floating-point operaties de bewijstechnieken gebruikt voor reële netwerken (bijv. de constructie van specifieke sub-netwerken die steunen op exacte rekenkunde) ongeldig maken.

2. Methodologie

De auteurs ontwikkelen een rigoureus theoretisch kader om de kloof tussen reële theorie en floating-point praktijk te overbruggen.

2.1 Formalisering van Floating-Point Semantiek

Het artikel definieert neurale netwerken als functies over de verzameling eindige floating-point getallen $\mathcal{F}$ , gebruikmakend van IEEE-754 conforme operaties ( $\oplus, \ominus, \otimes$ ) met de modus "round to nearest (ties to even)". De intervalsemantiek $\nu^\sharp$ wordt gedefinieerd over abstracte intervallen $\langle a, b \rangle$ , die de verzameling floats binnen $[a, b]$ vertegenwoordigen.

2.2 Condities op Activatiefuncties

Om de stelling te bewijzen, introduceren de auteurs Conditie 1, een set restricties op de activatiefunctie $\sigma: \mathcal{F} \to \mathcal{F}$ . Deze condities zorgen ervoor dat de functie kan:

Een exacte nul en een specifieke niet-nul waarde binnen een begrensde range produceren.
Monotonie of specifieke drempelgedrag vertonen rond een kritieke waarde $\eta$ .
Voldoen aan een Lipschitz-achtige continuïteitsrestrictie om ongekende groei te voorkomen.

Het artikel demonstreert dat de correct afgeronde versies van veelvoorkomende activatiefuncties (ReLU, GELU, Sigmoid, Tanh, etc.) aan deze condities voldoen, vaak door gebruik te maken van Lemma 1, die eigenschappen van reële functies naar hun floating-point tegenhangers mapt.

2.3 Bewijsstrategie: Separabiliteit en Indicatorconstructie

De kern van het bewijs behelst het construeren van een neuraal netwerk dat fungeert als een "universele interval-approximator". De methodologie verloopt in twee hoofdfasen:

Separabiliteit: De auteurs definiëren een eigenschap genaamd $([a, b]_\mathcal{F}, \eta, K, L_\phi, L_\psi)$ -separabiliteit. Deze eigenschap garandeert de existentie van netwerken die geschaalde indicatorfuncties kunnen implementeren (bijv. inputs $\le z$ mappen naar 0 en inputs $> z$ mappen naar $K$ ) onder intervalsemantiek.
- Het bewijs construeert specifieke sub-netwerken (bijv. $\mu_z$ , $\tau_{\theta, \theta'}$ ) die afrondingsfouten exploiteren om intervallen te "contracteren". Bijvoorbeeld: een netwerk is ontworpen zodanig dat inputs in een specifiek bereik na passage door de activatiefunctie mappen naar een singleton-interval $\langle \eta, \eta \rangle$ of $\langle \eta^+, \eta^+ \rangle$ .
- Cruciaal is dat de constructie oneindige waarden in tussenliggende lagen vermijdt, waarmee de overflow-problemen wordt aangepakt die reële bewijzen plagen wanneer gewichten naar willekeurige grootteordes worden geschaald.
Compositie voor Universele Approximatie: Gebruikmakend van de separabiliteitseigenschap, construeren de auteurs netwerken voor:
- Indicatorfuncties van willekeurige boxen.
- Indicatorfuncties van willekeurige deelverzamelingen van de inputruimte.
- Ten slotte de doelunctie zelf, door deze uit te drukken als een floating-point lineaire combinatie van deze indicatorfuncties. Het bewijs beheert de floating-point sommatie zorgvuldig om te waarborgen dat de geaccumuleerde afrondingsfouten perfect uitlijnen om de directe beeldkaart van de doelunctie te reconstrueren.

3. Belangrijkste Bijdragen

3.1 De Floating-Point IUA-stelling (Stelling 1)

Het artikel bewijst dat voor elke doelunctie $f: \mathbb{R}^d \to \mathbb{R}$ en een brede klasse van activatiefuncties die aan Conditie 1 voldoen, er een floating-point neuraal netwerk $\nu$ bestaat zodanig dat zijn intervalsemantiek $\nu^\sharp$ exact de directe beeldkaart berekent van de afgeronde doelunctie $\hat{f}$ over het domein $[-1, 1]^d \cap \mathcal{F}^d$ .

Exactheid: In tegenstelling tot de reële IUA die $\delta$ -approximatie bereikt, bereikt de floating-point versie $\delta = 0$ (exacte match) omdat het domein eindig is.
Generaliteit: De stelling geldt voor willekeurige doeluncties (niet alleen continue functies) en een breed scala aan activatiefuncties, inclus_ de identiteitsfunctie (wat onmogelijk is in reële IUA).

3.2 Existentie van Bewijsbaar Robuuste Netwerken (Stelling 2)

Als een corolarium bewijst het artikel dat als een ideale robuuste classifier bestaat (zelfs als dit geen neuraal netwerk is), er een floating-point neuraal netwerk bestaat dat bewijsbaar robuust is via intervalanalyse en identieke voorspellingen doet. Dit lost de vraag op of er fundamentele limieten bestaan aan de expressiviteit van bewijsbaar robuuste netwerken in de floating-point setting: dergelijke limieten bestaan niet.

3.3 Floating-Point Interval-Volledigheid (Stelling 3)

Het artikel stelt een verrassend resultaat vast met betrekking tot computationele volledigheid: de klasse van straight-line floating-point programma's die alleen optelling ( $\oplus$ ) en vermenigvuldiging ( $\otimes$ ) gebruiken, is floating-point interval-compleet. Dit betekent dat dergelijke eenvoudige programma's de intervalsemantiek van elk terminerend floating-point programma kunnen simuleren dat eindige floats als input neemt en eindige of oneindige floats teruggeeft. Dit resultaat breidt de IUA-stelling uit naar de identiteitsactivatiefunctie over het gehele domein $\mathcal{F}^d$ .

4. Resultaten en Vergelijkingen

Het artikel benadrukt drie fundamentele verschillen tussen de nieuwe floating-point IUA-stelling en eerdere reële resultaten:

Doeluncties: Reële IUA benadert continue functies; Floating-point IUA berekent exact de afbeelding van elke afgeronde doelunctie (aangezien het domein eindig is).
Activatiefuncties: Reële IUA vereist "squashable" (niet-affiene) activaties; Floating-point IUA geldt zelfs voor de identiteitsactivatie. Dit komt omdat floating-point affine transformaties niet strikt affien zijn over de reële getallen vanwege afrondingsfouten, waardoor ze lineariteit kunnen doorbreken en niet-lineaire gedragingen kunnen benaderen.
Approximatie versus Exactheid: Reële resultaten bieden $\delta$ -approximaties; floating-point resultaten bieden exacte matches voor de afgeronde doelunctie.

5. Betekenis en Claims

De auteurs claimen dat dit werk de theoretische kloof overbrugt tussen abstracte interpretatie-gebaseerde robuustheidsverificatie en praktische floating-point implementaties.

Theoretische Zekerheid: Het demonstreert dat het gebrek aan state-of-the-art nauwkeurigheid in bewijsbaar robuuste netwerken niet te wijten is aan een fundamentele beperking in hun expressieve kracht, maar waarschijnlijk aan optimalisatie-uitdagingen of de specifieke verificatie-algoritmen die worden gebruikt.
Volledigheid: Het resultaat over interval-volledigheid suggereert dat eenvoudige rekenkundige operaties voldoende zijn om complexe floating-point gedragingen te simuleren onder intervalsemantiek, wat nieuwe inzichten biedt in het computationele vermogen van floating-point programma's.
Praktische Relevantie: Door de IUA-stelling te valideren voor floating-point getallen, biedt het artikel een theoretische basis voor het gebruik van intervalanalyse in veiligheidskritische domeinen (gezondheidszorg, autonoom rijden) waar floating-point rekenkunde de standaard is.

Het artikel stelt expliciet dat dit existentiebewijzen zijn; het claimt niet dat huidige trainingsalgoritmen dergelijke netwerken gemakkelijk kunnen vinden, noch stelt het nieuwe trainingsmethoden voor. De bijdrage is strikt theoretisch en stelt vast dat het "expressiviteit-plafond" voor bewijsbaar robuuste floating-point netwerken effectief niet-bestaand is.