🤖 machine learning

Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations

Questo articolo stabilisce un quadro generale di distinguibilità per caratterizzare la rappresentabilità universale delle reti neurali in virgola mobile in base a semantiche di esecuzione realistiche, dimostrando che ordini di riduzione arbitrari e errori ulp limitati nelle implementazioni delle attivazioni non precludono la rappresentazione esatta della funzione per una vasta classe di funzioni di attivazione pratiche.

Autori originali: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

Pubblicato 2026-05-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina una rete neurale come una fabbrica gigante e complessa progettata per ordinare e trasformare materie prime (dati) in prodotti finiti (risposte). Per decenni, i progetti di queste fabbriche sono stati disegnati da matematici che assumevano che la fabbrica disponesse di strumenti perfetti. Assumevano che, se si aggiungevano due numeri, il risultato fosse sempre esattamente corretto, e che gli "interruttori di attivazione" della fabbrica (le parti che decidono quanto segnale far passare) funzionassero con una precisione matematica assoluta.

Tuttavia, i computer del mondo reale non utilizzano strumenti perfetti. Usano l'aritmetica in virgola mobile, che è come una fabbrica che impiega righelli leggermente consumati. Quando si sommano numeri, l'ordine in cui vengono aggiunti può cambiare il risultato (perché il righello non è perfetto), e gli "interruttori di attivazione" potrebbero non essere impostati sulla posizione teorica esatta: potrebbero essere fuori di una frazione minuscola dello spessore di un capello.

Questo articolo pone una domanda cruciale: Se costruiamo la nostra fabbrica di reti neurali con questi strumenti imperfetti e reali, può ancora fare tutto ciò che ci serve? Nello specifico, può ancora imparare a rappresentare qualsiasi possibile modello o funzione, o l'imperfezione rompe la magia?

Ecco la scomposizione delle loro scoperte utilizzando analogie semplici:

1. Il problema dell'"Ordine delle Operazioni"

In un mondo perfetto, aggiungere numeri è come impilare blocchi: non importa se impili il blocco A su B, poi C, o B su C, poi A; la torre è la stessa.
Nel mondo reale (virgola mobile), l'ordine conta. È come cercare di mescolare vernice in un secchio che è leggermente bucato. Se versi prima la vernice rossa, poi la blu, ottieni una tonalità leggermente diversa rispetto a versare prima la blu, poi la rossa.

La Scoperta dell'Articolo: Gli autori hanno dimostrato che anche se la fabbrica usa qualsiasi ordine casuale per mescolare queste vernici (aggiungere numeri), la rete può ancora imparare qualsiasi cosa, a condizione che gli "interruttori di attivazione" siano sufficientemente buoni. Non è necessario un ordine fisso e perfetto per portare a termine il lavoro.

2. Il Test della "Distinzione"

Per capire come una fabbrica ordina gli oggetti, immagina di avere due mele dall'aspetto molto simile (Input A e Input B).

Il Problema: Se la prima macchina della fabbrica (il primo strato) schiaccia entrambe le mele nella forma esatta, il resto della fabbrica non saprà mai che erano diverse. Le tratterà come la stessa mela per sempre.
La Soluzione dell'Articolo: Gli autori hanno introdotto una regola chiamata "Distinzione". Hanno dimostrato che affinché una rete sia un apprendista "universale" (capace di fare qualsiasi cosa), il suo primo strato deve essere in grado di distinguere ogni singola coppia di input diversi. Se il primo strato non riesce a distinguere due input diversi, l'intera rete fallisce.
La Buona Notizia: Hanno mostrato che la maggior parte delle funzioni di attivazione comuni (come ReLU, Sigmoid, Tanh, Swish, ecc.) possono distinguere gli input, anche con una matematica imperfetta.

3. Il Problema dell'"Interruttore Imperfetto"

In teoria, un interruttore potrebbe attivarsi esattamente quando l'input raggiunge 0,5. Nella realtà, a causa dei limiti di produzione, l'interruttore potrebbe attivarsi a 0,5000001 o 0,4999999.

La Scoperta dell'Articolo: Le teorie precedenti dicevano: "Se l'interruttore non è perfetto, la rete potrebbe rompersi". Questo articolo dice: "Non necessariamente".
Hanno dimostrato che finché l'"imperfezione" (l'errore) è piccola e limitata (come essere fuori di sole alcune unità minuscole, o "ulp"), la rete può ancora distinguere gli input e imparare qualsiasi cosa.
Il Risultato: Hanno confermato che le funzioni di attivazione popolari utilizzate nella vita reale—come Sigmoid, Tanh, ReLU, GELU, Swish e persino Sin—sono abbastanza robuste per funzionare perfettamente, anche se le loro implementazioni nel codice informatico non sono matematicamente perfette.

4. Il Controesempio del "Coseno"

Gli autori hanno anche trovato un caso specifico in cui la fabbrica si rompe. Hanno dimostrato che se si usa una funzione di attivazione Coseno (che oscilla su e giù come un'onda), la rete potrebbe non riuscire a distinguere tra certi input perché l'onda si ripete. È come avere una fabbrica in cui due palline di colori diversi vengono dipinte della stessa esatta tonalità di blu perché la macchina della vernice cicla attraverso i colori troppo velocemente.

Questo spiega perché alcune funzioni teoriche funzionano in classe di matematica ma falliscono nel codice informatico reale.

Riepilogo: La Grande Lezione

L'articolo dice essenzialmente: "Non preoccuparti dei piccoli errori nella matematica del tuo computer."

Anche se i computer reali hanno:

Righelli non perfetti (errori di arrotondamento),
Ordini di mescolamento che cambiano il risultato (addizione non associativa),
Interruttori non calibrati perfettamente (implementazioni di attivazione inesatte),

...le reti neurali costruite con questi strumenti sono ancora abbastanza potenti da rappresentare qualsiasi funzione gli si lanci contro, a condizione che si utilizzino funzioni di attivazione standard (come ReLU o Sigmoid). La "magia" delle reti neurali sopravvive alla transizione dalla teoria matematica perfetta all'ingegneria reale e disordinata.

Riepilogo Tecnico: Potere Espressivo delle Reti Neurali in Virgola Mobile con Ordini di Riduzione Arbitrari e Implementazioni di Attivazione Inesatte

1. Enunciato del Problema

I quadri teorici esistenti per il potere espressivo delle reti neurali si basano prevalentemente sull'aritmetica reale esatta. Tuttavia, le reti neurali pratiche operano sotto aritmetica in virgola mobile a precisione finita, caratterizzata da:

Rappresentabilità Finita: Parametri e attivazioni appartengono a un insieme discreto di numeri macchina.
Errori di Arrotondamento: Le operazioni aritmetiche comportano errori di arrotondamento.
Non Associatività: L'addizione in virgola mobile non è associativa, il che significa che l'output delle trasformazioni affini dipende dall'ordine di riduzione (la sequenza con cui i termini sono sommati).
Implementazioni Inesatte: Le implementazioni pratiche delle funzioni di attivazione (es. exp, tanh, sin) spesso si discostano dai valori correttamente arrotondati di diverse unità nell'ultima cifra significativa (ulp) per ottimizzare il costo computazionale.

I lavori precedenti che affrontano l'espressività in virgola mobile sono stati limitati da assunzioni idealizzate, quali:

Restringere l'analisi ad attivazioni lineari a tratti (es. ReLU, Step).
Assumere ordini di riduzione fissi da sinistra a destra.
Assumere implementazioni di attivazione correttamente arrotondate.

Queste assunzioni non riescono a catturare il comportamento delle reti in ambienti moderni e massivamente paralleli (es. GPU) dove gli ordini di riduzione variano e dove attivazioni lisce e ampiamente utilizzate (es. Sigmoid, GELU, Swish) sono implementate con errori di approssimazione limitati. Di conseguenza, rimane incerto se le reti neurali in virgola mobile mantengano la loro rappresentabilità universale in queste condizioni realistiche.

2. Metodologia

Gli autori introducono un quadro generale per analizzare la rappresentabilità universale delle reti neurali in virgola mobile. Una rete è considerata un "rappresentatore universale" se può rappresentare ogni funzione tra domini in virgola mobile prescritti esattamente.

Definizioni Chiave e Quadro Teorico

Reti Neurali in Virgola Mobile ( $N(I,S)$ ): Definite sotto un ordine di riduzione arbitrario $S$ . La trasformazione affine nello strato $\ell$ calcola $\Sigma((w_i \otimes x); o_{d_{in}}) \oplus b_i$ , dove $\Sigma$ denota la somma di riduzione secondo l'ordine $o$ , e $\otimes, \oplus$ sono moltiplicazione e addizione in virgola mobile.
Distinguibilità: Il concetto fondamentale introdotto è la $\sigma$ -distinguibilità. Un dominio $X$ $X$ è $\sigma$ $σ$ -distinguibile sotto $S$ $S$ se per ogni coppia distinta $x, x' \in X$ $x, x^{'} \in X$ , esiste una trasformazione affine in virgola mobile $\phi$ $ϕ$ tale che $\sigma(\phi(x)) \neq \sigma(\phi(x'))$ $σ (ϕ (x)) \neq = σ (ϕ (x^{'}))$ .
- Necessità: Il lavoro dimostra che se un dominio non è $\sigma$ -distinguibile, la rete non può rappresentare tutte le funzioni su quel dominio (Lemma 2).
- Sufficienza: Sotto condizioni lievi sulla funzione di attivazione (Condizione 1), la $\sigma$ -distinguibilità è mostrata essere sufficiente per la rappresentabilità universale (Teorema 5).

Approccio Tecnico

Separazione dei Punti: Gli autori definiscono "punti di separazione" ( $\eta$ ) dove l'output della funzione di attivazione cambia in modo discontinuo rispetto alla griglia in virgola mobile (cioè $\sigma(\eta^-) \notin \{\sigma(\eta), \sigma(\eta^+)\}$ ). Stabiliscono le condizioni sotto le quali questi punti esistono sia per implementazioni correttamente arrotondate che inesatte.
Trasferibilità: Una serie di lemmi tecnici (Sezione V) dimostra che, sotto la Condizione 1, coppie specifiche di numeri in virgola mobile possono essere "trasferite" a valori target utilizzando addizioni da sinistra a destra e funzioni di attivazione. Ciò permette la costruzione di reti che isolano input specifici.
Gestione dell'Inesattezza: Per implementazioni con errori ulp limitati, gli autori derivano condizioni (Condizione 2) che garantiscono che l'errore di approssimazione non collassi i necessari punti di separazione, purché la precisione $p$ sia sufficientemente alta (es. $p \geq 7$ ).

3. Contributi Chiave

A. Quadro Generale di Distinguibilità

Il lavoro stabilisce una condizione necessaria e sufficiente per la rappresentabilità universale basata sulla distinguibilità.

Condizione Necessaria: Se una rete non può distinguere ogni coppia di input distinti nel primo strato tramite una trasformazione affine seguita da attivazione, non può rappresentare tutte le funzioni. Questo quadro generalizza i precedenti controesempi (es. coseno correttamente arrotondato) a classi più ampie di funzioni.
Condizione Sufficiente: Se la funzione di attivazione soddisfa la Condizione 1 (esistenza di specifici valori di output $C_0, C_1, C_2$ ) e il dominio è $\sigma$ -distinguibile, una rete a quattro strati può rappresentare qualsiasi funzione su quel dominio. Crucialmente, ciò vale per ordini di riduzione arbitrari, dimostrando che la rappresentabilità universale non è un artefatto di una specifica sequenza di somma.

B. Estensione alle Funzioni di Attivazione Pratiche

La teoria si estende oltre le funzioni lineari a tratti a una vasta classe di attivazioni pratiche e lisce:

Correttamente Arrotondate: Il lavoro dimostra la rappresentabilità universale per versioni correttamente arrotondate di Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish e sin.
Implementazioni Inesatte: Gli autori forniscono condizioni verificabili sotto le quali implementazioni con errori ulp limitati (fino a $K=10$ ulp) rimangono rappresentatori universali. Ciò copre librerie pratiche dove funzioni come exp e sin sono approssimate.

C. Risultati Negativi e Controesempi

Il quadro identifica specifiche funzioni di attivazione che falliscono nell'essere rappresentatori universali sotto certe condizioni.

Corollario 4: Reti che utilizzano coseno, $\sqrt{1+x^2}$ , cosh, o $e^{-x^2}$ correttamente arrotondati non possono rappresentare tutte le funzioni su domini specifici (es. $[-2^{p+3}, 2^{p+3}]_F$ ) perché non soddisfano la condizione di distinguibilità. Ciò generalizza il noto controesempio dell'attivazione coseno.

4. Risultati

Il lavoro stabilisce i seguenti teoremi principali:

Teorema 5: Se $\sigma$ soddisfa la Condizione 1 e $X$ è $\sigma$ -distinguibile con intervallo $[-2^{e_{max}}, 2^{e_{max}}]_F$ , allora qualsiasi funzione $f: X \to (F \cup \{-\infty, \infty\})^{d_{out}}$ può essere rappresentata da una rete $\sigma$ a quattro strati sotto qualsiasi ordine di riduzione $S$ .
Corollari 9 e 12: Per Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish e sin correttamente arrotondati, la rappresentabilità universale vale su domini ampi (es. $(-2^{e_{max}-1}, 2^{e_{max}-1})_F^d$ ). Notabilmente, persino la funzione di attivazione Identità è mostrata essere un rappresentatore universale in aritmetica in virgola mobile (a differenza dell'aritmetica reale) a causa della natura non affine delle operazioni in virgola mobile.
Corollari 13 e 16: Per Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish e sin implementati con errori ulp limitati (Condizione 2), la rappresentabilità universale vale purché la precisione $p \geq 7$ .

5. Significato e Affermazioni

Il lavoro afferma di generalizzare sostanzialmente la comprensione teorica delle reti neurali in virgola mobile:

Realismo: Si sposta oltre le assunzioni idealizzate (ordini di riduzione fissi, arrotondamento corretto) verso modelli che riflettono l'esecuzione hardware effettiva (ordini arbitrari, errori ulp limitati).
Ampia Applicabilità: Fornisce le prime garanzie teoriche per il potere espressivo di reti che utilizzano attivazioni lisce e non lineari a tratti (come GELU e Swish) sotto semantica realistica in virgola mobile.
Insight Fondamentale: Dimostra che il fenomeno della "approssimazione universale" in aritmetica in virgola mobile è robusto alla non associatività dell'addizione e alle imprecisioni di implementazione, purché la funzione di attivazione mantenga proprietà di "separazione" sufficienti.
Limitazioni: I risultati sono modesti riguardo ai formati a bassa precisione (es. float8), dove il numero di valori rappresentabili è troppo piccolo perché le condizioni derivate valgano senza implementazioni specifiche tramite tabelle di ricerca. Il lavoro nota inoltre che le dimostrazioni si basano sull'esistenza di specifici punti di separazione, che possono fallire per certe funzioni (come il coseno) o precisioni molto basse.

Gli autori sottolineano che questi risultati sono derivati da un nuovo quadro che non si basa sulla linearità a tratti, ordini di somma fissi o comportamenti esatti delle attivazioni, offrendo così una base più rigorosa per la comprensione delle reti neurali in contesti pratici a precisione finita.