Sintesi Tecnica: Le Reti a Virgola Mobile con Differenziazione Automatica Possono Rappresentare Quasi Tutte le Funzioni a Virgola Mobile e i Loro Gradienti

1. Definizione del Problema

Le moderne applicazioni di reti neurali richiedono frequentemente non solo l'approssimazione di valori di funzioni, ma anche il calcolo dei gradienti rispetto agli input. Questi gradienti sono critici per compiti quali l'apprendimento automatico scientifico (risoluzione di equazioni differenziali alle derivate parziali), l'analisi di sensibilità, i problemi inversi, l'apprendimento per rinforzo, gli attacchi avversari e la generazione di input.

I risultati teorici nella teoria dell'approssimazione hanno stabilito che le reti neurali con parametri a valori reali e aritmetica esatta possono approssimare sia funzioni differenziabili che i loro gradienti su domini compatti. Tuttavia, queste garanzie teoriche non si applicano direttamente alle implementazioni pratiche. Le reti neurali nel mondo reale operano utilizzando l'aritmetica a virgola mobile (standard IEEE 754), dove i parametri e i valori intermedi sono limitati a un insieme finito di numeri, e le operazioni comportano errori di arrotondamento. Di conseguenza, una rete pratica è un algoritmo definito da una sequenza di operazioni in virgola mobile piuttosto che da una funzione continua a valori reali. Inoltre, i gradienti in questi sistemi sono calcolati tramite la Differenziazione Automatica (AD) (ad esempio, backpropagation) applicata a questo grafo computazionale. Sotto l'aritmetica a virgola mobile, l'AD non produce necessariamente le derivate di una funzione reale differenziabile, ma è invece il risultato di una specifica procedura computazionale soggetta a non-associatività e arrotondamento.

Il problema centrale affrontato in questo lavoro è: Possono le reti neurali a virgola mobile, se accoppiate alla differenziazione automatica, rappresentare arbitrarie funzioni di valore e arbitrarie funzioni di gradiente?

2. Metodologia e Framework

2.1 Definizioni e Setup

Gli autori definiscono una rete neurale a virgola mobile $f$ come una composizione di trasformazioni affini a virgola mobile $\rho_l$ e una funzione di attivazione puntuale $\sigma$:
$$f(x) = \rho_L \circ \sigma \circ \rho_{L-1} \circ \dots \circ \sigma \circ \rho_1(x)$$
dove $\rho_l(x) = A_l \otimes x \oplus b_l$. Qui, $\otimes$ e $\oplus$ denotano rispettivamente la moltiplicazione e l'addizione in virgola mobile, che includono operazioni di arrotondamento.

Il calcolo del gradiente è modellato utilizzando l'algoritmo di differenziazione automatica in modalità inversa, denotato come $DAD$. Per una funzione composta $\phi_x \circ f$, dove $\phi_x$ è una funzione scalare (ad esempio, una funzione di perdita o loss function) e $\phi'_x$ è la sua derivata, il gradiente è calcolato come:
$$DAD(\phi_x \circ f, x) = \phi'_x(f(x)) \otimes \rho'_L(z_L) \otimes \sigma'(y_{L-1}) \otimes \dots \otimes \rho'_1(x)$$
Fondamentalmente, le moltiplicazioni sono valutate in modo sinistro-associativo ($((a \otimes b) \otimes c) \dots$) per tenere conto della non-associatività delle operazioni in virgola mobile. Questa non-associatività è un meccanismo chiave sfruttato nelle dimostrazioni.

2.2 Strategia di Costruzione della Rete

Per dimostrare la rappresentabilità, gli autori costruiscono reti specifiche per disaccoppiare la rappresentazione del valore della funzione dalla rappresentazione del gradiente. La strategia centrale prevede la combinazione di due sottoreti, $f_1$ e $f_2$, utilizzando un'operazione di concatenazione ($\#$):

1. $f_1$ (Rete del Valore della Funzione): Progettata per restituire i valori target della funzione $f^*(x)$ producendo al contempo un gradiente nullo ($D f_1, x = 0$). Ciò viene ottenuto costruendo funzioni indicatrici per input specifici e sopprimendo i gradienti attraverso la moltiplicazione sequenziale per pesi piccoli.
2. $f_2$ (Rete del Gradiente): Progettata per restituire valori di funzione nulli ($f_2(x) = 0$) producendo al contempo un gradiente target specifico $g^*(x)$ quando il gradiente di input è non nullo. Questa rete utilizza la non-associatività della moltiplicazione in virgola mobile per manipolare l'ampiezza e la direzione del gradiente indipendentemente dal valore di output della funzione.

La rete finale è costruita come $f = f_2 \# f_1$, permettendo alla rete di soddisfare simultaneamente $f(x) = f^*(x)$ e $DAD(\phi_x \circ f, x) = g^*(x)$.

2.3 Condizioni sulle Funzioni di Attivazione

Le dimostrazioni si basano su specifiche condizioni tecniche (Condizioni 1–3) imposte sulla funzione di attivazione $\sigma$ e sulla sua derivata $\sigma'$. Queste condizioni assicurano la capacità di:

• Distinguere gli input (Condizione 1).
• Sopprimere o amplificare i gradienti senza overflow (Condizione 2).
• Generare valori di gradiente specifici nel primo strato (Condizione 3).

Gli autori verificano che queste condizioni siano soddisfatte da una vasta gamma di funzioni di attivazione pratiche, tra cui ReLU, ELU, GELU, Swish, Sigmoid e tanh, sotto standard di formati a virgola mobile (float16, float32, float64, bfloat16 e formati a 8 bit).

3. Contributi Chiave e Risultati

3.1 Rappresentazione di Valori e Gradienti Arbitrari (Teorema 3.1 / Teorema 1)

Il risultato primario stabilisce che per quasi tutte le funzioni target $f^*$ e i gradienti target $g^*$ (con una lieve condizione di coerenza dove $g^*(x)=0$ se il gradiente di input è zero), esiste una rete a virgola mobile $f$ tale che:
$$f(x) = f^*(x) \quad \text{e} \quad DAD(\phi_x \circ f, x) = g^*(x)$$
Ciò è valido per reti con appena 7 strati per le funzioni di attivazione standard (ReLU, ELU, GELU, Swish) e leggermente di più per Sigmoid e tanh, a condizione che il dominio rientri in un intervallo specifico (ad esempio, $[-\Omega/8, \Omega/8]^d$).

3.2 Rappresentazione di Gradienti Dipendenti dall'Input (Teorema 3.2 / Teorema 2)

Gli autori estendono il risultato per mostrare che una singola rete $f$ può rappresentare gradienti che sono funzioni arbitrarie sia dell'input $x$ che del gradiente di input $y = \phi'_x(f(x))$. Nello specifico, per quasi tutte le $f^*$ e $g^*(x, y)$ che soddisfano la simmetria $g^*(x, -y) = -g^*(x, y)$, esiste una rete $f$ tale che:
$$f(x) = f^*(x) \quad \text{e} \quad DAD(\phi_x \circ f, x) = g^*(x, \phi'_x(f(x)))$$
Questo risultato evidenzia una discrepanza fondamentale tra l'aritmetica esatta e quella a virgola mobile. In aritmetica esatta, il gradiente di una composizione $\nabla(\phi \circ f)$ deve essere proporzionale a $\phi'(f(x))$. In aritmetica a virgola mobile, a causa della non-associatività e dell'arrotondamento, la rete può produrre gradienti che non sono proporzionali al gradiente di input, "manipolando" efficacementamente il gradiente pur mantenendo il corretto valore di output della funzione.

3.3 Generalizzazione ad Altre Funzioni di Attivazione

Il documento fornisce teoremi generalizzati (Teoremi 5 e 7) per funzioni di attivazione che soddisfano le Condizioni 1–3, estendendo i risultati oltre l'insieme specifico $\Sigma$ a funzioni di attivazione generali.

4. Significato e Rivendicazioni

Il lavoro sostiene di aver dimostrato che le reti neurali a virgola mobile con differenziazione automatica possiedono un potere rappresentativo universale sia per i valori delle funzioni che per i gradienti, una proprietà non garantita dalla classica teoria dell'approssimazione che assume l'aritmetica reale.

La significatività di questo lavoro risiede nel:

1. Colmare il divario tra Teoria e Pratica: Valida la capacità teorica delle reti neurali di adattarsi ai gradienti estendendola agli algoritmi effettivamente utilizzati nei moderni framework di deep learning (PyTorch, TensorFlow), che si basano sull'aritmetica a virgola mobile.
2. Manipolazione del Gradiente: Rivela che le reti a virgola mobile possono eseguire compiti target (adattamento dei valori della funzione) pur avendo contemporaneamente gradienti "manipolati". Ciò implica che i gradienti calcolati tramite AD in contesti pratici potrebbero non riflettere strettamente la derivata della funzione matematica sottostante, ma sono invece artefatti del grafo computazionale e dell'arrotondamento.
3. Implicazioni per la Sicurezza e la Privacy: La capacità di adattarsi ai valori della funzione producendo al contempo gradienti arbitrari (ad esempio, nulli o fuorvianti) suggerisce potenziali meccanismi per proteggersi da attacchi o ragionamenti basati sul gradiente, poiché l'informazione sul gradiente può essere disaccoppiata dal comportamento della funzione.
4. Apprendimento Automatico Scientifico (Scientific ML): I risultati supportano il fondamento teorico per l'uso di reti neurali come surrogati per modelli fisici in cui sono richiesti sia la soluzione che la sua sensibilità (gradiente), confermando che le implementazioni a precisione finita possono teoricamente raggiungere la necessaria fedeltà.

Gli autori mantengono un tono modesto, osservando che i loro risultati valgono per "quasi tutte" le funzioni (escludendo un insieme di misura zero di casi patologici) e dipendono da specifiche condizioni riguardanti la dimensione del dominio e la precisione della virgola mobile (ad esempio, richiedendo $E \ge 6$ per i teoremi principali, sebbene esistano estensioni per precisioni inferiori). Non affermano che tutti i possibili comportamenti del gradiente siano ottenibili senza vincoli (ad esempio, il vincolo di simmetria $g^*(x, -y) = -g^*(x, y)$ è inerente alla definizione di AD).