Limitations of Learning Tanh Neural Networks with Finite Precision

Sintesi Tecnica: Limitazioni dell'Apprendimento di Reti Neurali Tanh con Precisione Finita

Enunciato del Problema
Questo articolo investiga i limiti fondamentali dell'apprendimento di classi di reti neurali con funzioni di attivazione tangente iperbolica ($\tanh$) sotto aritmetica a precisione finita. Sebbene i risultati teorici stabiliscano che le reti neurali possiedano capacità di approssimazione universale, l'apprendimento pratico è vincolato dalla disponibilità di un numero finito di valori campionati e dalla precisione finita dei dispositivi computazionali. Gli autori affrontano la domanda: Quanti campioni $m$ sono necessari per garantire che un algoritmo possa approssimare ogni funzione in una classe di reti $\tanh$ con una specifica accuratezza $\epsilon$?

Lo studio si concentra sull'interazione tra la natura fluida e non omogenea delle attivazioni $\tanh$ e i vincoli imposti dalla precisione finita (quantizzazione). A differenza delle reti ReLU, dove possono essere costruite esattamente funzioni a "bump" localizzate grazie alla proprietà di omogeneità ($\rho(\lambda x) = \lambda \rho(x)$), le reti $\tanh$ sono real-analitiche e generalmente non possono produrre funzioni con supporto compatto (zero esatto su insiemi di misura positiva). Ciò crea un ostacolo analitico significativo per la dimostrazione dei limiti inferiori sulla complessità dell'apprendimento, poiché le tecniche standard basate sulla localizzazione esatta falliscono.

Metodologia
Gli autori sviluppano un nuovo framework per superare la mancanza di supporto compatto esatto nelle reti $\tanh$, sfruttando l'aritmetica a precisione finita. Il loro approccio prevede tre componenti tecniche primarie:

1. Localizzazione a Precisione Finita: Gli autori assumono una mappa di quantizzazione $Q_{\epsilon_p}$ dove qualsiasi valore con magnitudo $|x| \le \epsilon_p$ viene arrotondato a zero. Costruiscono reti neurali che producono "bump" fortemente localizzati: funzioni che sono non triviali su un piccolo cubo ma decadono esponenzialmente veloce al di fuori di questa regione. Regolando la profondità della rete e i parametri, le "code" di queste funzioni vengono forzate al di sotto della soglia di precisione di macchina $\epsilon_p$, rendendole indistinguibili dallo zero per il dispositivo computazionale, nonostante abbiano una norma $L_p$ positiva.

2. Meccanismo di Iterazione a Punto Fisso: Un'innovazione centrale è lo sfruttamento della struttura a punto fisso dell'attivazione $\tanh$. Per un'attivazione scalata $\sigma_a(x) = \tanh(ax)$ con $a > 1$, esistono punti fissi non triviali $\pm x_\star$ che soddisfano $\tanh(ax_\star) = x_\star$. Gli autori progettano strati di rete che applicano iterativamente $\sigma_a$ a una funzione bump grossolana. Questa iterazione amplifica il segnale, spingendo l'output verso un profilo a funzione a gradino (convergendo a $\pm x_\star$ all'interno del supporto e decadendo rapidamente all'esterno). Questo meccanismo sostituisce le costruzioni basate sull'omogeneità utilizzate nell'analisi ReLU.

3. Framework Algoritmico Randomizzato Adattivo: I limiti inferiori sono derivati per algoritmi randomizzati adattivi, che possono scegliere i punti di campionamento in base alle osservazioni precedenti e utilizzare la casualità interna. La dimostrazione utilizza un argomento "pigeonhole" (collegio): costruendo una grande famiglia di funzioni bump disgiunte (centrate su una griglia) e dimostrando che i loro supporti sono più piccoli della densità di campionamento, gli autori dimostrano che una frazione significativa di queste funzioni produrrà valori quantizzati nulli in tutti i punti campionati. Di conseguenza, l'algoritmo non può distinguere queste funzioni dalla funzione zero.

Contributi Chiave e Risultati
L'articolo stabilisce un limite inferiore sulla complessità di campionamento per l'apprendimento di reti $\tanh$. Il risultato principale (Teorema 6) dimostra che, per una classe di reti con dimensione di input $d$, profondità $L$, larghezza $B$ e coefficienti limitati, l'errore di approssimazione $\epsilon$ per qualsiasi algoritmo che utilizza $m$ campioni soddisfa:
$$\epsilon \gtrsim C \cdot m^{-1/p}$$
dove la costante $C$ dipende dai parametri dell'architettura della rete.

Risultati chiave includono:

• Dipendenza Esponenziale dall'Architettura: Il numero ammissibile di campioni $m$ richiesto per raggiungere una data accuratezza cresce esponenzialmente rispetto ai parametri dell'architettura della rete (specificamente larghezza e profondità). Ciò implica che l'apprendimento diventa impraticabile all'aumentare della dimensione della rete, anche se il problema di ottimizzazione fosse computazionalmente risolvibile.
• Confronto con ReLU: Mentre il setting ReLU (Berner et al., 2023) presenta un limite inferiore che scala come $m^{-1/d - 1/p}$, il setting $\tanh$ sotto precisione finita produce un limite che scala come $m^{-1/p}$; tuttavia, il fattore costante nel limite $\tanh$ dipende esponenzialmente dall'architettura, portando a una simile impraticabilità pratica.
• Instabilità Intrinseca: I risultati rivelano un'instabilità fondamentale nel problema dell'apprendimento. Per qualsiasi algoritmo che utilizzi un numero sub-esponenziale di campioni, esistono coppie di reti che differiscono per una perturbazione trascurabile (al di sotto della precisione di macchina) in tutti i punti campionati, ma hanno una distanza $L_p$ elevata (ordine 0.5). Pertamente, nessuna procedura di ricostruzione può essere simultaneamente accurata e stabile entro il suddetto regime di campionamento.
• Ruolo della Precisione: Il risultato di durezza è contingente sull'assunzione di precisione finita. La costruzione si basa sulla capacità di "nascondere" la coda della funzione bump al di sotto della soglia di quantizzazione $\epsilon_p$.

Significatività e Rivendicazioni
L'articolo sostiene di estendere i precedenti risultati di durezza per le reti ReLU alla ampiamente utilizzata attivazione $\tanh$, prevalente nelle architetture ricorrenti (RNN, LSTM), nelle reti neurali informate dalla fisica (PINN) e nei moderni modelli fondativi.

Gli autori sottolineano che i loro risultati non riguardano meramente la complessità computazionale (tempo di esecuzione), ma le limitazioni dell'informazione teorica. Anche se un algoritmo di ottimizzazione potesse trovare il minimo globale, il numero di campioni richiesti per identificare univocamente la funzione dalle valutazioni puntuali è proibitivamente grande. Il lavoro evidenzia come la fluidità e la natura analitica di $\tanh$, spesso viste come vantaggiose per la differenziabilità, introducano sfide severe per l'apprendibilità in ambienti a precisione finita, in particolare riguardo alla costruzione di caratteristiche localizzate necessarie per dimostrare i limiti inferiori.

Il documento fornisce un teorema semplificato (Teorema 1) e una dichiarazione tecnica completa (Teorema 6) con dipendenze esplicite da parametri quali la precisione di macchina $\epsilon_p$, la larghezza della rete $B$, la profondità $L$ e i limiti dei coefficienti $c$. Include uno strumento di verifica numerica per dimostrare che, per dimensioni di rete moderate e precisioni di macchina realistiche, i campioni richiesti per il recupero uniforme diventano astronomicamente grandi, rendendo il compito di apprendimento computazionalmente impraticabile.