Sintesi Tecnica: Le Reti Neurali Razionali possiedono vantaggi di espressività

Definizione del Problema

Le reti neurali profonde dipendono fortemente dalla scelta delle funzioni di attivazione non lineari per controllare l'espressività e la trainabilità. Mentre le architetture moderne utilizzano prevalentemente attivazioni fisse e regolari (ad es. GELU, Swish/SiLU, Mish, ELU/SELU/CELELA) o funzioni lineari a tratti (ad es. ReLU e varianti), queste scelte impongono limitazioni specifiche su come le reti possano approssimare efficientemente funzioni con transizioni brusche, pieghe o singolarità complesse vicine. Il documento investiga se la sostituzione di queste attivazioni fisse con funzioni di attivazione razionali addestrabili a basso grado offra un vantaggio teorico e pratico in termini di efficienza dei parametri e potere espressivo.

Metodologia

Framework Teorico

Gli autori stabiliscono separazioni basate sulla teoria dell'approssimazione tra reti razionali e reti costruite con attivazioni standard regolari o lineari a tratti.

• Reti Razionali: Definite come reti feedforward in cui la non linearità scalare in ogni strato è una funzione razionale $r(x) = P(x)/Q(x)$ addestrabile con polinomi $P$ e $Q$ di basso grado. I coefficienti vengono appresi durante l'addestramento.
• Metriche di Approssimazione: L'espressività è misurata dal numero di parametri addestrabili (dimensione della rete) necessari per raggiungere un errore uniforme $\epsilon$ su un dominio compatto fisso (ad es. $[-1, 1]^d$).
• Strumenti Teorici Chiave:
  • Teoria dell'Approssimazione Razionale: Sfruttando i risultati classici (ad es. Trefethen, Gonchar) che mostrano come le funzioni razionali possano approssimare caratteristiche non regolari (come $|x|$ o ReLU) e funzioni con singolarità vicine in modo esponenzialmente più efficiente rispetto a polinomi o surrogati regolari.
  • Dimostrazioni Costruttive: Il documento fornisce costruzioni esplicite utilizzando funzioni di Zolotarev, iterazioni della media aritmetico-geometrica (AGM) e il metodo di Halley per approssimare attivazioni regolari (come GELU) tramite reti razionali.
  • Limiti Inferiori (Lower Bounds): Dimostrare che approssimare determinati target razionali (specificamente quelli con poli vicino alla retta reale) utilizzando reti regolari a parametri limitati richiede significativamente più parametri a causa dei vincoli di curvatura.

Setup Sperimentale

Gli autori valutano le attivazioni razionali in tre domini distinti, mantenendo costanti architetture, ottimizzatori e budget di addestramento, variando solo la funzione di attivazione:

1. Visione Supervisionata: Classificazione di immagini CIFAR-10 utilizzando architetture VGG4 e VGG8, e classificazione Tiny ImageNet utilizzando modelli basati su Transformer (ViT, CaiT, Swin).
2. Reinforcement Learning Offline: Benchmark di locomozione a controllo continuo (HalfCheetah, Hopper, Walker2d) utilizzando i dataset Minari e algoritmi IQL e TD3+BC.
3. Analisi della Normalizzazione: Investigare l'interazione tra attivazioni razionali adattive e strati di normalizzazione (BatchNorm, LayerNorm), testando specificamente varianti "no-LayerNorm" nei Transformer.

Contributi Chiave

1. Separazione Esponenziale nella Complessità dei Parametri:

   • Da Smooth $\to$ Razionale: Qualsiasi rete costruita con attivazioni regolari standard (GELU, Swish, SiLU, ecc.) può essere approssimata uniformemente da una rete razionale con un overhead di dimensione di solo $O(\text{poly}(\log \log(1/\epsilon)))$. Nello specifico, il documento prova un limite di dimensione di $O(\log^3 \log(1/\epsilon))$ per GELU.
   • Da Razionale $\to$ Smooth: Al contrario, approssimare una famiglia peggiore di funzioni razionali (specificamente quelle con poli vicino al dominio) utilizzando reti regolari a parametri limitati richiede una dimensione di almeno $\Omega(\log(1/\epsilon))$.
   • Risultato: Ciò stabilisce un divario esponenziale nell'espressività, dove le reti razionali possono raggiungere la stessa accuratezza con significativamente meno parametri rispetto alle reti con attivazioni regolari.

2. Estensione a Architetture Complesse:

   • I risultati di separazione sono estesi dalle funzioni scalari a intere reti feedforward, attivazioni gated e architetture di tipo Transformer (specificamente i sublayer MLP).
   • Il documento dimostra che le reti razionali possono approssimare modelli regolari gated con un basso overhead, mentre il processo inverso richiede un alto overhead.

3. Normalizzazione e Identificabilità:

   • Gli autori formalizzano che gli strati di normalizzazione standard possono essere deleteri per le attivazioni razionali adattive. La normalizzazione introduce trasformazioni affini apprese che possono essere assorbite dai coefficienti razionali, portando alla non-identificabilità e a una scarsa condizionabilità.
   • Inoltre, la stochasticità dipendente dai dati nella normalizzazione (ad es. BatchNorm) amplifica il rumore del gradiente a causa delle sensibilità polinomiali dei coefficienti razionali.
   • Risultato: Rimuovere la normalizzazione (ad es. Transformer "no-LayerNorm") permette alle razionali adattive di funzionare come meccanismi di riscalamento apprendibili, spesso stabilizzando l'addestramento laddove le attivazioni fisse falliscono.

4. Dimostrazioni Costruttive:

   • Il documento fornisce dimostrazioni costruttive basate sulla teoria classica dell'approssimazione, inclusi l'uso di funzioni di Zolotarev e costruzioni AGM, per dimostrare come le reti razionali possano realizzare efficientemente non-linearità complesse.

Risultati Sperimentali

• CIFAR-10: Le attivazioni razionali hanno costantemente raggiunto la massima accuratezza di test Top-1 sia nei modelli VGG4 che VGG8, superando ReLU, LeakyReLU, Swish e GELU. Nella pipeline di addestramento aumentata, le varianti razionali (inizializzate per imitare LeakyReLU o GELU) sono rimaste le migliori performer anche quando veniva applicato GroupNorm, sebbene GroupNorm abbia indotto un calo di prestazioni maggiore per le razionali rispetto alle attivazioni fisse.
• Offline RL: Sui dataset MuJoCo medium, le attivazioni razionali hanno eguagliato o superato le migliori attivazioni fisse in 5 casi su 6 (IQL e TD3+BC su HalfCheetah, Hopper, Walker2d). Notevolmente, i modelli razionali con larghezze minori (128) sono stati competitivi o superiori a modelli GELU molto più grandi (larghezza 384), validando l'ipotesi dell'efficienza dei parametri.
• Tiny ImageNet (Transformers): Le attivazioni razionali hanno eguagliato o migliorato la migliore accuratezza di validazione EMA per i modelli ViT, CaiT e Swin. Fondamentalmente, in una variante ViT "no-LayerNorm", le attivazioni fisse (ReLU, GELU) sono diverse verso valori NaN, mentre la variante razionale è rimasta stabile e ha raggiunto un'alta accuratezza (61.24%), supportando la tesi che la normalizzazione possa essere restrittiva per le razionali adattive.
• Forme Apprese: Le visualizzazioni delle funzioni razionali apprese hanno mostrato come esse riallocano rapidamente la curvatura nelle regioni di alta densità degli input, sviluppando spesso forme di "gating" non monotone localizzate simili alle attivazioni fisse di successo come Swish e Mish.

Significato e Rivendicazioni

Il documento sostiene che le reti neurali razionali offrano una base matematicamente naturale e computazionalmente efficiente per il deep learning. Il nucleo della significatività risiede nel vantaggio di espressività: le attivazioni razionali possono rappresentare funzioni con transizioni brusche e singolarità complesse utilizzando esponenzialmente meno parametri rispetto alle moderne attivazioni regolari.

Gli autori sostengono che questo vantaggio teorico si traduce direttamente in pratica, risultando in:

• Maggiore Accuratezza: Raggiungere prestazioni migliori nei compiti di visione e RL con le stesse architetture.
• Convergenza più Rapida: Raggiungere prestazioni elevate prima durante l'addestramento.
• Efficienza dei Parametri: Ottenere risultati comparabili o superiori con larghezze di rete minori.
• Robustezza nei Regimi Senza Normalizzazione: Consentire l'addestramento di Transformer profondi senza strati di normalizzazione, un regime in cui le attivazioni fisse spesso falliscono.

Il lavoro suggerisce che il campo dovrebbe riconsiderare la dominanza delle attivazioni regolari fisse, proponendo le funzioni razionali addestrabili come un'alternativa fondata che si allinea meglio ai requisiti strutturali delle distribuzioni di dati complessi.