Riassunto Tecnico: TESLA (Taylor Expansion of Sinusoidal Learnable Activations)

1. Definizione del Problema

Le reti neurali standard, che tipicamente si affidano all'accumulo di non linearità locali (es. ReLU, GeLU) con mappe lineari, esibiscono un "bias spettrale" verso l'apprendimento di componenti a bassa frequenza (basso grado). Questa limitazione le rende inefficienti per compiti che richiedono interazioni globali, combinazioni di ordine superiore di coordinate di input o specifiche simmetrie globali.

Un esempio canonico di questa sfida è il problema della parità (determinare se il numero di uno in un vettore binario è pari o dispari). Questo compito è linearmente inspiegabile e richiede un'interazione globale tra tutti i bit di input. Le architetture tradizionali spesso falliscono nel generalizzare ai compiti di parità, specialmente quando la dimensionalità dell'input ($n$) aumenta o quando i dati sono scarsi, poiché rappresentare tali strutture di ordine elevato richiede tipicamente un eccessivo profondità, ampiezza o norme dei pesi. Inoltre, i tentativi esistenti per affrontare il bias spettrale — come le attivazioni periodiche (SIREN) o gli embedding di caratteristiche Fourier — soffrono spesso di instabilità di ottimizzazione, overfitting in regimi con pochi dati o di una mancanza di controllo esplicito sul grado polinomiale dell'attivazione.

2. Metodologia: TESLA

Gli autori propongono TESLA (Taylor Expansion of Sinusoidal Learnable Activations), una funzione di attivazione parametrica progettata per fornire un controllo esplicito e apprendibile sul grado polinomiale e sulle componenti di frequenza delle attivazioni delle reti neurali.

2.1 Definizione

TESLA è definita come una combinazione lineare finita di termini seno e coseno condivisi tra tutti i neuroni di un livello:
$$\phi_K(z) = \sum_{k=1}^{K} \left( \frac{a_k}{k} \sin(kz) + \frac{b_k}{k} \cos(kz) \right)$$
dove:

• $K \in \mathbb{N}$ controlla la frequenza massima (conteggio degli armonici).
• $\{a_k, b_k\}_{k=1}^K$ sono coefficienti scalari apprendibili.
• La scala $1/k$ è una scelta di design per gestire le magnitudo dei gradienti.

2.2 Interpretazione Teorica

Sebbene implementata come un'espansione trigonometrica, gli autori analizzano TESLA tramite la sua espansione di Taylor (Maclaurin). Ciò rivela che i coefficienti polinomiali effettivi dell'attivazione sono funzionali lineari espliciti dei coefficienti trigonometrici apprendibili $\{a_k, b_k\}$. Questa formulazione permette alla rete di amplificare o attenuare selettivamente specifici ordini polinomiali (gradi) a livello di attivazione, piuttosto che affidarsi alla spectralizzazione lato input (come le caratteristiche Fourier) che lascia la selezione del modo ai livelli successivi.

2.3 Controllo della Stabilità e della Complessità

Per garantire la stabilità e prevenire l'overfitting, TESLA introduce un budget di coefficienti:
$$A_K = \sum_{k=1}^{K} (|a_k| + |b_k|)$$
L'analisi teorica mostra che $A_K$ limita la costante di Lipschitz dell'attivazione e della rete. Nello specifico, la costante di Lipschitz di una rete a $L$ strati è limitata dal prodotto delle norme degli operatori degli strati e da $A_K^{L-1}$. Questo budget consente di controllare le magnitudo dei gradienti e la complessità di Rademacher, garantendo che l'aumento del range di frequenza ($K$) non destabilizzi intrinsecamente l'ottimizzazione.

3. Contributi Chiave

Il documento presenta tre contributi primari:

1. Garanzie Teoriche: Gli autori derivano limiti di Lipschitz stretti e garanzie di generalizzazione basate sulla complessità di Rademacher. Caratterizzano la dinamica di apprendimento utilizzando l'analisi del Neural Tangent Kernel (NTK), mostrando che l'induzione di bias di TESLA favorisce naturalmente il recupero di strutture a bassa e media frequenza, permettendo al contempo l'apprendimento selettivo di componenti ad ordine superiore.
2. Risultati di Approssimazione Costruttiva: Il documento fornisce limiti superiori per l'approssimazione di funzioni di tipo ridge- e interazione-type utilizzando TESLA. Viceversa, delinea limiti inferiori dimostrando che le attivazioni piecewise-linear standard richiedono sostanzialmente più risorse (profondità/ampiezza) per rappresentare strutture oscillanti o globali rispetto a TESLA.
3. Validazione Empirica: Gli autori dimostrano che TESLA generalizza efficacemente su benchmark sintetici (Parity, Forrelation) e compiti in dominio continuo (PINNs, INR), rimanendo competitiva nei compiti di visione su larga scala (ImageNet-100) con un overhead computazionale trascurabile.

4. Risultati Sperimentali

4.1 Benchmark Sintetici

• Compito di Parità: Nei compiti di parità con lunghezza di input $n=32$, TESLA raggiunge una forte generalizzazione utilizzando solo 100.000 campioni di addestramento (circa lo 0,002% dello spazio di input). Crucialmente, rimane robusta sotto forte rumore delle etichette (fino al 30%), mantenendo un'alta accuratezza dove le attivazioni di base (ReLU, GeLU) collassano verso il caso casuale (50%).
• Confronto con Baseline Periodiche: TESLA supera significativamente SIREN, SNAKE e gli embedding di caratteristiche Fourier nei compiti di parità e Forrelation. Mentre SIREN e gli embedding Fourier spesso falliscono nel catturare correlazioni globali in regimi ad alto rumore o alta dimensione, TESLA mantiene prestazioni stabili. Ad esempio, sulla parità a 32 bit senza rumore, TESLA raggiunge circa il 96% di accuratezza, mentre SIREN scende a circa il 50%.
• Forrelation: Nel compito di Forrelation (un problema di decisione di correlazione globale), TESLA converge più velocemente e raggiunge un'accuratezza superiore attraverso varie dimensioni di strati nascosti rispetto alle attivazioni standard.

4.2 Compiti in Dominio Continuo

• PINNs: Per risolvere l'equazione di Burgers viscosa 1D, TESLA raggiunge la perdita finale più bassa tra le attivazioni confrontate (inclusi ReLU, Tanh e SIREN).
• Rappresentazioni Neurali Implicite (INR): Nei compiti di ricostruzione di immagini (Kodok24, DIV2K), TESLA raggiunge le soglie di PSNR target più velocemente e ottiene una qualità finale superiore (PSPSNR/SSIM) rispetto a SIREN e ReLU.
• Regressione a Frequenza Mista: TESLA è l'unico metodo testato che raggiunge un MSE di test inferiore a 0,011 per segnali composti da componenti ad alta frequenza mista.

4.3 Visione su Larga Scala (ImageNet-100)

TESLA è stata valutata su ImageNet-100 utilizzando architetture ViT, MLP-Mixer, ResNet-18 e MobileNetV3.

• Performance: TESLA raggiunge un'accuratezza Top-1 comparabile o leggermente superiore a ReLU, GeLU e SiLU in tutte le architetture.
• Efficienza: Il metodo comporta un overhead di throughput trascurabile (circa l'1% di aumento dei FLOPs).
• Stabilità: A differenza di SIREN, che ha mostrato una grave instabilità di ottimizzazione e una scarsa accuratezza (ad esempio, ~4% Top-1 su ViT) sotto gli stessi settaggi di addestramento, TESLA si è addestrata stabilmente e ha raggiunto i livelli di accuratezza standard.

5. Significato e Rivendicazioni

Il documento sostiene che TESLA offra un'alternativa robusta e pratica ai metodi di spectralizzazione basati solo sull'input. Spostando il controllo spettrale al livello di attivazione tramite coefficienti apprendibili, TESLA permette ai professionisti di regolare l'induzione di bias di una rete con modifiche architettoniche minime, preservando la compatibilità con le pipeline di addestramento standard.

Gli autori sottolineano che TESLA colma il divario tra l'analisi teorica del bias spettrale e l'applicazione pratica. Essa consente il controllo esplicito dei gradi polinomiali, facilitando l'apprendimento di interazioni globali di ordine superiore che le attivazioni standard faticano a gestire, senza sacrificare la stabilità o la scalabilità nei carichi di lavoro di visione del mondo reale. Il lavoro suggerisce che il controllo del grado a livello di attivazione sia una strategia valida per migliorare l'efficienza del campionamento e la generalizzazione in compiti dominati da simmetrie globali.