🤖 machine learning

Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance

Il paper propone la famiglia di funzioni di attivazione Swish-T, che migliora la funzione Swish originale aggiungendo un bias Tanh per ottenere curve non monotone più lisce e prestazioni superiori su diversi dataset e modelli di reti neurali.

Autori originali: Youngmin Seo, Jinha Kim, Unsang Park

Pubblicato 2026-04-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Youngmin Seo, Jinha Kim, Unsang Park

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di costruire un edificio molto complesso, come un grattacielo intelligente. Per farlo funzionare, hai bisogno di mattoni speciali che decidano quando far passare l'informazione e quando fermarla. Nel mondo dell'intelligenza artificiale, questi "mattoni" si chiamano funzioni di attivazione.

Fino a poco tempo fa, il mattone più famoso si chiamava ReLU. Era semplice ed efficace, ma aveva un difetto: se un mattone si "addormentava" (cioè non riceveva abbastanza stimoli), smetteva di lavorare per sempre, bloccando la costruzione.

Poi è arrivato un mattone migliore chiamato Swish. Era più intelligente: sapeva gestire meglio i segnali negativi e non si addormentava facilmente. Ma gli autori di questo articolo, un gruppo di ricercatori dell'Università Sogang in Corea del Sud, si sono chiesti: "Possiamo renderlo ancora più bravo?"

Ecco la loro idea geniale, spiegata in modo semplice:

1. Il Problema: Il Mattone che è troppo rigido

Immagina che Swish sia un portiere di un club esclusivo. È bravo, ma a volte è un po' troppo severo con le persone che arrivano con un "passaggio negativo" (valori negativi). Li ferma subito, anche se potrebbero essere utili per il lavoro successivo.

2. La Soluzione: Aggiungere un "Bias Tanh" (Il Consigliere)

Gli autori hanno detto: "Facciamo in modo che il portiere abbia un consigliere accanto".
Hanno aggiunto una nuova componente alla funzione Swish, chiamata Tanh bias.

L'analogia: Immagina che Swish sia un motore di un'auto. Il Tanh bias è come un turbo intelligente o un catalizzatore. Non cambia il motore, ma lo aiuta a girare meglio quando la strada è in salita (valori negativi).
Questo "consigliere" permette al sistema di accettare più facilmente i valori negativi all'inizio dell'addestramento, rendendo la curva di lavoro più liscia e meno scattosa. È come dare al portiere un po' più di flessibilità per far entrare persone che prima avrebbe scartato.

3. La Famiglia Swish-T

Non hanno creato un solo nuovo mattone, ma una famiglia di tre varianti, ognuna con una personalità diversa:

Swish-T (La versione base): È il prototipo completo. Aggiunge il consigliere (il bias) per rendere tutto più fluido.
Swish-TA (La versione veloce): È come togliere il volante dall'auto per andare più veloci in rettilineo. Hanno semplificato la formula matematica per renderla super veloce da calcolare, ideale per computer meno potenti (come i telefoni).
Swish-TB (La versione adattiva): È l'auto con il cruise control automatico. Si adatta dinamicamente alle condizioni della strada (i dati) cambiando i suoi parametri durante il viaggio.
Swish-TC (La versione equilibrata - La vincitrice): Questa è la "star" del paper. È come un'auto da corsa con un sistema di stabilizzazione perfetto. Mantiene la simmetria e la stabilità anche quando le condizioni cambiano drasticamente. È quella che ha ottenuto i risultati migliori.

4. Cosa hanno scoperto? (I Risultati)

Gli autori hanno fatto esperimenti su molti "campi da gioco" diversi (insiemi di dati famosi come MNIST per i numeri scritti a mano, o CIFAR per le immagini di oggetti).

Hanno scoperto che:

Sono più veloci e precisi: Le loro nuove funzioni hanno battuto i vecchi campioni (come ReLU, GELU e lo stesso Swish) in quasi tutte le prove.
Funzionano anche senza "imparare": Una cosa sorprendente è che se fissano il parametro "magico" (chiamato Beta) a un numero fisso (come 6.0), le funzioni funzionano comunque benissimo, senza bisogno di spendere tempo a insegnare loro come comportarsi. È come se avessero trovato un'impostazione "perfetta" che funziona per tutti.
Risparmiano energia: Poiché alcune varianti non hanno parametri da imparare, consumano meno memoria e tempo di calcolo.

In sintesi

Gli autori hanno preso un ottimo mattone esistente (Swish) e gli hanno aggiunto un "assistente" (il bias Tanh) per renderlo più gentile, più fluido e più intelligente. Il risultato è una famiglia di strumenti (Swish-T) che costruiscono reti neurali più robuste, veloci e precise, sia che tu stia facendo riconoscere un'immagine a un'auto a guida autonoma o che tu stia analizzando dati medici.

È come se avessero scoperto che, per costruire il grattacielo del futuro, non serve solo un mattone forte, ma un mattone che sa anche ascoltare il consiglio di un vicino esperto.

1. Il Problema

Le funzioni di attivazione sono fondamentali nelle reti neurali profonde per introdurre non-linearità, permettendo il modellamento di pattern complessi. Sebbene funzioni come ReLU siano efficienti, soffrono del problema del "ReLU morente" (dying ReLU), dove i neuroni smettono di rispondere a certi input a causa di gradienti nulli nelle regioni negative. Varianti come Leaky ReLU o PReLU risolvono parzialmente questo problema ma introducono discontinuità nella derivata o non sono differenziabili in zero.

Funzioni più recenti e lisce come Swish, GELU e Mish hanno mostrato prestazioni superiori grazie alla loro natura non monotona e differenziabile. Tuttavia, Swish, definito come $x \cdot \sigma(\beta x)$ , può ancora beneficiare di un controllo più fine sulla soglia di attivazione e sull'accettazione dei valori negativi durante le fasi iniziali dell'addestramento. Il paper identifica la necessità di una funzione che mantenga la liscia non-linearità di Swish ma offra una maggiore adattabilità attraverso l'introduzione di termini di bias parametrici direttamente all'interno della funzione di attivazione.

2. Metodologia: La Famiglia Swish-T

Gli autori propongono la famiglia Swish-T, che potenzia la funzione Swish originale aggiungendo un bias basato sulla funzione Tanh. L'idea centrale è che l'inserimento di un termine di bias parametrico all'interno della funzione di attivazione stessa permetta un controllo più sofisticato della soglia di attivazione, migliorando la dinamica di apprendimento.

La funzione base è definita come:
$f(x; \beta, \alpha) = x\sigma(\beta x) + \alpha \tanh(x)$
Dove:

$\sigma(x)$ è la funzione sigmoide.
$\beta$ è un parametro addestrabile (inizializzato a 1.0).
$\alpha$ è un iperparametro fisso (settato a 0.1) che scala il termine $\tanh$ per garantire che il bias rimanga limitato e non alteri le proprietà originali di Swish.

Per ottimizzare efficienza computazionale e stabilità, sono state sviluppate tre varianti principali:

Swish-T (Base): La combinazione diretta di Swish e $\alpha \tanh(x)$ . Offre curve non monotone più lisce e accetta valori negativi più ampi nelle fasi iniziali.
Swish-TA: Una versione semplificata che unifica i coefficienti di $x$ per migliorare la velocità di calcolo. Non ha parametri addestrabili ( $\beta$ è fisso), rendendola ideale per scenari dove l'efficienza computazionale è critica.
$f_A(x) = \sigma(x)(x + 2\alpha) - \alpha$
Swish-TB: Reintroduce il parametro addestrabile $\beta$ nella versione semplificata, permettendo un adattamento dinamico del bias in base alle caratteristiche dell'input.
$f_B(x; \beta, \alpha) = \sigma(\beta x)(x + 2\alpha) - \alpha$
Swish-TC: La variante proposta come soluzione ottimale. Garantisce la simmetria quando il segno di $\beta$ cambia e controlla il bias in modo più stabile. La sua formulazione evita moltiplicazioni dirette tra $\alpha$ e $\beta$ che potrebbero causare gradienti esplosivi.
$f_C(x; \beta, \alpha) = \sigma(\beta x)(x + \frac{2\alpha}{\beta}) - \frac{\alpha}{\beta}$

Analisi dei Gradienti:
Il paper deriva le espressioni analitiche per i gradienti di queste funzioni rispetto all'input $x$ e al parametro $\beta$ . Si dimostra che la famiglia Swish-T è differenziabile in modo efficiente, garantendo un flusso di gradienti controllato e stabile, fondamentale per la retropropagazione. In particolare, Swish-TC mostra una maggiore stabilità del gradiente rispetto alle altre varianti.

3. Contributi Chiave

Introduzione della famiglia Swish-T: Un nuovo approccio che integra un bias parametrico (Tanh) nella funzione Swish, creando una curva non monotona più liscia e favorevole all'accettazione di valori negativi iniziali.
Sviluppo di Varianti Specializzate: La creazione di Swish-TA (per efficienza), Swish-TB (per adattabilità dinamica) e Swish-TC (per stabilità e simmetria), offrendo soluzioni diverse per contesti applicativi specifici.
Validazione Empirica Estesa: Test rigorosi su dataset di benchmark (MNIST, Fashion MNIST, SVHN, CIFAR-10, CIFAR-100) e su diverse architetture (ResNet-18, ShuffleNetV2, SENet-18, EfficientNetB0, MobileNetV2, DenseNet-121).
Studio di Ablazione sui Parametri: Dimostrazione che Swish-TB e Swish-TC possono funzionare efficacemente anche come funzioni non parametriche (con $\beta$ fissato a un valore "magico", es. 6.0), ottenendo prestazioni superiori o comparabili alle versioni parametriche con tempi di addestramento più rapidi e minore uso di memoria.

4. Risultati Sperimentali

Gli esperimenti hanno confrontato Swish-T con funzioni di attivazione di riferimento come ReLU, GELU, SiLU (Swish-1), Mish, SMU e SMU-1.

Prestazioni Generali: La famiglia Swish-T ha mostrato prestazioni superiori o competitive rispetto a tutte le funzioni di attivazione tradizionali su tutti i dataset testati.
Dataset CIFAR:
- Su CIFAR-10, Swish-TC ha raggiunto il 94.27% di accuratezza Top-1 con ShuffleNetV2 (2.x), superando ReLU di circa il 2.34%.
- Su CIFAR-100, Swish-TC ha mostrato un miglioramento del 4.12% rispetto a ReLU.
- In DenseNet-121, Swish-TC ha raggiunto il 94.95% di accuratezza, pareggiando SMU ma con tempi di addestramento inferiori.
Efficienza Computazionale: Le varianti non parametriche (con $\beta$ fissato) hanno dimostrato di mantenere alte prestazioni riducendo la complessità computazionale e il tempo di addestramento, rendendole ideali per applicazioni pratiche dove velocità e risorse sono vincoli critici.
Convergenza: L'analisi dei valori di $\beta$ convergenti ha mostrato che, in alcune architetture come ResNet-18, fissare $\beta$ a un valore specifico (es. 6.0) può portare a prestazioni migliori rispetto all'addestramento dinamico del parametro, suggerendo che la struttura della rete può limitare l'ottimizzazione di $\beta$ in certi contesti.

5. Significato e Impatto

Il lavoro di Seo et al. rappresenta un passo avanti significativo nell'evoluzione delle funzioni di attivazione. Dimostrando che l'integrazione di un bias basato su Tanh può migliorare le prestazioni di Swish, il paper offre:

Migliore Dinamica di Apprendimento: La capacità di accettare valori negativi più ampi e di mantenere gradienti stabili aiuta a mitigare problemi come il vanishing gradient e il "dying neuron".
Flessibilità Architetturale: La famiglia Swish-T offre opzioni sia parametriche che non parametriche, adattandosi a scenari che richiedono massima accuratezza (usando $\beta$ addestrabile) o massima efficienza (usando $\beta$ fisso).
Versatilità: Le prestazioni superiori su una vasta gamma di modelli (da CNN leggere come MobileNet a modelli più complessi come DenseNet) confermano la robustezza della proposta.

In conclusione, Swish-TC si distingue come la soluzione più promettente, offrendo un equilibrio ottimale tra accuratezza, stabilità del gradiente e efficienza computazionale, rendendola una candidata ideale per sostituire le funzioni di attivazione standard in future architetture di Deep Learning. Il codice è stato reso pubblico per facilitare l'adozione e l'ulteriore ricerca.