🤖 machine learning

Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance

Dit paper introduceert de Swish-T-familie, een verbetering van de Swish-activatiefunctie door een Tanh-bias toe te voegen, wat leidt tot betere prestaties in diverse neurale netwerken op verschillende benchmarkdatasets.

Oorspronkelijke auteurs: Youngmin Seo, Jinha Kim, Unsang Park

Gepubliceerd 2026-04-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Youngmin Seo, Jinha Kim, Unsang Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Swish-T: Een Nieuwe "Schakelaar" voor Slimme Computers

Stel je voor dat een kunstmatige intelligentie (zoals een computer die foto's herkent) een enorm complex gebouw is. Om dit gebouw te laten werken, heeft het duizenden kleine schakelaars nodig. Deze schakelaars beslissen: "Zet dit signaal door" of "Stop dit signaal". In de wereld van deep learning noemen we deze schakelaars activatiefuncties.

Vroeger gebruikten we simpele schakelaars zoals de ReLU. Die werken als een lichtschakelaar: als er stroom is, gaat het licht aan; is er geen stroom, dan blijft het uit. Het probleem? Soms gaan deze schakelaars "dood". Ze blijven uit, zelfs als er wel stroom zou moeten zijn, en dan leert de computer niets meer.

Later kwamen er slimme schakelaars zoals Swish. Die zijn flexibeler: ze kunnen een beetje licht laten door, zelfs als het donker is. Dit helpt de computer beter te leren. Maar de auteurs van dit paper dachten: "Kunnen we deze schakelaar nog slimmer maken?"

Het Idee: De "Tanh-Bias" als een Zacht Kussen

De onderzoekers van de Sogang Universiteit hebben een nieuwe familie van schakelaars bedacht: Swish-T.

Stel je voor dat de originele Swish-schakelaar een strakke trampoline is. Als je erop springt, veer je terug. Maar soms is de grond te hard, en val je niet diep genoeg door om de volgende stap te zetten.

De Swish-T voegt hier een Tanh-bias aan toe. In gewone taal: ze leggen een zacht, veerkrachtig kussen onder de trampoline.

Wat doet dit kussen? Het zorgt ervoor dat de schakelaar in het begin van het leerproces iets "minder streng" is. Hij staat negatieve waarden (donkere signalen) makkelijker door dan de oude versie.
Het resultaat: De schakelaar heeft een soepelere curve. Hij is niet meer zo'n strakke, harde lijn, maar een golvende, flexibele weg die de computer helpt om complexe patronen sneller en beter te ontdekken.

De Drie Broers: Swish-TA, -TB en -TC

Zoals een familie met drie broers, heeft Swish-T drie verschillende varianten, elk met zijn eigen superkracht:

Swish-TA (De Snelle Sprinter):
Deze versie heeft geen ingewikkelde instellingen nodig. Hij is heel simpel en snel. Denk aan een racefiets zonder versnellingen: hij is licht, wendbaar en gaat razendsnel. Ideaal als je snelheid belangrijk vindt.
Swish-TB (De Aanpasbare Alleskunner):
Deze versie heeft een knop (een parameter genaamd $\beta$ ) die tijdens het leren kan worden bijgesteld. Het is als een auto met een automatische versnellingsbak die zich aanpast aan het verkeer. Hij is iets complexer, maar kan zich perfect aanpassen aan verschillende taken.
Swish-TC (De Stabilisator):
Dit is de ster van het verhaal. Hij combineert de snelheid van de eerste met de aanpasbaarheid van de tweede, maar dan op een manier die heel stabiel blijft, zelfs als de omstandigheden veranderen. Hij zorgt ervoor dat de "schakelaar" nooit uit balans raakt.

Wat hebben ze ontdekt? (De Experimenten)

De onderzoekers hebben hun nieuwe schakelaars getest in een soort "olympische spelen" voor computers. Ze hebben ze ingezet in verschillende modellen (zoals ResNet en MobileNet) en op bekende puzzels (zoals het herkennen van kledingstukken, huisnummers en dieren).

De resultaten waren indrukwekkend:

Beter scoren: De Swish-T-familie won vaak van de oude kampioenen (zoals ReLU en de originele Swish). Op moeilijke puzzels (zoals CIFAR-100) scoorden ze tot 4% beter. Dat is als een sporter die ineens 4 seconden sneller loopt; in de wereld van computers is dat enorm.
Snelheid: Ze leerden vaak sneller dan de concurrentie.
De verrassing: Zelfs als je de "knop" ( $\beta$ ) van Swish-TB en Swish-TC niet laat bewegen (dus je gebruikt ze als simpele, vaste schakelaars), werken ze nog steeds fantastisch. Het is alsof je een dure, instelbare camera gebruikt, maar je zet hem op een vaste stand en hij maakt toch betere foto's dan de standaardcamera's.

Waarom is dit belangrijk?

In de wereld van AI proberen we steeds complexere dingen te laten doen: van zelfrijdende auto's tot het vertalen van talen. Om dat te doen, hebben we schakelaars nodig die niet vastlopen en die soepel kunnen schakelen.

De Swish-T is als een upgrade voor de motor van een auto. Hij maakt de rit soepeler, zorgt dat de auto sneller accelereert en voorkomt dat de motor "stopt" op hellingen. Of je nu een simpele fiets (een klein model) of een Formule 1-auto (een groot model) rijdt, deze nieuwe schakelaar helpt je om je doel sneller en efficiënter te bereiken.

Kortom: De onderzoekers hebben een kleine aanpassing (een "kussen" onder de schakelaar) gedaan die grote voordelen oplevert voor de toekomst van slimme computers.

1. Het Probleem

Activeringsfuncties zijn essentieel in deep learning om niet-lineariteit in te voeren, wat nodig is voor het modelleren van complexe patronen. Hoewel de ReLU (Rectified Linear Unit) een grote doorbraak was vanwege zijn eenvoud en efficiëntie, kampt deze met het "dying ReLU"-probleem, waarbij neuronen inactief worden en geen gradienten meer doorgeven voor negatieve invoer.

Verschillende varianten zoals Leaky ReLU en PReLU lossen dit op, maar introduceren discontinuïteiten in de afgeleide (niet-differentieerbaar bij nul). Soepelere alternatieven zoals Swish, GELU en Mish hebben de prestaties verbeterd door soepele, niet-monotone curves te gebruiken. Echter, de auteurs stellen dat er nog ruimte is voor verbetering, met name in de controle over de drempelwaarden en het toelaten van negatieve waarden tijdens de vroege trainingsfasen. Bestaande functies hebben soms moeite om een optimale balans te vinden tussen stabiliteit, het vermijden van het "dying"-probleem en de snelheid van convergentie.

2. Methodologie: De Swish-T Familie

De kern van dit paper is de introductie van de Swish-T familie. Deze methode verbetert de bestaande Swish-functie ( $x \cdot \sigma(\beta x)$ ) door een Tanh-bias toe te voegen.

De Basisformule:
De auteurs definiëren de basis Swish-T functie als:
$f(x; \beta, \alpha) = x\sigma(\beta x) + \alpha \tanh(x)$
Waarbij:

$\sigma$ de sigmoid-functie is.
$\beta$ een trainbare parameter is (geïnitieerd op 1.0).
$\alpha$ een hyperparameter is die de schaal van de Tanh-bias bepaalt (geïnitieerd op 0.1).

Redenering:
De Tanh-bias zorgt voor een bredere acceptatie van negatieve waarden in de vroege trainingsfasen en creëert een soepelere, niet-monotone curve dan de originele Swish. De bias is gebonden (bounded) door de Tanh-functie, wat zorgt voor stabiliteit en voorkomt extreme veranderingen die het trainingproces kunnen destabiliseren.

Varianten van de Familie:
Om verschillende behoeften (snelheid, stabiliteit, aanpasbaarheid) te adresseren, worden drie varianten voorgesteld:

Swish-TA: Vereenvoudigt de formule door de coëfficiënten van $x$ te unificeren. Deze variant heeft geen trainbare parameters en is geoptimaliseerd voor rekenefficiëntie.
Swish-TB: Introduceert opnieuw een trainbare parameter $\beta$ in de vereenvoudigde formule. Dit biedt dynamische aanpassing van de bias, geschikt voor taken met diverse invoerkarakteristieken.
Swish-TC: Zorgt voor symmetrie wanneer het teken van $\beta$ verandert. Deze variant controleert de bias effectief via $\beta$ en behoudt stabiele prestaties over een breed scala aan invoerwaarden. De afgeleide is ontworpen om te voorkomen dat de gradiënt te snel toeneemt.

3. Belangrijkste Bijdragen

Introductie van Swish-T: Een nieuwe familie van activeringsfuncties die een parameteriseerbare Tanh-bias combineert met Swish.
Ontwikkeling van Variant-architecturen: Het presenteren van Swish-TA, Swish-TB en Swish-TC, elk ontworpen voor specifieke trade-offs tussen rekensnelheid, stabiliteit en prestaties.
Ablatie-onderzoek naar niet-parametrisch gebruik: De auteurs tonen aan dat het fixeren van de parameter $\beta$ (bijvoorbeeld op 6.0) in plaats van het trainen ervan, vaak leidt tot snellere trainingstijden en vergelijkbare of zelfs betere prestaties. Dit maakt de functies aantrekkelijk voor scenario's waar geheugen en rekentijd beperkt zijn.
Uitgebreide Empirische Validatie: Testen op diverse datasets (MNIST, Fashion MNIST, SVHN, CIFAR-10, CIFAR-100) en architecturen (ResNet, ShuffleNet, SENet, EfficientNet, MobileNet, DenseNet).

4. Resultaten

De experimenten tonen aan dat de Swish-T familie consistent beter presteert dan traditionele activeringsfuncties zoals ReLU, GELU, Swish en Mish, evenals de recente SMU-functies.

Prestaties op CIFAR-10 en CIFAR-100:
- Op CIFAR-10 behaalde Swish-TC met het ShuffleNetV2 (2.x) model een Top-1 nauwkeurigheid van 94.27%, wat een verbetering is van 2.34% ten opzichte van ReLU.
- Op CIFAR-100 toonde Swish-TC een verbetering van 4.12% ten opzichte van ReLU.
- In DenseNet-121 bereikte Swish-TC dezelfde top-nauwkeurigheid als SMU (94.95% op CIFAR-10), maar met snellere trainingstijden.
Niet-parametrische prestaties:
- In de ablatiestudies (Tabel 5) bleek dat het fixeren van $\beta$ op 6.0 voor ResNet-18 leidde tot betere resultaten dan het trainen van $\beta$ . Bijvoorbeeld, op CIFAR-100 bereikte Swish-TC-6 (met vaste $\beta$ ) 79.06% nauwkeurigheid, wat hoger was dan de geparameteriseerde versie (78.72%).
Efficiëntie: De varianten, vooral Swish-TA en de niet-parametrische versies, bieden snellere convergentie en lager geheugengebruik omdat er geen extra parameters hoeven worden bijgewerkt tijdens backpropagation.

5. Betekenis en Conclusie

Dit paper biedt een significante stap voorwaarts in de ontwikkeling van activeringsfuncties voor deep learning. De Swish-T familie lost het compromis op tussen de stabiliteit van soepele functies en de efficiëntie van ReLU-achtige functies.

De belangrijkste inzichten zijn:

Verbeterde Dynamiek: De Tanh-bias helpt bij het beheersen van negatieve waarden en zorgt voor een soepelere gradiëntstroom, wat de training stabiliseert.
Flexibiliteit: De familie biedt opties voor zowel hoogwaardige prestaties (Swish-TC) als maximale snelheid (Swish-TA).
Praktische Toepasbaarheid: Het vermogen om de functies als niet-parametrisch te gebruiken (met een "magisch getal" voor $\beta$ ) zonder prestatieverlies, maakt ze zeer aantrekkelijk voor productieomgevingen waar rekentijd en geheugen schaars zijn.

De auteurs concluderen dat Swish-T, en in het bijzonder Swish-TC, een robuuste en veelzijdige keuze is voor diverse neurale netwerkarchitecturen en dat toekomstig onderzoek zich kan richten op het verder optimaliseren voor specifieke toepassingen. De code is open source beschikbaar gesteld.