🤖 machine learning

Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance

Die vorgestellte Arbeit stellt die Swish-T-Familie vor, eine Erweiterung der Swish-Aktivierungsfunktion durch eine Tanh-Bias, die durch eine glattere nicht-monotone Kurve und verbesserte Trainingsdynamik in verschiedenen neuronalen Netzen und Benchmark-Datensätzen überlegene Leistung erzielt.

Ursprüngliche Autoren: Youngmin Seo, Jinha Kim, Unsang Park

Veröffentlicht 2026-04-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Youngmin Seo, Jinha Kim, Unsang Park

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, ein neuronales Netzwerk ist wie eine riesige, hochmoderne Fabrik, in der Millionen von Arbeitern (den Neuronen) Daten verarbeiten, um Muster zu erkennen – zum Beispiel, ob ein Bild eine Katze oder ein Hund ist.

Damit diese Fabrik funktioniert, braucht sie Aktivierungsfunktionen. Das sind die „Schalter" oder „Regler" an jedem Arbeitsplatz. Sie entscheiden: „Reagiere ich stark auf diesen Input, schwach oder gar nicht?"

Bis vor kurzem war der beliebteste Schalter der ReLU (Rectified Linear Unit). Er ist einfach: „Wenn der Input positiv ist, mach weiter. Wenn er negativ ist, mach null." Das Problem? Wenn ein Schalter auf „Null" steht, stirbt er gewissermaßen. Er hört auf zu lernen, und große Teile der Fabrik bleiben im Dunkeln. Das nennt man das „Sterbende ReLU"-Problem.

Dann kam Swish auf den Markt. Swish ist wie ein intelligenterer Schalter, der auch bei negativen Werten ein wenig reagiert. Er ist geschmeidiger und hilft dem Netzwerk, besser zu lernen. Aber die Forscher von der Sogang-Universität in Südkorea dachten: „Können wir Swish noch ein bisschen mehr verfeinern?"

Die Erfindung: Swish-T (Swish mit einem „Tanh-Bias")

Die Autoren haben eine neue Familie von Schaltern entwickelt, die sie Swish-T nennen.

Die einfache Analogie:
Stellen Sie sich Swish vor wie einen Fahrer, der ein Auto steuert. Der Fahrer ist gut, aber manchmal zögert er, wenn die Straße bergab geht (negative Werte).
Die Forscher haben dem Fahrer einen Beifahrer gegeben: einen kleinen, klugen Tanh-Bias.

Was macht der Beifahrer? Er sagt dem Fahrer: „Hey, auch wenn die Straße bergab geht, lass uns nicht komplett aufgeben! Wir können noch ein bisschen weiterfahren."
Der Effekt: Durch diesen Beifahrer (die Tanh-Funktion) wird der Schalter geschmeidiger. Er erlaubt dem Netzwerk, negative Werte besser zu verarbeiten, ohne dass die „Maschine" ausfällt. Es ist wie eine sanfte Bremse oder ein Gaspedal, das immer leicht nachgibt, damit der Fluss der Daten nie ganz abbricht.

Die drei Geschwister der Familie

Die Forscher haben nicht nur einen Schalter gebaut, sondern eine ganze Familie mit drei Geschwistern, die für verschiedene Zwecke optimiert sind:

Swish-T (Der Standard): Der ursprüngliche Entwurf. Er fügt den Beifahrer hinzu und funktioniert sehr gut, ist aber etwas komplex zu berechnen.
Swish-TA (Der Sprinter): Dieser Schalter ist vereinfacht. Er verzichtet auf einige komplizierte Berechnungen, damit die Fabrik schneller läuft. Er ist wie ein Sportwagen, der auf Geschwindigkeit getrimmt ist.
Swish-TB & Swish-TC (Die Meister der Anpassung): Diese Versionen sind noch intelligenter. Sie haben einen zusätzlichen Regler (einen Parameter namens $\beta$ $β$ ), den das Netzwerk während des Trainings selbst justieren kann.
- Swish-TC ist der Star der Show. Er passt sich so perfekt an, dass er in fast allen Tests die besten Ergebnisse liefert. Er ist wie ein Fahrer, der nicht nur einen Beifahrer hat, sondern auch lernt, wie man das Auto je nach Wetterlage perfekt einzustellen.

Was haben sie herausgefunden?

Die Forscher haben ihre neuen Schalter in vielen verschiedenen „Fabriken" (Neuralen Netzen) getestet, die auf bekannten Datensätzen wie CIFAR-10 (eine Art Fotoalbum mit 10 Kategorien) und CIFAR-100 (100 Kategorien) trainiert wurden.

Das Ergebnis: Die Swish-T-Familie hat fast überall gewonnen. Sie waren genauer als die alten Klassiker (ReLU, GELU) und sogar besser als der aktuelle Favorit Swish.
Der Clou: Besonders Swish-TC hat gezeigt, dass er nicht nur genauer ist, sondern auch schneller lernt. In manchen Fällen war er sogar so gut, dass man den komplizierten Regler ( $\beta$ ) sogar fest auf einen bestimmten Wert stellen konnte, ohne dass das Netzwerk ihn lernen musste. Das spart Rechenleistung und Zeit.

Warum ist das wichtig?

Stellen Sie sich vor, Sie bauen eine KI, die medizinische Bilder analysiert oder autonomes Fahren steuert. Jede kleine Verbesserung der Genauigkeit und Geschwindigkeit zählt.

Die Swish-T-Familie ist wie ein Upgrade für das Gehirn der KI. Sie sorgt dafür, dass:

Keine Informationen verloren gehen (selbst bei negativen Werten).
Das Lernen flüssiger und stabiler verläuft.
Die KI am Ende besser und schneller ist als mit den alten Methoden.

Zusammenfassend: Die Forscher haben einen alten, guten Schalter (Swish) genommen, ihm einen cleveren Beifahrer (Tanh-Bias) geschenkt und damit eine ganze Familie von Schaltern gebaut, die dafür sorgen, dass künstliche Intelligenzen noch schlauer und effizienter werden.

1. Problemstellung

Aktivierungsfunktionen sind fundamental für Deep-Learning-Modelle, um Nichtlinearität einzuführen und komplexe Muster zu modellieren. Während frühe Funktionen wie Sigmoid und Tanh glatte Übergänge boten, litten sie unter dem Problem des verschwindenden Gradienten. Die Einführung von ReLU (Rectified Linear Unit) löste dies durch Effizienz, führte jedoch zum „dying ReLU"-Problem, bei dem Neuronen bei negativen Eingaben inaktiv werden und keine Gradienten mehr leiten.

Zwar wurden Varianten wie Leaky ReLU und PReLU entwickelt, um dies zu mildern, doch diese sind an der Nullstelle nicht differenzierbar, was die Optimierung erschweren kann. Neuere glatte Approximationen wie GELU, Swish und Mish haben das Problem der Nicht-Differenzierbarkeit gelöst und zeigen oft bessere Ergebnisse. Dennoch besteht weiterhin Bedarf nach Funktionen, die eine noch feinere Kontrolle über den Aktivierungsschwellenwert bieten, insbesondere im negativen Bereich, um die Lernfähigkeit des Netzwerks weiter zu optimieren.

2. Methodik: Die Swish-T-Familie

Die Autoren schlagen die Swish-T-Familie vor, eine Erweiterung der bestehenden Swish-Aktivierungsfunktion ( $f(x) = x \cdot \sigma(\beta x)$ ). Der Kern der Innovation ist die Hinzufügung eines Tanh-Bias-Terms, der direkt in die Aktivierungsfunktion integriert wird.

Die Grundformel lautet:
$f(x; \beta, \alpha) = x\sigma(\beta x) + \alpha \tanh(x)$

Dabei ist:

$\sigma$ : Die Sigmoid-Funktion.
$\beta$ : Ein trainierbarer Parameter (initialisiert auf 1.0).
$\alpha$ : Ein Hyperparameter (fest auf 0.1 gesetzt), der den Tanh-Termin skaliert.

Designkriterien für den Bias:

Zentriert um Null: Der Tanh-Term ist bei $x=0$ null, wodurch die Null-Zentrierungseigenschaft von Swish erhalten bleibt.
Nichtlinearität: Der Term passt den Bias dynamisch basierend auf dem Eingabewert $x$ an.
Begrenzung: Der Tanh-Term ist durch $\alpha$ begrenzt, um die Stabilität der ursprünglichen Swish-Eigenschaften zu gewährleisten.

Varianten der Swish-T-Familie:
Um die Rechengeschwindigkeit zu optimieren und verschiedene Anforderungen zu erfüllen, wurden drei spezifische Varianten entwickelt:

Swish-TA: Eine vereinfachte, nicht-parametrische Version, bei der die Koeffizienten von $x$ vereinheitlicht werden ( $f_A(x) = \sigma(x)(x + 2\alpha) - \alpha$ ). Sie enthält keine trainierbaren Parameter und ist rechnerisch sehr effizient.
Swish-TB: Führt den trainierbaren Parameter $\beta$ wieder ein ( $f_B(x) = \sigma(\beta x)(x + 2\alpha) - \alpha$ ), um eine dynamische Anpassung des Bias zu ermöglichen.
Swish-TC: Eine symmetrische Variante ( $f_C(x) = \sigma(\beta x)(x + \frac{2\alpha}{\beta}) - \frac{\alpha}{\beta}$ ), die sicherstellt, dass sich das Verhalten bei Vorzeichenwechseln von $\beta$ stabil verhält. Sie verhindert, dass der Gradient bei kleinen $\beta$ -Werten explodiert.

Die Gradientenberechnung für Backpropagation wurde für alle Varianten hergeleitet, wobei gezeigt wurde, dass sie effizient berechenbar sind und eine stabile Gradientenfluss gewährleisten.

3. Hauptbeiträge

Einführung der Swish-T-Familie: Eine neue Klasse von Aktivierungsfunktionen, die durch die Integration eines parametrisierten Tanh-Bias eine glattere, nicht-monotone Kurve erzeugt und die Annahme negativer Werte in frühen Trainingsphasen erleichtert.
Entwicklung von Varianten: Die Schaffung von Swish-TA (für Effizienz), Swish-TB (für Anpassungsfähigkeit) und Swish-TC (für Stabilität und Symmetrie).
Empirische Validierung: Umfassende Experimente auf verschiedenen Datensätzen (MNIST, Fashion MNIST, SVHN, CIFAR-10, CIFAR-100) und Architekturen (ResNet-18, ShuffleNetV2, SENet-18, EfficientNetB0, MobileNetV2, DenseNet-121).
Ablationsstudie: Der Nachweis, dass Swish-T-Varianten auch als nicht-parametrische Funktionen (mit fixiertem $\beta$ ) hervorragende Ergebnisse liefern, was die Trainingsgeschwindigkeit erhöht und den Speicherbedarf senkt.

4. Ergebnisse

Die Experimente zeigen konsistent überlegene Leistungen der Swish-T-Familie im Vergleich zu etablierten Funktionen wie ReLU, GELU, Swish, Mish, SMU und SMU-1.

Leistung auf CIFAR-10: Swish-TC erreichte mit dem ShuffleNetV2 (2.x) Modell eine Top-1-Genauigkeit von 94,27 %, was eine Verbesserung von 2,34 % gegenüber ReLU darstellt.
Leistung auf CIFAR-100: Swish-TC zeigte hier die größte Verbesserung mit einem Anstieg von 4,12 % gegenüber ReLU (79,06 % vs. 74,94 % bei ResNet-18).
Trainingseffizienz: In Architekturen wie DenseNet-121 erreichte Swish-TC zwar ähnliche Genauigkeiten wie SMU, zeigte jedoch kürzere Trainingszeiten.
Ablationsstudie (Fixierung von $\beta$ ): Interessanterweise erzielten Swish-TB und Swish-TC mit einem fixierten $\beta$ -Wert von 6.0 (ohne Update während des Trainings) sogar noch bessere Ergebnisse als die parametrischen Versionen auf ResNet-18. Dies belegt, dass die Funktionen auch als „Magic Number"-basierte, nicht-parametrische Funktionen eingesetzt werden können, was die Komplexität des Trainings reduziert.

5. Bedeutung und Fazit

Die Swish-T-Familie stellt einen signifikanten Fortschritt in der Entwicklung von Aktivierungsfunktionen dar. Durch die Einführung eines Tanh-Bias gelingt es, die Vorteile von Swish (Glattheit, Selbst-Gating) zu bewahren und gleichzeitig die Kontrolle über den negativen Bereich zu verfeinern.

Die Bedeutung liegt in der Vielseitigkeit:

Leistung: Sie übertrifft den aktuellen State-of-the-Art in vielen Bildklassifizierungsaufgaben.
Effizienz: Die nicht-parametrischen Varianten (Swish-TA, sowie fixierte Swish-TB/TC) bieten hohe Genauigkeit bei geringerem Rechenaufwand und ohne zusätzliche trainierbare Parameter.
Stabilität: Die symmetrische Natur von Swish-TC sorgt für einen stabilen Gradientenfluss über einen weiten Eingabebereich.

Die Autoren schlussfolgern, dass Swish-T eine robuste und vielseitige Wahl für diverse neuronale Netzarchitekturen ist und dass die Möglichkeit, sie ohne Parameter-Updates einzusetzen, neue Wege für effizientes Deep Learning eröffnet. Der Code ist öffentlich verfügbar, was die Reproduzierbarkeit und Adoption fördert.