📊 statistics

A Composite Activation Function for Learning Stable Binary Representations

Dieser Artikel schlägt die Heavy-Tailed-Aktivierungsfunktion (HTAF) vor, eine glatte zusammengesetzte Approximation der Heaviside-Funktion, die ein stabiles gradientenbasiertes Training für binäre und spiking neuronale Netze ermöglicht, und zeigt ihre Wirksamkeit bei der Erstellung interpretierbarer Impliziter Konzept-Flaschenhals-Modelle mit diskreten Merkmalsrepräsentationen.

Ursprüngliche Autoren: Seokhun Park, Choeun Kim, Kwanho Lee, Sehyun Park, Insung Kong, Yongdai Kim

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Seokhun Park, Choeun Kim, Kwanho Lee, Sehyun Park, Insung Kong, Yongdai Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Ein/Aus"-Schalter, der das Gehirn kaputt macht

Stellen Sie sich ein neuronales Netzwerk (eine Art KI) als ein riesiges Team von Arbeitern vor, die sich Notizen austauschen, um ein Rätsel zu lösen. Um Entscheidungen zu treffen, verwenden diese Arbeiter „Aktivierungsfunktionen", die wie Lichtschalter funktionieren.

Standard-KI: Verwendet Dimmer-Schalter. Sie können leicht an, halb an oder voll an sein. Dies erleichtert es dem Team zu lernen, denn wenn ein Arbeiter einen Fehler macht, kann er den Schalter sanft nach oben oder unten drücken, um ihn zu korrigieren.
Das Ziel (Binäre KI): Die Forscher wollen Ein/Aus-Schalter verwenden (wie die Heaviside-Funktion). Das ist großartig, weil es enorme Mengen an Speicher und Energie spart (wie eine Glühbirne, die entweder voll leuchtet oder komplett dunkel ist). Es macht auch das Denken der KI leichter verständlich.
Der Haken: Man kann einen Ein/Aus-Schalter nicht sanft drücken. Wenn er aus ist, bleibt er aus. Wenn Sie versuchen zu berechnen, wie ein Fehler zu korrigieren ist (unter Verwendung von Gradienten), bricht die Mathematik zusammen, weil sich der Schalter nicht glatt bewegt. Es ist, als würde man versuchen, ein Auto zu steuern, das nur einen „Los"- und einen „Stopp"-Knopf hat, aber kein Lenkrad.

Die Lösung: Der „Heavy-Tailed"-Schalter (HTAF)

Die Autoren entwickelten einen neuen Schaltertyp namens HTAF (Heavy-Tailed Activation Function). Stellen Sie sich das als einen intelligenten, hybriden Schalter vor, der den Trainingsprozess täuscht.

Der „Sweet Spot" (Nahe Null): Wenn die Eingabe klein ist (nahe Null), verhält sich dieser Schalter wie eine steile, aggressive Rampe. Er lässt das „Lernsignal" (den Gradienten) stark durchfließen. Dies stellt sicher, dass die KI schnell lernen und Fehler korrigieren kann, genau wie ein normaler Dimmer-Schalter.
Der „Schwanz" (Weit entfernt von Null): Wenn die Eingabe sehr groß wird, flachen die meisten Standard-Schalter (wie die Sigmoid-Funktion) völlig ab, wodurch das Lernsignal verschwindet (das „Gradienten-Verschwinden-Problem"). HTAF ist anders. Es hat einen schweren Schwanz, was bedeutet, dass es das Lernsignal fließen lässt, selbst wenn die Zahlen riesig werden. Es ist wie eine lange, sanfte Böschung, die niemals ganz abflacht und sicherstellt, dass die KI niemals „stecken bleibt" oder den Weg verliert.

Die Analogie: Stellen Sie sich eine Rutsche auf einem Spielplatz vor.

Standard-Schalter sind wie eine Rutsche, die am Boden so flach wird, dass man stecken bleibt und nicht weiter rutschen kann (Gradienten-Verschwinden).
HTAF ist eine Rutsche, die oben steil ist (damit man schnell startet), aber unten eine lange, sanfte Kurve hat, die einen bis zum Ende in Bewegung hält, egal wie hoch man gestartet ist.

Wie sie es verwendeten: Zwei Haupt-Tricks

Das Papier zeigt zwei Möglichkeiten, wie sie diesen neuen Schalter verwendeten:

1. „Binäre" Netzwerke trainieren, ohne sie zu zerstören

Sie verwendeten HTAF, um Netzwerke zu trainieren, die binär sein wollen (Spiking Neural Networks, Binary Neural Networks und Deep Heaviside Networks).

Während des Trainings: Sie verwenden den glatten HTAF-Schalter. Die KI lernt normal, weil die Mathematik funktioniert.
Während des Tests (Inferenz): Sobald das Lernen abgeschlossen ist, tauschen sie den HTAF-Schalter gegen den strengen Ein/Aus-Schalter aus.
Das Ergebnis: Die KI endet mit einem binären Gehirn (spart Speicher und Energie), lernt aber genauso gut wie eine Standard-KI. In ihren Tests funktionierte diese Methode besser als frühere Tricks (wie „Straight-Through Estimators"), die oft zu unordentlichen oder verzerrten Ergebnissen führten.

2. „Implizite Konzept-Flaschenhals-Modelle" (ICBMs)

Dies ist die kreativste Anwendung. Normalerweise müssen wir, um eine KI erklärbar zu machen (damit Menschen verstehen, warum sie eine Entscheidung getroffen hat), manuell kennzeichnen, wonach die KI sucht (z. B. „Hat der Vogel einen roten Schnabel?"). Das ist teuer und langsam.

Die Autoren bauten ein Modell namens ICBM, das diese Konzepte selbstständig findet:

Der Prozess: Sie zwingen die internen „Gedanken" (Merkmale) der KI, mit HTAF binär (0 oder 1) zu werden.
Die Magie: Da die KI gezwungen wird, binäre Entscheidungen zu treffen, gruppiert sie Bilder natürlich in „hat dieses Merkmal" oder „hat dieses Merkmal nicht".
Die Erklärung: Sobald die KI diese binären Gruppen gelernt hat, bitten sie ein Large Language Model (wie einen intelligenten Chatbot), die Gruppen anzusehen und ihnen einen Namen zu geben.
- Beispiel: Die KI könnte eine Gruppe von Vögeln finden, die „am Boden" sind, im Gegensatz zu denen „im Wasser". Der Chatbot nennt dieses Konzept „Ökomorphologische Nische".
Der Vorteil: Sie erhalten ein Modell, das genauso genau ist wie eine Standard-„Black-Box"-KI, aber Ihnen auch eine Liste von für Menschen lesbaren Gründen für seine Entscheidungen liefert, ohne dass Menschen die Konzepte im Voraus kennzeichnen müssen.

Das Fazit

Das Papier stellt ein neues mathematisches Werkzeug (HTAF) vor, das als Brücke fungiert. Es ermöglicht Forschern, KI-Modelle mit standardmäßiger, glatter Mathematik zu trainieren, sie dann aber für das Endprodukt in einen starren, binären Zustand zu schnappen.

Warum es wichtig ist: Es macht KI schneller, günstiger im Betrieb und leichter verständlich, ohne die Leistungsfähigkeit zu beeinträchtigen.
Die Behauptung: Sie bewiesen mathematisch, dass dieser Schalter verhindert, dass das „Lernsignal" ausstirbt, und sie zeigten durch Experimente, dass es bei Bildern (wie der Erkennung von Vögeln oder Autos) und sogar bei Large Language Models funktioniert.

Hinweis: Das Papier konzentriert sich ausschließlich auf Bilddatensätze (wie CIFAR, CUB-200) und Textdatensätze (wie Winogrande). Es behauptet nicht, für medizinische Diagnosen oder klinische Anwendungen zu funktionieren, und sagt auch keine zukünftigen Anwendungen voraus, die über die spezifischen Experimente hinausgehen, die sie durchführten.

Technische Zusammenfassung: Eine zusammengesetzte Aktivierungsfunktion zum Erlernen stabiler binärer Darstellungen

Problemstellung

Aktivierungsfunktionen sind grundlegend für die Leistungsfähigkeit neuronaler Netze und beeinflussen Vorhersagegenauigkeit, Robustheit und Interpretierbarkeit. Während die Heaviside-Aktivierungsfunktion ( $x \mapsto \mathbb{I}(x \geq 0)$ ) erhebliche Vorteile in Bezug auf Recheneffizienz, Speichernutzung und Interpretierbarkeit bietet – was sie ideal für Spiking Neural Networks (SNNs), Binary Neural Networks (BNNs) und Deep Heaviside Neural Networks (DHNs) macht –, ist sie inhärent nicht differenzierbar. Diese Nicht-Differenzierbarkeit verhindert die Verwendung standardmäßiger gradientenbasierter Optimierungsverfahren.

Bestehende Lösungen weisen kritische Einschränkungen auf:

Surrogat-Gradienten (z. B. Straight-Through Estimator - STE): Diese Methoden approximieren Gradienten während der Backpropagation, führen jedoch zu einer Diskrepanz zwischen Vorwärts- und Rückwärtsdurchlauf, was oft zu verzerrter Optimierung und suboptimaler Leistung führt.
Glatte Surrogate (z. B. Sigmoid): Der Ersatz der Heaviside-Funktion durch glatte Funktionen wie Sigmoid ermöglicht den Gradientenabstieg, leidet jedoch unter einem schweren Gradienten-Verschwinden, insbesondere wenn die Funktion steiler gemacht wird, um den binären Schritt zu approximieren. Dies führt zu instabilen Trainingsdynamiken.

Die Kernherausforderung besteht darin, eine Aktivierungsfunktion zu entwerfen, die die Heaviside-Funktion eng approximiert (und somit binäre Darstellungen ermöglicht), gleichzeitig jedoch einen stabilen, nicht verschwindenden Gradientenfluss aufrechterhält, der für das Training tiefer Netze geeignet ist.

Methodik: Heavy-Tailed Activation Function (HTAF)

Die Autoren schlagen die Heavy-Tailed Activation Function (HTAF) vor, eine neuartige, glatte zusammengesetzte Funktion, definiert als:
$\text{HTAF}(x|\alpha_0, \alpha_1) := \sigma(\alpha_1 \psi(\alpha_0 x))$
wobei $\sigma$ die Sigmoid-Funktion ist, $\psi$ die hyperbolische Tangens-Funktion und $\alpha_0, \alpha_1 \in \mathbb{R}^+$ Hyperparameter sind.

Theoretische Eigenschaften

Das Design von HTAF adressiert den Kompromiss zwischen binärer Approximation und Gradientenstabilität durch zwei Schlüsselmechanismen:

Binäre Approximation: Eine theoretische Analyse (Proposition 3.1) zeigt, dass HTAF mit geeigneten Wahlen von $\alpha_0$ und $\alpha_1$ die Heaviside-Funktion außerhalb einer beliebig kleinen Umgebung des Ursprungs gleichmäßig approximiert.
Heavy-Tailed Gradientenverhalten:
- Nahe Null: Der Gradient bei $x=0$ wird durch das Produkt $\alpha_0 \alpha_1$ bestimmt (Theorem 3.2b), was eine große Gradientenstärke ermöglicht, um das Lernen in der Nähe der Entscheidungsgrenze zu erleichtern.
- In den Tails: Für große $|x|$ fällt der Gradient als $C(\alpha_0, \alpha_1)\exp(-2\alpha_0|x|)$ ab (Theorem 3.2a). Entscheidend ist, dass durch die Wahl eines kleinen $\alpha_0$ der Gradientenabfall in den Tail-Regionen im Vergleich zu standardmäßigen skalierten Sigmoid-Funktionen erheblich verlangsamt wird, wodurch ein vorzeitiges Gradienten-Verschwinden verhindert wird.
- Parameterkontrolle: Die Autoren zeigen, dass $\alpha_0$ die Tail-Abfallrate steuert, während $\alpha_1$ die Steigung am Ursprung kontrolliert. Diese Entkopplung ermöglicht es dem Netzwerk, bei Null einen großen Gradienten aufrechtzuerhalten, während gleichzeitig sichergestellt wird, dass Gradienten für große Eingaben nicht zu schnell verschwinden.

Anwendungen

Die Arbeit wendet HTAF auf zwei Hauptbereiche an:

Training neuronaler Netze mit Heaviside-Aktivierungen: HTAF ersetzt die Heaviside-Funktion während des Trainings für SNNs, BNNs und DHNs. Dies ermöglicht eine End-to-End-Optimierung unter Verwendung standardmäßigen Gradientenabstiegs ohne Surrogat-Gradienten. Beim Inferenzvorgang wird HTAF auf die exakte Heaviside-Funktion zurückgeführt, was diskrete, speichereffiziente Aktivierungen liefert.
Implizite Concept Bottleneck Models (ICBMs): Die Autoren stellen ICBMs vor, eine Erweiterung von Concept Bottleneck Models (CBMs). In ICBMs verwendet die letzte Schicht eines Merkmalsextraktors HTAF während des Trainings, um diskrete, nahezu binäre latente Darstellungen (implizite Konzepte) zu induzieren. Beim Inferenzvorgang wird die Heaviside-Funktion angewendet, um exakte binäre Merkmale zu erzeugen. Im Gegensatz zu traditionellen CBMs benötigen ICBMs keine vordefinierten Konzept-Annotationen; stattdessen lernen sie Konzepte direkt aus den Daten, die anschließend von Large Language Models (LLMs) interpretiert werden.

Hauptbeiträge

Neuartige Aktivierungsfunktion: Einführung von HTAF, einer glatten Approximation der Heaviside-Funktion, die große Gradienten nahe Null bewahrt und gleichzeitig einen langsamen Gradientenabfall in Tail-Regionen aufweist.
Theoretische Begründung: Beweis, dass HTAF die Heaviside-Funktion mit einem Fehler von $O(\epsilon)$ approximieren kann, und theoretischer Nachweis, wie die Parameteranpassung den Gradientenabfall steuert, um stabiles Deep Learning zu ermöglichen.
Surrogat-freies Training: Nachweis, dass HTAF ein stabiles, End-to-End gradientenbasiertes Training von SNNs, BNNs und DHNs ermöglicht und bestehende Methoden wie STE und Scaled Sigmoid (SS) in Vorhersagegenauigkeit und Stabilität übertrifft.
Interpretierbare Modelle: Vorschlag von ICBMs, die HTAF nutzen, um diskrete, klassenspezifische implizite Konzepte ohne menschliche Annotation zu erlernen, was wettbewerbsfähige Vorhersageleistung bei gleichzeitiger Interpretierbarkeit erzielt.

Experimentelle Ergebnisse

Die Autoren führten umfangreiche Experimente über verschiedene Architekturen und Datensätze durch:

Training von Heaviside-Netzen:
- Auf CIFAR-10 und CIFAR-100 erreichten mit HTAF trainierte SNNs eine Leistung, die mit STE vergleichbar war (91,0 % vs. 91,2 % auf CIFAR-10).
- Für BNNs und DHNs übertraf HTAF konsistent sowohl STE als auch Scaled Sigmoid. Beispielsweise erreichten auf CIFAR-100 mit HTAF trainierte BNNs eine Genauigkeit von 46,1 % im Vergleich zu 45,2 % (STE) und 31,3 % (SS). Die Autoren führen die schlechte Leistung von SS auf Gradienten-Verschwinden zurück.
Implizite Concept Bottleneck Models (ICBMs):
- Der Ersatz der finalen Aktivierung von Merkmalsextraktern (ResNet, WideResNet, ViT) durch HTAF verschlechterte die Vorhersageleistung auf CIFAR-10, CIFAR-100, CUB-200 und Tiny-ImageNet nicht. In einigen Fällen (z. B. CIFAR-100 mit WideResNet) verbesserte sich die Leistung sogar.
- Klassenspezifität: Die Analyse zeigte, dass die von ICBMs gelernten impliziten Konzepte hochgradig klassenspezifisch sind, wobei die Aktivierungswerte für bestimmte Klassen nahe 0 oder 1 konzentriert sind, im Gegensatz zu Standardmodellen.
- Interpretierbarkeit: Durch die Verwendung eines LLM zur Interpretation der binären latenten Knoten identifizierten die Autoren erfolgreich semantisch sinnvolle Konzepte (z. B. „Ecomorphologische Nische", „Schnabelmorphologie"), die mit visuellen Merkmalen der Daten übereinstimmten.
Large Language Models (LLMs):
- Experimente, bei denen Aktivierungsfunktionen in den letzten $k$ Schichten von Llama-2-7b und Qwen-3.5-9b durch HTAF ersetzt wurden, zeigten, dass HTAF eine stabilere Alternative zu STE darstellt und einen geringeren Leistungsabfall aufweist, wenn die Anzahl der ersetzten Schichten zunimmt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass HTAF eine prinzipielle Lösung für die langjährige Schwierigkeit des Trainings neuronaler Netze mit binären Aktivierungen bietet. Indem sie theoretisch und empirisch nachweisen, dass HTAF den Gradientenfluss in Tail-Regionen aufrechterhält und gleichzeitig die Heaviside-Funktion approximiert, ermöglichen die Autoren:

Stabile Optimierung: Training tiefer binärer Netze ohne die durch Surrogat-Gradienten eingeführte Verzerrung oder die Instabilität steiler Sigmoid-Approximationen.
Effizienz und Interpretierbarkeit: Die Fähigkeit, speichereffiziente, diskrete Modelle (SNNs, BNNs) und interpretierbare Modelle (ICBMs) einzusetzen, ohne die Vorhersagegenauigkeit zu beeinträchtigen.
Datengetriebene Konzepte: Ein neues Paradigma für CBMs, das Konzepte direkt aus den Daten lernt und die Kosten und Unzuverlässigkeit manueller oder KI-generierter Konzept-Annotationen umgeht.

Die Autoren weisen darauf hin, dass HTAF zwar durch Parameteranpassung das Gradienten-Verschwinden lindert, es jedoch nicht vollständig eliminiert, und dass die Bestimmung der optimalen Anzahl von Konzepten in ICBMs weiterhin eine offene Richtung für zukünftige Forschung bleibt.