Technische Samenvatting: Een Gecombineerde Activeringsfunctie voor het Leren van Stabiele Binaire Representaties

Probleemstelling

Activeringsfuncties zijn fundamenteel voor de prestaties van neurale netwerken en beïnvloeden voorspellingnauwkeurigheid, robuustheid en interpreteerbaarheid. Hoewel de Heaviside-activeringsfunctie ($x \mapsto \mathbb{I}(x \geq 0)$) aanzienlijke voordelen biedt op het gebied van rekenefficiëntie, geheugengebruik en interpreteerbaarheid – waardoor deze ideaal is voor Spiking Neural Networks (SNN's), Binary Neural Networks (BNN's) en Deep Heaviside Neural Networks (DHN's) – is deze inherent niet-differentieerbaar. Deze niet-differentieerbaarheid verhindert het gebruik van standaard gradiëntgebaseerde optimalisatie.

Bestaande oplossingen lopen tegen kritieke beperkingen aan:

1. Surrogaatgradiënten (bijv. Straight-Through Estimator - STE): Deze methoden benaderen gradiënten tijdens backpropagation, maar introduceren een mismatch tussen de forward- en backward-pass, wat vaak leidt tot bevooroordeelde optimalisatie en suboptimale prestaties.
2. Vlotte Surrogaatfuncties (bijv. Sigmoid): Het vervangen van Heaviside door vlotte functies zoals sigmoid maakt gradiëntafdaal mogelijk, maar lijdt aan ernstig gradiëntverval, vooral wanneer de functie wordt versterkt om de binaire stap te benaderen. Dit leidt tot instabiele trainingsdynamiek.

De kernuitdaging is het ontwerpen van een activeringsfunctie die de Heaviside-functie nauwkeurig benadert (en zo binaire representaties mogelijk maakt), terwijl een stabiele, niet-vervalende gradiëntstroom wordt behouden die geschikt is voor het trainen van diepe netwerken.

Methodologie: Heavy-Tailed Activation Function (HTAF)

De auteurs stellen de Heavy-Tailed Activation Function (HTAF) voor, een nieuwe vlotte gecombineerde functie gedefinieerd als:
$$\text{HTAF}(x|\alpha_0, \alpha_1) := \sigma(\alpha_1 \psi(\alpha_0 x))$$
waarbij $\sigma$ de sigmoid-functie is, $\psi$ de hyperbolische tangens-functie is, en $\alpha_0, \alpha_1 \in \mathbb{R}^+$ hyperparameters zijn.

Theoretische Eigenschappen

Het ontwerp van HTAF adresseert de afweging tussen binaire benadering en gradiëntstabiliteit via twee kernmechanismen:

1. Binaire Benadering: Theoretische analyse (Propositie 3.1) toont aan dat HTAF met geschikte keuzes van $\alpha_0$ en $\alpha_1$ de Heaviside-functie uniform benadert buiten een willekeurig kleine omgeving van de oorsprong.
2. Heavy-Tailed Gradiëntgedrag:
   • Dicht bij Nul: De gradiënt bij $x=0$ wordt bepaald door het product $\alpha_0 \alpha_1$ (Stelling 3.2b), wat een grote gradiëntgrootte mogelijk maakt om leren nabij de beslissingsgrens te faciliteren.
   • In de Staarten: Voor grote $|x|$ verval de gradiënt als $C(\alpha_0, \alpha_1)\exp(-2\alpha_0|x|)$ (Stelling 3.2a). Cruciaal is dat door het kiezen van een kleine $\alpha_0$, het gradiëntverval in de staartregio's aanzienlijk wordt vertraagd in vergelijking met standaard geschaalde sigmoid-functies, waardoor voortijdig gradiëntverval wordt voorkomen.
   • Parametercontrole: De auteurs tonen aan dat $\alpha_0$ de staartvervalrate controleert, terwijl $\alpha_1$ de helling bij de oorsprong controleert. Deze ontkoppeling stelt het netwerk in staat om een grote gradiënt bij nul te behouden, terwijl ervoor wordt gezorgd dat gradiënten niet te snel vervallen voor grote invoerwaarden.

Toepassingen

Het artikel past HTAF toe op twee primaire domeinen:

1. Trainen van Neurale Netwerken met Heaviside-Activeringen: HTAF vervangt de Heaviside-functie tijdens het trainen voor SNN's, BNN's en DHN's. Dit maakt end-to-end optimalisatie mogelijk met standaard gradiëntafdaal zonder surrogaatgradiënten. Bij inferentie wordt HTAF teruggezet naar de exacte Heaviside-functie, wat leidt tot discrete, geheugenefficiënte activeringen.
2. Implicit Concept Bottleneck Models (ICBMs): De auteurs introduceren ICBMs, een uitbreiding van Concept Bottleneck Models (CBMs). In ICBMs gebruikt de laatste laag van een feature-extractor HTAF tijdens het trainen om discrete, bijna-binaire latente representaties (impliciete concepten) te induceren. Bij inferentie wordt de Heaviside-functie toegepast om exacte binaire features te produceren. In tegenstelling tot traditionele CBMs vereisen ICBMs geen vooraf gedefinieerde conceptannotaties; in plaats daarvan leren ze concepten direct uit data, die vervolgens worden geïnterpreteerd door Large Language Models (LLMs).

Belangrijkste Bijdragen

1. Nieuwe Activeringsfunctie: Introductie van HTAF, een vlotte benadering van de Heaviside-functie die grote gradiënten nabij nul behoudt terwijl het een traag gradiëntverval in staartregio's vertoont.
2. Theoretische Rechtvaardiging: Bewijs dat HTAF de Heaviside-functie kan benaderen met een $O(\epsilon)$-fout en theoretisch aantoont hoe parametertuning het gradiëntverval controleert om stabiel diep leren mogelijk te maken.
3. Trainen zonder Surrogaat: Aantonen dat HTAF stabiele, end-to-end gradiëntgebaseerde training van SNN's, BNN's en DHN's mogelijk maakt, en dat deze methoden de bestaande methoden zoals STE en Scaled Sigmoid (SS) overtreft op het gebied van voorspellingnauwkeurigheid en stabiliteit.
4. Interpreteerbare Modellen: Voorstellen van ICBMs, die HTAF benutten om discrete, klas-specifieke impliciete concepten te leren zonder menselijke annotatie, waarbij concurrerende voorspellingsprestaties worden behaald met gelijktijdige interpreteerbaarheid.

Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd over verschillende architecturen en datasets:

• Training van Heaviside-netwerken:
  • Op CIFAR-10 en CIFAR-100 behaalden met HTAF getrainde SNN's prestaties die concurreren met STE (91,0% versus 91,2% op CIFAR-10).
  • Voor BNN's en DHN's overtrof HTAF consistent zowel STE als Scaled Sigmoid. Bijvoorbeeld, op CIFAR-100 behaalden met HTAF getrainde BNN's een nauwkeurigheid van 46,1% vergeleken met 45,2% (STE) en 31,3% (SS). De auteurs schrijven de slechte prestaties van SS toe aan gradiëntverval.
• Implicit Concept Bottleneck Models (ICBMs):
  • Het vervangen van de laatste activering van feature-extractors (ResNet, WideResNet, ViT) door HTAF leidde niet tot een achteruitgang van de voorspellingsprestaties op CIFAR-10, CIFAR-100, CUB-200 en Tiny-ImageNet. In sommige gevallen (bijv. CIFAR-100 met WideResNet) verbeterden de prestaties zelfs.
  • Klassenspecificiteit: Analyse toonde aan dat de impliciete concepten die door ICBMs worden geleerd, sterk klas-specifiek zijn, met activeringswaarden die zich concentreren nabij 0 of 1 voor specifieke klassen, in tegenstelling tot standaardmodellen.
  • Interpreteerbaarheid: Door een LLM te gebruiken om de binaire latente knopen te interpreteren, slaagden de auteurs erin semantisch zinvolle concepten te identificeren (bijv. "Ecomorfologische Niche", "Snavelmorfologie") die overeenkwamen met visuele kenmerken van de data.
• Large Language Models (LLMs):
  • Experimenten waarbij activeringsfuncties in de laatste $k$ lagen van Llama-2-7b en Qwen-3.5-9b werden vervangen door HTAF, toonden aan dat HTAF een stabiel alternatief biedt voor STE, met een kleinere prestatiedaling naarmate het aantal vervangen lagen toeneemt.

Betekenis en Claims

Het artikel claimt dat HTAF een principiële oplossing biedt voor de langdurige moeilijkheid van het trainen van neurale netwerken met binaire activeringen. Door theoretisch en empirisch aan te tonen dat HTAF gradiëntstroom in staartregio's behoudt terwijl het de Heaviside-functie benadert, stellen de auteurs het volgende mogelijk:

• Stabiele Optimalisatie: Training van diepe binaire netwerken zonder de bias die wordt geïntroduceerd door surrogaatgradiënten of de instabiliteit van steile sigmoid-benaderingen.
• Efficiëntie en Interpreteerbaarheid: De mogelijkheid om geheugenefficiënte, discrete modellen (SNN's, BNN's) en interpreteerbare modellen (ICBMs) in te zetten zonder in te leveren op voorspellingsnauwkeurigheid.
• Datagedreven Concepten: Een nieuw paradigma voor CBMs dat concepten direct uit data leert, waarbij de kosten en onbetrouwbaarheid van handmatige of door AI gegenereerde conceptannotaties worden omzeild.

De auteurs merken op dat hoewel HTAF gradiëntverval verlicht door parametertuning, het dit niet volledig elimineert, en dat het bepalen van het optimale aantal concepten in ICBMs een open richting blijft voor toekomstig onderzoek.