Analytical Softmax Temperature Setting from Feature Dimensions for Model- and Domain-Robust Classification

Probleemstelling

In diepe leeropdrachten voor classificatie is de temperatuurparameter ($T$) van de softmax-functie cruciaal voor de uitgangsverdeling en de algehele prestaties van het model. Hoewel $T$ de onzekerheid van de geschatte verdeling reguleert (een hogere $T$ maakt de verdeling uniformer, een lagere $T$ deterministischer), wordt deze parameter in de praktijk vaak op een standaardwaarde van 1.0 ingesteld of handmatig getuned via kostbare grid-search methoden.

Bestaande onderzoekingen hebben aangetoond dat de optimale temperatuur ($T^*$) afhankelijk is van factoren zoals het modelarchitectuur en de dataset, maar er ontbreekt een systematische, theoretisch onderbouwde methode om $T^*$ te bepalen zonder extra training. Bovendien varieert de relatie tussen $T^*$ en de dimensie van de feature maps ($M$) tussen verschillende taken, wat het moeilijk maakt om een algemene regel af te leiden.

Methodologie

De auteurs stellen een training-vrije (training-free) methode voor om de optimale temperatuur $T^*$ te schatten op basis van de dimensie van de feature representaties en taakkenmerken. De aanpak bestaat uit drie kerncomponenten:

1. Theoretisch Kader en Feature Dimensie:
   De auteurs stellen een theoretisch verband vast tussen de optimale temperatuur en de dimensie van de feature map ($M$). Ze hypotheseren dat de variantie van de logits (de uitgangen van de classifier) evenredig groeit met $M$. Om dit te compenseren, wordt voorgesteld om $T^*$ te modelleren als een functie van $\sqrt{M}$.

2. Insertie van Batch Normalization (BN):
   Om de stabiliteit van deze relatie te vergroten en de gevoeligheid voor variaties in modelarchitectuur te verminderen, wordt een Batch Normalization (BN) laag direct voor de outputlaag (de classifier) ingevoegd.

   • Hypothese: BN normaliseert de feature maps ($z$) zodat ze een gemiddelde van 0 en variantie van 1 hebben. Dit elimineert de invloed van de schaal van $z$ op de variantie van de logits, waardoor de relatie tussen $T^*$ en $M$ robuuster wordt.
   • Resultaat: Zonder BN degradeert de prestatie vaak bij het invoegen van BN met de standaard $T=1$, maar met een correct ingestelde $T^*$ verbetert de generalisatie significant.

3. Empirische Formule en Correcties:
   De optimale temperatuur wordt berekend met een gesloten-formule oplossing die wordt verfijnd met taakspecifieke correcties:
   $$\hat{T}^* = \text{clip}\left( \alpha\sqrt{M} + \beta + \gamma \log(c_{sg}) + \delta \log(c_n), \epsilon, 512 \right)$$
   Waarbij:

   • $M$: Dimensie van de feature map.
   • $c_{sg}$: Cumulative Spectral Gradient (CSG), een maat voor de taakmoeilijkheid (hoe meer vergelijkbare klassen, hoe moeilijker de taak).
   • $c_n$: Aantal klassen (Number of Classes).
   • $\alpha, \beta, \gamma, \delta$: Coëfficiënten die empirisch zijn geoptimaliseerd via grote schaal experimenten.

   De auteurs tonen aan dat het toevoegen van de termen voor CSG en $c_n$ de robuustheid over diverse datasets en modelarchitecturen verbetert.

Belangrijkste Bijdragen

1. Theoretisch Verband: Een nieuw theoretisch raamwerk dat $T^*$ koppelt aan de feature-dimensie $M$, ondersteund door de invoering van een BN-laag om de feature-ruimte te stabiliseren.
2. Training-vrije Schatting: De eerste methode die een gesloten-formule oplossing biedt voor $T^*$ zonder dat er extra hyperparameter-zoeken of hertraining nodig is.
3. Empirische Formules: Het afleiden van specifieke coëfficiënten voor twee scenario's:
   • Basisformule: $\hat{T}^* = \text{clip}(0.7239\sqrt{M} - 4.706, \epsilon, 512)$
   • Verfijnde formule (met taakcorrectie): $\hat{T}^*_{csgcn} = \text{clip}(0.3191\sqrt{M} + 20.74 + 3.746 \log(c_{sg}) - 7.380 \log(c_n), \epsilon, 512)$
4. Validatie van BN: Het aantonen dat het invoegen van BN direct voor de outputlaag, in combinatie met de juiste temperatuur, de generalisatie verbetert, terwijl het bij de standaard $T=1$ vaak schadelijk is.

Resultaten

De methode is uitgebreid getest op diverse datasets (CIFAR-10/100, STL-10, Tiny ImageNet, GTS, ISIC, Caltech101, etc.) en modelarchitecturen (ResNet, EfficientNet, ConvNeXt, ViT, Swin Transformer).

• Prestatieverbetering: De voorgestelde methode presteert consequent beter dan de standaard $T=1$ en andere bestaande methoden zoals "Insert LN" (Layer Normalization) of de zelf-attention benadering ($T=\sqrt{M}$).
• Robuustheid: De methode werkt effectief bij training van scratch (vanaf nul) en bij fine-tuning (transfer learning), ongeacht of het om ConvNet- of Transformer-architecturen gaat.
• Taakcomplexiteit: De verfijnde formule met CSG en $c_n$ correcties toont de beste resultaten op moeilijke datasets (zoals Tiny ImageNet en fine-grained classificatie), waar de basisformule soms tekortschiet.
• Label Smoothing: Interessant genoeg presteert de voorgestelde temperatuur-tuning beter dan label smoothing, en de combinatie van beide leidt tot een prestatiedaling, wat suggereert dat ze verschillende rollen spelen in de regularisatie.

Significantie

Dit onderzoek biedt een praktische, schaalbare en theoretisch onderbouwde oplossing voor het bepalen van de softmax-temperatuur. Door de noodzaak van kostbare hyperparameter-zoeken te elimineren, bespaart het aanzienlijke rekentijd en ontwikkelkosten. De bevindingen dat een BN-laag voor de outputlaag, gecombineerd met een dimensie-afhankelijke temperatuur, de generalisatie verbetert, biedt nieuwe inzichten voor het ontwerpen van robuuste deep learning pipelines. De methode is direct toepasbaar in bestaande workflows en verbetert de betrouwbaarheid van modellen in diverse toepassingsgebieden, van beeldherkenning tot tijdreeksvoorspelling.