Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation

Technische Samenvatting: Controleerbare Diversiteit in Normalisatie-gebaseerde Impliciete Ensembles via Softmax-Temperatuur Modulatie

Probleemstelling
Deep ensembles blijven de gouden standaard voor onzekerheidskwantificatie in deep learning, omdat ze betrouwbare kalibratie en out-of-distribution (OOD) detectie bieden door meerdere onafhankelijke modellen te trainen. Echter, hun computationele en geheugenkosten schalen lineair met het aantal ensembleleden, wat prohibitief wordt voor grootschalige modellen. Impliciete ensembles pakken dit aan door een enkele backbone te delen tussen de leden, waarbij per lid modulatie of partitionering wordt geïntroduceerd om ensemblegedrag te simuleren tijdens een enkele trainingsronde.

Een kritieke beperking van bestaande impliciete ensemblemethoden is het gebrek aan controle over de diversiteit van de leden. Diversiteit is een primaire determinant voor de kwaliteit van een ensemble, maar huidige benaderingen fixeren deze bij initialisatie (bijv. adapter-gebaseerde methoden zoals BatchEnsemble) of coderen het hard in de architectuur (bijv. partitioneringsmethoden zoals Packed Ensembles). Bijgevolg is er geen mechanisme om de afweging tussen nauwkeurigheid en kalibratie tijdens de training vorm te geven of te navigeren. Bovendien vereisen bestaande methoden vaak specifieke architecturale herontwerpen, waardoor ze moeilijk toe te passen zijn op voorgetrainde modellen.

Methodologie: $\sigma$N-Ens
De auteurs introduceren $\sigma$N-Ens, een normalisatie-gebaseerd impliciet ensemble dat elk lid behandelt als een afzonderlijke taak binnen een multi-task learning (MTL) framework.

1. Architectuur ($\sigma$Norm): De methode vervangt standaard normalisatielagen (BatchNorm of LayerNorm) in een gedeelde backbone door taakspecifieke lagen. Voor elk lid $t$ wordt de normalisatie gemoduleerd door een met een sigmoid begrensde schaler:
   $$\sigma\text{Norm}_t(x) = \sigma(\gamma_t) \odot \text{norm}_t(x)$$
   waarbij $\sigma(\gamma_t) = \frac{1}{1 + e^{-\gamma_t}}$. Deze schalers fungeren als per-feature importances. Omdat alleen de normalisatielagen worden gerepliceerd, blijven de backbone-gewichten (convolutioneel of transformer) volledig gedeeld, waardoor de methode elke standaardarchitectuur kan omvatten en voorgetrainde modellen kan aanpassen via korte fine-tuning.

2. Controleerbare Diversiteit via Softmax-Temperatuur: Om de diversiteit tijdens de training actief vorm te geven, introduceren de auteurs een softmax-temperatuur regularisator toegepast op de belangheidsvectoren ($\sigma(\gamma)$) over de leden heen voor elke feature.
   $$\mathcal{L}_{div} = \lambda \sum_{\ell \in \mathcal{R}} \sum_{i} \sum_{m=1}^{M} \log \left[ \text{softmax}_{\tau}(\sigma(\gamma_{\cdot, \ell, i})) \right]_m$$
   Hier fungeert $\tau$ als een temperatuur-hyperparameter die het evenwichtsniveau van het delen bepaalt.

   • Lage $\tau$: Drijft de distributie naar een one-hot verdeling, waardoor features aan één enkel lid worden toegewezen (maximale diversiteit, vergelijkbaar met harde partitionering).
   • Hoge $\tau$: Drijft de distributie naar een uniforme verdeling, wat het volledige delen van features aanmoedigt.
   • Intermediaire $\tau$: Creëert een "zachte $M$-keuzes-$k$" allocatie, waarbij features worden gedeeld door een subset van $k$ leden.
     In tegen tegenstelling tot standaard regularisatiekracht ($\lambda$), die bepaalt hoe hard het netwerk naar een doel wordt geduwd, selecteert $\tau$ welk evenwicht het systeem bereikt. Dit stelt gebruikers in staat om een nauwkeurigheid-kalibratie frontiere te traceren door $\tau$ te variëren.

3. Modulatie-onzekerheid: De auteurs herformuleren de door dit ensemble uitgedrukte epistemische onzekerheid als modulatie-onzekerheid. Omdat de backbone gedeeld en deterministisch is, komt de onzekerheid uitsluitend voort uit de herweging van gedeelde features door de modulatieparameters. Dit is structureel verschillend van de onzekerheid die voortkomt uit verschillende feature extractors in volledige deep ensembles.

Kernbijdragen

• Controleerbare Diversiteit: Het artikel presenteert het eerste mechanisme in de familie van impliciete ensembles dat de diversiteit van de leden tijdens de training vormgeeft via een enkele hyperparameter ($\tau$), in plaats van deze vast te leggen bij initialisatie of constructie. Dit maakt het mogelijk om de nauwkeurigheid-kalibratie Pareto-front te navigeren.
• Modulatie-onzekerheid: De auteurs identificeren en definiëren "modulatie-onzekerheid" als de specifieke epistemische component die door ensembles met een gedeelde backbone wordt uitgedrukt. Ze stellen vast dat deze onzekerheid de kalibratie behoudt onder inputcorruptie, maar een zwakkere OOD-detectie vertoont vergeleken met volledige ensembles, aange omdat de gedeelde backbone niet kan divergeren op inputs die hij niet codeert.
• Architectuur-agnosticisme en Efficiëntie: Door uitsluitend op normalisatielagen te opereren, is $\sigma$N-Ens toepasbaar op zowel convolutionele als transformer backbones zonder ingrijpende herontwerpen. Het kan bestaande voorgetrainde modellen converteren naar gekalibreerde ensembles met minimale fine-tuning, waardoor het niet nodig is om leden vanaf nul te trainen.

Resultaten
De methode is geëvalueerd op CIFAR-10/100, ImageNet en SST-2 met behulp van ResNets, WideResNets en Vision Transformers (ViT).

• Prestaties vs. Kosten: $\sigma$N-Ens evenaart of overtreft deep ensembles wat betreft nauwkeurigheid en Negative Log-Likelihood (NLL), terwijl het slechts een fractie van het aantal parameters gebruikt (bijv. op CIFAR-100 met WideResNet bereikt het state-of-the-art nauwkeurigheid met aanzienlijk minder parameters).
• Schaalbaarheid: In tegen tegenstelling tot partitioneringsmethoden (zoals Packed Ensembles), die degraderen en instorten naarmate het aantal leden ($M$) toeneemt door capaciteitsbeperkingen, schaalt $\sigma$N-Ens gracieus. Naarmate $M$ groeit, poolt het zachte deelmechanisme de capaciteit effectief, waardoor de prestaties verbeteren of verzadigen in plaats van in te storten.
• Kalibratie onder Verschuiving: De methode behoudt een robuuste kalibratie onder distributieverschuiving (inputcorruptie), waarbij de Expected Calibration Error (ECE) bijna vlak blijft naarmate de ernst van de corruptie toeneemt.
• OOD Detectie: Consistent met de theoretische analyse is de OOD-detectie zwakker dan bij volledige deep ensembles, vooral wanneer voorgetrainde backbones worden gebruikt waarbij de feature representatie vaststaat. Echter, de detectieprestaties verbeteren wanneer er vanaf nul wordt getraind, omdat de leden de gedeelde representatie vormgeven onder diversiteitsdruk.
• Hyperparameter Gevoeligheid: De uiteindelijke prestaties zijn grotendeels ongevoelig voor de regularisatiekracht $\lambda$ zodra convergentie is bereikt, waardoor $\tau$ de enige kritieke hyperparameter is voor de gebruiker om te tunen.

Betekenis
Het artikel betoogt dat controleerbare diversiteit impliciete ensembles transformeert van een statische architecturale keuze naar een dynamisch, regelbaar systeem. Door diversiteit los te koppelen van initialisatie en architectuur, biedt $\sigma$N-Ens een praktisch alternatief voor het trainen van volledige deep ensembles, vooral naarmate de modelgroottes toenemen. Het vermogen om een enkel voorgetraind model te converteren naar een gekalibreerd ensemble via een korte fine-tune adresseert een aanzienlijk gat in het implementeren van onzekerheidsbewuste deep learning in hulpbron-beperkte of risicosensitieve domeinen. Het werk verheldert de trade-offs die inherent zijn aan ensembles met een gedeelde backbone, door de structurele beperking (gedeelde feature extractors) expliciet te koppelen aan de geobserveerde zwakte in OOD-detectie, terwijl het de kracht in kalibratierobustheid benadrukt.