Technische Samenvatting: GEM-FI: Gated Evidential Mixtures with Fisher Modulation

Probleemstelling

Betrouwbare schatting van voorspellende onzekerheid is cruciaal voor veiligheidskritieke toepassingen waar modellen buiten hun trainingsverdeling opereren. Hoewel Bayesiaanse Neurale Netwerken (BNN's) en diepe ensemble's een principiële onzekerheidskwantificering bieden, brengen ze vaak verbodsdreigende trainings- of inferentiekosten met zich mee vanwege de noodzaak van meerdere forward passes. Evidentiële Deep Learning (EDL) biedt een alternatief in één pass door Dirichlet-parameters te voorspellen om "evidence" te representeren. Echter, standaard EDL-modellen blijven vaak oververzekerd onder distributieveranderingen, falen in het representeren van multi-modale epistemische onzekerheid nabij complexe beslissingsgrenzen, en missen robuuste kalibratie.

Bestaande dichtheidsbewuste varianten, zoals Density-Aware Evidential Deep Learning (DAEDL), proberen evidentiële outputs te herschalen met offline likelihoods in de feature-ruimte (bijv. Gaussian Discriminant Analysis). Hoewel dit de kalibratie verbetert, creëert het een ontkoppeling waarbij de dichtheidscue statisch is en niet geoptimaliseerd wordt in combinatie met het evidentiële mechanisme. Dit leidt tot broosheid wanneer feature-representaties verschuiven en faalt in het adresseren van epistemische multi-modaliteit, wat vaak veroorzaakt dat het model instort naar oververzekerde toewijzingen nabij complexe grenzen. Bovendien worden energie-gebaseerde methoden, die vaak betere Out-of-Distribution (OOD) scheidbaarheid opleveren, doorgaans post-hoc toegepast en grijpen ze niet in tijdens de productie van evidentiële zekerheid.

Methodologie

De auteurs introduceren GEM (Gated Evidential Mixtures), een familie van modellen in één pass die een data-afhankelijke notie van representatie-"ondersteuning" direct integreert in het evidentiële mechanisme. Het kader bestaat uit drie progressieve componenten:

1. GEM-CORE: Energy-to-Gate Evidential Learning

GEM-CORE vervangt statische dichtheids-surrogaten door een leerbare, in-model energiesignaal.

• Feature-Level Energy: Een lichtgewicht Multi-Layer Perceptron (MLP), $E_\psi$, leert een scalair energie $E(x)$ vanuit de backbone-features $z$. Hogere energie correspondeert met lagere ondersteuning op representatieniveau (anti-gecorreleerd met feature-dichtheid).
• Gebonden Integratiepoort: De energie wordt via een sigmoid afgebeeld naar een intermediaire scalair $\hat{s}(x)$. Dit wordt geconcentreerd met features $z$ en ingevoerd in een "integratiepoort"-netwerk $G_\eta$. Dit netwerk geeft per-klasse poorten $s(x) \in [s_{min}, s_{max}]^C$ uit.
• Gating in Kruimruimte: De poorten $s(x)$ worden multiplicatief toegepast op de voorspellende gemiddelde $p(x)$ in de kruimruimte, gevolgd door hernormalisatie. Cruciaal leert het netwerk een inverse mapping: hogere energie (lagere ondersteuning) resulteert in kleinere poorten, waardoor evidence voor OOD of atypische inputs wordt onderdrukt.
• Dichtheidsschaling: Een aanvullende lichtgewicht dichtheids-schaler $\rho(z)$, afgeleid van een vooraf gefit Gaussian Mixture Model (GMM), fungeert als een "harde" veiligheidsrail om evidence in uiterst lage dichtheidsgebieden te onderdrukken, terwijl de geleerde poort fijne modulatie verzorgt.

2. GEM-MIX: Mixture of Beliefs (Single-Pass)

Om multi-modale epistemische structuur vast te leggen zonder multi-pass ensemble's, breidt GEM-MIX GEM-CORE uit met $K$ evidentiële koppen die een gemeenschappelijke backbone delen.

• Geleerde Routing: Een router-netwerk $h_\omega$ neemt features en het energiesignaal om mengselgewichten te produceren $\pi(x) = \text{softmax}(h_\omega([z, \hat{s}(x)]))$.
• Mengsel Voorspellend Gemiddelde: De uiteindelijke voorspelling is een gewogen gemiddelde van de voorspellende gemiddelden van de $K$ koppen. Dit stelt het model in staat om onzekerheid over meerdere modi nabij complexe beslissingsgrenzen te representeren.

3. GEM-FI: Fisher-Informed Regularization

GEM-FI stabiliseert de mengseltoewijzingen om "head collapse" te voorkomen (waarbij de router alle gewicht toewijst aan één enkele kop) en zorgt voor soepelere grensonzekerheid.

• Fisher Proxy: Een lichtgewicht proxy voor Fisher-sensitiviteit, $\tilde{FI}_k(x)$, wordt berekend als het kwadraat van de $L_2$-norm van de gradiënt van de log-likelihood met betrekking tot de logits voor elke kop.
• FI-Regularisatie: Een verliesterm $L_{FI}$ straft toewijzingen af waar vaak geselecteerde koppen hoog sensitief (onstabiel) zijn.
• FI-gebaseerde Modulatie: Tijdens het trainen worden mengselgewichten herschikt om koppen met lagere Fisher-sensitiviteit (stabielere voorspellingen) meer gewicht te geven. Deze modulatie wordt alleen tijdens het trainen toegepast; inferentie gebruikt de ruwe router-output.
• Auxiliaire Verliezen: Het kader omvat een energie-gebaseerde term (die hoge energie aanmoedigt voor synthetische negatieve samples via Virtual Outlier Synthesis, VOS) en een onzekerheidsdecompositie-term (contrastief verlies om entropie te minimaliseren voor In-Distribution (ID) en te maximaliseren voor OOD).

Belangrijkste Bijdragen

1. Leerbare In-Model Gating: De auteurs stellen voor om feature-level energie te leren en deze af te beelden naar een gebonden poort die Dirichlet-evidence direct moduleert. Dit reduceert oververzekering voor atypische features terwijl het zelfverzekerde ID-voorspellingen behoudt, en vervangt statische, ontkoppelde dichtheids-surrogaten.
2. Single-Pass Multi-Modale Epistemiek: Ze introduceren een lichtgewicht mengsel van evidentiële koppen met geleerde routing-gewichten, wat multi-modale epistemische structuur vastlegt zonder de rekenkosten van ensemble's of meerdere forward passes.
3. Fisher-Informed Stabilisatie: Een nieuwe FI-informeerd regularisator en modulatieschema worden toegevoegd om mengseltoewijzingen te stabiliseren, head collapse te voorkomen en soepelere grensonzekerheid te leveren.
4. Empirische Validatie: Het artikel toont verbeteringen in kalibratie en ID/OOD-scheiding aan over standaard beeldclassificatie- en OOD-detectie-benchmarks, en biedt ablatiestudies die de rollen van de energie-poort, mengselgrootte en FI-regularisatie isoleren.

Experimentele Resultaten

De auteurs evalueerden GEM op MNIST, CIFAR-10 en diverse OOD-paren (SVHN, CIFAR-100, KMNIST, FMNIST).

• Kalibratie en Nauwkeurigheid: Op CIFAR-10 verbeterde GEM-FI de testnauwkeurigheid van 91,11% (DAEDL) naar 93,75%. Het verlaagde significant de Brier-score (van 14,27 naar 6,81) en verbeterde de AUPR voor misclassificatiedetectie (van 99,08 naar 99,94).
• OOD-detectie: GEM-FI behaalde state-of-the-art prestaties in verschillende settings.
  • CIFAR-10 $\to$ SVHN: Epistemische AUPR verbeterde van 85,54% (DAEDL) naar 92,59%.
  • CIFAR-10 $\to$ CIFAR-100: Epistemische AUPR verbeterde van 88,19% (DAEDL) naar 90,20%.
  • Het model presteerde consequent beter dan EDL, DAEDL en andere recente baselines (bijv. Re-EDL, I-EDL) in zowel aleatorische als epistemische onzekerheidsscores.
• Ablatiestudies: De auteurs bevestigden dat de combinatie van spectrale normalisatie (SN), de energie-gated module (CORE), het mengsel (MIX) en de FI-regularisatie/modulatie (FI-Reg, FI-Mod) noodzakelijk is voor optimale prestaties. Specifiek bleken FI-gebaseerde componenten het meest effectief wanneer ze gepaard gaan met het energie-gebaseerde mechanisme en onzekerheidsdecompositie, in plaats van als standalone modules te opereren.

Betekenis en Claims

Het artikel claimt dat GEM-FI succesvol een lebaar ondersteuningssignaal integreert direct in het evidentiële mechanisme, waarmee de beperkingen van statische dichtheidsbewuste methoden en de rekenkosten van ensemble's worden aangepakt. Door een op afstand geïnformeerd zekerheidssignaal te leren en multi-kop mengsels te stabiliseren via Fisher-informatie, bereikt het model:

• Verbeterde Kalibratie: Modellen zijn alleen zelfverzekerd op goed ondersteunde gebieden en wijken elders adequaat af.
• Robuuste OOD-scheiding: De methode onderscheidt effectief tussen ID- en OOD-inputs, met name in uitdagende near-OOD-scenario's waar semantische overlap bestaat.
• Efficiëntie: De aanpak behoudt inferentie in één pass, waardoor het geschikt is voor omgevingen met latentie-beperkingen, terwijl het diversiteit op ensemble-niveau biedt.

De auteurs erkennen beperkingen, waarbij ze opmerken dat de uitlijning tussen de geleerde energie en ondersteuningsproxies empirisch is in plaats van gegarandeerd, en dat de methode zorgvuldige tuning van mengsel-gerelateerde hyperparameters vereist. Ze benadrukken dat hun claims beperkt zijn tot standaard benchmarks (MNIST/CIFAR) en niet uitbreiden naar ImageNet-schaal evaluaties zonder verdere validatie. Het werk suggereert dat verbeterde kalibratie en betrouwbare OOD-detectie een positieve impact kunnen hebben op veiligheidskritieke implementaties door systemen in staat te stellen af te zien van voorspellingen wanneer inputs niet worden ondersteund.