Courtroom Analogy: New Perspective on Uncertainty-Aware Classification

Technische Samenvatting: Hofzaalanalogie: Nieuw Perspectief op Classificatie met Bewustzijn van Onzekerheid

Probleemstelling
Moderne machine learning-modellen produceren vaak oververzekerde voorspellingen die de voorspellende onzekerheid niet weerspiegelen, wat aanzienlijke risico's met zich meebrengt in hoog-risicodomeinen. Hoewel single-pass methoden voor Onzekerheidskwantificering (UQ), met name Evidentieel Diep Leren (EDL), zijn opgekomen als efficiënte alternatieven voor op steekproeven gebaseerde benaderingen, staan ze voor een kritieke beperking: ze richten zich voornamelijk op het vergroten van de expressiviteit van de uitgangsverdeling (doorgaans een Dirichlet-verdeling) zonder helder inzicht te bieden in hoe onzekerheid is gestructureerd en geaggregeerd. Bijgevolg leveren bestaande methoden vaak onzekerheidsschattingen op met zwakke interpreteerbaarheid, wat het moeilijk maakt om verschillende bronnen van onzekerheid te onderscheiden (bijvoorbeeld onvoldoende bewijs versus tegenstrijdige interpretaties).

Methodologie: De Hofzaalanalogie en MoDEX
De auteurs stellen een nieuw conceptueel kader voor voor classificatie met bewustzijn van onzekerheid, gebaseerd op een "hofzaalanalogie". In dit perspectief wordt classificatie gemodelleerd als een gestructureerd debat tussen $K$ advocaten, waarbij elke advocaat een potentieel class-label vertegenwoordigt.

1. Generatief Proces:

   • Meningen van Advocaten: Elke advocaat $k$ vormt een probabilistische mening over de class-kansvector $\pi$. Deze mening wordt gemodelleerd als een Dirichlet-verdeling, $Dir(\pi | \alpha_k)$.
   • Gestructureerde Decompositie: Om schaalbaarheid en interpreteerbaarheid te waarborgen, wordt het concentratieparameter $\alpha_k$ voor elke advocaat ontleed in twee componenten:
     • Gedeeld Bewijs ($\alpha$): Een basisovertuiging die objectieve casusfeiten weerspiegelt die door alle advocaten zijn waargenomen.
     • Class-specifiek Pleitwerk ($\tau_k$): Een extra concentratiemassa die advocaat $k$ toekent aan zijn eigen class, wat interpretatieve argumenten of selectieve framing vertegenwoordigt die uniek zijn voor die class.
   • Aggregatie: Het uiteindelijke vonnis is een mengsel van deze meningen, gewogen door invoer-afhankelijke plausibiliteitsgewichten $\omega(x)$. Wiskundig is de voorspellende verdeling een gestructureerd mengsel van Dirichlet-verdelingen:
     $$p(\pi | x) = \sum_{k=1}^K \omega_k(x) \text{Dir}(\pi | \alpha(x) + \tau_k(x)e_k)$$

2. MoDEX Architectuur:
   Om dit kader te realiseren, introduceren de auteurs Mixture of Dirichlet EXperts (MoDEX), een single-pass neurale architectuur. Gegeven een invoer $x$, voorspelt MoDEX drie sets parameters via lichtgewicht neurale koppen:

   • Concentratiehoofd: Voorspelt gedeeld basisbewijs $\alpha(x)$.
   • Gating-hoofd: Voorspelt mengsel-plausibiliteitsgewichten $\omega(x)$.
   • Pleitkracht-hoofd: Voorspelt class-specifieke pleitkrachten $\tau(x)$.
     Deze parameters definiëren een coherent probabilistisch model dat equivalent is aan de Extended Flexible Dirichlet (EFD)-verdeling.

3. Training en Onzekerheidsmaten:

   • Doelfunctie: MoDEX wordt getraind met een samengestelde loss bestaande uit: (i) Gemiddelde Kwartafstand (MSE) op de voorspellende mean, (ii) op Brier-score gebaseerde regularisatie op $\omega(x)$ om degeneratie van gewichten te voorkomen, en (iii) KL-divergentie regularisatie op $\tau(x)$ om class-specifiek pleitwerk te sturen.
   • Decompositie van Onzekerheid: Het kader scheidt onzekerheid expliciet in:
     • Aleatorische Onzekerheid: Entropie van de geïnduceerde eerste-orde voorspellende verdeling (residuale ambiguïteit in het uiteindelijke vonnis).
     • Epistemische Onzekerheid: Totale variantie van de tweede-orde verdeling, verder ontbindbaar in inter-expert onzekerheid (meningsverschil tussen advocaten) en intra-expert onzekerheid (onprecisie binnen individuele advocaten door zwak bewijs).

Belangrijkste Bijdragen

• Conceptueel Kader: De introductie van de hofzaalanalogie biedt een semantisch onderbouwd mechanisme voor het modelleren van onzekerheidsaggregatie, waarbij de focus verschuift van louter expressieve verdelingsfamilies naar structureel gegenereerde onzekerheid.
• MoDEX Architectuur: Een nieuw single-pass neurale netwerk dat de hofzaalanalogie realiseert, en een parameter-efficiënt ($O(K)$) en interpreteerbaar alternatief biedt voor standaard EDL.
• Theoretische Vooruitgang:
  • Generalisatie: Bewezen dat MoDEX onder specifieke parameterinstellingen reduceert tot standaard EDL en F-EDL, waardoor het wordt gevestigd als een principiële generalisatie van bestaande modellen.
  • Dualistische Interpretaties: Bewezen dat MoDEX twee equivalente visies toelaat: (i) een gewogen ensemble van $K$ EDL-experts, en (ii) een mengsel van een basis EDL-predictor en een softmax-predictor.
  • Decompositie van Onzekerheid: Bewezen dat epistemische onzekerheid natuurlijk ontleedt in inter-expert en intra-expert componenten, waardoor meerdere bronnen van onzekerheid worden vastgelegd.
• Prestaties: Aangetoonde state-of-the-art prestaties over diverse benchmarks, inclusief standaard, long-tailed en ruwe instellingen.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op CIFAR-10, CIFAR-100, CIFAR-10-LT (long-tailed) en DMNIST-LT (ruw en long-tailed).

• Standaard & Long-Tailed Instellingen: MoDEX bereikte superieure classificatie-accuraatheid en presteerde beter dan state-of-the-art EDL-varianten (bijvoorbeeld I-EDL, R-EDL, F-EDL) bij detectie van misclassificaties en Out-of-Distribution (OOD)-detectietaken. Opmerkelijk is dat MoDEX in ernstige long-tailed instellingen ($\rho=0.01$) de head-class bias aanzienlijk verminderde, en robuuste OOD-detectie behield waar andere methoden faalden.
• Verschuiving in Verdeling: MoDEX toonde een sterke capaciteit om verdelingsverschuivingen te detecteren (CIFAR-10-C), waarbij epistemische onzekerheid consistent toenam met de ernst van de corruptie.
• Efficiëntie: Als single-pass methode behoudt MoDEX inferentietijden vergelijkbaar met EDL en F-EDL, en presteert het significant beter dan op steekproeven gebaseerde methoden zoals Deep Ensembles en MC Dropout in computationele efficiëntie, terwijl het concurrerende of superieure UQ-prestaties bereikt.
• Kwalitatieve Analyse: Visualisaties op ambiguë invoer van tail-classes toonden aan dat MoDEX gedeeld bewijs kon scheiden van class-specifiek pleitwerk, waardoor head-class bias de basisbewijzen niet kon verstoren en interpreteerbare onzekerheidsschattingen werden geboden die overeenkwamen met menselijke annotatieverdelingen.

Betekenis en Claims
Het artikel claimt dat MoDEX een principiële kader biedt voor classificatie met bewustzijn van onzekerheid dat computationele efficiëntie in evenwicht brengt met diepe interpreteerbaarheid. Door onzekerheidsaggregatie te structureren via de hofzaalanalogie, stelt MoDEX praktici in staat om de bron van onzekerheid te diagnosticeren (bijvoorbeeld het onderscheiden van tegenstrijdige expertmeningen en onvoldoende bewijs). De auteurs positioneren MoDEX niet als een methode die een unieke ground-truth tweede-orde verdeling herwint uit één-hot supervisie alleen, maar als een model dat gestructureerde, betekenisvolle onzekerheidssignalen induceert via zijn architecturale inductieve bias. Deze aanpak adresseert het "black box"-karakter van eerdere EDL-varianten, en biedt een transparant mechanisme voor hoe voorspellende onzekerheid wordt gevormd en geaggregeerd, wat cruciaal is voor betrouwbare implementatie in veiligheidskritieke toepassingen.