Technische Samenvatting: Maxitieve Donsker-Varadhan Formulering voor Possibilistische Variatie-Inferentie

1. Probleemstelling

Variatie-Inferentie (VI) is een hoeksteen van modern Bayesiaans leren, en maakt benaderende inferentie mogelijk in complexe modellen door het maximaliseren van de Evidence Lower Bound (ELBO). Standaard VI is echter afhankelijk van verwachtingen en divergenties (zoals de Kullback-Leibler-divergentie) die worden gedefinieerd via hoogdimensionale integralen, wat additieve waarschijnlijkheidsmaten veronderstelt. Deze afhankelijkheid maakt analytische behandeling moeilijk en vereist zware benaderingen.

Daarentegen biedt Possibiliteitstheorie een onnauwkeurige waarschijnlijkheidskader voor het modelleren van epistemische onzekerheid zonder additiviteit te vereisen. In plaats van sommen, maakt het gebruik van max/min-operatoren, waardoor directe modellering van onzekerheid mogelijk is onder schaarse of onnauwkeurige informatie. Hoewel Possibiliteitstheorie robuustheid en interpreteerbaarheid biedt, is het aanpassen van VI aan dit kader niet triviaal. Standaard doelstellingen zoals de ELBO en divergenties zoals KL hebben geen directe analoga in het possibilistische kader, omdat ze fundamenteel afhankelijk zijn van additieve maten. Bestaande pogingen, zoals die van Cella en Martin (2025), hebben Monte Carlo-strategieën gebruikt om possibilistische inferentiële modellen te benaderen, maar een principieel, algemeen variationeel kader voor possibilistische VI ontbrak.

2. Methodologie

Het Maxitieve Donsker-Varadhan Analoge

De kerntheoretische bijdrage van dit werk is de vestiging van een maxitief analoog van de klassieke Donsker-Varadhan (DV) variationele formule.

In standaard probabilistische VI karakteriseert de DV-formule de log-waarschijnlijkheid als het supremum van een doelstelling die de KL-divergentie omvat. De auteurs leiden een duale variationele karakterisering af voor het possibilistische kader. Laat $\pi$ een prior-mogelijkheidsfunctie zijn en $\ell$ een verliesfunctie. De maxitieve posterior $g^*_{\max}$ wordt gedefinieerd als:
$$g^*_{\max}(\theta) = \frac{\exp(-\ell(\theta))\pi(\theta)}{\sup_{\theta'} \exp(-\ell(\theta'))\pi(\theta')}$$

De auteurs bewijzen dat de log-consistentie (de log van de maxitieve marginale waarschijnlijkheid) kan worden uitgedrukt via twee duale variationele problemen:

1. Ondergrens (Maximalisatie): $\log Z_{\max} = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$
2. Bovengrens (Minimalisatie): $\log Z_{\max} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$

Hierbij is $\mathcal{F}(\Theta)$ de verzameling van mogelijkheidsfuncties. De grootheid die aan de rechterkant wordt geoptimaliseerd, wordt de Consistentiegrens (CBO) genoemd.

• Het maximaliseren van de onder-CBO levert mogelijkheidsfuncties op die de ware posterior ondergrenzen ($g \preceq g^*_{\max}$).
• Het minimaliseren van de boven-CBO levert mogelijkheidsfuncties op die de ware posterior bovengrenzen ($g^*_{\max} \preceq g$).

De standaard possibilistische posterior $g^*_{\max}$ is het unieke element dat tegelijkertijd aan beide grenzen voldoet, en fungeert als het canonieke vertegenwoordiger van de oplossingsset. De optimalisatie omvat een max-relatieve entropie ($D_{\max}$), gedefinieerd als $D_{\max}(g \| f) = \sup_{\theta} \log(g(\theta)/f(\theta))$, die een rol speelt analoog aan de KL-divergentie in standaard VI.

Behandeling van de Exponentiële Familie en Leerregels

Om dit kader praktisch toepasbaar te maken voor neurale netwerken, ontwikkelen de auteurs een behandeling voor exponentiële-familie-mogelijkheidsfuncties. Zij definiëren een klasse van kandidaten $g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A^\dagger(\lambda) - A(\theta))$, waarbij $A^\dagger$ de Legendre-transformatie is van de log-partitiefunctie $A$.

Belangrijke afgeleide eigenschappen zijn:

• Conjugatie: Onder een oninformatieve prior blijft de posterior binnen dezelfde exponentiële familie, met hyperparameters die worden bijgewerkt als een lopend gemiddelde van toereikende statistieken.
• Newton-achtige Updates: Door het toepassen van Danskin's stelling en Taylor-benaderingen van de tweede orde, leiden de auteurs een leerregel af voor het optimaliseren van de CBO. Dit leidt tot een natuurlijke gradiëntupdate die een Newton-stap benadert:
  $$\eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t)$$
  waarbij $H_s$ een gekromde krommingsmatrix is die afhankelijk is van de Hessian van het verlies en de precisie van de kandidaat.

De CBOpt-Optimalisatoren

Op basis van deze theoretische afleidingen stellen de auteurs een familie van optimalisatoren voor genaamd CBOpt.

• uCBOpt: Optimaliseert de boven-CBO (minimaliseert de bovengrens).
• lCBOpt: Optimaliseert de onder-CBO (maximaliseert de ondergrens).
• Adaptieve Varianties (uCBOpt-adapt, lCBOpt-adapt): Deze varianten passen dynamisch de krommingsparameter $\vartheta$ aan tijdens het trainen om aan de nodige convexiteits/concaviteitsvoorwaarden van het binnenste optimalisatieprobleem te voldoen.

De praktische implementatie maakt gebruik van een diagonale benadering van de Hessian (vergelijkbaar met Adam of Vprop) en exponentiële bewegende gemiddelden (EMAs) voor gradiënt- en kwadratische-gradiëntschattingen, waardoor het computationeel efficiënt is en schaalbaar naar grote neurale netwerken.

3. Belangrijkste Bijdragen

1. Theoretische Formulering: Het artikel vestigt het eerste principieel maxitieve analoog van de Donsker-Varadhan-formulering, en biedt een rigoureuze variationele basis voor possibilistische inferentie.
2. Duale Karakterisering: Het introduceert de Consistentiegrens (CBO) met duale onder- en bovenformuleringen, en demonstreert dat de ware possibilistische posterior de unieke doorsnede is van deze grenzen.
3. Exponentiële Familie Kader: De auteurs ontwikkelen een conjugatie-prior-kader voor possibilistische exponentiële families, en onthullen structurele parallellen met het probabilistische geval, terwijl tegelijkertijd rekening wordt gehouden met het maxitieve karakter van de theorie.
4. CBOpt-Optimalisatoren: Een nieuwe familie van optimalisatoren wordt afgeleid en geïmplementeerd, en biedt een praktische methode voor het trainen van neurale netwerken met possibilistische variatie-inferentie.
5. Empirische Validatie: De methoden worden geëvalueerd op in-domein en out-of-domein (OOD) beeldclassificatietaken, en tonen concurrerende voorspellende prestaties en betrouwbare onzekerheidsschattingen.

4. Experimentele Resultaten

De auteurs hebben CBOpt-varianten (uCBOpt, uCBOpt-adapt, lCBOpt-adapt) geëvalueerd tegenover baselines waaronder SGD, AdamW, IVON, MC Dropout, Laplace-benadering en SWAG op drie datasets: Fashion-MNIST, CIFAR-10 en CIFAR-100.

• In-Domein Prestaties: Op Fashion-MNIST behaalden de CBOpt-varianten de sterkste algehele prestaties, waarbij lCBOpt-adapt de beste nauwkeurigheid (0,913) en Negatieve Log-Waarschijnlijkheid (NLL) behaalde. Op CIFAR-100 presteerden alle CBOpt-varianten beter dan de baselines op de meeste in-domein-metingen, wat schaalbaarheid naar grotere modellen suggereert.
• Out-of-Domein (OOD) Detectie: De methoden toonden concurrerende OOD-detectiecapaciteiten. uCBOpt vertoonde consistent gedrag over de datasets heen, en kwam de prestaties van MC Dropout en SWAG op het gebied van FPR@95 en AUROC dichtbij of evenaarde deze.
• Efficiëntie: De CBOpt-varianten behielden computationele efficiëntie vergelijkbaar met optimalisatoren van de eerste orde zoals SGD en Adam, en vereisten alleen per-parameter gradiënt- en scalair krommingsschattingen, zonder de noodzaak van meerdere stochastische forward-passes tijdens inferentie (in tegenstelling tot MC Dropout).
• Combinatie met MC Dropout: Een aanvullend experiment toonde aan dat het combineren van CBOpt met MC Dropout de sterke in-domein-prestaties van MC Dropout behield, terwijl de OOD-detectiemetingen verder werden verbeterd.

5. Betekenis en Claims

Het artikel beweert dat possibilistische variatie-inferentie niet slechts een herformulering is van bestaande methoden, maar een distinct perspectief biedt op onzekerheidsrepresentatie dat leidt tot praktisch bruikbare algoritmen.

• Conceptuele Verschuiving: Door over te stappen van additieve waarschijnlijkheid naar maxitieve mogelijkheid, behandelt het kader op natuurlijke wijze epistemische onzekerheid en staat het volledig oninformatieve priors toe zonder het probleem van onbehoorlijke integralen dat gebruikelijk is in de waarschijnlijkheidstheorie.
• Praktisch Nut: De ontwikkeling van CBOpt toont aan dat het theoretische kader kan worden geïnstancierd in schaalbare optimalisatoren die concurreren met state-of-the-art onzekerheidsbewuste leermethoden (zoals IVON en MC Dropout), terwijl de computationele overhead van bemonstering tijdens testtijd wordt vermeden.
• Basis voor Toekomstig Werk: De auteurs stellen dat hun werk een basis vormt voor het uitbreiden van variationeel redeneren naar possibiliteitstheorie. Zij merken op dat componenten van dit kader (specifiek de maxitieve pseudo-divergentie en posterior onder oninformatieve priors) al zijn benut door Ni et al. (2026) om tweede-orde voorspellers af te leiden, wat de bruikbaarheid van de onderliggende theorie valideert.

De auteurs blijven bescheiden wat betreft beperkingen, en erkennen dat hun Newton-achtige updates afhankelijk zijn van benaderingen van de tweede orde en specifieke krommingsvoorwaarden, en dat hun huidige empirische validatie beperkt is tot isotrope Gaussische kandidaten met diagonale Fisher-benaderingen. Zij stellen echter dat het kader succesvol de kloof overbrugt tussen theoretische possibilistische inferentie en schaalbare deep learning-toepassingen.