From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

Technische Samenvatting: Van de Regel van Bayes naar Bayes-regels

Probleemstelling
Standaard Bayesiaanse inferentie steunt op de waarschijnlijkheidsleer, waarbij onzekerheid additief is en wordt bijgewerkt via de regel van Bayes. Zowel de klassieke statistiek als moderne machine learning wijken echter vaak af van dit kader door gebruik te maken van verliesgebaseerde updates, getempereerde posteriors of bewijsvoering-fusieschema's waarbij onzekerheid niet van nature additief is. Een fundamentele vraag blijft: wat maakt de regel van Bayes tot de "juiste" informatieverwerkingsregel, en hoe hangt dit af van de wiskundige representatie van informatie? Specifiek: wanneer onzekerheid over een vaste parameter niet wordt gerepresenteerd door een waarschijnlijkheidsverdeling maar door een mogelijkheidsfunctie (het maxitieve tegenovergestelde van een waarschijnlijkheidsverdeling), wat is dan de principiële update-regel?

Methodologie
Het artikel benadert dit probleem door inferentie te behandelen als informatieverwerking. De auteurs leiden de canonieke update-regel voor possibilistische inferentie af vanuit twee complementaire fundamentele perspectieven, die de klassieke probabilistische afleidingen spiegelen maar worden aangepast aan de structuur van de mogelijkheidstheorie.

1. Perspectief 1: Optimale Informatieverwerking (Informatiebehoud)

   • Kader: De auteurs herformuleren het Principe van Informatiebehoud (ICP), dat traditioneel geassocieerd wordt met Zellner [1988] en scalaire cross-entropieën, naar een possilistische setting.
   • Kernmechanisme: In plaats van informatie te comprimeren tot een scalar (zoals entropie), maakt het artikel gebruik van de puntgewijze partiële ordening die inherent is aan mogelijkhedenfuncties ($f \preceq g \iff \forall \theta, f(\theta) \leq g(\theta)$).
   • Afleiding: Door een puntgewijze informatiescore $S$ te introduceren die voldoet aan orde-consistentie, normalisatie en additiviteit onder onafhankelijke conjunctie (product t-norm), leiden de auteurs een canonieke logaritmische informatiemap af: $I[f](\theta) = -\log f(\theta)$.
   • Conservering: Een Informatieverwerkingsregel (IPR) wordt als optimaal gedefinieerd als deze geen informatieverlies en geen informatiecreatie induceert. Dit wordt geformaliseerd via een informatie-imbalansfunctional $\Delta(\text{IPR})$, die een functie is over de parameterruimte in plaats van een scalar. De voorwaarde $\Delta(\text{IPR}) = 0$ (puntgewijze gelijkheid) identificeert uniek de update-regel.

2. Perspectief 2: Axiomatische Benadering (Coherentie)

   • Kader: De auteurs stellen een possilistische analogon voor van de coherentie-axioma's voor gegeneraliseerde Bayesiaanse inferentie, zoals vastgesteld door Bissiri et al. [2016].
   • Axioma's: De update-regel $\psi[\ell, \pi]$ (die een prior $\pi$ en verlies $\ell$ mapt naar een posterior) moet voldoen aan:
     • Sequentiële coherentie (A2.1).
     • Restrictie-compatibiliteit (A2.2).
     • Monotonie in verlies (A2.3).
     • Invariantie voor vacuüm-verliezen en additieve verschuivingen (A2.4, A2.5).
   • Afleiding: In tegen tegenstelling tot het probabilistische geval, waar normalisatie een integraal vereist, vereist de possilistische afleiding het vaststellen dat maxitieve restrictie paarwijze kansverhoudingen (odds) behoudt en dat binaire updates cohereert op triples. Deze axioma's dwingen de posterior in een specifieke functionele vorm.

Belangrijkste Bijdragen en Resultaten

1. De Canonieke Update-regel:
   Beide afleidingen convergeren op dezelfde unieke update-regel, de possilistische regel van Bayes:
   $$\pi(\theta | y) = \frac{\pi(\theta) L(\theta | y)}{\sup_{\vartheta \in \Theta} \pi(\vartheta) L(\vartheta | y)}$$
   waarbij $\pi(\theta)$ de prior mogelijkhedenfunctie is en $L(\theta | y)$ de likelihood (of bewijs) is.

   • Als de input een steekproefverdeling $p_\theta(y)$ is, dan is $L$ de likelihood.
   • Als de input een generiek verlies $\ell(\theta, y)$ is, dan is $L(\theta | y) \propto \exp(-w \ell(\theta, y))$, waarbij $w \geq 0$ een leer-snelheid parameter is.

2. Rol van de Leersnelheid ($w$):
   Het artikel verheldert dat de parameter $w$ (die de epistemische sterkte controleert) exogeen is aan beide afleidingen.

   • In Perspectief 1 is $w$ een coderingskeuze bij het transformeren van een verlies naar een bewijs-mogelijkheidsfunctie.
   • In Perspectief 2 is $w$ een constante die onbepaald blijft door de coherentie-axioma's.
   • Resultaat: De sterkte $w$ is niet identificeerbaar uit de genormaliseerde bewijsvoering alleen. Het maximaliseren van de possilistische bewijsvoering drijft de toelaatbare sterktes enkel naar hun kleinste waarden. Zo is $w$ een modelleringskeuze met betrekking tot de epistemische sterkte, en geen uit de data identificeerbare grootheid.

3. Informatieverlies en -creatie:
   Door gebruik te maken van de puntgewijze partiële ordening, maakt het artikel onderscheid tussen informatieverlies en informatiecreatie als werkelijke, observeerbare fenomenen, in tegenstelling tot de probabilistische setting waar informatie een scalaire samenvatting is.

   • Een IPR creëert geen informatie als de posterior overal wordt gedomineerd door de Bayes-update ($g \preceq \pi(\cdot|y)$).
   • Een IPR verliest geen informatie als de posterior de Bayes-update domineert ($g \succeq \pi(\cdot|y)$).
   • De regel van Bayes is de unieke IPR die tegelijkertijd zowel verlies als creatie vermijdt.

4. Verbinding met Bestaand Werk:

   • De afgeleide regel komt overeen met de sup-genormaliseerde prior-likelihood product voorgesteld in recente imprecise probabilistische literatuur (bijv. Martin [2026]).
   • De informatie-imbalansfunctie komt overeen met de integraand in de maxitieve Donsker–Varadhan dualiteit (Singh et al. [2025]), wat aantoont dat de regel van Bayes de unieke gemeenschappelijke optimizer is van duale consistentie-bounds.

Betekenis en Claims
Het artikel beweert vast te stellen dat de regel van Bayes niet één enkele formule is, maar een lid van een familie van regels die geïndexeerd wordt door de onderliggende calculus van informatie (additief versus maxitief) en de aard van de link tussen data en parameters.

• Fundamentele Rechtvaardiging: Het artikel betoogt dat de sup-genormaliseerde product niet louter een heuristiek of een handige keuze is voor het combineren van een likelihood met partiële prior-informatie; het wordt gedwongen door fundamentele principes van informatiebehoud en coherentie in een possilistische setting.
• Verheldering van Gegeneraliseerde Bayes: Het lost de ambiguïteit op met betrekking tot de leersnelheid in gegeneraliseerde Bayesiaanse updates door aan te tonen dat deze parameter in het possilistische kader intrinsiek niet-identificeerbaar is uit de data, en dient als een kalibratie van de epistemische sterkte.
• Reikwijdte: Het werk is fundamenteel en axiomatisch van aard. Het stelt geen nieuwe empirische algoritmen voor of voert uitgebreide experimentele vergelijkingen uit, maar biedt het theoretische fundament voor waarom de sup-genormaliseerde update de canonieke keuze is voor possilistische inferentie. Het suggereert dat dit kader zich van nature uitbreidt naar continue parameterruimten zonder de meettheoretische complicaties die vaak vereist zijn bij probabilistische uitbreidingen, aangezien mogelijkhedenfuncties puntgewijs gedefinieerd zijn.

Samenvattend demonstreert het artikel dat wanneer onzekerheid wordt gerepresenteerd door mogelijkhedenfuncties, de "juiste" manier om informatie te verwerken onvermijdelijk leidt tot een sup-genormaliseerde update-regel, waarbij de leersnelheid fungeert als een externe kalibratieparameter in plaats van een leerbare statistiek.