From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

Résumé Technique : De la règle de Bayes aux règles de Bayes

Énoncé du problème
L'inférence bayésienne standard repose sur la théorie des probabilités, où l'incertitude est additive et mise à jour via la règle de Bayes. Cependant, les statistiques classiques et l'apprentissage automatique moderne s'écartent fréquemment de ce cadre, utilisant des mises à jour basées sur la perte, des posteriors tempérés ou des schémas de fusion d'évidences où l'incertitude n'est pas naturellement additive. Une question fondamentale demeure : qu'est-ce qui fait de la règle de Bayes la « bonne » règle de traitement de l'information, et comment cela dépend-il de la représentation mathématique de l'information ? Plus précisément, lorsque l'incertitude concernant un paramètre fixe n'est pas représentée par une distribution de probabilité mais par une fonction de possibilité (l'analogue maxitif d'une distribution de probabilité), quelle est la règle de mise à jour fondée sur des principes ?

Méthodologie
Le document aborde ce problème en traitant l'inférence comme un traitement de l'information. Il dérive la règle de mise à jour canonique pour l'inférence possibiliste à partir de deux points de vue fondamentaux complémentaires, reflétant les dérivations probabilistes classiques mais en les adaptant à la structure de la théorie de la possibilité.

1. Vue 1 : Traitement optimal de l'information (Conservation de l'information)

   • Cadre : Les auteurs reformulent le Principe de Conservation de l'Information (PCI), traditionnellement associé à Zellner [1988] et aux entropies croisées scalaires, dans un cadre possibiliste.
   • Mécanisme clé : Au lieu de compresser l'information en un scalaire (comme l'entropie), le document utilise l'ordre partiel ponctuel inhérent aux fonctions de possibilité ($f \preceq g \iff \forall \theta, f(\theta) \leq g(\theta)$).
   • Dérivation : En introduisant un score d'information ponctuel $S$ satisfaisant la cohérence de l'ordre, la normalisation et l'additivité sous la conjonction indépendante (t-norme produit), les auteurs dérivent une application d'information logarithmique canonique : $I[f](\theta) = -\log f(\theta)$.
   • Conservation : Une Règle de Traitement de l'Information (RTI) est définie comme optimale si elle n'induit ni perte ni création d'information. Cela est formalisé via un fonctionnel de déséquilibre d'information $\Delta(\text{RTI})$, qui est une fonction sur l'espace des paramètres plutôt qu'un scalaire. La condition $\Delta(\text{RTI}) = 0$ (égalité ponctuelle) identifie de manière unique la règle de mise à jour.

2. Vue 2 : Approche axiomatique (Cohérence)

   • Cadre : Les auteurs proposent un analogue possibiliste des axiomes de cohérence pour l'inférence bayésienne généralisée établie par Bissiri et al. [2016].
   • Axiomes : La règle de mise à jour $\psi[\ell, \pi]$ (mappant un prior $\pi$ et une perte $\ell$ vers un posterior) doit satisfaire :
     • La cohérence séquentielle (A2.1).
     • La compatibilité de restriction (A2.2).
     • La monotonie par rapport à la perte (A2.3).
     • L'invariance aux pertes vacues et aux décalages additifs (A2.4, A2.5).
   • Dérivation : Contrairement au cas probabiliste où la normalisation est une intégrale, la dérivation possibiliste nécessite d'établir que la restriction maxitive préserve les rapports de cotes (odds) par paires et que les mises à jour binaires sont cohérentes sur les triplets. Ces axiomes imposent au posterior une forme fonctionnelle spécifique.

Contributions clés et résultats

1. La règle de mise à jour canonique :
   Les deux dérivations convergent vers la même règle de mise à jour unique, appelée règle de Bayes possibiliste :
   $$\pi(\theta | y) = \frac{\pi(\theta) L(\theta | y)}{\sup_{\vartheta \in \Theta} \pi(\vartheta) L(\vartheta | y)}$$
   où $\pi(\theta)$ est la fonction de possibilité a priori et $L(\theta | y)$ est la vraisemblance (ou l'évidence).

   • Si l'entrée est une distribution d'échantillonnage $p_\theta(y)$, $L$ est la vraisemblance.
   • Si l'entrée est une perte générique $\ell(\theta, y)$, $L(\theta | y) \propto \exp(-w \ell(\theta, y))$, où $w \geq 0$ est un paramètre de taux d'apprentissage.

2. Rôle du taux d'apprentissage ($w$) :
   Le document clarifie que le paramètre $w$ (contrôlant la force épistémique) est exogène aux deux dérivations.

   • Dans la Vue 1, $w$ est un choix d'encodage lors de la transformation d'une perte en une fonction de possibilité d'évidence.
   • Dans la Vue 2, $w$ est une constante laissée indéterminée par les axiomes de cohérence.
   • Résultat : La force $w$ est non identifiable de la seule normalisation de l'évidence. Maximiser l'évidence possibiliste ne fait que conduire les forces admissibles vers leurs valeurs les plus petites. Ainsi, $w$ représente un choix de modélisation concernant la force épistémique, et non une quantité identifiable à partir des données.

3. Perte et création d'information :
   En utilisant l'ordre partiel ponctuel, le document distingue la perte et la création d'information comme des phénomènes réels et observables, contrairement au cadre probabiliste où l'information est un résumé scalaire.

   • Une RTI ne crée aucune information si le posterior est partout dominé par la mise à jour de Bayes ($g \preceq \pi(\cdot|y)$).
   • Une RTI ne perd aucune information si le posterior domine la mise à jour de Bayes ($g \succeq \pi(\cdot|y)$).
   • La règle de Bayes est la seule RTI qui évite simultanément la perte et la création d'information.

4. Connexion avec les travaux existants :

   • La règle dérivée s'aligne sur le produit prior-vraisemblance sup-normalisé proposé dans la littérature récente sur les probabilités imprécises (ex. Martin [2026]).
   • La fonction de déséquilibre d'information correspond à l'intégrande de la dualité de Donsker–Varadhan maxitive (Singh et al. [2025]), montrant que la règle de Bayes est l'unique optimiseur commun des bornes de cohérence duales.

Signification et affirmations
Le document affirme établir que la règle de Bayes n'est pas une formule unique, mais un membre d'une famille de règles indexées par le calcul sous-jacent de l'information (additif vs maxitif) et la nature du lien données-paramètres.

• Justification fondamentale : Le document soutient que le produit sup-normalisé n'est pas simplement une heuristique ou un choix pratique pour combiner une vraisemblance avec une information a priori partielle ; il est imposé par les principes fondamentaux de conservation de l'information et de cohérence dans un cadre possibiliste.
• Clarification du Bayes généralisé : Il résout l'ambiguïté concernant le taux d'apprentissage dans les mises à jour bayésiennes généralisées en démontrant que, dans le cadre possibiliste, ce paramètre est intrinsèquement non identifiable à partir des données, servant plutôt de calibration de la force épistémique.
• Portée : Ce travail est fondamental et axiomatique. Il ne propose pas de nouveaux algorithmes empiriques ou de comparaisons expérimentales étendues, mais fournit le fondement théorique expliquant pourquoi la mise à jour sup-normalisée est le choix canonique pour l'inférence possibiliste. Il suggère que ce cadre s'étend naturellement aux espaces de paramètres continus sans les complications de la théorie de la mesure souvent requises dans les extensions probabilistes, car les fonctions de possibilité sont définies ponctuellement.

En résumé, le document démontre que lorsque l'incertitude est représentée par des fonctions de possibilité, la « bonne » façon de traiter l'information conduit inévitablement à une règle de mise à jour sup-normalisée, le taux d'apprentissage agissant comme un paramètre de calibration externe plutôt que comme une statistique apprenable.