Résumé Technique : Formulation Maxitive de Donsker-Varadhan pour l'Inférence Variationnelle Possibiliste

1. Énoncé du Problème

L'Inférence Variationnelle (IV) est une pierre angulaire de l'apprentissage bayésien moderne, permettant une inférence approximative dans des modèles complexes en maximisant la borne inférieure de la vraisemblance (ELBO). Cependant, l'IV standard repose sur des espérances et des divergences (comme la divergence de Kullback-Leibler) définies par des intégrales de haute dimension, qui présupposent des mesures de probabilité additives. Cette dépendance rend le traitement analytique difficile et nécessite des approximations lourdes.

À l'inverse, la Théorie des Possibilités offre un cadre de probabilité imprécise pour modéliser l'incertitude épistémique sans exiger d'additivité. Au lieu de sommes, elle utilise les opérateurs max/min, permettant une modélisation directe de l'incertitude dans des contextes d'information sparse ou imprécise. Bien que la Théorie des Possibilités apporte robustesse et interprétabilité, l'adaptation de l'IV à ce cadre est non triviale. Les objectifs standards comme l'ELBO et les divergences comme KL n'ont pas d'analogues directs dans le cadre possibiliste car ils reposent fondamentalement sur des mesures additives. Les tentatives existantes, telles que celles de Cella et Martin (2025), ont utilisé des stratégies de Monte Carlo pour approximer des modèles inférentiels possibilistes, mais un cadre variationnel général et principiel pour l'IV possibiliste faisait défaut.

2. Méthodologie

L'Analogie Maxitive de Donsker-Varadhan

La contribution théorique centrale de ce travail est l'établissement d'un analogue maxitive de la formule variationnelle classique de Donsker-Varadhan (DV).

Dans l'IV probabiliste standard, la formule DV caractérise la log-vraisemblance comme le supremum d'un objectif impliquant la divergence KL. Les auteurs dérivent une caractérisation variationnelle duale pour le cadre possibiliste. Soit $\pi$ une fonction de possibilité a priori et $\ell$ une fonction de perte. La posteriorité maxitive $g^*_{\max}$ est définie comme :
$$g^*_{\max}(\theta) = \frac{\exp(-\ell(\theta))\pi(\theta)}{\sup_{\theta'} \exp(-\ell(\theta'))\pi(\theta')}$$

Les auteurs prouvent que la log-cohérence (le logarithme de la vraisemblance marginale maxitive) peut être exprimée via deux problèmes variationnels duaux :

1. Borne Inférieure (Maximisation) : $\log Z_{\max} = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$
2. Borne Supérieure (Minimisation) : $\log Z_{\max} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$

Ici, $\mathcal{F}(\Theta)$ est l'ensemble des fonctions de possibilité. La quantité optimisée à droite est appelée Borne de Cohérence (CBO).

• La maximisation de la CBO inférieure produit des fonctions de possibilité qui minorant la vraie posteriorité ($g \preceq g^*_{\max}$).
• La minimisation de la CBO supérieure produit des fonctions de possibilité qui majorant la vraie posteriorité ($g^*_{\max} \preceq g$).

La posteriorité possibiliste standard $g^*_{\max}$ est l'élément unique qui satisfait simultanément les deux bornes, agissant comme le représentant canonique de l'ensemble des solutions. L'optimisation implique une entropie relative maxitive ($D_{\max}$), définie par $D_{\max}(g \| f) = \sup_{\theta} \log(g(\theta)/f(\theta))$, qui joue un rôle analogue à la divergence KL dans l'IV standard.

Traitement de la Famille Exponentielle et Règles d'Apprentissage

Pour rendre ce cadre pratique pour les réseaux de neurones, les auteurs développent un traitement pour les fonctions de possibilité de la famille exponentielle. Ils définissent une classe de candidats $g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A^\dagger(\lambda) - A(\theta))$, où $A^\dagger$ est la transformée de Legendre de la fonction de log-partition $A$.

Les propriétés clés dérivées incluent :

• Conjugaison : Sous un a priori non informatif, la posteriorité reste dans la même famille exponentielle, avec des hyperparamètres mis à jour comme une moyenne glissante des statistiques suffisantes.
• Mises à jour de type Newton : En appliquant le théorème de Danskin et des approximations de Taylor d'ordre deux, les auteurs dérivent une règle d'apprentissage pour optimiser la CBO. Cela conduit à une mise à jour du gradient naturel qui ressemble à une étape de Newton :
  $$\eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t)$$
  où $H_s$ est une matrice de courbure signée dépendant de l'Hessienne de la perte et de la précision du candidat.

Les Optimiseurs CBOpt

Sur la base de ces dérivations théoriques, les auteurs proposent une famille d'optimiseurs appelée CBOpt.

• uCBOpt : Optimise la CBO supérieure (minimisant la borne supérieure).
• lCBOpt : Optimise la CBO inférieure (maximisant la borne inférieure).
• Variantes Adaptatives (uCBOpt-adapt, lCBOpt-adapt) : Ces variantes ajustent dynamiquement le paramètre de courbure $\vartheta$ pendant l'entraînement pour satisfaire les conditions de convexité/concavité nécessaires du problème d'optimisation interne.

L'implémentation pratique utilise une approximation diagonale de l'Hessienne (similaire à Adam ou Vprop) et des moyennes mobiles exponentielles (EMAs) pour les estimations du gradient et du gradient au carré, la rendant computationnellement efficace et évolutive vers de grands réseaux de neurones.

3. Contributions Clés

1. Formulation Théorique : L'article établit le premier analogue maxitive principiel de la formulation de Donsker-Varadhan, fournissant une fondation variationnelle rigoureuse pour l'inférence possibiliste.
2. Caractérisation Duale : Il introduit la Borne de Cohérence (CBO) avec des formulations duales inférieure et supérieure, démontrant que la vraie posteriorité possibiliste est l'intersection unique de ces bornes.
3. Cadre de Famille Exponentielle : Les auteurs développent un cadre d'a priori conjugué pour les familles exponentielles possibilistes, révélant des parallèles structurels avec le cas probabiliste tout en accommodant la nature maxitive de la théorie.
4. Optimiseurs CBOpt : Une nouvelle famille d'optimiseurs est dérivée et implémentée, offrant une méthode pratique pour entraîner des réseaux de neurones avec une inférence variationnelle possibiliste.
5. Validation Empirique : Les méthodes sont évaluées sur des tâches de classification d'images en domaine et hors domaine (OOD), démontrant des performances prédictives compétitives et des estimations d'incertitude fiables.

4. Résultats Expérimentaux

Les auteurs ont évalué les variantes CBOpt (uCBOpt, uCBOpt-adapt, lCBOpt-adapt) par rapport à des références incluant SGD, AdamW, IVON, MC Dropout, l'approximation de Laplace et SWAG sur trois jeux de données : Fashion-MNIST, CIFAR-10 et CIFAR-100.

• Performance en Domaine : Sur Fashion-MNIST, les variantes CBOpt ont obtenu les meilleures performances globales, avec lCBOpt-adapt obtenant la meilleure précision (0,913) et la meilleure Négative Log-Vraisemblance (NLL). Sur CIFAR-100, toutes les variantes CBOpt ont surpassé les références sur la plupart des métriques en domaine, suggérant une évolutivité vers des modèles plus grands.
• Détection Hors Domaine (OOD) : Les méthodes ont démontré des capacités de détection OOD compétitives. uCBOpt a montré un comportement cohérent à travers les jeux de données, égalant ou approchant les performances de MC Dropout et SWAG en termes de FPR@95 et d'AUROC.
• Efficacité : Les variantes CBOpt ont maintenu une efficacité computationnelle comparable aux optimiseurs du premier ordre comme SGD et Adam, ne nécessitant que des estimations de gradient par paramètre et de courbure scalaire, sans besoin de multiples passes avant stochastiques au moment de l'inférence (contrairement à MC Dropout).
• Combinaison avec MC Dropout : Une expérience supplémentaire a montré que la combinaison de CBOpt avec MC Dropout préservait les fortes performances en domaine de MC Dropout tout en améliorant davantage les métriques de détection OOD.

5. Signification et Revendications

L'article revendique que l'inférence variationnelle possibiliste n'est pas une simple reformulation des méthodes existantes, mais offre une perspective distincte sur la représentation de l'incertitude qui conduit à des algorithmes pratiquement utiles.

• Changement Conceptuel : En passant de la probabilité additive à la possibilité maxitive, le cadre gère naturellement l'incertitude épistémique et permet des a priori totalement non informatifs sans le problème des intégrales impropres courant en théorie des probabilités.
• Utilité Pratique : Le développement de CBOpt démontre que le cadre théorique peut être instancié en optimiseurs évolutifs qui rivalisent avec les méthodes d'apprentissage conscientes de l'incertitude de l'état de l'art (comme IVON et MC Dropout) tout en évitant la surcharge computationnelle de l'échantillonnage au moment du test.
• Fondation pour le Travail Futur : Les auteurs affirment que leur travail fournit une fondation pour étendre le raisonnement variationnel à la théorie des possibilités. Ils notent que des composants de ce cadre (spécifiquement la pseudo-divergence maxitive et la posteriorité sous a priori non informatif) ont déjà été exploités par Ni et al. (2026) pour dériver des prédicteurs d'ordre deux, validant l'utilité de la théorie sous-jacente.

Les auteurs restent modestes concernant les limites, reconnaissant que leurs mises à jour de type Newton reposent sur des approximations d'ordre deux et des conditions de courbure spécifiques, et que leur validation empirique actuelle est restreinte à des candidats gaussiens isotropes avec des approximations de Fisher diagonales. Cependant, ils affirment que le cadre comble avec succès le fossé entre l'inférence possibiliste théorique et les applications d'apprentissage profond évolutives.