Résumé Technique : Métriques Intégrales de Probabilités Imprécises (MIPI)

1. Énoncé du Problème

Quantifier les différences entre les distributions de probabilité est fondamental en statistique et en apprentissage automatique, principalement pour comparer l'incertitude statistique (aléatoire). Cependant, la théorie classique des probabilités, qui repose sur une mesure additive unique, peine à représenter l'incertitude épistémique (IE) — l'incertitude découlant d'une connaissance incomplète, de l'ambiguïté ou des « inconnues inconnues ». Les modèles classiques échouent souvent à distinguer entre l'ignorance véritable et l'indifférence, entraînant des problèmes tels qu'un excès de confiance et une mauvaise généralisation dans les systèmes d'apprentissage automatique.

Bien que l'Apprentissage Automatique à Probabilités Imprécises (AAPI) offre des représentations plus riches (par exemple, ensembles crédaux, fonctions de croyance, probabilités inférieures/supérieures) pour modéliser l'IE, il existe un manque de métriques statistiques robustes pour comparer ces modèles. Les mesures de divergence existantes manquent souvent d'un cadre théorique unifié ou échouent à métriser la convergence dans l'espace des modèles imprécis. De plus, quantifier l'IE au sein d'un seul modèle imprécis reste difficile, de nombreuses mesures existantes manquant d'un soutien axiomatique rigoureux ou d'une évolutivité computationnelle.

2. Méthodologie

2.1 Cadre Théorique : MIPI

Les auteurs introduisent la Métrique Intégrale de Probabilités Imprécises (MIPI), une généralisation des Métriques de Probabilité Intégrale (MPI) classiques au contexte des capacités (fonctions d'ensemble non additives).

• Fondement Mathématique : Le cadre exploite l'intégration de Choquet pour définir des espérances sur les capacités, généralisant l'intégrale de Lebesgue utilisée dans les MPI standards.
• Définition : Pour une classe de fonctions $\mathcal{F} \subseteq C_b(X)$ et deux capacités $\nu, \mu$, la MIPI est définie comme suit :
  $$\text{MIPI}_{\mathcal{F}}(\nu, \mu) := \sup_{f \in \mathcal{F}} \left| \int f d\nu - \int f d\mu \right|$$
  où les intégrales sont des intégrales de Choquet.
• Propriétés : Les auteurs établissent que la MIPI est un pseudométrique sur l'espace des capacités. Sous des conditions spécifiques (par exemple, lorsque $\mathcal{F}$ est dense dans $C_b(X)$ par rapport à la norme $\|\cdot\|_\infty$), la MIPI sert de métrique valide qui métrise la convergence faible de Choquet. Cela garantit que la convergence en MIPI implique la « vraie » convergence des capacités sous-jacentes.
• Généralité : Le cadre englobe divers modèles d'IP, y compris les probabilités inférieures, les fonctions de croyance et les intervalles de probabilité, comme des cas particuliers de capacités.

2.2 Quantification de l'Incertitude Épistémique : MMI

Pour aborder la quantification de l'IE au sein d'un seul modèle, les auteurs proposent l'Imprécision Moyenne Maximale (MMI). Cette mesure quantifie l'écart entre une capacité (par exemple, une probabilité inférieure $\underline{P}$) et sa conjuguée (la probabilité supérieure $\overline{P}$).

• Définition :
  $$\text{MMI}_{\mathcal{F}}(\underline{P}) := \text{MIPI}_{\mathcal{F}}(\underline{P}, \overline{P}) = \sup_{f \in \mathcal{F}} \left( \int f d\overline{P} - \int f d\underline{P} \right)$$
  (Note : La valeur absolue est omise car $\overline{P}$ domine $\underline{P}$ au sens de l'ensemble, assurant la non-négativité).
• Propriétés Axiomatiques : Les auteurs prouvent que la MMI satisfait les axièmes clés pour les mesures d'incertitude crédale proposés dans la littérature (A1–A6), notamment la non-négativité, la continuité, la monotonie et la cohérence probabiliste (IE nulle pour les probabilités précises).
• Efficacité Computationnelle : Pour le cas spécifique de la distance de Variation Totale (TV), le calcul exact de la MMI nécessite d'évaluer $2^K$ sous-ensembles, ce qui est intraitable pour un grand $K$. Les auteurs dérivent une borne supérieure en temps linéaire (MMI-Lin) en approximatant la probabilité inférieure par le modèle de contamination $\epsilon$ le plus proche. Cette borne est computationnellement efficace ($O(K)$) et justifiée théoriquement via l'axiome de monotonie.

3. Contributions Clés

1. Cadre Métrique Unifié : L'introduction de la MIPI, la première famille de distances statistiques spécifiquement conçue pour les probabilités imprécises utilisant l'intégration de Choquet. Ce cadre généralise les MPI classiques (comme la distance de Wasserstein et le MMD) au contexte imprécis.
2. Garanties Théoriques : Preuve que la MIPI métrise la convergence faible de Choquet, fournissant une fondation rigoureuse pour comparer les modèles imprécis. L'article démontre également comment la MIPI peut retrouver des résultats existants, tels que ceux en transport optimal sous contamination $\epsilon$.
3. Nouvelle Mesure d'IE (MMI) : La proposition de la MMI comme mesure fondée sur des principes de l'incertitude épistémique satisfaisant des propriétés axiomatiques établies.
4. Approximation Évolutif : La dérivation d'une borne supérieure en temps linéaire (MMI-Lin) pour la MMI, permettant son application dans des tâches de classification de haute dimension où le calcul exact est irréalisable.

4. Résultats Empiriques

Les auteurs ont validé la MMI et la MMI-Lin par des expériences de classification sélective sur des ensembles de données avec un nombre variable de classes ($K=7, 10, 100$), incluant des ensembles de données UCI (Obésité, Chiffres) et des ensembles d'images (CIFAR-10, CIFAR-100).

• Métrique de Performance : L'étude a utilisé des courbes Précision-Rejet (PR), où un modèle s'abstient de prédire sur des entrées incertaines. Une mesure d'IE informative devrait produire une courbe PR monotone se rapprochant du coin supérieur gauche.
• Comparaisons : La MMI et la MMI-Lin ont été comparées à la Différence d'Entropie (E-Diff) et à la mesure de Hartley Généralisé (GH).
• Constats :
  • La MMI et la MMI-Lin ont systématiquement surpassé l'E-Diff sur tous les ensembles de données.
  • La MMI et la MMI-Lin ont obtenu des performances comparables à la GH, souvent considérée comme la référence pour la quantification d'incertitude crédale.
  • Évolutivité : Sur des problèmes à grande échelle ($K=100$), où le calcul exact de la MMI et de la GH devient intraitable ($O(2^K)$), la borne en temps linéaire MMI-Lin est restée efficace et a continué à surpasser l'E-Diff, démontrant une utilité pratique dans des contextes de haute dimension.

5. Importance et Revendications

L'article revendique faire progresser à la fois la théorie et la pratique de l'AAPI :

• Avancement Théorique : Il fournit un cadre fondé sur l'intégrale de Choquet pour comparer les capacités, comblant un vide dans la littérature concernant les distances statistiques pour les modèles imprécis. Il établit les conditions sous lesquelles ces métriques sont valides et métrisent la convergence.
• Utilité Pratique : En introduisant la MMI, le travail offre un nouvel outil axiomatiquement solide pour quantifier l'incertitude épistémique. La borne supérieure en temps linéaire adresse le goulot d'étranglement computationnel qui a limité l'application des mesures de quantification d'incertitude crédale dans l'apprentissage automatique à grande échelle.
• Impact Plus Large : Le cadre permet la comparaison de divers modèles d'IP (par exemple, fonctions de croyance, ensembles aléatoires) sous une métrique unifiée, facilitant potentiellement une meilleure prise de décision dans l'ambiguïté pour des applications critiques pour la sécurité et des statistiques robustes.

Les auteurs reconnaissent des limites, spécifiquement l'absence actuelle d'une méthode d'estimation basée sur l'échantillonnage pour les MIPI générales (contrairement aux MPI classiques) en raison de la nature subjective des modèles imprécis, et identifient le développement d'estimateurs non paramétriques comme une direction clé pour les travaux futurs.