Technische Samenvatting: Integral Imprecise Probability Metrics (IIPM)

1. Probleemstelling

Het kwantificeren van verschillen tussen kansverdelingen is fundamenteel voor statistiek en machine learning, voornamelijk voor het vergelijken van statistische (aleatorische) onzekerheid. Klassieke kansrekening, die steunt op een enkele additieve maat, heeft echter moeite om epistemische onzekerheid (EU) weer te geven—onzekerheid die voortkomt uit onvolledige kennis, ambiguïteit of "onbekende onbekenden". Klassieke modellen onderscheiden vaak niet tussen echte onwetendheid en onverschilligheid, wat leidt tot problemen zoals oververtrouwen en slechte generalisatie in machine learning-systemen.

Hoewel Imprecise Probabilistic Machine Learning (IPML) rijkere representaties biedt (zoals credale verzamelingen, geloofsfuncties, onder-/bovengrenzen van kansen) om EU te modelleren, ontbreekt het aan robuuste statistische metrieken om deze modellen te vergelijken. Bestaande divergentiemaatstaven missen vaak een unify theoretisch kader of falen in het metriseren van convergentie in de ruimte van imprecise modellen. Bovendien blijft het kwantificeren van EU binnen een enkel imprecise model een uitdaging, waarbij veel bestaande maatstaven een gebrek hebben aan rigoureuze axiomatische onderbouwing of computationele schaalbaarheid.

2. Methodologie

2.1 Theoretisch Kader: IIPM

De auteurs introduceren de Integral Imprecise Probability Metric (IIPM), een generalisatie van klassieke Integral Probability Metrics (IPMs) naar de setting van capaciteiten (niet-additieve verzamelfuncties).

• Wiskundige Grondslag: Het kader maakt gebruik van Choquet-integratie om verwachtingen over capaciteiten te definiëren, waarmee de Lebesgue-integraal die in standaard IPMs wordt gebruikt, wordt gegeneraliseerd.
• Definitie: Voor een functieklasse $\mathcal{F} \subseteq C_b(X)$ en twee capaciteiten $\nu, \mu$ wordt de IIPM gedefinieerd als:
  $$\text{IIPM}_{\mathcal{F}}(\nu, \mu) := \sup_{f \in \mathcal{F}} \left| \int f d\nu - \int f d\mu \right|$$
  waarbij de integralen Choquet-integralen zijn.
• Eigenschappen: De auteurs stellen vast dat IIPM een pseudometriek is op de ruimte van capaciteiten. Onder specifieke voorwaarden (bijvoorbeeld wanneer $\mathcal{F}$ dicht is in $C_b(X)$ met betrekking tot de $\|\cdot\|_\infty$-norm) fungeert IIPM als een geldige metriek die Choquet-zwakke convergentie metriseert. Dit zorgt ervoor dat convergentie in IIPM impliceert dat de onderliggende capaciteiten "echt" convergeren.
• Generaliteit: Het kader omvat diverse IP-modellen, waaronder onderkansen, geloofsfuncties en kansintervallen, als speciale gevallen van capaciteiten.

2.2 Kwantificering van Epistemische Onzekerheid: MMI

Om de kwantificering van EU binnen een enkel model aan te pakken, stellen de auteurs Maximum Mean Imprecision (MMI) voor. Deze maatstaf kwantificeert het verschil tussen een capaciteit (bijvoorbeeld een onderkans $\underline{P}$) en zijn geconjugeerde (de bovenkans $\overline{P}$).

• Definitie:
  $$\text{MMI}_{\mathcal{F}}(\underline{P}) := \text{IIPM}_{\mathcal{F}}(\underline{P}, \overline{P}) = \sup_{f \in \mathcal{F}} \left( \int f d\overline{P} - \int f d\underline{P} \right)$$
  (Opmerking: De absolute waarde is weggelaten omdat $\overline{P}$ verzamelingsgewijs domineert over $\underline{P}$, wat non-negativiteit garandeert).
• Axiomatische Eigenschappen: De auteurs bewijzen dat MMI voldoet aan sleutelaxioma's voor credale onzekerheidsmaatstaven die in de literatuur zijn voorgesteld (A1–A6), waaronder non-negativiteit, continuïteit, monotonie en kansconsistentie (nul EU voor precieze kansen).
• Computationele Efficiëntie: Voor het specifieke geval van de Totale Variatie (TV)-afstand vereist het exact berekenen van MMI het evalueren van $2^K$ deelverzamelingen, wat onhandelbaar is voor grote $K$. De auteurs leiden een lineaire-tijd bovengrens (MMI-Lin) af door de onderkans te benaderen met het dichtstbijzijnde $\epsilon$-vervuilingsmodel. Deze grens is computationeel efficiënt ($O(K)$) en theoretisch gerechtvaardigd via het monotonie-axioma.

3. Belangrijkste Bijdragen

1. Unify Metrisch Kader: De introductie van IIPM, de eerste familie van statistische afstanden die specifiek is ontworpen voor imprecise kansen met behulp van Choquet-integratie. Dit kader generaliseert klassieke IPMs (zoals de Wasserstein-afstand en MMD) naar de imprecise setting.
2. Theoretische Waarborgen: Bewijs dat IIPM Choquet-zwakke convergentie metriseert, wat een rigoureuze basis biedt voor het vergelijken van imprecise modellen. Het artikel toont ook aan hoe IIPM bestaande resultaten kan herstellen, zoals die in optimaal transport onder $\epsilon$-vervuiling.
3. Nieuwe EU-maatstaf (MMI): Het voorstellen van MMI als een principiële maatstaf voor epistemische onzekerheid die voldoet aan gevestigde axiomatische eigenschappen.
4. Schaalbare Benadering: De afleiding van een lineaire-tijd bovengrens (MMI-Lin) voor MMI, waardoor deze toepasbaar wordt in classificatietaken met hoge dimensie waar exacte berekening onhaalbaar is.

4. Empirische Resultaten

De auteurs hebben MMI en MMI-Lin gevalideerd via selectieve classificatie-experimenten op datasets met een variërend aantal klassen ($K=7, 10, 100$), waaronder UCI-datasets (Obesitas, Cijfers) en beelddatasets (CIFAR-10, CIFAR-100).

• Prestatiemaatstaf: De studie gebruikte Accuracy-Rejection (AR)-curves, waarbij een model zich onthoudt van het voorspellen op onzekere invoer. Een informatieve EU-maatstaf moet een monotoon AR-curve opleveren die naar de linkerbovenhoek nadert.
• Vergelijkingen: MMI en MMI-Lin werden vergeleken met de Entropy Difference (E-Diff) en de Generalised Hartley (GH)-maatstaf.
• Vondsten:
  • MMI en MMI-Lin presteerden consistent beter dan E-Diff over alle datasets heen.
  • MMI en MMI-Lin presteerden vergelijkbaar met GH, wat vaak wordt beschouwd als de gouden standaard voor credale UQ.
  • Schaalbaarheid: Bij grootschalige problemen ($K=100$), waar exacte berekening van MMI en GH onhandelbaar wordt ($O(2^K)$), bleef de lineaire-tijd grens MMI-Lin efficiënt en bleef het E-Diff overtreffen, wat praktische bruikbaarheid in settings met hoge dimensie aantoont.

5. Betekenis en Beweringen

Het artikel beweert zowel de theorie als de praktijk van IPML te bevorderen:

• Theoretische Vooruitgang: Het biedt een principiële, op Choquet-integratie gebaseerde kader voor het vergelijken van capaciteiten, waardoor een gat in de literatuur wordt gedicht met betrekking tot statistische afstanden voor imprecise modellen. Het stelt de voorwaarden vast waaronder deze metrieken geldig zijn en convergentie metriseren.
• Praktische Bruikbaarheid: Door MMI in te voeren, biedt het werk een nieuw, axiomatisch onderbouwd hulpmiddel voor het kwantificeren van epistemische onzekerheid. De lineaire-tijd bovengrens adresseert de computationele bottleneck die de toepassing van credale UQ-maatstaven in grootschalig machine learning heeft beperkt.
• Breder Impact: Het kader maakt het mogelijk om diverse IP-modellen (bijvoorbeeld geloofsfuncties, willekeurige verzamelingen) te vergelijken onder een unify metriek, wat potentieel betere besluitvorming onder ambiguïteit faciliteert in veiligheidskritische toepassingen en robuuste statistiek.

De auteurs erkennen beperkingen, specifiek het huidige gebrek aan een op steekproeven gebaseerde schattingsmethode voor algemene IIPMs (in tegenstelling tot klassieke IPMs) vanwege de subjectieve aard van imprecise modellen, en identificeren de ontwikkeling van niet-parametrische schatters als een belangrijke richting voor toekomstig werk.