📊 statistics

Integral Imprecise Probability Metrics

Dieser Beitrag stellt das Integral Imprecise Probability Metric (IIPM) vor, ein auf dem Choquet-Integral basierendes Rahmenwerk, das klassische Metriken auf unpräzise Wahrscheinlichkeitsmodelle verallgemeinert, wodurch sowohl der Vergleich unterschiedlicher Unsicherheitsdarstellungen als auch die Quantifizierung epistemischer Unsicherheit durch eine neue Maßzahl namens Maximum Mean Imprecision ermöglicht wird, die bei selektiven Klassifikationsaufgaben eine überlegene Leistung zeigt.

Ursprüngliche Autoren: Siu Lun Chau, Michele Caprio, Krikamol Muandet

Veröffentlicht 2026-05-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Siu Lun Chau, Michele Caprio, Krikamol Muandet

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Wenn „Vielleicht" nicht ausreicht

Stellen Sie sich vor, Sie versuchen, das Wetter vorherzusagen.

Klassische Wahrscheinlichkeit ist wie ein Meteorologe, der sagt: „Es gibt eine 70%ige Wahrscheinlichkeit für Regen." Er ist sehr spezifisch. Er hat eine einzelne Zahl, um seine Überzeugung auszudrücken.
Unpräzise Wahrscheinlichkeit ist wie ein anderer Meteorologe, der sagt: „Es ist zwischen 60 % und 80 % wahrscheinlich, dass es regnet." Er ist sich nicht sicher. Er hat eine Spanne, weil ihm vollständige Informationen fehlen (vielleicht sind die Sensoren defekt oder die Daten sind veraltet).

In der Welt der Künstlichen Intelligenz (KI) verwenden wir oft den ersten Typ (die einzelne Zahl). Aber wenn die KI Situationen begegnet, in denen sie wirklich nicht weiß, was vor sich geht – wie ein autonom fahrendes Auto, das einen seltsamen Gegenstand im Nebel sieht – braucht sie den zweiten Typ (die Spanne), um sicher zu sein. Dieses „Nicht-Wissen" wird epistemische Unsicherheit genannt.

Das Problem? Wir haben großartige Werkzeuge, um zu messen, wie unterschiedlich zwei „einzelne Zahl"-Vorhersagen sind, aber wir hatten kein gutes Lineal, um zu messen, wie unterschiedlich zwei „Spannen" sind, oder um die Größe des „Nicht-Wissens" selbst zu messen.

Dieses Papier stellt ein neues Lineal namens IIPM (Integral Imprecise Probability Metric) und eine neue Methode zur Messung des „Nicht-Wissens" namens MMI (Maximum Mean Imprecision) vor.

1. Das neue Lineal: IIPM

Die Analogie: Zwei Tintenwolken vergleichen
Stellen Sie sich zwei Tintenwolken auf einem Blatt Papier vor.

Wolke A repräsentiert die Unsicherheit eines KI-Modells.
Wolke B repräsentiert die Unsicherheit eines anderen Modells.

In der alten Welt (Klassische Wahrscheinlichkeit) konnten wir nur einzelne Punkte vergleichen. Wenn die Punkte weit auseinander lagen, waren die Modelle unterschiedlich.
In dieser neuen Welt (Unpräzise Wahrscheinlichkeit) vergleichen wir ganze Wolken. Wie misst man den Abstand zwischen zwei Wolken?

Die Autoren haben ein Werkzeug namens IIPM entwickelt. Stellen Sie es sich als ein „formveränderndes Netz" vor.

Sie werfen ein Netz (eine mathematische Funktion) über die Wolken.
Das Netz fängt je nach seiner Form verschiedene Teile der Wolken ein.
Sie messen, wie viel „Tinte" (Wahrscheinlichkeitsmasse) das Netz in Wolke A im Vergleich zu Wolke B einfängt.
Sie probieren Tausende verschiedener Netzformen aus. Das IIPM ist der größte Unterschied, den Sie zwischen den beiden Wolken mit irgendeiner möglichen Netzform finden können.

Warum ist das cool?
Es stellt sich heraus, dass, wenn dieser „größte Unterschied" null ist, die beiden Wolken tatsächlich identisch sind. Dies ermöglicht es Forschern, endlich verschiedene Arten von KI-Unsicherheitsmodellen (wie Glaubensfunktionen oder Wahrscheinlichkeitsintervalle) auf Augenhöhe zu vergleichen. Es ist, als hätte man endlich ein Standardlineal, das sowohl für gerade Linien als auch für gewellte Formen funktioniert.

2. „Nicht-Wissen" messen: MMI

Die Analogie: Der Optimist vs. der Pessimist
Stellen Sie sich vor, Sie wetten auf ein Pferderennen, kennen die Pferde aber nicht gut.

Der Pessimist (Untere Wahrscheinlichkeit): „Ich bin nur bereit, auf dieses Pferd zu wetten, wenn die Quoten mindestens 10 zu 1 sind. Ich bin sehr vorsichtig."
Der Optimist (Obere Wahrscheinlichkeit): „Ich würde gerne wetten, wenn die Quoten 2 zu 1 sind. Ich bin hoffnungsvoller."

In der klassischen Wahrscheinlichkeit sind der Optimist und der Pessimist dieselbe Person (sie stimmen über die genauen Quoten überein). Bei der unpräzisen Wahrscheinlichkeit sind sie zwei verschiedene Stimmen in Ihrem Kopf. Die Lücke zwischen ihnen repräsentiert Ihre epistemische Unsicherheit (Ihre Unwissenheit).

Das Papier führt MMI (Maximum Mean Imprecision) ein, um die Größe dieser Lücke zu messen.

Wie es funktioniert: MMI fragt: „Was ist der größtmögliche Dissens zwischen dem Optimisten und dem Pessimisten?"
Wenn der Optimist und der Pessimist perfekt übereinstimmen (die Lücke ist null), haben Sie keine Unsicherheit. Sie wissen genau, was passiert.
Wenn sie wild voneinander abweichen (die Lücke ist riesig), haben Sie hohe Unsicherheit. Sie sind im Dunkeln.

Die „Lineare-Zeit"-Abkürzung
Die genaue Berechnung der Lücke zwischen dem Optimisten und dem Pessimisten kann unglaublich schwierig sein, wie der Versuch, jedes Sandkorn an einem Strand zu zählen, um den Unterschied zwischen zwei Haufen zu finden.
Die Autoren fanden einen cleveren Abkürzungsweg (eine obere Schranke). Es ist wie die Schätzung des Unterschieds im Sand, indem man die Höhe der Haufen misst, anstatt jedes einzelne Korn zu zählen. Es ist viel schneller und dennoch sehr genau, besonders wenn Sie eine massive Anzahl von Kategorien haben (wie 100 verschiedene Objekttypen, die eine KI sehen könnte).

3. Funktioniert es? (Die Experimente)

Die Autoren testeten ihr neues Lineal (MMI) in einem Spiel namens Selektive Klassifizierung.

Das Spiel: Eine KI betrachtet ein Bild und versucht zu erraten, was es ist.
Die Wendung: Die KI darf sagen: „Ich weiß es nicht", und den Versuch überspringen, wenn sie sich zu unsicher fühlt.
Das Ziel: Die KI sollte nur die Vorhersagen überspringen, bei denen sie wirklich unsicher ist, damit sie, wenn sie doch eine Vorhersage trifft, fast immer richtig liegt.

Sie verglichen ihr neues MMI-Lineal mit alten Linealen (wie Entropie-Differenz und Generalisierter Hartley).

Ergebnis: Das MMI-Lineal funktionierte genauso gut wie die besten bestehenden Methoden.
Der Gewinn: Als die Anzahl der Kategorien riesig wurde (wie 100 Klassen), wurden die alten Methoden langsam und unübersichtlich. Das MMI-Lineal (mit seiner Abkürzung) blieb schnell und genau und übertraf die anderen in diesen schwierigen, großskaligen Szenarien.

Zusammenfassung

Das Problem: Wir brauchten eine Möglichkeit, den Abstand zwischen komplexen „Unsicherheitsbereichen" zu messen und zu messen, wie viel „Nicht-Wissen" eine KI hat.
Die Lösung: Sie bauten IIPM, ein neues mathematisches Lineal basierend auf der „Choquet-Integration" (eine ausgefallene Art, nicht-standardisierte Formen aufzuaddieren), und MMI, ein Maß für die Lücke zwischen den optimistischen und pessimistischen Ansichten einer KI.
Der Nutzen: Dies ermöglicht es der KI, ihre eigene Unwissenheit besser zu verstehen. Es funktioniert theoretisch (der Nachweis, dass es ein gültiges Lineal ist) und praktisch (es hilft der KI, bessere Entscheidungen zu treffen, indem sie weiß, wann sie „Ich weiß es nicht" sagen muss, insbesondere bei komplexen, großskaligen Problemen).

Kurz gesagt: Sie gaben der KI einen besseren Weg, „Ich bin mir nicht sicher" zu sagen, und einen besseren Weg zu messen, wie unsicher sie ist.

Technische Zusammenfassung: Integral-Impräzise-Wahrscheinlichkeitsmetriken (IIPM)

1. Problemstellung

Die Quantifizierung von Unterschieden zwischen Wahrscheinlichkeitsverteilungen ist grundlegend für Statistik und maschinelles Lernen, hauptsächlich zum Vergleich statistischer (aleatorischer) Unsicherheit. Die klassische Wahrscheinlichkeitstheorie, die auf einem einzigen additiven Maß basiert, hat jedoch Schwierigkeiten, epistemische Unsicherheit (EU) darzustellen – Unsicherheit, die aus unvollständigem Wissen, Mehrdeutigkeit oder „unbekannten Unbekannten" resultiert. Klassische Modelle unterscheiden oft nicht zwischen echter Ignoranz und Gleichgültigkeit, was zu Problemen wie Überzuversicht und schlechter Generalisierung in maschinellen Lernsystemen führt.

Während Impräzises Probabilistisches Maschinelles Lernen (IPML) reichhaltigere Darstellungen (z. B. Glaubenssätze, Überzeugungsfunktionen, untere/obere Wahrscheinlichkeiten) bietet, um EU zu modellieren, fehlt es an robusten statistischen Metriken zum Vergleich dieser Modelle. Bestehende Divergenzmaße verfügen oft nicht über einen einheitlichen theoretischen Rahmen oder versagen darin, die Konvergenz im Raum der ungenauen Modelle zu metrisieren. Darüber hinaus bleibt die Quantifizierung von EU innerhalb eines einzelnen ungenauen Modells herausfordernd, wobei viele bestehende Maße einer rigorosen axiomatischen Unterstützung oder rechnerischen Skalierbarkeit entbehren.

2. Methodik

2.1 Theoretischer Rahmen: IIPM

Die Autoren stellen das Integral-Impräzise-Wahrscheinlichkeitsmetrik (IIPM) vor, eine Verallgemeinerung klassischer Integral-Wahrscheinlichkeitsmetriken (IPMs) auf den Kontext von Kapazitäten (nicht-additiven Mengenfunktionen).

Mathematische Grundlage: Der Rahmen nutzt die Choquet-Integration, um Erwartungswerte über Kapazitäten zu definieren, und verallgemeinert dabei das in Standard-IPMs verwendete Lebesgue-Integral.
Definition: Für eine Funktionenklasse $\mathcal{F} \subseteq C_b(X)$ und zwei Kapazitäten $\nu, \mu$ ist das IIPM definiert als:
$\text{IIPM}_{\mathcal{F}}(\nu, \mu) := \sup_{f \in \mathcal{F}} \left| \int f d\nu - \int f d\mu \right|$
wobei die Integrale Choquet-Integrale sind.
Eigenschaften: Die Autoren zeigen, dass IIPM eine Pseudometrik auf dem Raum der Kapazitäten ist. Unter spezifischen Bedingungen (z. B. wenn $\mathcal{F}$ bezüglich der $\|\cdot\|_\infty$ -Norm dicht in $C_b(X)$ liegt) dient IIPM als gültige Metrik, die die Choquet-schwache Konvergenz metrisiert. Dies stellt sicher, dass die Konvergenz in IIPM die „wahre" Konvergenz der zugrunde liegenden Kapazitäten impliziert.
Allgemeingültigkeit: Der Rahmen umfasst verschiedene IP-Modelle, einschließlich unterer Wahrscheinlichkeiten, Überzeugungsfunktionen und Wahrscheinlichkeitsintervalle, als Spezialfälle von Kapazitäten.

2.2 Quantifizierung epistemischer Unsicherheit: MMI

Um die Quantifizierung von EU innerhalb eines einzelnen Modells zu adressieren, schlagen die Autoren den Maximum Mean Imprecision (MMI) vor. Dieses Maß quantifiziert die Diskrepanz zwischen einer Kapazität (z. B. einer unteren Wahrscheinlichkeit $\underline{P}$ ) und ihrer konjugierten (der oberen Wahrscheinlichkeit $\overline{P}$ ).

Definition:
$\text{MMI}_{\mathcal{F}}(\underline{P}) := \text{IIPM}_{\mathcal{F}}(\underline{P}, \overline{P}) = \sup_{f \in \mathcal{F}} \left( \int f d\overline{P} - \int f d\underline{P} \right)$
(Hinweis: Der Betrag wird weggelassen, da $\overline{P}$ mengentheoretisch $\underline{P}$ dominiert und somit Nicht-Negativität gewährleistet ist).
Axiomatische Eigenschaften: Die Autoren beweisen, dass MMI Schlüssela xiome für Glaubensunsicherheitsmaße erfüllt, die in der Literatur vorgeschlagen wurden (A1–A6), einschließlich Nicht-Negativität, Stetigkeit, Monotonie und Wahrscheinlichkeitskonsistenz (null EU für präzise Wahrscheinlichkeiten).
Rechnerische Effizienz: Für den spezifischen Fall des Total-Variations-(TV-)Abstands erfordert die exakte Berechnung von MMI die Auswertung von $2^K$ Teilmengen, was für große $K$ unlösbar ist. Die Autoren leiten eine lineare obere Schranke (MMI-Lin) ab, indem sie die untere Wahrscheinlichkeit durch das nächstgelegene $\epsilon$ -Kontaminationsmodell approximieren. Diese Schranke ist rechnerisch effizient ( $O(K)$ ) und wird über das Monotonieaxiom theoretisch begründet.

3. Hauptbeiträge

Einheitlicher Metrik-Rahmen: Die Einführung von IIPM, der ersten Familie statistischer Distanzen, die speziell für ungenaue Wahrscheinlichkeiten unter Verwendung der Choquet-Integration entwickelt wurden. Dieser Rahmen verallgemeinert klassische IPMs (wie den Wasserstein-Abstand und MMD) auf den ungenauen Kontext.
Theoretische Garantien: Der Nachweis, dass IIPM die Choquet-schwache Konvergenz metrisiert und damit eine rigorose Grundlage für den Vergleich ungenauer Modelle schafft. Die Arbeit zeigt zudem, wie IIPM bestehende Ergebnisse, wie etwa im optimalen Transport unter $\epsilon$ -Kontamination, wiederherstellen kann.
Neues EU-Maß (MMI): Der Vorschlag von MMI als prinzipiell fundiertes Maß für epistemische Unsicherheit, das etablierte axiomatische Eigenschaften erfüllt.
Skalierbare Approximation: Die Herleitung einer linearen oberen Schranke (MMI-Lin) für MMI, die ihre Anwendung in hochdimensionalen Klassifikationsaufgaben ermöglicht, bei denen eine exakte Berechnung nicht machbar ist.

4. Empirische Ergebnisse

Die Autoren validierten MMI und MMI-Lin durch selektive Klassifikationsexperimente an Datensätzen mit unterschiedlichen Klassenanzahlen ( $K=7, 10, 100$ ), einschließlich UCI-Datensätzen (Obesity, Digits) und Bilddatensätzen (CIFAR-10, CIFAR-100).

Leistungsmetrik: Die Studie verwendete Accuracy-Rejection-(AR-)Kurven, bei denen ein Modell bei unsicheren Eingaben auf eine Vorhersage verzichtet. Ein informatives EU-Maß sollte eine monotone AR-Kurve ergeben, die sich der oberen linken Ecke nähert.
Vergleiche: MMI und MMI-Lin wurden gegen den Entropy Difference (E-Diff) und das Generalised Hartley (GH)-Maß verglichen.
Ergebnisse:
- MMI und MMI-Lin übertreffen E-Diff konsistent über alle Datensätze hinweg.
- MMI und MMI-Lin erzielten vergleichbare Ergebnisse wie GH, das oft als Goldstandard für Glaubens-UQ gilt.
- Skalierbarkeit: Bei großskaligen Problemen ( $K=100$ ), bei denen die exakte Berechnung von MMI und GH unlösbar wird ( $O(2^K)$ ), blieb die lineare obere Schranke MMI-Lin effizient und übertraf weiterhin E-Diff, was ihren praktischen Nutzen in hochdimensionalen Settings unterstreicht.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, sowohl die Theorie als auch die Praxis von IPML voranzubringen:

Theoretischer Fortschritt: Sie bietet einen prinzipiellen, auf der Choquet-Integration basierenden Rahmen zum Vergleich von Kapazitäten und schließt eine Lücke in der Literatur bezüglich statistischer Distanzen für ungenaue Modelle. Sie etabliert die Bedingungen, unter denen diese Metriken gültig sind und Konvergenz metrisieren.
Praktischer Nutzen: Durch die Einführung von MMI bietet die Arbeit ein neues, axiomatisch fundiertes Werkzeug zur Quantifizierung epistemischer Unsicherheit. Die lineare obere Schranke adressiert den rechnerischen Engpass, der die Anwendung von Glaubens-UQ-Maßen im großskaligen maschinellen Lernen bisher begrenzt hat.
Breitere Auswirkungen: Der Rahmen ermöglicht den Vergleich verschiedener IP-Modelle (z. B. Überzeugungsfunktionen, Zufallsmengen) unter einer einheitlichen Metrik und könnte eine bessere Entscheidungsfindung unter Mehrdeutigkeit in sicherheitskritischen Anwendungen und robuster Statistik erleichtern.

Die Autoren erkennen Einschränkungen an, insbesondere das derzeitige Fehlen einer auf Stichproben basierenden Schätzmethode für allgemeine IIPMs (im Gegensatz zu klassischen IPMs) aufgrund der subjektiven Natur ungenauer Modelle, und identifizieren die Entwicklung nicht-parametrischer Schätzer als eine wichtige Richtung für zukünftige Arbeiten.