🤖 machine learning

On the QUEST for Uncertainty Quantification via Highest Density Regions

Dieses Paper führt QUEST ein, ein neuartiges Framework zur Quantifizierung von Unsicherheit, das Unsicherheit über das Volumen von Regionen höchster Dichte charakterisiert und somit eine theoretisch fundierte Alternative zu geeigneten Scoring-Regeln darstellt, welche Schlüsselaxiome wie Monotonie und Invarianz erfüllt und dabei Standardmaße in Benchmarks zur selektiven Vorhersage übertrifft.

Ursprüngliche Autoren: Sam Goring, Tom Kuipers, Nicola Paoletti, David S. Watson

Veröffentlicht 2026-06-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sam Goring, Tom Kuipers, Nicola Paoletti, David S. Watson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen das Wetter vorherzusagen. Sie haben ein Modell, das sagt: „Morgen wird es regnen.“ Aber wie sicher ist sich das Modell? Ist es zu 99 % sicher oder rät es nur? In der Welt des maschinellen Lernens wird dieser Teil des „Wie sicher“ als Unsicherheitsschätzung (Uncertainty Quantification, UQ) bezeichnet.

Lange Zeit haben Wissenschaftler Standardwerkzeuge verwendet, um diese Unsicherheit zu messen – so etwas wie ein Lineal, um alles zu messen. Aber die Autoren dieser Arbeit, Sam Goring und sein Team, argumentieren, dass ein Lineal manchmal das falsche Werkzeug ist. Wenn man versucht, die „Quetschbarkeit“ einer Qualle mit einem Lineal zu messen, erhält man eine seltsame Zahl, die nicht wirklich aussagt, was die Qualle ausmacht.

Hier ist eine einfache Aufschlüsselung ihrer neuen Idee, QUEST, unter Verwendung alltäglicher Analogien.

Das Problem: Das „Lineal“ funktioniert nicht immer

Die meisten aktuellen Methoden messen die Unsicherheit, indem sie den Durchschnitt (den Mittelwert) und die Abweichung (die Varianz) betrachten, also wie weit die Werte vom Durchschnitt entfernt sind.

Die Analogie: Stellen Sie sich vor, Sie betrachten eine Menschenmenge.
- Szenario A (Normal): Alle stehen in einem engen, ordentlichen Kreis. Der Durchschnitt liegt genau in der Mitte, und jeder ist nah an ihm. Die „Unsicherheit“ ist gering.
- Szenario B (Schief/Skewed): Die meisten Leute stehen in einem engen Kreis, aber eine riesige Person steht 10 Meilen weit weg. Die „Durchschnittsposition“ der Menge wird nun stark in Richtung des Riesen gezogen.
- Szenario C (Bimodal): Die Hälfte der Menge steht in einem Kreis links, und die andere Hälfte in einem Kreis rechts, mit einer großen Lücke in der Mitte.

Die alten Methoden (wie die Varianz) werden hier verwirrt. In Szenario B lässt die riesige Person die „Verteilung“ riesig erscheinen, sodass der Computer denkt, die Unsicherheit sei massiv, obwohl 99 % der Menschen tatsächlich sehr berechenbar sind. In Szenario C könnten die alten Methoden sagen, dass die Unsicherheit hoch ist, weil die Menge gespalten ist, aber sie könnten versehentlich auch eine hohe Wahrscheinlichkeit für die leere Lücke in der Mitte zuweisen, was unmöglich ist.

Die Arbeit argumentiert, dass die alten Werkzeuge irreführende Antworten liefern, wenn wir das wahrscheinlichste Ergebnis (den „Modus“ oder den Gipfel der Menge) finden wollen.

Die Lösung: QUEST (Die „Taschenlampen“-Methode)

Die Autoren schlagen ein neues Framework namens QUEST vor (Quantifying Uncertainty via highest dEnSiTy regions).

Anstatt die gesamte Streuung vom Durchschnitt aus zu messen, fragt QUEST eine andere Frage: „Wie viel Platz benötigen wir, um die wahrscheinlichsten 90 % der Menge einzufangen?“

Die Analogie: Stellen Sie sich vor, Sie haben eine Taschenlampe, die nur auf die hellsten Teile eines Raumes leuchten kann (die Bereiche mit den meisten Menschen).
- Geringe Unsicherheit: Wenn die Menge ein enges Grüppchen bildet, muss Ihre Taschenlampe nur einen winzigen Kreis beleuchten, um 90 % von ihnen einzufangen. Das „Volumen“ des Lichts ist klein.
- Hohe Unsicherheit: Wenn die Menge über ein riesiges Feld verstreut ist, muss Ihre Taschenlampe massiv sein, um 90 % von ihnen einzufangen. Das „Volumen“ des Lichts ist riesig.

QUEST misst das Volumen dieses Taschenlampenstrahls.

Kleines Volumen = Hohe Zuverlässigkeit (die Menge ist dicht gedrängt).
Großes Volumen = Geringe Zuverlässigkeit (die Menge ist verstreut).

Dies funktioniert perfekt für seltsame Formen. Wenn die Menge in zwei Gruppen gespalten ist (Szenario C), leuchtet die Taschenlampe einfach separat auf beide Gruppen. Sie verschwendet kein Licht in der leeren Lücke in der Mitte. Dies liefert eine viel ehrlichere Antwort darauf, wie unsicher die Vorhersage wirklich ist.

Die drei Arten der Unsicherheit

Das Paper unterteilt die Unsicherheit in drei Kategorien, und QUEST misst alle drei:

Aleatorische Unsicherheit (Das „Rauschen“): Dies ist die natürliche Zufälligkeit der Welt. Selbst wenn Sie alles über das Modell wüssten, könnte das Wetter dennoch unvorhersehbar sein. QUEST misst dies, indem es auf die „Dichte“ der echten Menge achtet.
Epistemische Unsicherheit (Die „Unwissenheit“): Dies ist die Unsicherheit, weil das Modell noch nicht genug weiß. Es ist wie ein Schüler, der noch nicht gelernt hat. QUEST misst dies, indem es darauf achtet, wie weit die Überzeugungen des Modells gestreut sind. Wenn das Modell wild rät, ist die „Taschenlampe“ riesig. Wenn das Modell sicher ist, ist die Taschenlampe klein.
Gesamtunsicherheit: Dies ist die Kombination aus beidem. QUEST kombelt das natürliche Rauschen und die Unwissenheit des Modells zu einem einzigen Wert.

Warum das wichtig ist (Die „Axiome“)

Die Autoren haben die Idee nicht einfach nur erfunden; sie haben bewiesen, dass sie einer Reihe von logischen Regeln (Axiomen) folgt, die jedes gute Maß für Unsicherheit erfüllen sollte.

Regel 1: Wenn man die Menge weiter verteilt, sollte die Unsicherheit steigen. (QUEST erfüllt dies; alte Methoden scheitern manchmal).
Regel 2: Wenn man die Menge lediglich an einen anderen Ort bewegt, ohne sie weiter zu verteilen, sollte die Unsicherheit gleich bleiben. (QUEST erfüllt dies; alte Methoden werden manchmal verwirrt).
Regel 3: Das Maß darf niemals negativ sein. (QUEST erfüllt dies; einige alte mathematische Werkzeuge können negative Zahlen liefern, was für „Unsicherheit“ keinen Sinn ergibt).

Die Ergebnisse

Das Team hat QUEST im Vergleich zu den alten Methoden (Varianz und Entropie) mithilfe von Computersimulationen mit schwierigen Datenformen (schiefe Mengen, gespaltene Mengen) getestet.

Das Ergebnis: QUEST war besser darin, die zuverlässigsten Vorhersagen zu identifizieren. Als die Forscher dem Computer sagten, er solle Vorhersagen nur auf den „sichersten“ Datenpunkten vorzunehmen, half QUEST ihnen, Fehler viel besser zu vermeiden als die alten Methoden, insbesondere wenn die Daten ungewöhnlich waren oder Ausreißer enthielten.

Zusammenfassung

Kurz gesagt sagt das Paper: Hören Sie auf, die Unsicherheit dadurch zu messen, wie weit der Durchschnitt von den Rändern entfernt ist. Messen Sie stattdessen, wie viel Platz man benötigt, um das „wahrscheinlichste“ Zeug einzufangen.

Es ist wie der Wechsel von der Messung des Abstands zwischen den beiden Enden eines unordentlichen Wäschebergs (der sich wild verändert, wenn man eine Socke hinzufügt) zur Messung der Größe des Korbes, der benötigt wird, um die saubersten, am besten gefalteten 90 % der Kleidung aufzunehmen. Es ist eine robustere, logischere und „ehrlichere“ Art zu wissen, wie sehr man den Vorhersagen einer KI vertrauen kann.

Technisches Resümee: QUEST zur Quantifizierung von Unsicherheit mittels höchster Dichteregionen

1. Problemstellung

Die Quantifizierung von Unsicherheit (Uncertainty Quantification, UQ) ist entscheidend für zuverlässige Entscheidungsfindungen in sicherheitskritischen probabilistischen Modellen des maschinellen Lernens. Während entropiebasierte Maße der Standard für die Klassifikation sind, stützte sich die UQ in der Regression weitgehend auf Proper Scoring Rules (PSRs), welche die Unsicherheit als punktuellen prädiktiven Risiko eines Modells relativ zur wahren Verteilung operationalisieren.

Die Autoren identifizieren einen grundlegenden Mangel in PSR-basierten Ansätzen (wie Varianz und Differenzielle Entropie), wenn die Zielgröße nicht der bedingte Erwartungswert (Mittelwert) ist. In vielen praktischen Szenarien – etwa im Reinforcement Learning oder in der Bayesschen Modellierung – ist das Ziel der bedingte Modus (Maximum A Posteriori, oder MAP). In Gegenwart von Schiefe, Multimodalität oder Ausreißern können der Mittelwert und der Modus signifikant divergieren. Standardmaße wie die Varianz überschätzen die Unsicherheit in diesen Fällen oft, da sie empfindlich auf die Massen in den Randbereichen (Tails) reagieren, anstatt auf die Konzentration der Wahrscheinlichkeit um den Modus. Darüber hinaus erfüllen bestehende axiomatische Rahmenwerke für die Regressions-UQ oft nicht intuitive Eigenschaften wie Monotonie unter Verteilungsstreuung oder Invarianz gegenüber Lageverschiebungen, wenn diese auf nicht-gaußsche oder asymmetrische Verteilungen angewendet werden.

2. Methodik: Das QUEST-Framework

Das Paper führt QUEST (Quantifying Uncertainty via highest dEnSiTy regions) ein, ein Framework, das Unsicherheit durch das Volumen der wahrscheinlichsten Teilmenge des Supports einer Verteilung charakterisiert, anstatt durch punktuelles Risiko.

Kernkonzepte

Höchste Dichteregionen (Highest Density Regions, HDRs): Für eine Wahrscheinlichkeitsdichtefunktion (PDF) $p$ und einen Robustheitsparameter $\alpha \in (0,1)$ ist die $(1-\alpha)$ -HDR ( $C_\alpha$ ) die kleinste Menge, die $1-\alpha$ der Wahrscheinlichkeitsmasse enthält. Sie ist definiert als $C_\alpha = \{x : p(x) \ge t_\alpha(p)\}$ , wobei $t_\alpha$ der Schwellenwert ist, der die Massenbeschränkung sicherstellt.
$\alpha$ -Volumen (Lokales Maß): Definiert als $V_\alpha(p) := \lambda(C_\alpha)$ , wobei $\lambda$ das Lebesgue-Maß ist. Dies misst die „Größe“ der Region, die den Großteil der Wahrscheinlichkeitsmasse enthält. Kleine Volumina deuten auf hohe Konzentration (geringe Unsicherheit) hin; große Volumina auf Dispersion (hohe Unsicherheit).
Integriertes Volumen (Globales Maß): Definiert als $IV(p) = \int_0^1 V_\alpha(p) d\alpha$ . Dies fasst die gesamte Coverage-Kurve zusammen und bietet eine globale Bewertung der Konzentration. Die Autoren stellen eine geometrische Äquivalenz zwischen der Coverage-Kurve und der Lorenz-Kurve aus der Ökonomie sowie zwischen dem integrierten Volumen und dem Gini-Koeffizienten her.

Typologie der Unsicherheit in QUEST

Das Framework definiert drei Arten der Unsicherheit basierend auf einer zweiten Ordnung der Verteilung $q$ (die Überzeugungen über Parameter $\theta$ darstellt) und der wahren Grundwahrheitsverteilung $p_{\theta^*}$ :

Aleatorische Unsicherheit (AU): Quantifiziert durch das Volumen der HDR der wahren Verteilung $p_{\theta^*}$ $p_{θ^{*}}$ . Dies erfasst die irreduzible Unsicherheit, die dem datengenerierenden Prozess inhärent ist.
- Lokal: $V_\alpha(p_{\theta^*})$
- Global: $IV(p_{\theta^*})$
Epistemische Unsicherheit (EU): Quantifiziert durch das Volumen der HDR der Verteilung zweiter Ordnung $q$ $q$ . Im Gegensatz zu Standardansätzen, die EU als Residuum (Gesamt - Aleatorisch) behandeln, betrachtet QUEST EU als ein rein subjektives Maß der Konzentrationsüberzeugung des Agenten, unabhängig von der Wahrheit.
- Lokal: $V_\alpha(q)$
- Global: $IV(q)$
Totale Unsicherheit (TU): Definiert über eine Interaktion zwischen AU und EU. Da AU und EU auf unterschiedlichen Räumen existieren, können sie nicht einfach addiert werden. Stattdessen wird TU als das Volumen der AU modelliert, skaliert durch einen Strafparameter, der aus der Divergenz zwischen der wahren bedingten Dichte und der prädiktiven bedingten Dichte innerhalb ihrer jeweiligen HDRs abgeleitet wird.
- Formel: $TU = V_\alpha(p_{\theta^*}) \cdot g_f(D_f(p^*_\alpha || \hat{p}_\alpha))$
- Hierbei ist $D_f$ eine zulässige $f$ -Divergenz (z. B. Total Variation) und $g_f$ eine streng monoton steigende Funktion, die die Fehlabstimmung zwischen der Überzeugung des Agenten und der Wahrheit bestraft.

3. Hauptbeiträge

Das Paper leistet vier primäre Beiträge:

Konzeptionell: Schlägt eine volumenzentrierte Interpretation von Unsicherheit vor, die auf der Konzentration der Dichte und einem vom Benutzer bereitgestellten Robustheitsparameter $\alpha$ basiert, und bietet damit eine Alternative zu risikobasierten PSR-Maßen.
Methodisch: Führt neuartige lokale ( $\alpha$ -Volumen) und globale (integriertes Volumen) Maße für aleatorische und epistemische Unsicherheit ein. Es stellt theoretische Verbindungen zwischen diesen Maßen und klassischen Statistiken aus der Informationstheorie (differenzielle Entropie) und der Ökonomie (Lorenz-Kurven, Gini-Koeffizienten) her.
Theoretisch: Zeigt, dass QUEST-Maße für AU und EU eine Reihe von Axiomen erfüllen, die aus der UQ-Literatur adaptiert wurden (A0–A5). Diese beinhalten Nicht-Negativität, Minimierung bei Dirac-Masses, Monotonie unter „Glättung“ (Verteilungsstreuung) und Invarianz gegenüber Lageverschiebungen. Bemerkenswerterweise argumentieren die Autoren, dass die totale Unsicherheit (TU) das Monotonie-Axiom (A4) in allen Fällen nicht erfüllen sollte, da eine verbesserte Kalibrierung (Reduzierung der TU) auch dann auftreten kann, wenn die epistemische Unsicherheit steigt.
Empirisch: Validiert das Framework durch Benchmarks zur selektiven Prädiktion. Die Ergebnisse zeigen, dass QUEST (insbesondere das globale Maß) die Varianz und differenzielle Entropie in schiefen und multimodalen Settings übertrifft, was zu einer genaueren Einstufung der Vorhersagezuverlässigkeit führt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten QUEST im Vergleich zu Varianz, differenzieller Entropie und zufälligen Baselines mittels Deep Mixture-of-Experts-Ensembles auf drei synthetischen Datengenerierungsprozessen (DGPs):

Unimodale Gauß-Verteilung: Alle Methoden schnitten erwartungsgemäß ähnlich ab.
Unimodale schiefe Verteilung: Varianz und Entropie hatten aufgrund der Sensitivität gegenüber der Randmasse (Tail Mass) Schwierigkeiten. QUEST lieferte zuverlässigere Rankings der Unsicherheit.
Bimodale Mischverteilung: Standardmaße führen in multimodalen Settings oft zu Fehlbewertungen der Unsicherheit. QUEST übertraf Varianz und Entropie signifikant und identifizierte korrekt die Regionen hoher Dichtekonzentration.

In Selektions-Prädiktionsaufgaben (bei denen Vorhersagen nur auf den sichersten Stichproben getroffen werden) erreichte QUEST (global) über alle Versuche hinweg einen geringeren Verlust im Vergleich zu den Wettbewerbern. Ein ergänzendes Active Learning-Experiment zeigte, dass QUEST auf Augenhöhe mit Varianz und Entropie performt, wobei die Autoren jedoch anmerken, dass die Leistung von QUEST sensitiv gegenüber der Qualität der Schätzung der wahren Dichte durch das Modell in Nicht-Oracle-Settings ist.

5. Bedeutung und Ansprüche

Das Paper behauptt, dass QUEST spezifische Pathologien von PSR-basierter UQ adressiert, insbesondere wenn der Modus statt des Mittelwerts das Ziel ist. Durch die Verschiebung des Fokus von punktuellem Risiko hin zur Konzentration der Messung bietet QUEST eine intuitivere und robustere Charakterisierung der Unsicherheit in nicht-gaußschen, schiefen oder multimodalen Verteilungen.

Die Autoren betonen, dass ihr Ansatz:

Die kontraintuitiven Ergebnisse von varianzbasierten Maßen in Gegenwart von Ausreißern oder Schiefe vermeidet.
Ein fundiertes axiomatisches Fundament für AU und EU bietet, das die Geometrie von Wahrscheinlichkeitsdichten respektiert.
Ein flexibles Framework bietet, bei dem der Robustheitsparameter $\alpha$ es Benutzern ermöglicht, die Sensitivität gegenüber Fluktuationen in den Randbereichen zu steuern.

Das Paper schließt bescheiden und räumt Einschränkungen ein, wie die Annahme der absoluten Stetigkeit bezüglich des Lebesgue-Maßes und die Rechenkosten für die Schätzung von HDRs in hohen Dimensionen. Es schlägt vor, das Framework in der Zukunft auf statistische Inferenz und den Umgang mit Atomen oder niedrigdimensionalen Supports auszuweiten.