📊 statistics

Subjective Risk Decomposition: A New View for Uncertainty Quantification

Dieses Paper schlägt ein neuartiges Framework für die Quantifizierung von Unsicherheit vor, bei dem epistemische und aleatorische Unsicherheitsmaße als Konsequenzen einer Zerlegung eines subjektiven Risikos basierend auf einem streng korrekten Verlust abgeleitet werden, wodurch bestehende Metriken vereinheitlicht und eine Grundlage für einen lern-theoretischen Ansatz der Unsicherheitsquantifizierung etabliert wird.

Ursprüngliche Autoren: Raghad Alamri, Michele Caprio, Gavin Brown

Veröffentlicht 2026-07-17

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raghad Alamri, Michele Caprio, Gavin Brown

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Rätsel der Kristallkugel

Stellen Sie sich vor, Sie versuchen, die Zukunft vorherzusagen. Vielleicht raten Sie über den Spielstand eines Fußballspiels, das Wetter für morgen oder was ein Freund als Nächstes sagen wird. In der Welt der Informatik, speziell in einem Bereich namens Maschinelles Lernen, bauen wir digitale „Kristallkugeln“ (Modelle), um diese Vermutungen anzustellen. Aber hier liegt der Haken: Ein Modell kann zwar selbstbewusst sein, und trotzdem falsch liegen. Deshalb kümmern sich Wissenschaftler intensiv um die Unsicherheitsquantifizierung (Uncertainty Quantification). Es geht nicht nur darum, die richtige Antwort zu finden; es geht darum, zu wissen, wie sicher sich das Modell ist.

Um dieses Paper zu verstehen, müssen wir zwei Hauptarten des „Nicht-Wissens“ kennen. Erstens gibt es die aleatorische Unsicherheit. Betrachten Sie dies als das Rauschen im System – die Dinge, die man einfach nicht kontrollieren kann, wie eine plötzliche Windböe, die den Pfad eines Fußballs verändert. Es ist das „irreduzible“ Chaos der realen Welt. Zweitens gibt es die epistemische Unsicherheit. Dies ist die Art von „Ich weiß nicht, was ich nicht weiß“. Es ist die Unsicherheit, die vom Modell selbst kommt, vielleicht weil es nicht genügend Daten gesehen hat oder mit den Regeln verwirrt ist. Lange Zeit haben Wissenschaftler erbittert darüber gestritten, wie man diese beiden Arten von Unsicherheit misst, und versucht, strenge Regeln (Axiome) zu formulieren, um sie zu definieren.

Die große Idee des Papers: Aufhören zu streiten, anfangen zu zerlegen

Dieses Paper mit dem Titel „Subjective Risk Decomposition“ schlägt vor, dass all dieser Streit vielleicht am Ziel vorbeigeht. Die Autoren, Raghad Alamri, Michele Caprio und Gavin Brown, schlagen einen neuen Weg vor, das Problem zu betrachten. Anstatt zu versuchen, Unsicherheit als ein mysteriöses, eigenständiges Objekt zu definen, schlagen sie vor, dass Unsicherheit eigentlich nur eine Konsequenz daraus ist, wie wir entscheiden, unsere Modelle zu bewerten.

Stellen Sie sich vor, Sie sind ein Lehrer, der den Aufsatz eines Schülers bewertet. Sie haben ein spezifisches Rubric (einen Satz von Regeln), wie Punkte vergeben werden. Wenn Sie das Rubric ändern, ändert sich die Note, selbst wenn der Aufsatz derselbe bleibt. Die Autoren argumentieren, dass „Unsicherheit“ wie diese Note ist. Sie ist keine magische Zahl, die in der Luft schwebt; sie ist das Ergebnis einer spezifischen Berechnung basierend auf einem spezifischen „Rubric“ (das sie als streng konformen Verlust bzw. strictly proper loss bezeichnen).

Das Paper führt das Konzept des Subjektiven Risikos ein. Vereinfacht ausgedrückt ist dies eine Art zu fragen: „Wenn das Modell glaubt, die Welt sei auf eine bestimmte Weise, wie schlimm wäre es, wenn die reale Welt anders aussehen würde?“ Die Autoren zeigen, dass, wenn man dieses „Subjektive Risiko“ zerlegt (dekomponiert), die Teile, die man erhält, genau die verschiedenen Arten von Unsicherheit sind, die Wissenschaftler seit Jahren zu definieren versuchen.

Wie der Zaubertrick funktioniert

Die Autoren verwenden ein mathematisches Werkzeug namens Bregman-Divergenz (denken Sie an ein spezielles Maß, das den Abstand zwischen zwei verschiedenen Arten, die Welt zu sehen, misst). Wenn sie dieses Maß auf das „Subjektive Risiko“ anwenden, spaltet es sich natürlich in drei deutliche Teile auf:

Bias (Der systematische Fehler): Dies ist der Teil, in dem der durchschnittliche Glaube des Modells im Vergleich zur Realität schlichtweg falsch ist. Es ist wie ein Kompass, der immer leicht nach Norden zeigt, anstatt nach echtem Norden. Das Paper argumentiert, dass dies nicht „Unsicherheit“ im herkömmlichen Sinne ist; es ist einfach ein Fehler in der Verankerung des Modells.
Varianz (Der epistemische Teil): Dies ist der „Ich bin verwirrt“-Teil. Er misst, wie stark die Vorhersagen des Modells springen, wenn es leicht unterschiedliche Daten sieht. Wenn das Modell ein zappeliger, nervöser Schüler ist, der jedes Mal eine andere Antwort gibt, wenn man ihn fragt, ist dieser Wert hoch. Die Autoren zeigen, dass berühmte Maße wie die Mutual Information (ein komplexer mathematischer Begriff dafür, wie viel der interne Zustand des Modells uns über seine Vorhersage verrät) spezielle Versionen dieser Varianz sind.
Entropie (Der aleatorische Teil): Dies ist der „Rauschen“-Teil. Es ist die inhärente Zufälligkeit der Situation, die kein noch so großer Datenstrom korrigieren kann. Es ist der „Windstoß“ in unserer Fußball-Analogie.

Warum das alles verändert

Das Paper legt nahe, dass all die verschiedenen Formeln, die Wissenschaftler über die Jahre erfunden haben, keine konkurrierenden Feinde sind. Sie sind lediglich verschiedene Geschmacksrichtungen desselben zugrunde liegenden Rezepts.

Die „Gal“-Methode: Eine berühmte Art, Unsicherheit zu messen (durch einen Forscher namens Gal), verwendet eine bestimmte Art von Mathematik namens „Log-Loss“. Die Autoren zeigen, dass, wenn Sie diesen spezifischen Verlust verwenden, Ihre Dekomposition natürlich die berühmte „Mutual Information“-Formel ergibt.
Die „Sale“-Methode: Eine andere Gruppe von Forschern verwendet eine andere Mathematik (quadratischen Verlust bzw. squared loss). Die Autoren zeigen, dass Sie, wenn Sie diesen Verlust verwenden, eine andere Formel erhalten (varianzbasiert), die ebenfalls gültig ist, nur eben für ein anderes Problem.

Das Paper argumentiert explizit gegen die Idee, dass wir neue Regeln (Axiome) benötigen, um zu entscheiden, welches Unsicherheitsmaß „korrekt“ ist. Stattdessen sagen sie, dass das „korrekte“ Maß einfach dasjenige ist, das sich natürlich aus der spezifischen Verlustfunktion ergibt, die Sie für Ihr Problem gewählt haben. Wenn Sie einen Verlust wählen, der darauf abzielt, „modus-suchend“ (mode-seeking, also auf das wahrscheinlichste Ergebnis fokussiert) zu sein, erhalten Sie eine Art von Unsicherheit. Wenn Sie einen Verlust wählen, der „mittelwert-suchend“ (mean-seeking, also alles herausmittelt) ist, erhalten Sie eine andere.

Die Verbindung zur Lerntheorie

Die Autoren gehen auch einen Schritt weiter und verbinden diese Idee mit der Statistischen Lerntheorie, der Mathematik hinter der Frage, wie Maschinen aus Daten lernen. Sie führen neue Begriffe wie „Subjective Approximation Gap“ und „Subject-Estimation Error“ ein.

Sie stellen fest, dass die „epistemische Unsicherheit“ (der reduzierbare Teil) tatsächlich eine Mischung aus zwei Dingen ist:

Wie sehr das Modell mit sich selbst uneinig ist (der Varianz/Mutual Information-Teil).
Wie sehr das Modell durch die spezifische Art des Modells selbst begrenzt ist (der Approximation Gap).

Dies ist eine entscheidende Erkenntung. Sie legt nahe, dass wir, wenn wir sagen, ein Modell habe eine „hohe epistemische Unsicherheit“, möglicherweise zwei verschiedene Probleme vermischen: Das Modell ist einfach verwirrt (Varianz), oder das Modell ist das falsche Werkzeug für die Aufgabe (Approximation). Das Paper deutet an, dass das berühmte Maß der „Mutual Information“ nur den ersten Teil (die Verwirrung) erfasst und die gesamte „reduzierbare“ Unsicherheit unterschätzen könnte, da es den zweiten Teil ignoriert.

Das Faz-it

Kurz gesagt: Dieses Paper erfindet keinen neuen Weg, Unsicherheit zu berechnen. Stattdessen bietet es eine vereinheitlichte Landkarte. Es sagt uns, dass alle die verschiedenen Karten, die wir benutzt haben, korrekt sind, aber sie betrachten denselben Berg nur aus verschiedenen Blickwinkeln.

Die Autoren schlagen vor, dass wir aufhören sollten, Unsicherheit als etwas Mysteriöses zu behandeln, das von Grund auf neu definiert werden muss. Stattdessen sollten wir das Subjektive Risiko betrachten – die Kosten des Irrtums basierend auf unseren eigenen Überzeugungen – und es aufschlüsseln. Die Teile, die wir finden, sind genau die Unsicherheitsmaße, nach denen wir die ganze Zeit gesucht haben. Es ist ein Wechsel von der Frage „Was ist Unsicherheit?“ hin zu „Wie haben wir entschieden, sie zu messen?“.

Das Paper merkt vorsichtshalber an, dass dies ein theoretischer Rahmen ist. Es erklärt, war Warum verschiedene Maße existieren und wie sie zusammenhängen, aber es behauptet nicht, jedes praktische Problem auf diesem Gebiet gelöst zu haben. Es ist eine neue Linse, die die bestehende Landschaft viel klarer macht, und legt nahe, dass die Meinungsverschiedenheiten auf dem Gebiet oft nur Unterschiede in den „Linealen“ (Verlustfunktionen) sind, die die Menschen verwenden, und nicht etwa Widersprüche in der Natur der Unsicherheit selbst.

Technische Zusammenfassung: Subjektive Risiko-Dekomposition: Eine neue Sichtweise auf die Quantifizierung von Unsicherheit

Problemstellung
Das Feld der Quantifizierung von Unsicherheit (Uncertainty Quantification, UQ) leidet derzeit unter einer Proliferation konkurrierender Definitionen für aleatorische (irreduzible) und epistemische (reduzierbare) Unsicherheit. Während Frameworks wie Gal (2016) einflussreiche informationstheoretische Dekompositionen bereitstellen, enthält die Literatur zahlreiche alternative Maße, die durch unterschiedliche Modellannahmen und Anwendungsbereiche motiviert sind. Dies hat zu Debatten über die axiomatischen Grundlagen von UQ-Begriffen und die Frage geführt, ob die Dichotomie zwischen aleatorisch und epistemisch überhaupt sinnvoll ist. Bestehende Ansätze behandeln Unsicherheitsmaße oft als primitive Objekte, die einer unabhängigen Rechtfertigung bedürfen, oder sie verlassen sich auf „Alle-Kombinationen“-Strategien, die Kandidatenmaße generieren, ohne zu erklären, warum spezifische Maße unterschiedlich agieren oder welches für ein gegebenes Szenario angemessen ist.

Methodik
Die Autoren schlagen ein einheitliches Framework vor, in dem Unsicherheitsmaße keine Primitiva sind, sondern Konsequenzen höherwertiger Modellentscheidungen, spezifisch der Wahl einer streng geeigneten Verlustfunktion (strictly proper loss function) und der Bewertung des Risikos.

Subjektives Risiko als Fundament: Das Paper übernimmt den entscheidungstheoretischen Begriff des subjektiven Risikos (Savage, 1971), definiert als der erwartete Verlust eines Modells $q$ , evaluiert gegen eine wahre Verteilung $p$ , wobei der Erwartungswert über die eigenen Überzeugungen des Modells ( $q$ ) statt über den wahren datengenerierenden Prozess ( $p$ ) genommen wird. Formal gilt für einen streng geeigneten Verlust $\ell$ : Das subjektive Risiko ist $R_q(p) = \mathbb{E}_{\hat{Y} \sim q}[\ell(p, \hat{Y})]$ .
- Im Gegensatz zum objektiven Risiko ( $\mathbb{E}_{Y \sim p}[\ell(q, Y)$ ), welches die Frage beantwortet: „Wie korrekt ist das Modell?“, beantwortet das subjektive Risiko die Frage: „Wie realistisch ist das Modell?“, indem es das Modell dafür bestraft, Masse auf Ausgänge zu vergeben, die die wahre Verteilung als unplausibel erachtet.
- Diese Formulierung nutzt das umgekehrte Argument des Verlusts (Evaluierung von $p$ unter $q$ ), was der reversen Kreuzentropie bzw. der reversen KL-Divergenz im Falle des Log-Loss entspricht.
Dekomposition mittels Bregman-Divergenzen: Unter Ausnutzung der Eigenschaften streng geeigneter Verluste zeigen die Autoren, dass der erwartete subjektive Risiko eine reverse Bias-Varianz-Dekomposition zulässt.
- Das erwartete subjektive Risiko lässt sich in drei Terme zerlegen:
  $\mathbb{E}_\theta [R_{q_\theta}(p)] = \underbrace{B_\phi(\bar{q}, p)}_{\text{Bias}} + \underbrace{\mathbb{E}_\theta [B_\phi(q_\theta, \bar{q})]}_{\text{Varianz}} + \underbrace{\mathbb{E}_\theta [H_\ell(q_\theta)]}_{\text{Generalisierte Entropie}}$
- Hierbei ist $\bar{q}$ das rechte Bregman-Zentroid (die Mischung der prädiktiven Verteilungen), $B_\phi$ ist die durch den Verlust induzierte Bregman-Divergenz und $H_\ell$ ist die generalisierte Entropie.
- Der Varianz-Term wird als Maß für die epistemische Unsicherheit identifiziert, und der Generalisierte Entropie-Term wird als aleatorische Unsicherheit identifiziert.
Erweiterung auf die Lerntheorie: Die Autoren erweitern dieses Framework auf die statistische Lerntheorie, indem sie subjektive Analoga zu Standardkonzepten definieren:
- Exzessives subjektives Risiko: Die Differenz zwischen dem erwarteten subjektiven Risiko eines Modells und dem besten subjektiven Modell innerhalb der Klasse.
- Subjektiver Approximationsfehler (Approximation Gap): Der Fehler, der dadurch entsteht, dass die Hypothesenklasse das optimale subjektive Modell nicht enthält (analog zum Approximationsfehler).
- Subjektiver Schätzfehler (Estimation Error): Der Fehler aufgrund endlicher Daten und Parametersicherheit (analog zum Schätzfehler).

Wesentliche Beiträge und Ergebnisse

Vereinheitlichung bestehender Maße: Das Paper zeigt, dass zahlreiche existierende Unsicherheitsmaße Spezialfälle dieser Dekomposition sind, abgeleitet durch die Wahl spezifischer Verlustfunktionen und Hypothesenklassen:
- Informationstheoretische Maße (Gal, 2016): Durch Verwendung des Log-Loss auf kategorischen Verteilungen rekonstruiert die Dekomposition die epistemische Unsicherheit von Gal als die gegenseitige Information $I(\hat{Y}; \Theta)$ (die Bregman-Varianz) und die aleatorische Unsicherheit als die bedingte Entropie $H(\hat{Y}|\Theta)$ .
- Gaußsche Regression: Für Gauß-Modelle mit unbekanntem Mittelwert und unbekannter Varianz rekonstruiert das Framework die Differenzielle Entropie und die Mutual-Information-Terme, die in der Regressions-UQ verwendet werden.
- Label-weise Unsicherheit: Die Verwendung des quadratischen Fehlers (Brier Score) auf Bernoulli-Verteilungen rekonstruiert die von Sale et al. (2024) vorgeschlagenen „label-wise“ Unsicherheitsmaße.
Erklärung der Divergenz: Das Framework erklärt, warum unterschiedliche Maße (z. B. entropiebasierte vs. varianzbasierte) unterschiedlich agieren. Diese Unterschiede sind keine Widersprüche, sondern Konsequenzen der Geometrie der Verlustfunktion. Verluste mit hoher Krümmung nahe der Grenze des Wahrscheinlichkeits-Simplex (wie der Log-Loss) sind empfindlicher gegenüber „Halluzinationen“ (Zuweisung von Masse an unplausible Ereignisse) als Verluste mit flacherer Geometrie (wie der quadratische Verlust).
Lerntheoretische Erkenntnisse:
- Die Autoren zeigen, dass die gegenseitige Information (Gals Maß für epistemische Unsicherheit) eine systematische Unterschätzung des wahren subjektiven Schätzfehlers darstellt. Die gegenseitige Information erfasst nur die Varianzkomponente (Posterior-Disagreement), ignoriert aber den zusätzlichen Fehler, der durch die Beschränkung der Vorhersagen auf eine spezifische Hypothesenklasse entsteht.
- Sie stellen Bedingungen her, unter denen das „Best-in-Class“-Modell für das objektive Risiko mit dem für das subjektive Risiko übereinstimmt, und verknüpfen so die Modelloptimalität unter der Realität mit der Optimalität unter internen Überzeugungen.
Analyse epistemischer Varianten: Das Paper analysiert verschiedene Vorschläge für epistemische Unsicherheit (z. B. Expected Pairwise KL, Reverse Mutual Information) und zeigt, wie diese mit symmetrischen und asymmetrischen Komponenten der Mutual-Information-Dekomposition zusammenhängen.

Bedeutung und Ansprüche
Das Paper beansprucht, eine „neue Sichtweise“ für die Quantifizierung von Unsicherheit zu bieten, indem es die Perspektive von der Definition von Axiomen für Unsheits-Primitiva hin zur Ableitung dieser als Konsequenzen von Modellierungsentscheidungen verschiebt.

Theoretisches Fundament: Die Autoren argumentieren, dass Unsicherheitsmaße nicht als unabhängige Primitiva debattiert werden müssen. Stattdessen werden sie natürlich induziert, sobald ein streng geeigneter Verlust und ein Modellierungsszenario festgelegt sind. Dies bietet eine gemeinsame theoretische Basis für disparate Maße in der Literatur.
Brückenschlag zwischen UQ und Lerntheorie: Durch die Einführung subjektiver Analoga zu exzessivem Risiko, Approximationsfehler und Schätzfehler legen die Autoren den Grundstein für ein umfassendes lerntheoretisches Framework für UQ. Es klärt die Beziehung zwischen epistemischer Unsicherheit und Standardkonzepten der Lerntheorie wie dem Schätzfehler.
Praktische Implikation: Der Ansatz legt eine neue Methodik für Praktiker nahe: Gegeben ein spezifisches Modellierungsszenario und ein gewählter streng geeigneter Verlust, werden die entsprechenden epistemischen und aleatorischen Terme automatisch durch die Risiko-Dekomposition induziert, wodurch die Notwendigkeit entfällt, zwischen konkurrierenden ad-hoc Definitionen zu wählen.

Die Autoren positionieren diese Arbeit als ersten Schritt zu einem umfassenden Framework und betonen, dass sie existierende Vorschläge vereinheitlichen, anstatt ein einziges neues „bestes“ Maß vorzuschlagen, und heben die Rolle der Verlustgeometrie bei der Bestimmung des Verhaltens der Quantifizierung von Unsicherheit hervor.