📊 statistics

CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk

Das Papier schlägt CLEAR vor, eine Kalibrierungsmethode, die distinkte Parameter für aleatorische und epistemische Unsicherheit kombiniert, um die bedingte Abdeckung und Effizienz von Prädiktionsintervallen bei Regressionsaufgaben über diverse reale Datensätze hinweg signifikant zu verbessern.

Ursprüngliche Autoren: Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

Veröffentlicht 2026-07-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Zukunft vorherzusagen, wie zum Beispiel zu erraten, für wie viel ein Haus verkauft wird oder wie schnell ein Auto fahren wird. Sie möchten mit Ihrer Schätzung richtig liegen, aber Sie wollen auch wissen, wie „wackelig“ diese Schätzung ist. In der Welt des maschinellen Lernens gibt es zwei Hauptgründe, warum Ihre Schätzung wackelig sein könnte, und lange Zeit betrachteten die meisten Werkzeuge nur einen davon.

Die zwei Arten von „Wackeligkeit“

Betrachten Sie aleatorische Unsicherheit als das „Rauschen“ im Radio. Es ist das Rauschen, das einfach da ist, wie ein Messfehler oder eine zufällige Windböe. Egal, wie sehr Sie das Radio studieren oder wie oft Sie zuhören, dieses Rauschen wird nicht verschwinden, es sei denn, Sie reparieren das Radio selbst. Es ist das inhärente Chaos der Daten.

Dann gibt es die epistemische Unsicherheit. Das ist das Gefühl von „Hier war ich noch nie zuvor“. Stellen Sie sich vor, Sie sind ein Kartograf, der bisher nur Karten für das Stadtzentrum gezeichnet hat. Wenn Sie versuchen zu erraten, wie das Gelände in einem fernen, unentdeckten Wald aussieht, ist Ihre Schätzung deshalb wackelig, weil Ihnen Daten fehlen, und nicht, weil der Wald verrauscht ist. Wenn Sie ausgehen würden, um mehr Daten zu sammeln, würde diese Art der Wackeligkeit verschwinden.

Die Probleme alter Landkarten

Die meisten alten Methoden zur Erstellung von Vorhersagen waren wie ein Kartograf, dem sich nur um das Rauschen kümmerte. Sie zeichneten eine Sicherheitszone (ein Vorhersageintervall) um ihre Schätzung, um das „Rauschen“ abzudecken, ignorierten aber völlig die Tatsache, dass sie über einen Ort schätzten, den sie noch nie besucht hatten. Das bedeutete, dass ihre Karten in vertrauten Gebieten zwar in Ordnung waren, aber sobald man sich an die Grenzen der bekannten Welt bewegte (Extrapolation), wurden ihre Sicherheitszonen gefährlich schmal und vermittelten ein falsches Gefühl der Sicherheit.

Andere Methoden versuchten, das „Nie zuvor hier gewesen“-Problem zu lösen, indem sie überall riesige, breite Sicherheitszonen einzeichneten, nur um sicher zu gehen. Aber das machte die Karten unbrauchbar, weil die Zonen so breit waren, dass sie nichts Spezifisches aussagten.

Eintritt von CLEAR: Der smarte Balancierer

Die Autoren dieser Arbeit, veröffentlicht auf der ICLR 2026 Konferenz, haben eine neue Methode namens CLEAR (Calibrated Learning for Epistemic and Aleatoric Risk) vorgestellt. Denken Sie an CLEAR als einen super-smarten Kartografen, der zwei verschiedene Lineale bei sich trägt: eines für das „Rauschen“ und eines für das „unbekannte Territorium“.

Anstatt nur zu raten, wie sehr die Sicherheitszone verbreitert werden soll, nutzt CLEAR zwei spezielle Regler, genannt $\gamma_1$ und $\gamma_2$ , um diese zwei Arten von Unsicherheit auszubalancieren.

Ein Regler passt das Rauschen (aleatorisch) an.
Der andere Regler passt den Mangel an Daten (epistemisch) an.

Die Magie geschieht, weil CLEAR diese Regler nicht auf einen festen Wert setzt. Es betrachtet die Daten und fragt: „Welche Art von Wackeligkeit ist gerade das größere Problem?“ Wenn die Daten verrauscht sind, dreht es den ersten Regler hoch. Wenn die Daten spärlich sind (wie in jenem fernen Wald), dreht es den zweiten Regler hoch. Es findet die perfekte Mischung, um die Sicherheitszone so eng wie möglich zu halten und dennoch sicher zu sein.

Was sie fanden (und was sie nicht fanden)

Die Forscher testeten CLEAR auf 17 verschiedenen realen Datensätzen, die von Hauspreisen bis hin zur Energieeffizienz reichten. Sie führten auch Simulationen durch, um zu sehen, wie es in kontrollierten Umgebungen reagiert.

Hier zeigen die Daten:

Die Ergebnisse: In diesen Tests gelang es CLEAR, die Breite der Vorhersageintervalle im Vergleich zu älteren Methoden, die separat kalibriert wurden, im Durchschnitt um 28,3 % und 17,5 % zu verringern. Entscheidend ist, dass es dies tat, während es das „Sicherheitsniveau“ exakt dort hielt, wo es sein sollte (Aufrechterhaltung der nominalen Abdeckung).
Das „Was wäre wenn“: Die Arbeit argumentiert explizit gegen die Idee, dass man die beiden Unsicherheiten einfach in einem festen 1-zu-1-Verhältnis zusammenzählen sollte (wie etwa $\lambda = 1$ zu setzen). Sie zeigen auf, dass dieser feste Ansatz oft suboptimal ist, da sich die Balance je nach Daten ändert.
Die Grenzen: Die Arbeit stellt fest, dass CLEAR zwar hervorragend auf diesen Datensätzen funktioniert, aber von der Qualität der Basismodelle abhängt, die es verwendet. Wenn die Basismodelle schlecht sind, kann CLEAR sie nicht reparieren. Auch die diskutierten theoretischen Garantien gelten hauptsächlich in „asymptotischen“ Szenarien (das heißt mit unendlichen Daten) oder in Simulationen; in der realen Welt mit endlichen Daten verlassen sie sich auf empirische Belege dafür, dass es gut funktioniert, anstatt auf einen mathematischen Beweis, dass es in jedem einzelnen unmöglichen Grenzfall funktionieren muss.

Das „Warum“ hinter der Magie

Die Autoren schlagen vor, dass der Grund, warum CLEAR so gut funktioniert, darin liegt, dass es einen spezifischen Fehler behebt, wie ältere Methoden sich verhalten.

Alte „nur-Rauschen“-Methoden (wie CQR) sind an Orten mit sehr wenig Daten oft übermäßig selbstbewusst. Sie zeichnen winzige Kästen in den fernen Wald.
Alte „Datenmangel“-Methoden (wie Ensembles) sind an Orten mit vielen Daten oft übervorsichtig und zeichnen riesige Kästen im belebten Stadtzentrum.

CLEAR agiert wie ein Vermittler. Es erkennt, dass im Zentrum das „Rauschen“-Lineal das Vertrauenswürdigere ist und im Wald das „Unbekannt“-Lineal. Indem es die Daten entscheiden lässt, welches Verhältnis zwischen den beiden besteht, erstellt es eine Sicherheitszone, die dort eng ist, wo sie sein sollte, und dort weit, wo sie es sein muss.

Das Fazit

Diese Arbeit legt nahe, dass wir, indem wir Unsicherheit als zwei separate Zutaten behandeln, die in der richtigen Proportion gemischt werden müssen, anstatt als einen einzigen Klumpen, Vorhersagen für maschinelles Lernen treffen können, die sowohl sicherer als auch präziser sind. Es ist kein Zauberstab, der jedes Problem des Universums löst, aber in den Tests, die sie durchgeführt haben, hat es die Konkurrenz konsistent übertroffen und bewiesen, dass es manchmal der beste Weg ist, mit dem Unbekannten umzugehen, genau zu wissen, welche Art von Unbekanntem man vor sich hat.

Technisches Resümee: CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk

1. Problemstellung

Eine genaue Unsicherheitsquantifizierung (Uncertainty Quantification, UQ) ist entscheidend für zuverlässige prädiktive Modellierung, doch bestehende Methoden scheitern oft daran, beide Arten von Unsicherheit auf eine ausgewogene Weise zu adressieren.

Aleatorische Unsicherheit: Entsteht aus der inhärenten Variabilität der Daten (Messrauschen, fehlende Kovariaten) und kann nicht durch das Sammeln von mehr Daten reduziert werden.
Epistemische Unsicherheit: Entsteht durch begrenzte Daten, Modellfehlspezifikationen oder subjektive Entscheidungen bei der Datenverarbeitung. Sie ist durch mehr Daten oder bessere Modelle reduzierbar, ist jedoch in Extrapolationsregionen oft groß.

Aktuelle Ansätze befassen sich typischerweise nur mit einer Art oder kombinieren diese mit festen, nicht-adaptiven Verhältnissen (z. B. der Festlegung des Gewichts der epistemischen zur aleatorischen Unsicherheit als 1:1). Dies führt zu einer schlechten bedingten Abdeckung (conditional coverage), wobei die Vorhersageintervalle im Durchschnitt (marginale Abdeckung) zwar gut kalibriert sind, aber für spezifische Untergruppen oder in Extrapolationsregionen keine zuverlässige Abdeckung bieten. Darüber hinaus fixieren bestehende Methoden implizit die Skalierungsparameter zwischen diesen Unsicherheitskomponenten, was suboptimal sein kann, da die relative Bedeutung jeder Quelle je nach Datensatz und prädiktiver Aufgabe variiert.

2. Methodik: CLEAR

Die Autoren schlagen CLEAR (Calibrated Learning for Epistemic and Aleatoric Risk) vor, ein Kalibrierungsframework, das aleatorische und epistemische Unsicherheit unter Verwendung zweier distinkter Parameter, $\gamma_1$ und $\gamma_2$ , adaptiv ausbalanciert.

2.1 Formulierung des Vorhersageintervalls

CLEAR konstruiert Vorhersageintervalle $C(x)$ für eine Punktschätzung $\hat{f}(x)$ als:
$C(x) = \left[ \hat{f}(x) \pm \left( \gamma_1 \times \text{aleatoric}_{\pm}(x) + \gamma_2 \times \text{epistemic}_{\pm}(x) \right) \right]$
wobei $\gamma_2 = \lambda \gamma_1$ . Der Parameter $\lambda$ steuert den Trade-off zwischen den beiden Unsicherheitsarten:

$\lambda = 0$ : Das Intervall spiegelt nur die aleatorische Unsicherheit wider.
$\lambda \to \infty$ : Das Intervall spiegelt nur die epistemische Unsicherheit wider.
$\lambda > 0$ : Ein datengesteuerter Ausgleich wird erreicht.

2.2 Schätzkomponenten

CLEAR ist mit jedem Paar von Schätzern kompatibel, demonstriert seine Leistungsfähigkeit jedoch unter Verwendung von:

Aleatorischer Schätzer: Quantilsregressionsmodelle, die auf Residuen ( $Y_i - \hat{f}(X_i)$ ) statt auf den Rohzielen trainiert werden. Die Autoren argumentieren, dass das direkte Fit der Quantile auf die Zielwerte die aleatorischen Schätzungen verzerren kann, wenn das Mittelwertmodell unteranpasst (underfits), während das Fit auf Residuen stabiler ist. Ein Ensemble dieser Modelle (Bagging) wird verwendet, um bedingte Quantile $\hat{q}^{ale}_{\alpha/2}$ und $\hat{q}^{ale}_{1-\alpha/2}$ zu schätzen.
Epistemischer Schätzer: Intervalle, die aus dem Predictability–Computability–Stability (PCS) Framework abgeleitet werden. Dies beinhaltet das Training eines Ensembles von Modellen über verschiedene Versionen der Datenvorverarbeitung und Modellarchitekturen hinweg, gefolgt vom Bootstrapping der leistungsfähigsten Modelle. Die punktweisen Quantile dieses Ensembles definieren das unkalibrierte epistemische Unsicherheitsband $\hat{q}^{epi}_{\alpha/2}$ und $\hat{q}^{epi}_{1-\alpha/2}$ .

2.3 Kalibrierungsverfahren

Die Methode verwendet einen zweistufigen Kalibrierungsprozess auf einem Validierungs-/Kalibrierungsdatensatz:

Gittersuche für $\lambda$ : Ein Gitter positiver Werte $\Lambda$ wird evaluiert. Für jedes Kandidaten- $\lambda$ wird der Skalierungsfaktor $\gamma_1$ mittels Standard-Split-Conformal-Prediction bestimmt, um eine marginale Abdeckung von $1-\alpha$ sicherzustellen.
Optimierung: Das optimale $\lambda^*$ wird durch Minimierung des Quantilsverlusts (äquivalent zum Pinball-Loss oder Intervall-Score) auf dem Validierungsdatensatz ausgewählt. Diese Metrik balanciert sowohl die Abdeckung als auch die Intervallbreite und fördert die Wahrhaftigkeit (Truthfulness).

2.4 Theoretische Eigenschaften

Das Paper etabliert, dass CLEAR unter milden Annahmen (Konsistenz der Basisschätzer und ein kompaktes Gitter für $\lambda$ ) eine asymptotische bedingte Validität erreicht. Während die epistemische Komponente asymptotisch im Grenzwert unendlicher Daten verschwindet, spielt sie in endlichen Stichproben eine entscheidende Rolle, indem sie Unterabdeckung in datenarmen Regionen verhindert, in denen Standard-Conformal-Methoden (wie CQR) versagen.

3. Kernbeiträge

Dual-Parameter-Kalibrierung: Die Einführung zweier distinkter Kalibrierungsparameter ( $\gamma_1$ und $\gamma_2$ , verknüpft durch $\lambda$ ), um die Skalen von aleatorischer und epistemischer Unsicherheit auszubalancieren, was über feste Verhältnisse hinausgeht.
Residuenbasierte aleatorische Schätzung: Der Nachweis, dass das Fit von Quantilen auf Residuen sinnvollere und stabilere Schätzer für die aleatorische Unsicherheit liefert als das direkte Fit auf Zielwerte.
Integration von PCS und CQR: Die erste Kombination von PCS-Ensemble-Perturbationsintervallen (für epistemische Unsicherheit) mit Conformalized Quantile Regression (CQR) auf Residuen (für aleatorische Unsicherheit).
Groß angelegtes Benchmarking: Umfangliche Evaluierung über 17 diverse reale Regressionsdatensätze und synthetische Simulationen hinweg.

4. Experimentelle Ergebnisse

Das Paper evaluiert CLEAR gegen Baselines, einschließlich CQR (nur aleatorisch), PCS-Ensembles (nur epistemisch) und deren einzeln kalibrierte Versionen.

Leistungsmetriken: CLEAR erreicht konsistent eine niedrigere Normalisierte Kalibrierte Intervallbreite (NCIW) und einen geringeren Quantilsverlust bei gleichzeitiger Aufrechterhaltung der nominalen Abdeckung (95 %).
Quantitative Gewinne: Über 17 reale Datensätze hinweg erreichte CLEAR eine durchschnittliche Verbesserung der Intervallbreite um 28,3 % im Vergleich zur einzeln kalibrierten aleatorischen Baseline (ALEATORIC-R) und um 17,5 % im Vergleich zur epistemischen Baseline (PCS), während die Abdeckung gewahrt blieb.
Robustheit: CLEAR übertraf die Baselines in 15 der 17 Datensätze. Es war besonders effektiv in Szenarien, die von hoher aleatorischer oder epistemischer Unsicherheit dominiert wurden.
Generalisierbarkeit: Die Methode wurde auch mit Deep Ensembles (epistemisch) und simultaner Quantilsregression (aleatorisch) getestet, was ähnliche Verbesserungen zeigte (z. B. 28,6 % Reduktion der Breite gegenüber Deep Ensembles).
Fallstudie: In einer Fallstudie zu Ames Housing passte CLEAR sein Gewicht ( $\lambda$ ) adaptiv an die Dateneigenschaften an. In Szenarien mit geringem Informationsgehalt (wenige Features) priorisierte es die aleatorische Unsicherheit; in Szenarien mit vielen Features bei geringer Datenmenge verschob es das Gewicht drastisch zur epistemischen Unsicherheit und identifizierte so korrekt die dominante Quelle der Unsicherheit.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CLEAR eine signifikante Verbesserung gegenüber klassischen Methoden bietet, die Unsicherheitsarten isoliert behandeln oder auf festen, nicht-adaptiven Kombinationen beruhen.

Bedingte Abdeckung: Durch die adaptive Balance der Unsicherheitsquellen hält CLEAR eine annähernde bedingte Abdeckung über den Eingaberaum hinweg aufrecht, insbesondere in Extrapolationsregionen, in denen Standard-Conformal-Methoden oft eine Unterabdeckung zeigen.
Interpretierbarkeit: Der gelernte Parameter $\lambda$ liefert Einblicke darin, welche Quelle der Unsicherheit (epistemisch vs. aleatorisch) einen spezifischen Datensatz oder eine spezifische Region dominiert, was Praktikern hilft, die Limitationen ihres Modells zu verstehen.
Robustheit: Der Dual-Parameter-Ansatz ermöglicht es der Methode, die Unzulänglichkeiten der Basisschätzer zu kompensieren (z. B. wenn die aleatorische Unsicherheit über- oder unterschätzt wird, kann $\gamma_1$ die Skalierung korrigieren).

Die Autoren räumen Einschränkungen ein und merken an, dass die Genauigkeit von CLEAR von der Qualität der Basisschätzer abhängt und eine Überanpassung der Parameter bei sehr kleinen Kalibrierungsdatensätzen auftreten kann. Sie schlagen vor, dass zukünftige Arbeiten CLEAR auf Klassifikation, Zeitreihen und Active Learning ausweiten könnten.