📊 statistics

CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk

Het artikel stelt CLEAR voor, een kalibratiemethode die afzonderlijke parameters combineert voor aleatorische en epistemische onzekerheid om de conditionele dekking en efficiëntie van voorspellende intervallen in regressietaken over diverse real-world datasets aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

Gepubliceerd 2026-07-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de toekomst probeert te voorspellen, zoals het gokken van de verkoopprijs van een huis of hoe snel een auto zal rijden. Je wilt dat je gok juist is, maar je wilt ook weten hoe "wankel" die gok is. In de wereld van machine learning zijn er twee belangrijke redenen waarom je gok wankel kan zijn, en lange tijd keken de meeste hulpmiddelen slechts naar één van de twee.

De Twee Soorten "Wankelheid"

Beschouw Aleatorische Onzekerheid als de "statische ruis" op een radio. Het is de ruis die er gewoon is, zoals een meetfout of een willekeurige windvlaag. Hoeveel je de radio ook bestudeert of hoe vaak je er ook naar luistert, die statische ruis zal niet verdwijnen, tenzij je de radio zelf repareert. Het is de inherente chaos van de data.

Dan is er Epistemische Onzekerheid. Dit is het gevoel van "hier ben ik nog nooit geweest". Stel je voor dat je een kaartenmaker bent die alleen kaarten heeft getekend van het stadscentrum. Als je probeert te raden hoe het terrein eruitziet in een afgelegen, onverkend bos, is je gok wankel omdat je een gebrek aan data hebt, niet omdat het bos luidruchtig is. Als je meer data zou verzamelen, zou deze vorm van wankelheid verdwijnen.

De Problemen met Oude Kaarten

De meeste oude methoden voor het maken van voorspellingen waren als een kaartenmaker die alleen om de statische ruis gaf. Ze tekenden een veiligheidszone (een voorspellingsinterval) rond hun gok om de "ruis" te dekken, maar ze negeerden volledig het feit dat ze een gok deden over een plek waar ze nog nooit waren geweest. Dit betekende dat hun kaarten in vertrouwde gebieden oké waren, maar zodra ze zich naar de rand van de bekende wereld bewogen (extrapolatie), werden hun veiligheidszones gevaarlijk smal, wat een vals gevoel van veiligheid gaf.

Andere methoden probeerden dit "nooit hier geweest"-probleem op te lossen door overal enorme, brede veiligheidszones te maken, voor het geval dat. Maar dit maakte de kaarten nutteloos omdat de zones zo breed waren dat ze niets specifieks vertelden.

Ontmoet CLEAR: De Slimme Balancering

De auteurs van dit paper, gepubliceerd op de ICLR 2026 conferentie, introduceerden een nieuwe methode genaamd CLEAR (Calibrated Learning for Epistemic and Aleatoric Risk). Denk aan CLEAR als een super-slimme kaartenmaker die twee verschillende linialen bij zich draagt: één voor de "statische ruis" en één voor het "onbekende terrein".

In plaats van alleen te gokken hoe ze de veiligheidszone moeten verbreden, gebruikt CLEAR twee speciale knoppen, genaamd $\gamma_1$ en $\gamma_2$ , om deze twee soorten onzekerheid te balanceren.

Eén knop past de ruis aan (aleatorisch).
De andere knop past het gebrek aan data aan (epistemisch).

De magie gebeurt omdat CLEAR deze knoppen niet op een vast getal zet. Het kijkt naar de data en vraagt: "Welk type wankelheid is op dit moment het grootste probleem?" Als de data ruizig is, draait het de eerste knop omhoog. Als de data schaars is (zoals dat verre bos), draait het de tweede knop omhoog. Het vindt de perfecte mix om de veiligheidszone zo nauw mogelijk te maken en toch veilig te blijven.

Wat Ze Hebben Gevonden (en Wat Ze Niet Hebben Gevonden)

De onderzoekers hebben CLEAR getest op 17 verschillende real-world datasets, variërend van huizenprijzen tot energie-efficiëntie. Ze hebben ook simulaties uitgevoerd om te zien hoe het zich gedraagt in gecontroleerde omgevingen.

Dit is wat de data liet zien:

De Resultaten: In deze tests slaagde CLEAR erin om de breedte van de voorspellingsintervallen met gemiddeld 28,3% en 17,5% te verkleinen vergeleken met oudere methoden die apart waren gekalibreerd. Cruciaal is dat dit werd gedaan terwijl het "veiligheidsniveau" exact bleef zoals het bedoeld was (het behouden van de nominale dekking).
De "Wat als"-vragen: Het paper betoogt expliciet tegen het idee dat je de twee onzekerheden simpelweg bij elkaar moet optellen in een vaste 1-op-1 ratio (zoals het instellen van $\lambda = 1$ ). Ze laten zien dat deze vaste aanpak vaak suboptimaal is omdat de balans verandert afhankelijk van de data.
De Limieten: Het paper merkt op dat hoewel CLEAR uitstekend werkt op deze datasets, het afhankelijk is van de kwaliteit van de basismodellen die het gebruikt. Als de basismodellen slecht zijn, kan CLEAR ze niet repareren. Ook houden de theoretische garanties waarover zij spreken voornamelijk stand in "asymptotische" scenario's (wat betekent: met oneindige data) of in simulaties; in de echte wereld met eindige data vertrouwen ze op empirisch bewijs dat het goed werkt, in plaats van op een wiskundig bewijs dat het in elk mogelijk extreem geval moet werken.

Het "Waarom" Achter de Magie

De auteurs suggereren dat de reden dat CLEAR zo goed werkt, is dat het een specifiek gebrek in hoe oudere methoden zich gedragen, herstelt.

Oude "alleen ruis"-methoden (zoals CQR) zijn de neiging om overmoedig te zijn op plaatsen waar zeer weinig data beschikbaar is. Ze tekenen kleine doosjes in het verre bos.
Oude "gebrek aan data"-methoden (zoals ensembles) zijn de neiging om overdreven voorzichtig te zijn op plaatsen met veel data, waardoor ze enorme dozen tekenen in het drukke stadscentrum.

CLEAR fungeert als een bemiddelaar. Het realiseert zich dat in de stad de "ruis"-liniaal degene is om op te vertrouwen, en in het bos de "onbekende"-liniaal degene is om op te vertrouwen. Door de data te laten beslissen over de ratio tussen de twee, creëert het een veiligheidszone die nauw is waar het moet en breed waar het nodig is.

De Kern van het Verhaal

Dit paper suggereert dat door onzekerheid te behandelen als twee aparte ingrediënten die in de juiste proportie gemengd moeten worden, in plaats van als één enkele klomp, we machine learning-voorspellingen kunnen maken die zowel veiliger als nauwkeuriger zijn. Het is geen toverstaf die elk probleem in het universum oplost, maar in de tests die ze hebben uitgevoerd, presteerde het consequent beter dan de concurrentie, wat bewijst dat de beste manier om met het onbekende om te gaan soms is om precies te weten welk soort onbekende je ermee te maken hebt.

Technische Samenvatting: CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk

1. Probleemstelling

Nauwkeurige onzekerheidskwantificering (Uncertainty Quantification, UQ) is cruciaal voor betrouwbare predictieve modellering, maar bestaande methoden falen vaak in het evenwichtig adresseren van beide bronnen van onzekerheid.

Aleatorische onzekerheid: Ontstaat door inherente variabiliteit in de data (meetruis, ontbrekende covariaten) en kan niet worden verminderd door meer data te verzamelen.
Epistemische onzekerheid: Ontstaat door beperkte data, modelmisspecificatie of subjectieve keuzes in de dataprocessing. Dit is reduceerbaar met meer data of betere modellen, maar is vaak groot in extrapolatiegebieden.

Huidige benaderingen adresseren meestal slechts één type, of combineren ze met vaste, niet-adaptieve ratio's (bijvoorbeeld het instellen van de weging van epistemische naar aleatorische onzekerheid als 1:1). Dit leidt tot slechte conditionele dekking (conditional coverage), waarbij voorspellingsintervallen wel goed gekalibreerd zijn op gemiddelde basis (marginale dekking), maar niet noodzakelijkerwijs betrouwbare dekking bieden voor specifieke subgroepen of in extrapolatiegebieden. Bov�ia, bestaande methoden fixeren vaak impliciet de schaalparameters tussen deze onzekerheidscomponenten, wat suboptimaal kan zijn aangezien de relatieve belangrijkheid van elke bron van onzekerheid varieert per dataset en per voorspellingsopgave.

2. Methodologie: CLEAR

De auteurs stellen CLEAR voor (Calibrated Learning for Epistemic and Aleatoric Risk), een kalibratiekader dat aleatorische en epistemische onzekerheid adaptief balanceert met behulp van twee afzonderlijke parameters, $\gamma_1$ en $\gamma_2$ .

2.1 Formulering van het Voorspellingsinterval

CLEAR construeert voorspellingsintervallen $C(x)$ voor een puntinschatting $\hat{f}(x)$ als:
$C(x) = \left[ \hat{f}(x) \pm \left( \gamma_1 \times \text{aleatoric}_{\pm}(x) + \gamma_2 \times \text{epistemic}_{\pm}(x) \right) \right]$
waarbij $\gamma_2 = \lambda \gamma_1$ . De parameter $\lambda$ regelt de afweging tussen de twee typen onzekerheid:

$\lambda = 0$ : Het interval reflecteert alleen aleatorische onzekerheid.
$\lambda \to \infty$ : Het interval reflecteert alleen epistemische onzekerheid.
$\lambda > 0$ : Een datagedreven balans wordt bereikt.

2.2 Estimatiecomponenten

CLEAR is compatibel met elke set van estimators, maar demonstreert prestaties met gebruik van:

Aleatorische Estimator: Kwantielregressiemodellen getraind op residuen ( $Y_i - \hat{f}(X_i)$ ) in plaats van op de ruwe doelvariabelen. De auteurs beargumenteren dat het direct fitten van kwantielen op de doelvariabelen de aleatorische schattingen kan verstoren als het gemiddelde model onderfit, terwijl het fitten op residuen stabieler is. Een ensemble van deze modellen (bagging) wordt gebruikt om de conditionele kwantielen $\hat{q}^{ale}_{\alpha/2}$ en $\hat{q}^{ale}_{1-\alpha/2}$ te schatten.
Epistemische Estimator: Intervallen afgeleid van het Predictability–Computability–Stability (PCS) kader. Dit houdt in dat een ensemble van modellen wordt getraind over verschillende versies van datapreprocessing en modelarchitecturen, waarna de best presterende modellen worden gebootstrapt. De punt-kwantielen van dit ensemble definiëren de ongekalibreerde epistemische onzekerheidsband $\hat{q}^{epi}_{\alpha/2}$ en $\hat{q}^{epi}_{1-\alpha/2}$ .

2.3 Kalibratieprocedure

De methode maakt gebruik van een tweestaps kalibratieproces op een validatie-/kalibratiedataset:

Grid Search voor $\lambda$ : Een grid van positieve waarden $\Lambda$ wordt geëvalueerd. Voor elke kandidaat $\lambda$ wordt de schaalfactor $\gamma_1$ bepaald via standaard split conformal prediction om marginale dekking van $1-\alpha$ te garanderen.
Optimalisatie: De optimale $\lambda^*$ wordt geselecteerd door de Kwantielverlies (gelijk aan de pinball loss of interval score) te minimaliseren op de validatieset. Deze metriek balanceert zowel dekking als intervalbreedte, wat eerlijkheid (truthfulness) stimuleert.

2.4 Theoretische Eigenschappen

Het artikel stelt vast dat onder milde aannames (consistentie van de basisestimators en een compact grid voor $\lambda$ ), CLEAR asymptotische conditionele validiteit bereikt. Hoewel de epistemische component asymptotisch verdwijnt in het limiet van oneindige data, speelt het een cruciale rol in eindige steekproeven door onderdekking te voorkomen in regio's met weinig data waar standaard conformal methoden (zoals CQR) falen.

3. Belangrijkste Bijdragen

Dual-Parameter Kalibratie: De introductie van twee afzonderlijke kalibratieparameters ( $\gamma_1$ en $\gamma_2$ , verbonden door $\lambda$ ) om de schalen van aleatorische en epistemische onzekerheid te balanceren, waarmee men verder gaat dan vaste ratio-combinaties.
Residu-gebaseerde Aleatorische Estimatie: Het aantonen dat het fitten van kwantielen op residuen meer zinvolle en stabiele aleatorische onzekerheidsschatters oplevert dan het direct fitten op doelvariabelen.
Integratie van PCS en CQR: De eerste combinatie van PCS ensemble perturbatie-intervallen (voor epistemische onzekerheid) met Conformalized Quantile Regression (CQR) op residuen (voor aleatorische onzekerheid).
Grootschalige Benchmarking: Uitgebreide evaluatie over 17 diverse real-world regressiedatasets en synthetische simulaties.

4. Experimentele Resultaten

Het artikel evalueert CLEAR tegenover baselines inclusief CQR (alleen aleatorisch), PCS ensembles (alleen epistemisch), en hun individueel gekalibreerde versies.

Prestatie-metrieken: CLEAR bereikt consistent een lagere Normalized Calibrated Interval Width (NCIW) en Kwantielverlies (Quantile Loss) terwijl de nominale dekking (95%) behouden blijft.
Kwantitatieve Winsten: Over 17 real-world datasets behaalde CLEAR een gemiddelde verbetering van 28,3% in intervalbreedte vergeleken met de individueel gekalibreerde aleatorische baseline (ALEATORIC-R) en 17,5% vergeleken met de epistemische baseline (PCS), terwijl de dekking behouden bleef.
Robuustheid: CLEAR presteerde beter dan de baselines op 15 van de 17 datasets. Het was bijzonder effectief in scenario's die gedomineerd werden door hoge aleatorische of epistemische onzekerheid.
Generaliseerbaarheid: De methode werd ook getest met Deep Ensembles (epistemisch) en Simultaneous Quantile Regression (aleatorisch), waarbij vergelijkbare verbeteringen werden getoond (bijv. 28,6% reductie in breedte met Deep Ensembles).
Casestudy: In een Ames Housing casestudy paste CLEAR de weging ( $\lambda$ ) adaptief aan op basis van de datakenmerken. In regimes met weinig informatie (weinig features) gaf het prioriteit aan aleatorische onzekerheid; in regimes met veel features maar weinig data, verschoof het gewicht drastisch naar epistemische onzekerheid, waardoor het de dominante bron van onzekerheid correct identificeerde.

5. Betekenis en Claims

Het artikel claimt dat CLEAR een significante verbetering biedt ten opzichte van klassieke methoden die onzekerheidstypen in isolatie behandelen of vertrouwen op vaste, niet-adaptieve combinaties.

Conditionele Dekking: Door onzekerheidsbronnen adaptief te balanceren, behoudt CLEAR een benaderde conditionele dekking over de inputruimte, met name in extrapolatiegebieden waar standaard conformal methoden (zoals CQR) vaak onderdekken.
Interpreteerbaarheid: De geleerde parameter $\lambda$ biedt inzicht in welke bron van onzekerheid (epistemisch versus aleatorisch) domineert binnen een specifieke dataset of regio, wat praktisch gebruik in helpt bij het begrijpen van modelbeperkingen.
Robuustheid: De dual-parameter benadering stelt de methode in staat om de tekortkomingen van basisestimators te compenseren (bijv. als aleatorische onzekerheid over- of onderschat wordt, kan $\gamma_1$ de schaal corrigeren).

De auteurs erkennen beperkingen, waarbij zij opmerken dat de nauwkeurigheid van CLEAR afhangt van de kwaliteit van de basisestimators en dat overfitting van parameters kan optreden bij zeer kleine kalibratiedatasets. Zij suggereren dat toekomstig werk CLEAR kan uitbreiden naar classificatie, tijdreeksen en active learning scenario's.