📊 statistics

CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk

Il documento propone CLEAR, un metodo di calibrazione che combina parametri distinti per l'incertezza aleatoria ed epistemica per migliorare significativamente la copertura condizionale e l'efficienza degli intervalli predittivi nei compiti di regressione attraverso diversi dataset del mondo reale.

Autori originali: Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

Pubblicato 2026-07-13

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di prevedere il futuro, come cercare di indovinare a quanto verrà venduta una casa o quanto andrà veloce un'auto. Vuoi che la tua ipotesi sia corretta, ma vuoi anche sapere quanto è "instabile" quella supposizione. Nel mondo del machine learning, ci sono due motivi principali per cui la tua ipotesi potrebbe essere instabile, e per molto tempo la maggior parte degli strumenti ha guardato solo a uno di essi.

I due tipi di "instabilità"

Pensa all'Incertezza Aleatoria come al "fruscio" di una radio. È il rumore che è semplicemente l'essenza stessa della cosa, come un errore di misurazione o una raffica di vento casuala. Non importa quanto tu studi la radio o quante volte la ascolti, quel fruscio non scomparirà a meno che tu non ripari la radio stessa. È il caos intrinseco dei dati.

Poi c'è l'Incertezza Epistemica. Questa è la sensazione di "non sono mai stato qui prima". Immagina di essere un cartografo che ha disegnato mappe solo per il centro città. Se provi a indovinare com'è il terreno in una foresta lontana e inesplorata, la tua ipotesi è instabile perché ti mancano i dati, non perché la foresta sia rumorosa. Se andassi a raccogliere più dati, questo tipo di instabilità scomparirebbe.

Le vecchie mappe

La maggior parte dei vecchi metodi per fare previsioni erano come un cartografo che si preoccupava solo del fruscio. Disegnavano una zona di sicurezza (un intervallo di previsione) attorno alla loro ipotesi per coprire il "fruscio", ma ignoravano completamente il fatto che stavano ipotizzando su un luogo che non avevano mai visitato. Ciò significava che nelle aree familiari le loro mappe erano accettabili, ma non appena ci si spostava verso i confini del mondo conosciuto (estrapolazione), le loro zone di sicurezza diventavano pericolosamente strette, dando un falso senso di sicurezza.

Altri metodi cercavano di risolvere il problema del "non sono mai stato qui prima" creando zone di sicurezza enormi e larghissime ovunque, per precauzione. Ma questo rendeva le mappe inutili perché le zone erano così ampie da non comunicare nulla di specifico.

Entra in scena CLEAR: Il Bilanciatore Intelligente

Gli autori di questo articolo, pubblicato alla conferenza ICLR 2026, hanno introdotto un nuovo metodo chiamato CLEAR (Calibrated Learning for Epistemic and Aleatoric Risk). Pensa a CLEAR come a un cartografo super intelligente che porta con sé due righelli diversi: uno per il "fruscio" e uno per il "territorio sconosciuto".

Invece di limitarsi a indovinare quanto allargare la zona di sicurezza, CLEAR usa due speciali manopole, chiamate $\gamma_1$ e $\gamma_2$ , per bilanciare questi due tipi di incertezza.

Una manopola regola il rumore (aleatoria).
L'altra regola la mancanza di dati (epistemica).

La magia avviene perché CLEAR non imposta queste manopole su un numero fisso. Osserva i dati e chiede: "In questo momento, quale tipo di instabilità è il problema maggiore?". Se i dati sono rumorosi, alza la prima manopola. Se i dati sono scarsi (come quella foresta lontana), alza la seconda manopola. Trova il mix perfetto per rendere la zona di sicurezza il più stretta possibile pur rimanendo sicura.

Cosa hanno scoperto (e cosa non hanno scoperto)

I ricercatori hanno testato CLEAR su 17 diversi dataset del mondo reale, che spaziano dai prezzi delle case all'efficienza energetica. Hanno anche eseguito simulazioni per vedere come si comportava in ambienti controllati.

Ecco cosa hanno mostrato i dati:

I Risultati: In questi test, CLEAR è riuscito a restringere la larghezza degli intervalli di previsione in media del 28,3% e del 17,5% rispetto ai metodi più vecchi che venivano calibrati separatamente. Fondamentalmente, lo ha fatto mantenendo il livello di "sicurezza" esattamente dove doveva essere (mantenendo la copertura nominale).
I "E se": L'articolo argomenta esplicitamente contro l'idea secondo cui si dovrebbero semplicemente sommare le due incertezze in un rapporto fisso di 1 a 1 (come impostare $\lambda = 1$ ). Dimostrano che questo approccio fisso è spesso subottimale perché l'equilibrio cambia a seconda dei dati.
I Limiti: L'articolo nota che, sebbene CLEAR funzioni molto bene su questi dataset, dipende dalla qualità dei modelli base che utilizza. Se i modelli base sono pessimi, CLEAR non può ripararli. Inoltre, le garanzie teoriche di cui discutono valgono principalmente in scenari "asintotici" (ovvero con dati infiniti) o in simulazioni; nel mondo reale con dati finiti, si affidano all'evidenza empirica del fatto che funzioni bene, piuttosto che a una prova matematica del fatto che debba funzionare in ogni singolo caso limite impossibile.

Il "Perché" dietro la magia

Gli autori suggeriscono che il motivo per cui CLEAR funziona così bene è che corregge un difetto specifico nel modo in cui si comportano i metodi più vecchi.

I vecchi metodi basati solo sul "rumore" (come CQR) tendono a essere troppo sicuri di sé nei luoghi dove ci sono pochissimi dati. Disegnano scatole minuscole nella foresta sconosciuta.
I vecchi metodi basati sulla "mancanza di dati" (come gli ensemble) tendono a essere troppo cauti nei luoghi con molti dati, disegnando scatole enormi nel centro città affollato.

CLEAR agisce come un mediatore. Si rende conto che in città, il righello del "rumore" è quello da fidarsi, e nella foresta, il rigore dell' "ignoto" è quello da fidarsi. Lasciando che i dati decidano il rapporto tra i due, crea una zona di sicurezza che è stretta dove dovrebbe esserlo e larga dove deve esserlo.

In sintesi

Questo articolo suggerisce che, trattando l'incertezza come due ingredienti separati che devono essere mescolati nella giusta proporzione, anziché come un unico blocco, possiamo rendere le previsioni del machine learning sia più sicure che più precise. Non è una bacchetta magica che risolve ogni problema dell'universo, ma nei test che hanno eseguito, ha costantemente superato la concorrenza, dimostrando che a volte, il modo migliore per gestire l'ignoto è sapere esattamente quale tipo di ignoto si sta affrontando.

Sintesi Tecnica: CLEAR: Apprendimento Calibrato per il Rischio Epistemico e Aleatorio

1. Definizione del Problema

La quantificazione accurata dell'incertezza (UQ) è fondamentale per una modellazione predittiva affidabile, eppure i metodi esistenti spesso non riescono ad affrontare entrambi i tipi di incertezza in modo bilanciato.

Incertezza Aleatoria: Deriva dalla variabilità intrinseca dei dati (rumore di misurazione, covariate mancanti) e non può essere ridotta raccogliendo più dati.
Incertezza Epistemica: Deriva da dati limitati, errata specificazione del modello o scelte soggettive nel processamento dei dati. È riducibile con più dati o modelli migliori, ma è spesso elevata nelle regioni di estrapolazione.

Gli approcci attuali affrontano tipicamente solo un tipo di incertezza o li combinano con rapporti fissi e non adattivi (ad esempio, impostando il peso dell'incertezza epistemica rispetto a quella aleatoria come 1:1). Ciò porta a una scarsa copertura condizionale, dove gli intervalli di previsione sono ben calibrati in media (copertura marginale) ma non forniscono una copertura affidabile per specifici sottogruppi o nelle regioni di estrapolazione. Inoltre, i metodi esistenti spesso fissano implicitamente i parametri di scala tra questi componenti di incertezza, il che può essere subottimale poiché l'importanza relativa di ciascuna fonte varia tra i dataset e i compiti di predizione.

2. Metodologia: CLEAR

Gli autori propongono CLEAR (Calibrated Learning for Epistemic and Aleatoric Risk), un framework di calibrazione che bilancia adattivamente l'incertezza aleatoria e quella epistemica utilizzando due parametri distinti, $\gamma_1$ e $\gamma_2$ .

2.1 Formulazione dell'Intervallo di Previsione

CLEAR costruisce intervalli di previsione $C(x)$ per una stima puntuale $\hat{f}(x)$ come:
$C(x) = \left[ \hat{f}(x) \pm \left( \gamma_1 \times \text{aleatoric}_{\pm}(x) + \gamma_2 \times \text{epistemic}_{\pm}(x) \right) \right]$
dove $\gamma_2 = \lambda \gamma_1$ . Il parametro $\lambda$ controlla il compromesso tra i due tipi di incertezza:

$\lambda = 0$ : L'intervallo riflette solo l'incertezza aleatoria.
$\lambda \to \infty$ : L'intervallo riflette solo l'incertezza epistemica.
$\lambda > 0$ : Si ottiene un bilanciamento guidato dai dati.

2.2 Componenti di Stima

CLEAR è compatibile con qualsiasi coppia di stimatori, ma dimostra le sue prestazioni utilizzando:

Stimatore Aleatorio: Modelli di regressione quantile addestrati sui residui ( $Y_i - \hat{f}(X_i)$ ) piuttosto che sui target grezzi. Gli autori sostengono che l'adattamento dei quantili direttamente sui target può distorcere le stime aleatorie se il modello della media sottoperforma (underfitting), mentre l'adattamento sui residui è più stabile. Viene utilizzato un ensemble di questi modelli (bagging) per stimare i quantili condizionali $\hat{q}^{ale}_{\alpha/2}$ e $\hat{q}^{ale}_{1-\alpha/2}$ .
Stimatore Epistemico: Intervalli derivati dal framework Predictability–Computability–Stability (PCS). Questo comporta l'addestramento di un ensemble di modelli attraverso diverse versioni di pre-processing dei dati e architetture di modelli, per poi applicare il bootstrapping ai modelli con le migliori prestazioni. I quantili puntuali di questo ensemble definiscono la banda di incertezza epistemica non calibrata $\hat{q}^{epi}_{\alpha/2}$ e $\hat{q}^{epi}_{1-\alpha/2}$ .

2.3 Procedura di Calibrazione

Il metodo impiega un processo di calibrazione in due fasi su un dataset di validazione/calibrazione:

Ricerca a Griglia per $\lambda$ : Viene valutata una griglia di valori positivi $\Lambda$ . Per ogni candidato $\lambda$ , il fattore di scala $\gamma_1$ viene determinato tramite la classica conformal prediction "split" per garantire la copertura marginale di $1-\alpha$ .
Ottimizzazione: Il $\lambda^*$ ottimale viene selezionato minimizzando la Perdita Quantilica (equivalente alla pinball loss o interval score) sul dataset di validazione. Questa metrica bilancia sia la copertura che la larghezza dell'intervallo, incentivando la veridicità.

2.4 Proprietà Teoriche

Il paper stabilisce che, sotto ipotesi deboli (consistenza degli stimatori base e una griglia compatta per $\lambda$ ), CLEAR raggiunge la validità asintotica condizionale. Sebbene la componente epistemica svanisca asintoticamente nel limite di dati infiniti, essa gioca un ruolo cruciale nei campioni finiti impedendo la sotto-copertura nelle regioni con scarsità di dati, dove i metodi conformi standard (come CQR) falliscono.

3. Contributi Chiave

Calibrazione a Doppio Parametro: L'introduzione di due parametri di calibrazione distinti ( $\gamma_1$ e $\gamma_2$ , legati da $\lambda$ ) per bilanciare le scale dell'incertezza aleatoria e epistemica, andando oltre le combinazioni a rapporto fisso.
Stima Aleatoria Basata sui Residui: Dimostrare che l'adattamento dei quantili sui residui produce stimatori di incertezza aleatoria più sensati e stabili rispetto all'adattamento diretto sui target.
Integrazione di PCS e CQR: La prima combinazione degli intervalli di perturbazione dell'ensemble PCS (per l'incertezza epistemica) con la Conformalized Quantile Regression (CQR) sui residui (per l'incertezza aleatoria).
Benchmarking su Larga Scala: Valutazione estesa su 17 diversi dataset di regressione del mondo reale e simulazioni sintetiche.

4. Risultati Sperimentali

Il paper valuta CLEAR contro i baseline che includono CQR (solo aleatoria), ensemble PCS (solo epistemica) e le loro versioni calibrate individualmente.

Metriche di Prestazione: CLEAR raggiunge costantemente una Larghezza dell'Intervallo Calibrato Normalizzata (NCIW) e una Perdita Quantilica inferiori, mantenendo la copertura nominale (95%).
Miglioramenti Quantitativi: Su 17 dataset reali, CLEAR ha ottenuto un miglioramento medio della larghezza dell'intervallo del 28,3% rispetto al baseline aleatorio (ALEATORIC-R) e del 17,5% rispetto al baseline epistemico (PCS), mantenendo la copertura.
Robustezza: CLEAR ha superato i baseline in 15 dei 17 dataset. È stato particolarmente efficace in scenari dominati da alta incertezza aleatoria o epistemica.
Generalizzabilità: Il metodo è stato testato anche con Deep Ensembles (epistemica) e Simultaneous Quantile Regression (aleatoria), mostrando miglioramenti simili (ad esempio, riduzione della larghezza del 28,6% con Deep Ensembles).
Caso di Studio: In un caso di studio sull'Ames Housing, CLEAR ha spostato adattivamente il suo peso ( $\lambda$ ) in base alle caratteristiche dei dati. In regimi a bassa informazione (poche feature), ha dato priorità all'incertezza aleatoria; in regimi con molte feature e pochi dati, ha spostato drasticamente il peso all'incertezza epistemica, identificando correttamente la fonte dominante di incertezza.

5. Significato e Rivendicazioni

Il paper sostiene che CLEAR offra un miglioramento significativo rispetto ai metodi classici che trattano i tipi di incertezza in isolamento o si affidano a combinazioni fisse e non adattive.

Copertura Condizionale: Bilanciando adattivamente le fonti di incertezza, CLEAR mantiene una copertura condizionale approssimativa attraverso lo spazio di input, specialmente nelle regioni di estrapolazione dove i metodi conformi standard (come CQR) tendono alla sotto-copertura.
Interpretabilità: Il parametro appreso $\lambda$ fornisce intuizioni su quale fonte di incertezza (epistemica vs aleatoria) domini un determinato dataset o regione, aiutando i professionisti a comprendere i limiti del modello.
Robustezza: L'approccio a doppio parametro permette al metodo di compensare i difetti degli stimatori base (ad esempio, se l'incertezza aleatoria è sovrastimata o sottostimata, $\gamma_1$ può correggere la scala).

Gli autori riconoscono i limiti, notando che l'accuratezza di CLEAR dipende dalla qualità degli stimatori base e che può verificarsi un overfitting dei parametri con dataset di calibrazione molto piccoli. Suggeriscono che il lavoro futuro potrebbe estendere CLEAR alla classificazione, alle serie temporali e agli scenari di apprendimento attivo.