📈 economics

Prediction Sets and Conformal Inference with Interval Outcomes

Questo articolo sviluppa metodi per stimare insiemi di previsione ottimali e applica l'inferenza conforme a dati con esiti censurati o intervallari, garantendo validità finita e consistenza asintotica attraverso simulazioni e applicazioni empiriche su dati del mercato del lavoro.

Autori originali: Weiguang Liu, Áureo de Paula, Elie Tamer

Pubblicato 2026-02-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Weiguang Liu, Áureo de Paula, Elie Tamer

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🎯 Il Titolo: Prevedere con le "Lenti Sfumate"

Immagina di dover indovinare il prezzo di una casa o il tuo stipendio futuro. Di solito, vorresti una risposta precisa: "Guadagnerai 30.000 euro". Ma nella vita reale, spesso i dati non sono così nitidi.

A volte, invece di un numero esatto, otteniamo un intervallo: "Il salario è tra 25.000 e 35.000 euro" oppure "Guadagna più di 50.000 euro". È come guardare il mondo attraverso occhiali da sole molto scuri o attraverso una nebbia: vedi la forma generale, ma non i dettagli precisi.

Questo articolo, scritto da tre studiosi (Liu, de Paula e Tamer), ci insegna un nuovo modo per fare previsioni quando i dati sono "sfocati" (in termini tecnici: interval-valued o censored).

🧩 Il Problema: La "Sfera di Cristallo" Perfetta

Gli statistici hanno sempre sognato di creare la "Sfera di Cristallo Perfetta" (chiamata Oracle Prediction Set).

L'obiettivo: Disegnare un cerchio (o una scatola) intorno al futuro che sia abbastanza grande da contenere la verità il 90% delle volte, ma abbastanza piccolo da essere utile. Se il cerchio è troppo grande (es. "Guadagnerai tra 0 e 1 milione"), è sicuro ma inutile. Se è troppo piccolo, rischi di sbagliare.
Il problema attuale: Quando i dati sono precisi, sappiamo come disegnare questo cerchio. Ma quando i dati sono intervalli (es. "tra 20k e 30k"), i metodi classici si rompono. È come cercare di misurare la lunghezza di un oggetto usando un righello che ha solo tacche grandi: non sai esattamente dove finisce l'oggetto.

🛠️ La Soluzione: Due Strumenti Magici

Gli autori propongono un metodo che combina due idee potenti per risolvere il problema della nebbia.

1. La Mappa della Nebbia (Stima Non Parametrica)

Immagina di dover trovare il centro di una città in una nebbia fitta. Non puoi vedere i palazzi, ma vedi le sagome delle auto che passano.
Invece di forzare i dati in una forma rigida (come dire "tutti i salari sono distribuiti normalmente come una campana"), il loro metodo osserva la nebbia così com'è.

Usano un "rilevatore di sagome" (un estimatore statistico) che guarda dove si accumulano gli intervalli di dati.
Se i dati suggeriscono che ci sono due gruppi di salari distinti (uno basso e uno altissimo), il loro metodo disegna due cerchi separati invece di un unico grande cerchio che copre tutto lo spazio vuoto. È come dire: "È probabile che tu guadagni poco OPPURE molto, ma è improbabile che tu guadagni una cifra media".

2. Il "Test di Realtà" (Conformal Inference)

Anche con la mappa migliore, potresti sbagliare perché hai pochi dati. Qui entra in gioco la Conformal Inference (Inferenza Conformale).

L'analogia del "Prova e Riprova": Immagina di essere un sarto che deve cucire un vestito per un cliente che non si è mai fatto vedere. Prima di tagliare il tessuto, prendi 100 manichini (i tuoi dati di calibrazione) e provi il vestito su di loro.
Se il vestito sta stretto su troppi manichini, allarghi le cuciture. Se è troppo largo, stringi.
Questo metodo garantisce matematicamente che, anche se hai pochi dati o i dati sono sfocati, il tuo "vestito" (la previsione) coprirà il cliente reale almeno il 90% delle volte. È una garanzia di sicurezza che non dipende da ipotesi teoriche complesse.

🌍 Dove l'hanno usato? (Due Esempi Reali)

Gli autori hanno testato il loro metodo su due scenari reali:

I Annunci di Lavoro nel Regno Unito:
- Molti annunci di lavoro non dicono "Stipendio: 40.000€", ma "Stipendio: 35.000€ - 45.000€".
- Usando i loro dati, hanno creato mappe che mostrano come gli stipendi variano tra Londra e i villaggi rurali. Hanno scoperto che a Londra la "nebbia" è molto più ampia (c'è molta più variabilità tra i salari bassi e quelli altissimi), mentre altrove è più stretta. Il loro metodo ha catturato questa complessità meglio dei metodi tradizionali.
Il Reddito negli USA (Census):
- Quando si fanno i sondaggi, molte persone non vogliono dire esattamente quanto guadagnano, ma rispondono con fasce: "Tra 50k e 60k".
- Spesso gli statistici ignorano queste risposte o inventano un numero a caso (imputazione). Gli autori invece hanno usato le fasce così come sono.
- Risultato: Il loro metodo ha previsto la distribuzione del reddito molto meglio, specialmente nelle code estreme (i ricchi e i poveri), senza dover "inventare" dati che non esistono.

💡 Perché è importante?

In passato, se i dati erano sfocati, gli statistici dicevano: "Non possiamo fare nulla di preciso" oppure "Dobbiamo assumere che i dati siano perfetti" (il che è spesso falso).

Questo articolo ci dice: "Non serve la perfezione per fare previsioni utili".
Possiamo accettare l'incertezza, disegnare cerchi (o gruppi di cerchi) che si adattano alla forma reale dei dati e avere la certezza matematica che non stiamo mentendo sulla probabilità di successo.

In sintesi: È come passare da un oracolo che dice "Forse piove" a un meteo che dice "C'è un 90% di probabilità che piova, e la zona bagnata sarà esattamente qui, anche se le nuvole sono un po' scure".

1. Il Problema: Previsione con Dati Intervallo e Censura

Il paper affronta la sfida di costruire insiemi di previsione (prediction sets) per una variabile di interesse $Y$ quando non si osservano i valori esatti, ma solo intervalli $[Y_L, Y_U]$ tali che $Y \in [Y_L, Y_U]$ .

Contesto: I dati intervallo sono onnipresenti nelle indagini economiche e sociali (es. redditi, durata della disoccupazione, ricchezza) a causa di strategie di "bracketing" (intervalli di risposta) per ridurre il non-response o per proteggere la privacy.
Limitazioni degli approcci esistenti:
- I metodi tradizionali di regressione quantile o di densità spesso richiedono assunzioni parametriche forti o non gestiscono correttamente l'incertezza derivante dalla identificazione parziale (quando la distribuzione di $Y$ data $X$ non è univocamente determinata dai dati osservati).
- Gli intervalli di previsione basati su stime dei parametri (senza correzione) non garantiscono una copertura valida in campioni finiti, specialmente quando si sostituiscono parametri veri con stime.
- I metodi basati sui quantili producono spesso un singolo intervallo, che potrebbe non essere efficiente (in termini di volume) se la distribuzione sottostante è multimodale (richiedendo unione di intervalli disgiunti).

L'obiettivo è definire e stimare un insieme di previsione oracle (il più piccolo possibile che garantisca un livello di copertura $1-\alpha$ ) in presenza di censura a intervalli, garantendo al contempo validità in campioni finiti.

2. Metodologia Proposta

Gli autori sviluppano un approccio in due fasi che combina la teoria dell'identificazione parziale con l'inferenza conforme.

A. Definizione dell'Insieme Oracle sotto Identificazione Parziale

Invece di cercare di identificare la densità condizionata di $Y|X$ (impossibile senza assunzioni forti), il paper ridefinisce l'insieme oracle in termini della distribuzione osservabile delle coppie $(Y_L, Y_U)$ .

Validità: Un insieme di previsione $C(x)$ è valido se, per ogni distribuzione compatibile con i dati osservati (insieme identificato $\mathcal{P}_I$ ), la probabilità che $Y$ cada in $C(x)$ è almeno $1-\alpha$ .
Efficienza: Tra tutti gli insiemi validi, si cerca quello con volume (misura di Lebesgue) minimo.
Riformulazione del problema: Grazie a risultati teorici (Lemma 2.2 e 2.3), il vincolo di copertura basato sulla distribuzione latente di $Y$ può essere sostituito da un vincolo basato sulla distribuzione osservabile di $[Y_L, Y_U]$ :
$P([Y_L, Y_U] \subset C(x) \mid X=x) \geq 1-\alpha$
Questo trasforma il problema in un'ottimizzazione fattibile: trovare l'insieme $C(x)$ (unione di intervalli disgiunti) che minimizza il volume soggetto al vincolo che l'intervallo osservato cada interamente all'interno di $C(x)$ con la probabilità desiderata.

B. Stimatori Consistenti (Asintotica)

Per stimare l'insieme oracle, gli autori utilizzano stimatori non parametrici della funzione di distribuzione condizionata (basati su kernel smoothing).

Dimostrano la consistenza uniforme degli stimatori per l'insieme oracle sia nel caso di censura casuale (intervalli continui) che di censura fissa (intervalli discreti, tipici dei sondaggi).
Per gestire la censura fissa (dove la distribuzione è discreta e le condizioni di regolarità standard falliscono), introducono una soluzione approssimata con un margine di tolleranza $\psi_n$ che tende a zero, garantendo la consistenza asintotica.

C. Inferenza Conforme per Validità in Campioni Finiti

Per ottenere garanzie di copertura rigorose anche per campioni finiti, integrano il metodo con l'Inferenza Conforme (Split Conformal Prediction).

Punteggio di Conformità (Conformity Score): Viene progettata una nuova funzione di punteggio specifica per dati intervallo. Il punteggio è negativo se l'intervallo osservato $[Y_L, Y_U]$ è contenuto nell'insieme di previsione stimato, e positivo altrimenti. Questo permette di penalizzare sia la sovracopertura che la sottocopertura.
Costruzione dell'insieme: Si divide il campione in set di addestramento e calibrazione. Si calcola il quantile dei punteggi di conformità nel set di calibrazione e si espande/contrae l'insieme stimato di addestramento per garantire che la copertura empirica sia almeno $1-\alpha$ .
Validità Locale: Viene proposta anche una versione "locale" che garantisce la validità condizionata su sotto-gruppi di covariate, migliorando le prestazioni ai bordi del supporto.

3. Risultati Chiave

Simulazioni Monte Carlo

Gli autori testano il metodo su tre modelli di dati (distribuzioni unimodali, multimodali, e con censura fissa/discreta):

Copertura: Gli insiemi di previsione conformali proposti ( $\tilde{C}$ e $\tilde{C}_{loc}$ ) raggiungono una copertura empirica molto vicina al livello nominale ( $1-\alpha$ ), superando i metodi basati sulla regressione quantile che tendono a sottocoprire o sovracoprire.
Efficienza (Volume): Il metodo proposto produce insiemi di previsione con volume significativamente inferiore rispetto ai metodi basati sui quantili. Questo è particolarmente evidente nei casi di distribuzioni multimodali, dove il metodo proposto riesce a catturare la struttura a "biforcazione" con unione di intervalli, mentre i metodi quantili producono un unico intervallo largo e inefficiente.

Applicazioni Empiriche

Dati sulle Offerte di Lavoro UK (Adzuna):
- Analisi dei salari nel settore IT in UK, dove il 62% delle offerte riporta salari a intervalli.
- Il metodo mappa la variabilità spaziale dei salari. Si osserva che a Londra e nelle grandi città la dispersione dei salari (limite superiore) è molto più ampia rispetto alle aree rurali.
- L'approccio evita l'imputazione arbitraria dei dati mancanti, fornendo intervalli di previsione robusti che riflettono l'incertezza intrinseca dei dati a intervalli.
Current Population Survey (CPS) USA:
- Analisi del reddito in funzione di istruzione ed esperienza. Circa il 22% dei redditi è riportato a intervalli.
- Confronto tra l'uso dei dati originali (censurati) e dati imputati.
- Risultato cruciale: Gli intervalli di previsione costruiti sui dati censurati sono significativamente diversi (spesso più ampi nella coda destra) rispetto a quelli costruiti su dati imputati. L'imputazione tende a sottostimare l'incertezza e a produrre una copertura empirica inferiore al livello nominale, mentre il metodo conforme mantiene la validità.

4. Contributi Principali

Ridefinizione dell'Oracle: Estensione del concetto di insieme di previsione oracle a modelli di identificazione parziale, caratterizzandolo tramite una ottimizzazione fattibile sulla distribuzione osservabile dei limiti dell'intervallo.
Nuova Funzione di Punteggio: Sviluppo di una funzione di conformità specifica per dati intervallo che gestisce correttamente sia la sovracopertura che la sottocopertura, permettendo l'uso dell'inferenza conforme in questo contesto.
Gestione della Multimodalità: Il metodo permette di costruire insiemi di previsione come unione di intervalli disgiunti, offrendo una rappresentazione più fedele della distribuzione sottostante rispetto ai metodi che forzano un singolo intervallo.
Robustezza: Il metodo non richiede assunzioni parametriche sulla distribuzione di $Y$ o sul meccanismo di censura, rendendolo robusto in scenari reali complessi.

5. Significato e Implicazioni

Questo lavoro è significativo perché colma un divario tra la teoria dell'identificazione parziale (economica) e le moderne tecniche di apprendimento automatico (inferenza conforme).

Per gli economisti: Fornisce uno strumento rigoroso per fare previsioni in presenza di dati imperfetti (censura a intervalli) senza dover fare assunzioni di imputazione che potrebbero introdurre bias.
Per la scienza dei dati: Dimostra come l'inferenza conforme possa essere adattata a tipi di dati non standard (intervalli), offrendo garanzie di copertura finite che sono spesso assenti nei metodi di deep learning o regressione standard.
Impatto pratico: Le applicazioni mostrano che ignorare la natura intervallo dei dati (tramite imputazione) può portare a conclusioni errate sulla dispersione dei redditi o dei salari, mentre il metodo proposto cattura correttamente l'incertezza e la struttura della distribuzione.

In sintesi, il paper offre un framework completo, teoricamente fondato e empiricamente validato, per la previsione di variabili censure a intervalli, garantendo sia l'efficienza (volume minimo) che la validità statistica rigorosa.