📈 economics

Prediction Sets and Conformal Inference with Interval Outcomes

Dit artikel ontwikkelt methoden voor het schatten van voorspellingsintervallen en -sets voor gecensureerde of intervalwaardige uitkomsten door conformale inferentie te combineren met consistentie voor partiële identificatie, wat wordt gevalideerd via simulaties en empirische toepassingen.

Oorspronkelijke auteurs: Weiguang Liu, Áureo de Paula, Elie Tamer

Gepubliceerd 2026-02-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weiguang Liu, Áureo de Paula, Elie Tamer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een waarzegger bent, maar in plaats van kristallen bollen gebruik je data. Je wilt voorspellen hoeveel geld iemand gaat verdienen of hoe lang een baan zal duren. In de perfecte wereld zouden we exacte cijfers hebben: "Jan verdient €45.000." Maar in het echte leven is dat vaak niet zo. Mensen zeggen vaak: "Ik verdien ergens tussen de €40.000 en €50.000" of "Ik verdien meer dan €60.000." Dit noemen we interval-censering: we weten niet het exacte getal, maar wel het bereik waarin het ligt.

Deze paper, geschreven door Liu, de Paula en Tamer, lost een groot probleem op: Hoe maak je een goede voorspelling als je de exacte antwoorden niet eens kent?

Hier is de uitleg, vertaald naar alledaags taal en met een paar creatieve vergelijkingen.

1. Het Probleem: De "Onzichtbare" Waarheid

Stel je voor dat je een jager bent die een dier probeert te vinden in een mistig bos.

De oude manier: Je kijkt naar de mist en zegt: "Het dier zit precies op die plek." Maar als je de mist niet goed begrijpt, kun je er ernaast zitten.
De nieuwe manier (in dit papier): Je ziet alleen de sporen van het dier. Je weet niet precies waar het dier loopt, maar je ziet dat het spoor tussen boom A en boom B ligt. Je wilt nu een "veiligheidsnet" spannen dat groot genoeg is om het dier te vangen, maar niet zo groot dat het net het hele bos is (want dan is het nutteloos).

De auteurs willen een voorspellingsnet maken dat:

Groot genoeg is om het dier (de uitkomst) met 90% zekerheid te vangen.
Klein genoeg is om nuttig te zijn (niet het hele bos afdekken).
Slim is en rekening houdt met de mist (de onzekerheid in de data).

2. De Oplossing: Twee Krachtige Hulpmiddelen

De auteurs gebruiken twee slimme technieken om dit net te maken.

Techniek A: De "Slimme Kaart" (Oracle Prediction Sets)

Stel je voor dat je een kaart tekent van waar het dier waarschijnlijk loopt.

Als de data duidelijk is, teken je één klein netje.
Maar als de data raar is (bijvoorbeeld: het dier loopt soms links, soms rechts, maar zelden in het midden), dan is één groot netje inefficiënt. Het is beter om twee kleine netjes te spannen: één links en één rechts.
De auteurs hebben een wiskundige formule bedacht die bepaalt: "Wat is het kleinste mogelijke netje (of netjes) dat we kunnen spannen, zodat we zeker weten dat we het dier vangen, zelfs als we niet precies weten waar het zit?"

Dit is wat ze de Oracle Prediction Set noemen. Het is als een "perfecte kaart" die we proberen te benaderen, zelfs als we maar fragmentarische informatie hebben.

Techniek B: De "Rek-En-Strek Test" (Conformal Inference)

Zelfs met een slimme kaart kan het zijn dat je in de praktijk net iets te optimistisch bent. Je netje is misschien net te klein.
Hier komt Conformal Inference om de hoek kijken. Dit werkt als een repetitie-examen voor je voorspelling.

Je deelt je data in twee groepen: een "trainingsgroep" (waar je je kaart maakt) en een "testgroep" (waar je je kaart op test).
Je kijkt naar de testgroep: "Hoe ver zaten de echte sporen van mijn voorspelde netjes?"
Als je merkt dat je netjes vaak net te klein zijn, rek je ze uit. Als je merkt dat ze te groot zijn, krimp je ze in.
Het mooie aan deze methode is dat het wiskundig gegarandeerd is dat je netje groot genoeg is, zelfs als je maar weinig data hebt. Het is alsof je een parachute bouwt die altijd opent, ongeacht hoe snel je valt.

3. Waarom is dit zo cool? (De Analogen)

De "Meerdelige" Netjes:
Stel je voor dat je voorspelt waar een verjaardagsfeestje wordt gehouden. Soms is het in één huis. Maar soms is het een "feestje dat overal kan zijn": ofwel in een café in het centrum, ofwel in een park in de buitenwijken. Een simpele methode zou zeggen: "Het is ergens in de stad" (te groot). De methode van deze auteurs zegt: "Het is óf in dit café, óf in dit park" (twee kleine netjes). Dit is veel nuttiger!
De "Mistige" Data:
In veel enquêtes (zoals over inkomen) zeggen mensen: "Ik verdien tussen de 40 en 50 duizend." Veel oude methoden zeggen: "Oh, weet je niet precies? Laten we een willekeurig getal erin zetten." Dat is als blind doelen. De methode in dit papier zegt: "We houden het als een bereik. We bouwen ons netje rond dat hele bereik." Dit voorkomt dat je fouten maakt door verkeerde aannames te doen.

4. Wat hebben ze bewezen? (De Resultaten)

De auteurs hebben dit getest op twee manieren:

Computer-simulaties: Ze lieten een computer duizenden keren "speelgoed-data" genereren. Hun methode bleek altijd beter te zijn dan de oude methoden: de netjes waren smaller (preciezer) maar vingen toch net zo vaak het doelwit.
Echte Wereld Data:
- Banen in het VK: Ze keken naar vacatures waar salarissen als een bereik werden gegeven (bijv. "£40k - £50k"). Ze konden zien dat in Londen het salarisbereit veel breder is dan in een dorpje. Hun methode pakte deze verschillen perfect op zonder de data te "vervalsen".
- Inkomen in de VS: Ze keken naar inkomensdata waar mensen soms weigerden een exact bedrag te geven. Ook hier bleek hun methode robuuster: ze maakten geen fouten door de "mistige" antwoorden te negeren of verkeerd te interpreteren.

Samenvatting in één zin

Deze paper geeft ons een slimme, wiskundig veilige manier om voorspellingsnetjes te maken die precies groot genoeg zijn om de waarheid te vangen, zelfs als we die waarheid alleen maar in "grove" bereiken kunnen zien, zonder dat we hoeven te gokken of de data te vervalsen.

Het is alsof je van "ik denk dat het ergens in dit bos is" bent gegaan naar "ik weet zeker dat het in deze twee specifieke struiken zit, en ik heb een net dat daar perfect past."

Titel: Voorspellingssets en Conformale Inference bij Interval-uitkomsten

1. Het Probleem

In veel economische en sociaal-wetenschappelijke onderzoeken worden uitkomstvariabelen ( $Y$ ) niet exact waargenomen, maar als intervallen. Dit fenomeen, bekend als interval-censering, komt veel voor in:

Enquêtes waarbij respondenten vragen over inkomen of vermogen beantwoorden via "bracketing" (bijv. "tussen €20k en €50k").
Censering (rechts- of links-censering), waarbij $Y$ groter of kleiner is dan een bepaalde drempel.
Competerende risico's, waar men het maximum of minimum van variabelen observeert.

De traditionele aanpak voor voorspelling is vaak gebaseerd op punt-schattingen (zoals het gemiddelde) of kwantielen. Echter, wanneer $Y$ interval-gecensureerd is, is de onderliggende verdeling van $Y$ gedeeltelijk geïdentificeerd (partial identification). Dit betekent dat er geen unieke verdeling is die consistent is met de data; er is een set van mogelijke verdelingen.

De kernvraag van dit artikel is: Hoe construeert men een voorspellingsset $C(x)$ met een gegeven miscoverage-niveau $\alpha$ (d.w.z. $P(Y \in C) \geq 1-\alpha$ ) die zo klein mogelijk is (minimale volume), zelfs wanneer de uitkomst interval-gecensureerd is?

2. Methodologie

De auteurs combineren inzichten uit de literatuur over gedeeltelijke identificatie en conformale inferentie. De aanpak bestaat uit drie hoofdstappen:

A. Definitie van de "Oracle" Voorspellingsset onder Gedeeltelijke Identificatie
In plaats van te zoeken naar de dichtste niveau-set van een specifieke verdeling (wat niet mogelijk is bij gedeeltelijke identificatie), definiëren de auteurs de oracle-voorspellingsset als de set met het minimale volume die voldoet aan een validiteitsconditie voor alle mogelijke verdelingen binnen het geïdentificeerde bereik.

Ze tonen aan dat de klassieke benadering (gebaseerd op dichtheids-niveau-sets) hier faalt.
Ze leiden een haalbaar optimalisatieprobleem af. De constraint wordt vervangen door: $P([Y_L, Y_U] \subset C(x) | X=x) \geq 1-\alpha$ . Dit betekent dat de voorspellingsset zo moet zijn dat het waargenomen interval $[Y_L, Y_U]$ er met hoge waarschijnlijkheid in valt.

B. Consistente Schatters (Niet-parametrisch)
Om de oracle-set te schatten, gebruiken de auteurs een kernel-gebaseerde schatter voor de conditionele verdeling van de waargenomen grenzen $(Y_L, Y_U)$ .

Ze behandelen zowel toevallige censering (continu verdeelde intervallen) als vaste censering (discrete intervallen, zoals in enquêtes).
Voor vaste censering introduceren ze een licht gewijzigde optimalisatie met een kleine tolerantie $\psi_n$ om consistentie te garanderen (omdat de empirische verdeling hier niet glad is).
De methode staat toe dat de voorspellingsset bestaat uit meerdere disjuncte intervallen (bijv. bij multimodale verdelingen), wat efficiënter kan zijn dan één groot interval.

C. Conformale Inferentie voor Eindige Steekproeven
Om garanties te bieden voor eindige steekproeven (finite-sample validity), passen de auteurs gesplitste conformale inferentie toe.

Conformiteits-score: Ze ontwikkelen een nieuwe scorefunctie specifiek voor interval-data. De score is negatief als het waargenomen interval volledig binnen de voorspellingsset ligt, en positief anderszins. Dit straft zowel onder- als over-dekking af.
Constructie: De voorspellingsset wordt aangepast door de randen van de geschatte set uit te breiden met een kwantiel van de conformiteits-scores berekend op een kalibratie-set.
Dit resulteert in een set $\tilde{C}$ die garandeert dat de dekking $\geq 1-\alpha$ is voor elke verdeling $P$ , zolang de data uitwisselbaar (exchangeable) is, terwijl het asymptotisch convergeert naar de oracle-set.

3. Belangrijkste Bijdragen

Theoretische Karakterisering: De eerste definitie en karakterisering van een "oracle voorspellingsset" onder gedeeltelijke identificatie veroorzaakt door interval-censering.
Nieuwe Conformale Score: Ontwikkeling van een specifieke conformiteits-score die geschikt is voor interval-uitkomsten, waardoor conformale inferentie voor het eerst direct toepasbaar is op dit type data.
Flexibiliteit: De methode ondersteunt voorspellingssets die bestaan uit meerdere disjuncte intervallen, wat cruciaal is voor multimodale verdelingen, en werkt zowel voor continue als discrete censering.
Robuustheid: De methode vereist geen specifieke specificatie van het censeringmechanisme (zoals "missing at random") en vermijdt de bias die vaak optreedt bij imputatiemethoden.

4. Resultaten

Simulatiestudies:

De auteurs voeren Monte Carlo-simulaties uit met zowel unimodale als bimodale verdelingen.
Volume: De voorgestelde methode levert voorspellingssets op met een kleiner volume dan alternatieven gebaseerd op kwantielregressie (CQR), vooral wanneer de onderliggende verdeling multimodaal is.
Dekking: De methoden behouden de nominale dekking (bijv. 90%) nauwkeurig, zelfs in eindige steekproeven, dankzij de conformale correctie.

Empirische Toepassingen:

UK Job Advert Data (Adzuna):
- Toepassing op salarisdata waar veel lonen als intervallen worden gerapporteerd.
- Resultaat: De voorspelde salarisintervallen tonen aanzienlijke ruimtelijke heterogeniteit. In grote steden (Londen, Manchester) zijn de bovenste grenzen van de intervallen veel hoger en de spreiding groter dan in landelijke gebieden. De methode vangt deze "staart" van de verdeling beter dan punt-schattingen.
US Current Population Survey (CPS):
- Toepassing op inkomensdata waar respondenten vaak inkomensklassen kiezen.
- Vergelijking: De voorspellingssets gebaseerd op de interval-data verschillen significant van die gebaseerd op geïmputeerde data.
- Dekking: De conformale set die de interval-data direct gebruikt, behoudt de gewenste dekking. Sets gebaseerd op geïmputeerde data vertonen vaak onder-dekking (under-coverage), wat aantoont dat imputatie bias introduceert in de voorspellingsintervallen.

5. Significatie

Dit artikel biedt een robuust raamwerk voor voorspelling in een wereld waar data vaak onvolledig of in intervallen wordt gerapporteerd.

Methodologisch: Het overbrugt de kloof tussen gedeeltelijke identificatie (econometrie) en conformale inferentie (machine learning).
Praktisch: Het biedt onderzoekers en beleidsmakers een manier om voorspellingsintervallen te construeren die de onzekerheid van censering correct weergeven, zonder te vertrouwen op oncontroleerbare imputatie-aannames.
Efficiëntie: Door het toestaan van meervoudige intervallen en het minimaliseren van het volume, biedt de methode scherpere en informatiever voorspellingen dan traditionele kwantiel-methoden.

Kortom, de auteurs leveren een wiskundig onderbouwde, distributie-vrije methode die zowel theoretisch consistent is als praktische garanties biedt voor eindige steekproeven bij het voorspellen van gecensureerde uitkomsten.