📊 statistics

Multi-Distribution Robust Conformal Prediction

Dit artikel stelt een max-p aggregatieschema en een bijbehorend leeralgoritme voor voor multi-distributie robuuste conformationele voorspelling die uniforme dekking garandeert over heterogene bronverdelingen terwijl de efficiëntie van voorspellingssets aanzienlijk wordt verbeterd vergeleken met naïeve benaderingen.

Oorspronkelijke auteurs: Yuqi Yang, Ying Jin

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuqi Yang, Ying Jin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die de toekomst probeert te voorspellen, maar je hebt een vreemd probleem: je hebt dossierstukken uit drie verschillende steden, en elke stad heeft zijn eigen unieke stijl van criminaliteit. De ene stad heeft vooral zakkenrollers, de andere heeft vooral inbrekers, en de derde heeft een mix van alles. Je bouwt een voorspellingsinstrument om te raden welk misdrijf er als volgende zal plaatsvinden.

De oude manier om dit te doen was door voor elke stad een apart instrument te bouwen. Maar wat als er een nieuwe zaak binnenkomt en je niet weet uit welke stad deze komt? Als je het "zakkenrollers-instrument" gebruikt voor een inbraak, zit je ernaast. Als je het "inbrekers-instrument" gebruikt voor een zakkenrollerij, zit je ernaast.

Deze paper introduceert een nieuw detective-instrument genaamd MDCP (Multi-Distribution Conformal Prediction). Het heeft de superkracht dat het één enkel voorspellingsset bouwt die gegarandeerd klopt, ongeacht uit welke stad de nieuwe zaak komt. Het hoeft de naam van de stad niet te weten om zijn werk te doen.

Het "Te Groot" Probleem

Normaal gesproken zou je, om veilig te zijn, de voorspelling van de zakkenrollersstad, de voorspelling van de inbrekersstad en de voorspelling van de gemengde stad bij elkaar nemen en ze allemaal samenvoegen in één gigantische zak vol mogelijkheden. De paper noemt dit "naïeve aggregatie".

De auteurs laten zien dat deze gigantische zak vaak veel te groot is. Het is alsof je een rugzak draagt vol met elk mogelijk gereedschap voor het geval dat je er een nodig hebt. Het is veilig, maar het is lomp en nutteloos omdat het zo zwaar is. In hun simulaties creëerde deze "naïeve" methode voorspellingssets die 34,39% groter waren dan nodig bij classificatietaken en 22% breder bij regressietaken.

De Magische Truc: De "Max-p" Score

De belangrijkste bevinding van de paper is een slimme manier om die gigantische rugzak kleiner te maken zonder de veiligheid te verliezen. Ze stellen een methode voor genaamd max-p aggregatie.

Denk aan een groep rechters. Elke rechter (die een stad vertegenwoordigt) geeft een score over hoe waarschijnlijk een voorspelling is. In plaats van hun scores te middelen, zegt de nieuwe methode: "We geven alleen om de rechter die het meest sceptisch is." Als zelfs de meest sceptische rechter denkt dat een voorspelling mogelijk is, dan nemen we die op. Als de meest sceptische rechter zegt "Nee, nergens", dan laten we die achterwege.

Dit klinkt simpel, maar de paper bewijst wiskundig dat deze specifieke manier van het combineren van de meningen van de rechters garandeert dat je voorspellingsset geldig is voor elke enkele stad, zelfs als de nieuwe zaak uit een stad komt die je nog nooit hebt gezien.

Het Efficiënt Maken: De "Slimme Score"

Alleen de regel van de "meest sceptische rechter" gebruiken laat de rugzak nog steeds wat zwaar achter. De auteurs realiseerden zich dat als ze de rechters een gemeenschappelijke taal leren (een gedeelde "conformity score"), ze het eens kunnen worden over een veel kleinere, compactere zak met mogelijkheden.

Ze ontwikkelden een algoritme dat deze gemeenschappelijke taal leert. In hun experimenten maakte dit slimme leren de voorspellingssets bijna even klein als de best mogende enkelvoudige stad-tool, maar met de veiligheid van het dekken van alle steden.

Wat Ze Hebben Uitgesloten

De paper argumenteert expliciet tegen twee veelvoorkomende ideeën:

De bron negeren: Je kunt niet gewoon één model trainen op alle data gemengd samen en verwachten dat het voor elke specifieke stad werkt. De paper laat zien dat als de testdata afkomstig is van een specifieke bron (zoals een specifiek ziekenhuis of regio), een standaardmodel vaak faalt om de werkelijke uitkomst te dekken.
Niet de bron hoeven te kennen aan het einde: Veel eerlijkheidsinstrumenten vereisen dat je de groepsidentiteit (zoals ras of locatie) kent nadat de voorspelling is gedaan om het resultaat aan te passen. De paper betoogt dat dit onmogelijk is in gevoelige scenario's waar die informatie verborgen of beschermd is. Hun methode werkt zonder ooit de groepslabel te zien van het nieuwe testpunt.

Hoe Zeker Zijn Ze?

De auteurs zijn zeer zelfverzekerd over de veiligheid van hun methode. Ze hebben een wiskundig bewijs dat garandeert dat de voorspellingsset de werkelijke uitkomst minstens 90% van de tijd zal dekken (voor een significantieniveau van $\alpha = 0,1$ ) over alle bronnen heen, zelfs met een kleine hoeveelheid data. Dit is een harde garantie, geen gewone gok.

Hun claims over efficiëntie (hoe klein de zak is) zijn echter gebaseerd op simulaties en tests met echte gegevens, niet op een wiskundig bewijs dat het de absoluut kleinste mogelijke zak is.

In hun simulaties met 3 bronnen en 2.000 monsters per bron, verminderde hun methode de grootte van de voorspellingsset aanzienlijk vergeleken met de "naïeve" gigantische zak.
In tests met echte gegevens met behulp van satellietbeelden (FMoW dataset), armoedekaarten (PovertyMap dataset) en medische dossiers (MEPS dataset), leverde hun methode consequent nauwe dekking terwijl de voorspellingssets klein bleven.
Ze ontdekten dat hun methode in sommige gevallen zelfs kleinere sets produceerde dan de enkelvoudige bron-baselines, wat een verrassend en nuttig resultaat is.

De Kern van het Verhaal

De paper suggereert dat we door een "max-p" strategie te combineren met een slim leeralgoritme, voorspellingsinstrumenten kunnen bouwen die universeel veilig zijn voor gemengde omgevingen, maar efficiënt genoeg zijn om daadwerkelijk nuttig te zijn. Het lost het probleem van "uit welke stad komt dit?" op door een instrument te bouwen dat voor elke stad tegelijk werkt, zonder dat het vooraf de naam hoeft te weten.

Technische Samenvatting: Multi-Distribution Robust Conformal Prediction

Probleemstelling

Het artikel behandelt de uitdaging van het construeren van voorspellingssets die dekking garanderen wanneer testgegevens afkomstig kunnen zijn van een willekeurig lid of een mengsel van $K$ heterogene bronverdelingen. In veel realistische scenario's—zoals klinische risicovoorspelling over verschillende ziekenhuizen, rechtvaardigheid (fairness) over beschermde groepen zonder de groepslabels te observeren, of multi-source learning—is de testverdeling onbekend en kan deze significant verschillen van de trainingsverdeling.

Standaard conformal prediction, wanneer gekalibreerd op samengevoegde (pooled) data, garandeert alleen dekking voor de specifieke mengverdeling die door de trainingssteekproef wordt geïnduceerd. Omgekeeld faalt kalibratie op een enkele bron in het garanderen van dekking wanneer het testpunt afkomstig is van een andere bron. De auteurs formaliseren het doel als het construeren van een enkele voorspellingsset $\hat{C}(X_{n+1})$ die uniforme dekking bereikt:
$\min_{k \in [K]} \mathbb{P}_{D \times P^{(k)}} \left( Y_{n+1} \in \hat{C}(X_{n+1}) \right) \ge 1 - \alpha$
Dit zorgt ervoor dat de dekkingsgarantie simultaan geldt voor alle mogelijke bronverdelingen, ongeacht welke bron het testpunt heeft gegenereerd.

Methodologie: Multi-Distribution Conformal Prediction (MDCP)

Het voorgestelde framework, MDCP, bestaat uit twee hoofdonderdelen: een validatiemechanisme en een strategie voor efficiëntie-optimalisatie.

1. Max-p Aggregatie voor Validiteit

De basis van de methode is een distributievrije aggregatieschema.

Single-Source P-waarden: Voor elke bron $k$ wordt een conformiteitsscore $s_k$ berekend. Een conformal p-waarde $p^{(k)}(y)$ wordt afgeleid voor een kandidaat-label $y$ op basis van de kalibratiefold van bron $k$ .
Aggregatie: De methode aggregeert deze p-waarden door hun maximum te nemen: $p(y) = \max_{k \in [K]} p^{(k)}(y)$ .
Voorspellingsset: De uiteindelijke voorspellingsset is de verzameling labels waar de geaggregeerde p-waarde groter is dan het significantieniveau $\alpha$ : $\hat{C}(X) = \{ y : p(y) \ge \alpha \}$ .
Theoretische Garantie: De auteurs bewijzen dat deze geaggregeerde set exact de unie is van de single-source conformal sets. Bijgevolg biedt het eindige-steekproef uniforme validiteit voor elke mengverdeling van de bronverdelingen, zonder dat kennis van de bron van het testpunt vereist is.

2. Efficiëntie-optimalisatie via Duale Formulering

Hoewel de max-p aggregatie validiteit waarborgt, leidt het naïef toepassen ervan op standaard single-source scores vaak tot te conservatieve (grote) voorspellingssets. Om dit aan te pakken, leidt het artikel de populatie-optimale voorspellingsset af die de grootte minimaliseert onder uniforme dekkingsrestricties.

Optimale Score: De auteurs tonen aan dat de optimale voorspellingsset overeenkomt met de superlevel set van een "gedeelde" conformiteitsscore $h^*(x, y) = \sum_{k=1}^K \lambda_k^*(x) f_k(y|x)$ , waarbij $f_k$ de conditionele dichtheid van bron $k$ is en $\lambda_k^*(x)$ niet-negatieve duale gewichten zijn.
Leren van de Gewichten: De gewichten $\lambda_k^*(x)$ worden bepaald door een duaal optimalisatieprobleem op te lossen dat de dekkingsrestricties over de bronnen heen balanceert.
Empirisch Algoritme: Het artikel stelt een end-to-end procedure voor om deze gewichten te leren:
1. Fit conditionele dichtheidsmodellen (of classifiers) voor elke bron en een gepoold model.
2. Parametriseer de gewichtsfuncties $\lambda_k(x)$ (bijv. met splines of neurale netwerken).
3. Optimaliseer een empirische duale objectieve (afgeleid van de Lagrangiaan van het populatieprobleem) om de parameters $\hat{\Theta}$ te leren.
4. Construeer de uiteindelijke MDCP-set met behulp van de geleerde scores en de max-p aggregatie.

Belangrijkste Bijdragen

Algemeen Max-p Aggregatieschema: Introductie van een eenvoudig, distributievrij mechanisme dat eindige-steekproef uniforme dekking bereikt over meerdere heterogene bronnen door single-source conformal p-waarden te aggregeren.
Karakterisering van Optimaliteit: Theoretische afleiding van de populatie-optimale voorspellingssets onder uniforme dekkingsrestricties. De auteurs bewijzen dat de max-p aggregatie asymptotisch optimaal en nauwsluitend (tight) is wanneer deze wordt gekoppeld aan de correct geleerde conformiteitsscores (specifiek de optimale gedeelde score $h^*$ ).
End-to-End Algoritme: Een praktische pijplijn voor het leren van de optimale conformiteitsscores voor zowel classificatie- als regressietaken, gebruikmakend van empirische risicominimalisatie op een duale objectieve.
Empirische Validatie: Uitgebreide experimenten die aantonen dat MDCP een nauwe worst-case dekking bereikt terwijl de grootte van de voorspellingssets aanzienlijk wordt verminderd vergeleken met naïeve aggregatie-baselines.

Resultaten

Het artikel evalueert MDCP op synthetische data en drie real-world datasets:

Synthetische Experimenten: Over lineaire, niet-lineaire en variërende temperatuur (heterogeniteit) instellingen voor zowel classificatie als regressie, behoudt MDCP consistent een worst-case dekking die dicht bij het nominale niveau ( $1-\alpha$ ) ligt. In contrast hiermee lijden single-source baselines aan onder-dekking bij verschoven data, en is naïeve aggregatie (BASELINE-AGG) te conservatief. MDCP vermindert de grootte van voorspellingssets met ongeveer 34% in classificatie en 22% in regressie vergeleken met naïeve aggregatie, en benadert vaak de efficiëntie van een oracle met toegang tot de ware dichtheden.
Real-World Applicaties:
- FMoW (Satellietbeelden): Demonstreert robuustheid tegen geografische verschuivingen over zes regio's. MDCP biedt valide dekking over alle regio's met setgroottes die kleiner zijn dan sommige single-source sets.
- PovertyMap: Richt zich op stedelijk-landelijke verschuivingen. MDCP behoudt een nauwe dekking waar single-source methoden falen (dekking zo laag als 0.6) en naïeve aggregatie te breed is.
- MEPS (Medische Uitgaven): Behandelt heterogeniteit over gevoelige groepen (ras) zonder dat de groepslabels tijdens de inferentie nodig zijn. MDCP bereikt geëgaliseerde dekking en kortere intervallen vergeleken met baselines.

Betekenis en Claims

Het artikel claimt dat MDCP een robuuste oplossing biedt voor onzekerheidskwantificatie in heterogene omgevingen, waarbij de kloof tussen distributionele robuustheid en rechtvaardigheid (fairness) wordt overbrugd.

Fairness zonder Beschermde Attributen: De methode maakt groep-conditionele dekkingsgaranties mogelijk (het waarborgen van betrouwbaarheid voor alle subgroepen) zonder dat de gevoelige groep-attribuut tijdens de inferentie geobserveerd hoeft te worden, wat een kritieke beperking is in eerlijke machine learning.
Bescherming tegen Subpopulatie Shift: Het biedt garanties tegen willekeurige subpopulatie verschuivingen, waardoor betrouwbaarheid wordt gegarandeerd, zelfs wanneer de testverdeling een mengsel is van bronnen die verschillen van de trainingsmix.
Efficiëntie-Validiteit Trade-off: Het werk demonstreert dat het mogelijk is om uniforme validiteit te bereiken zonder de zware efficiëntie-boetes die gewoonlijk geassocieerd worden met worst-case robuustheid, mits men een passende gedeelde conformiteitsscore leert.

De auteurs positioneren MDCP als een praktisch alternatief voor standaard conformal prediction in multi-source settings, waarbij exacte eindige-steekproef garanties en asymptotische optimaliteit worden geboden onder milde consistentievoorwaarden.