Technische Samenvatting: Gegeneraliseerde Conforme Predictieve Systemen onder Distributieve Verschuivingen

1. Probleemstelling

Machine learning-systemen die worden ingezet in besluitvormingscontexten vereisen niet alleen nauwkeurige puntvoorspellingen, maar ook statistisch betrouwbare onzekerheidskwantificering. Specifiek moeten predictieve distributies gekalibreerd zijn, wat betekent dat voorspelde kansen overeen moeten komen met empirische frequenties en dat voorspellingsintervallen de beoogde dekking moeten bereiken.

Een primaire hindernis voor het bereiken van out-of-sample kalibratie is distributieve verschuiving (distributional shift). Klassieke conforme predictiemethoden vertrouwen op de aanname van uitwisselbaarheid (exchangeability) (dat datapunten identiek verdeeld en volgorde-onafhankelijk zijn). Deze aanname wordt in de praktijk routinematig geschonden door:

• Covariaatverschuiving (veranderingen in de inputdistributie).
• Labelverschuiving.
• Temporele drift.
• Adaptieve of door feedback gestuurde dataverzameling (bijv. in biomoleculaire design).

Hoewel eerder werk de mogelijkheden van Conforme Predictieve Systemen (CPS) heeft uitgebreid naar specifieke verschuivingsregimes (bijv. bekende covariaatverschuiving via likelihood ratio's), ontbrak een algemeen kader voor Gegeneraliseerde Conforme Predictieve Systemen (GCPS) die willekeurige distributieve verschuivingen afhandelt terwijl rekening wordt gehouden met de onzekerheid bij het schatten van de verschuivingsgewichten. De kernuitdaging is het construeren van predictieve enveloppen (verzamelingen van Cumulatieve Distributiefuncties, CDF's) die gekalibreerd blijven, zelfs wanneer het testpunt afkomstig is uit een distributie die verschilt van de trainingsdata, en wanneer de gewichten die de verschuiving corrigeren geschat zijn in plaats van bekend.

2. Methodologie

2.1. Theoretisch Kader: Permutatiegewichten

De auteurs breiden GCPS uit naar niet-uitwisselbare settings door de ordeningseffecten te modelleren via permutatiegewichten. In plaats van aan te nemen dat het testpunt $Z_{n+1}$ uitwisselbaar is met de trainingsset $\{Z_1, \dots, Z_n\}$, modelleert de methode de identiteit van het testpunt binnen deze verzameling als een gewogen trekking met kansen $w_i$.

• Gewogen Empirische Wet: Voor een kandidaat respons-waarde $y'$ construeert de methode een gewogen geobserveerde maat $\mu_{obs}$ en een hypothetische volledige maat $\tilde{\mu}$ die het testpunt met zijn gerealiseerde gewicht $w_{n+1}$ bevat.
• Shift-bewuste Enveloppen: De predictieve systeem wordt geconstrueerd door het test-atoom met zijn specifieke gewicht in de kalibratieset in te voegen. Stelling 1 stelt vast dat indien de onderliggende distributieve regressieprocedure $G$ in-sample gekalibreerd is (probabilistisch, isotoon of auto-gekalibreerd), het resulterende predictieve systeem $\Pi[X_{n+1}]$ een gekalibreerde predictieve CDF bevat voor $Y_{n+1}$ onder de ware (potentieel niet-uitwisselbare) wet.

2.2. Omgaan met Gewichtsonzekerheid

In de praktijk zijn verschuivingsgewichten zelden bekend en moeten ze worden geschat (bijv. via dichtheidsratio's), wat epistemische onzekerheid introduceert. Om dit aan te pakken, introduceren de auteurs gewicht-onzekerheidsboxen:

• Definitie: Een coördinaat-gewijze multiplicatieve grens rond geschatte gewichten $\hat{w}_i$, gedefinieerd als $L_i \hat{w}_i \leq w_i^* \leq U_i \hat{w}_i$.
• Betrouwbaarheidsregio: Deze box $WWU_\alpha$ wordt behandeld als een $(1-\alpha)$ betrouwbaarheidsregio voor de ware gewichten.
• Robuuste Enveloppen: De methode construeert gewicht-robuuste CDF-enveloppen door de grenzen van het predictieve systeem te optimaliseren over alle gewichtsvectoren binnen de onzekerheidsbox. Dit levert een verzameling CDF's op die garandeert dat een gekalibreerde distributie bevat met een waarschijnlijkheid van ten minste $1-\alpha$, zelfs als de gewichten binnen de box misgespecificeerd zijn.

2.3. Efficiënte Berekening

Het artikel leidt efficiënte berekeningsregels af voor drie specifieke instanties van $G$, waardoor een naïeve sweep over alle kandidaat $y'$-waarden wordt vermeden:

1. Conformal Binning (CBIN): Gebruikt gewogen empirische CDF's binnen bins. De robuuste enveloppen hebben gesloten vorm expressies die worden verkregen door atomen met $Y_i \leq y$ naar hun bovenste gewichtsgrens te duwen en die met $Y_i > y$ naar hun onderste grens.
2. Conformity-Measure CPS (CMCPS): Past dezelfde logica toe als CBIN, maar werkt op conformiteitsscores in plaats van ruwe uitkomsten.
3. Conformal Isotonic Distributional Regression (CIDR): Gebruikt antitone regressie. De robuuste enveloppen worden berekend door de isotoon regressie-routine (PAVA) twee keer uit te voeren: één keer met de gewichten ingesteld op hun bovenste grenzen en één keer op de onderste grenzen, afhankelijk van de indicatorwaarden.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Uitbreiding naar Niet-Uitwisselbaarheid: Het breidt GCPS uit naar niet-uitwisselbare sequenties door afwijkingen van uitwisselbaarheid te coderen via permutatiegewichten, en construeert shift-bewuste predictieve enveloppen die geldig blijven onder willekeurige distributieve verschuivingen.
2. Robuustheid tegen Gewichtsonzekerheid: Het ontwikkelt robuuste predictieve systemen gebaseerd op gewicht-onzekerheidsboxen. Deze bieden eind-sample of asymptotische betrouwbaarheidsgaranties dat de envelop een gekalibreerde predictieve CDF bevat, waarbij de dikte van de envelop zowel de eind-sample onzekerheid als de mis-specificatie van de gewichten reflecteert.
3. Efficiënte Algoritmen en Empirische Validatie: Het biedt efficiënte evaluatieregels en gesloten vormen voor CBIN, CMCPS en CIDR. Het toont empirisch aan dat shift-bewuste weging de predictieve prestaties verbetert en kalibratie behoudt onder feedback-covariaatverschuiving, terwijl de bandbreedte effectief de epistemische onzekerheid kwantificeert.

4. Experimentele Resultaten

4.1. Synthetische Covariaatverschuiving

Experimenten werden uitgevoerd op een 5D regressietaken met covariaatverschuiving.

• Kalibratie: Ongewogen methoden vertoonden significante onderdekking (dekking $\approx 0.83-0.88$ versus nominaal $0.90$).
• Gewogen Methoden: Oracle- en geschatte weging herstelden de dekking naar bijna nominale niveaus ($\approx 0.91-0.93$).
• Onzekerheidspropagatie: De "Geschatte CI weging" (gebruikmakend van de onzekerheidsbox) was de meest conservatieve, met een dekking tot $\approx 0.97$. Dit ging gepaard met een iets hogere CRPS (Continuous Ranked Probability Score) en bredere banden, wat de extra epistemische onzekerheid van de gewichtsschatting correct reflecteert.
• Steekproefomvang: Naarmate de trainings- en kalibratiesamples toenamen, werden de conforme banden smaller, wat wijst op verminderde epistemische onzekerheid.

4.2. Feedback-gestuurd Biomoleculair Design (AAV Capsids)

De methode werd toegepast op Adeno-geassocieerd virus (AAV) capsid packaging design, een scenario dat Feedback Covariate Shift (FCS) inhoudt, waarbij testdistributies worden ontworpen op basis van modelvoorspellingen.

• Setup: Testdistributies werden gegenereerd met variërende "inverse temperature" parameters ($\lambda$), waarbij de massa verschuift naar sequenties met een hoge voorspelde packaging fitness.
• Prestaties: Belangrijkheidsweging herstelde de bijna nominale dekking over het gehele bereik van verschuivingen vergeleken met ongewogen varianten.
• Extreme Verschuivingen: Bij de meest extreme verschuiving ($\lambda=7$) vertoonden gewogen methoden een iets slechtere CRPS en bredere banden, wat consistent is met een instorting van de effectieve steekproefomvang en toegenomen epistemische onzekerheid.
• Betrouwbaarheid: Gewogen procedures behielden een goede kalibratie voor zeldzame, hoogwaardige uitkomsten (extreme gebeurtenissen), wat hun nut in situaties met hoge inzet bevestigt.

5. Betekenis en Claims

Het artikel claimt de eerste out-of-sample kalibratiegarantie voor Venn-Abers-stijl voorspellers (een speciaal geval van conforme IDR) vast te stellen onder distributieve verschuivingen en gewichtsonzekerheid binnen een verenigd predictief-systemen kader.

De auteurs benadrukken dat de breedte van de predictieve band een informatieve metriek is van epistemische onzekerheid. In hun shift-bewuste setting vangt de bandbreedte zowel de onzekerheid in het leren van de conditionele distributie $Y|X$ als de onzekerheid in het schatten van de verschuivingsgewichten. Dit stelt gebruikers in staat om:

• Een enkele representatieve voorspelling te rapporteren voor routinegebruik.
• Tegelijkertijd band-geïmpliceerde grenzen op besluitvormingsrelevante hoeveelheden (bijv. tail risks) te rapporteren om te garanderen dat beslissingen robuust zijn tegen epistemische onzekerheid.

Dit werk positioneert GCPS niet louter als een wrapper voor conformiteitsscores, maar als een flexibel kalibratiekader dat elke in-sample gekalibreerde distributieve regressieprocedure kan inkapselen, waardoor de geldigheid ervan ver buiten de aanname van uitwisselbaarheid wordt uitgebreid.

6. Beperkingen

De auteurs noemen twee specifieke kanttekeningen:

1. Gezamenlijke Betrouwbaarheidsregio's: Stelling 2 vereist dat de gewicht-onzekerheidsbox een geldige gezamenlijke betrouwheidsregio is voor de ware gewichten. In experimenten werd deze asymptotisch geconstrueerd via een gefit propensity-model.
2. Vaste Actieve Sets: De gesloten vorm enveloppen voor CBIN en CIDR gaan ervan uit dat de actieve set (voor binning) of de ordening (voor IDR) constant blijft over de onzekerheidsbox. Dit beperkt de keuzes voor binning en ordening tot deels die vóór de weging zijn gedefinieerd.