Technische Samenvatting: Wanneer Helpt Trimmen Conformale Predictie?

Probleemstelling

Conformale predictie is afhankelijk van de uitwisselbaarheid van kalibratie- en testscores om garanties voor dekking in eindige steekproeven te bieden. Deze uitwisselbaarheid faalt echter onder vervuiling van de kalibratie, waarbij de kalibratiesteekproef wordt getrokken uit een mengselverdeling $P^\star = (1-\epsilon)P + \epsilon Q$ (met $P$ als de schone doelwet en $Q$ een onbekende vervuilende wet), terwijl het testpunt blijft worden getrokken uit $P$.

Een veelvoorkomende reactie van de praktijk is om kalibratiepunten met hoge anomalie-scores te trimmen voordat de conformale kwantiel wordt berekend. Hoewel dit intuïtief is, betoogt het artikel dat deze procedure de data niet simpelweg "zuivert". In plaats daarvan transformeert het de kalibratiewet naar een behouden wet $R$. De validiteit van het resulterende voorspellingsset voor de schone doel $P$ wordt een overdrachtsprobleem van $R$ terug naar $P$. De centrale vraag is: Onder welke voorwaarden verbetert trimmen daadwerkelijk de dekking voor de schone doel, en wanneer faalt het of verslechtert het zelfs de prestaties?

Methodologie

Het Kader van de Behouden Wet

De auteurs herformuleren trimmen met een vaste drempel niet als datazuivering, maar als conditionering. Gegeven een anomalie-score $S$ en een drempel $t^\star$, worden kalibratiepunten behouden als $S(Z) \le t^\star$. De resulterende behouden kalibratieset is i.i.d. afkomstig uit de behouden wet:
$$R = P^\star(\cdot \mid S \le t^\star)$$
Deze wet is over het algemeen noch de oorspronkelijke vervuilde wet $P^\star$, noch de schone wet $P$.

Theoretische Diagnostiek

Het artikel leidt een exacte identiteit voor eindige steekproeven af voor de marginale schone dekking, die afhankelijk is van de verdeling van het behouden aantal en de relatie tussen de behouden wet $R$ en de schone wet $P$.

Om dit hanteerbaar te maken, introduceren de auteurs een scalair overdrachtsgat $d_{R \to P, +} = \sup_t (F^A_R(t) - F^A_P(t))_+$, waarbij $F^A$ de cumulatieve verdelingsfunctie (CDF) van de niet-conformiteitsscore $A$ aanduidt. De dekkinggarantie wordt begrensd door:
$$\text{Dekking} \ge [1 - \alpha - d_{R \to P, +}]_+$$

Met behulp van de mengseldecompositie van $R$ leiden de auteurs een componentsgewijze bovengrens voor dit gat af:
$$d_{R \to P, +} \le (1 - \tilde{\epsilon}^\star) \Delta^A_{\text{trim}, +} + \tilde{\epsilon}^\star D_{Q, +}$$
waarbij:

1. $\Delta^A_{\text{trim}, +}$ (Kosten aan de schone kant): De vervorming van de verdeling van de schone niet-conformiteitsscore veroorzaakt door conditionering op behoud. Het artikel bewijst dat dit exact een eenzijdige covariantie is tussen de behoudsindicator en de niet-conformiteitsscore onder de schone wet $P$.
2. $\tilde{\epsilon}^\star$ (Behouden mengcoëfficiënt): Het effectieve vervuilingsniveau in de behouden set, gegeven door $\tilde{\epsilon}^\star = \frac{\epsilon p_d}{(1-\epsilon)p_c + \epsilon p_d}$, waarbij $p_c$ en $p_d$ de behoudskansen zijn voor respectievelijk schone en vuile punten.
3. $D_{Q, +}$ (Behouden vuile discrepantie): De discrepantie tussen het behouden vuile component en de schone doel.

Belangrijke Theoretische Inzichten

• Covariantie-Identiteit: De kosten van het trimmen van schone data worden gedreven door de afhankelijkheid tussen de anomalie-score $S$ en de niet-conformiteitsscore $A$ onder $P$. Als $S$ en $A$ onafhankelijk zijn onder $P$ (bijvoorbeeld covariaat-only scores in homoscedastische regressie), zijn de kosten aan de schone kant nul.
• Dichotomie van Scheidingsniveau: Trimmen vermindert vervuiling alleen als de anomalie-score schone en vuile punten scheidt ($p_d \ll p_c$). Als $p_d \approx p_c$, dan is $\tilde{\epsilon}^\star \approx \epsilon$, en kan trimmen de mengcoëfficiënt niet verkleinen. In dit "geen-scheiding"-regime kan trimmen de dekking strikt verslechteren door vervorming aan de schone kant in te brengen zonder de vervuiling te verminderen.
• Scherpte in Eindige Steekproeven: De scalare ondergrens blijkt minimax optimaal te zijn binnen de klasse van problemen die uitsluitend worden gedefinieerd door de scalare discrepantie-beperking. Geen enkele uniforme ondergrens die uitsluitend de scalare kloof gebruikt, kan deze waarde overschrijden.

Certificeringsmallen

Omdat populatiegrootheden in de praktijk onbekend zijn, biedt het artikel certificeringsmallen voor numerieke garanties:

1. Componentsgewijze Audit: Het begrenzen van de ingrediënten ($p_c, p_d, \Delta^A_{\text{trim}, +}, D_{Q, +}$) met behulp van onafhankelijke informatie (bijvoorbeeld schone auditsteekproeven of domeinkennis).
2. Directe Audit: Het gebruik van een onafhankelijke schone auditsteekproef om de uiteindelijk geselecteerde set te certificeren via exacte binomiale inversie of Kolmogorov-Smirnov-begrenzingen.
3. Selectie uit Dezelfde Steekproef: Voor gevallen waarin de drempel wordt geselecteerd uit dezelfde kalibratiesteekproef, wordt een empirische CDF-begrenzing op een fijn rooster geboden, wat een straf van $\sqrt{\log K / N}$ met zich meebrengt.

Experimentele Resultaten

De auteurs evalueren de theorie op een heteroscedastische regressietaken met vervuiling op basis van covariaten-geometrie.

• Regime met Zichtbare Score: Wanneer de anomalie-score (Stein score-norm) de covariatenverdelingen van schone en vuile data effectief scheidt, verbetert trimmen de dekking aanzienlijk. De verbetering wordt gedreven door een vermindering van de behouden mengcoëfficiënt $\tilde{\epsilon}^\star$ (die daalt tot bijna nul) en een beheersbare kosten aan de schone kant.
• Regime zonder Scheiding: Wanneer schone en vuile punten vergelijkbare behoudskansen hebben, faalt trimmen om $\tilde{\epsilon}^\star$ te verkleinen. De dekking blijft laag, wat bevestigt dat trimmen niet kan helpen zonder scheiding.
• Enkel Label-vervuiling: Wanneer alleen de respons $Y$ is gecorrumpeerd (en $X$ schoon is), heeft op covariaten gebaseerd trimmen geen hefboomwerking. De methode identificeert correct dat trimmen in deze setting de dekking niet kan verbeteren.
• Grote Steekproefgrootte: Het vergroten van de kalibratiegrootte $m$ vermindert de slack in eindige steekproeven, maar elimineert niet het dekkingstekort op populatieniveau veroorzaakt door het overdrachtsgat van de behouden wet. De limietdekking wordt bepaald door de populatiediagnostiek, niet door de steekproefgrootte.

Betekenis en Claims

Het artikel claimt een diagnostiek op populatieniveau te bieden die uitlegt wanneer en waarom trimmen helpt, en voorbijgaat aan het heuristische geloof dat "het verwijderen van uitschieters altijd helpt".

1. Herformulering van Trimmen: Het stelt vast dat trimmen een transformatie is van de kalibratiewet, geen herstel van de oorspronkelijke wet. Validiteit is exact alleen voor de behouden wet, wat een overdracht naar de schone doel vereist.
2. Ontwerpprincipes: Het formaliseert dat een goede anomalie-score voor trimmen score-neutraal moet zijn op de schone populatie (minimale covariantie met de niet-conformiteitsscore) terwijl deze scheidend moet zijn tussen schone en vuile populaties.
3. Beperkingen: Het demonstreert dat trimmen vervuiling niet kan verminderen via de mengcoëfficiënt als de score faalt in het scheiden van behoudskansen. In dergelijke gevallen kan trimmen de prestaties strikt verslechteren.
4. Operationele Veiligheid: Het artikel onderscheidt tussen populatiediagnostiek (mechanistische verklaringen met behulp van bekende simulatiewetten) en numerieke certificaten (garanties die onafhankelijke auditdata vereisen), zodat practitioners theoretische grenzen niet verwarren met datagedreven certificaten zonder adequate auditing.

Het werk concludeert dat trimmen geen universele oplossing is voor vervuiling; de effectiviteit wordt strikt bepaald door het samenspel tussen het vermogen van de anomalie-score om vervuiling te scheiden en zijn neutraliteit ten opzichte van de schone doelverdeling.