Technische Samenvatting: SpeedCP

Probleemstelling

Conforme voorspelling biedt een raamwerk voor het construeren van voorspellingsets met garanties voor marginale dekking in eindige steekproeven onder minimale distributie-aannames. Marginale dekking garandeert echter geen voorwaardelijke dekking—de garantie dat de voorspellingset de ware label bevat met waarschijnlijkheid $1-\alpha$ voor elke specifieke invoer $x$. In toepassingen met hoge risico's kan systematische onderdekking op kritieke subgroepen leiden tot onbetrouwbare uitkomsten.

Hoewel eerdere werken van Gibbs et al. [2025] de voorwaardelijke validiteit aanpakten door de eis te versoepelen tot een door de gebruiker gespecificeerde functieklass $\mathcal{F}$ binnen een Reproducing Kernel Hilbert Space (RKHS), lijdt hun aanpak onder verbodsfactoren in rekentijd. Specifiek vereist hun methode het passen van een RKHS-quantielregressie voor elke kandidaatwaarde van een ingevulde testscore $S$ via binaire zoektocht, en vertrouwt vaak op een vooraf gespecificeerd rooster voor hyperparameters. Dit maakt de methode onhandelbaar voor schaalbare of hoogdimensionale settings ($p \gg n$), waar op afstand gebaseerde gelijkenissen in ruwe covariatenruimtes minder discriminerend worden.

Methodologie: SpeedCP

De auteurs stellen SpeedCP voor, een snelle, stabiele algoritme dat het volledige oplossingspad van het geregulariseerde RKHS-conforme optimalisatieprobleem berekent. De methode werkt in twee hoofdfasen:

1. Laag-rang Latente Embeddings

Om hoogdimensionale covariaten ($X \in \mathbb{R}^p, p \gg n$) te hanteren, kiest SpeedCP eerst invoer naar een laagdimensionale latente ruimte $\hat{\pi}(X) \in \mathbb{R}^K$ ($K \ll p$) met behulp van een symmetrische laag-rang embedding-kaart (bijv. PCA, latent Dirichlet allocation, of neurale netwerklagen embeddings). De RKHS-kern $\psi^*$ wordt gedefinieerd op deze latente ruimte, wat het signaal-ruisverhouding verbetert en betekenisvolle voorwaardelijke dekking mogelijk maakt op de latente representatie in plaats van op de ruwe, schaarse covariaten.

2. De $(\lambda, S)$-Pad Algoritmes

De kerninnovatie is de afleiding van stuksgewijs lineaire oplossingspaden voor de RKHS-quantielregressieparameters, waardoor herhaaldelijk opnieuw passen of binaire zoektocht overbodig wordt.

• $\lambda$-Pad (Controle van Gladheid): Het algoritme traceert de oplossing van de geregulariseerde quantielregressie naarmate de regularisatieparameter $\lambda$ afneemt. Geïnspireerd door het LARS-algoritme en Li et al. [2007], evolueren de oplossingscoëfficiënten als stuksgewijs lineaire functies van $\lambda$. Het algoritme update de oplossing alleen wanneer de "elleboogset" (de set observaties met exact nul residuen) verandert. Dit maakt efficiënte hyperparameter-tuning (selectie van optimale $\lambda$ en kernbandbreedte $\gamma$) mogelijk via cross-validatie zonder een volledig roosterzoektocht.
• $S$-Pad (Constructie van Voorspellingset): Zodra optimale hyperparameters zijn vastgesteld, traceert het algoritme de oplossing naarmate de ingevulde testscore $S$ toeneemt. De auteurs bewijzen dat de afbeelding $S \mapsto \hat{\upsilon}_S$ (waarbij $\hat{\upsilon}$ de RKHS-coëfficiënten zijn) niet-dalend en stuksgewijs affien is. Deze structuur stelt het algoritme in staat om direct de maximale scorecutoff $S^*$ te berekenen zodat aan de voorwaarde voor de voorspellingset wordt voldaan, waardoor de binaire zoektocht uit Gibbs et al. [2025] wordt geëlimineerd.
• Randomisatie: Om exacte voorwaardelijke garanties te waarborgen en inflatie van dekking te mitigeren, maakt de methode gebruik van een gerandomiseerde cutoff $S_{rand}$ afgeleid van een uniforme variabele $U \sim \text{Unif}(-\alpha, 1-\alpha)$.

Theoretische Garanties

Het artikel vestigt garanties voor eindige steekproeven voor benaderde voorwaardelijke dekking met betrekking tot de geschatte latente embedding $\hat{\pi}(X)$.

• Validiteit van Dekking: De methode voldoet aan een marginale garantie over elke meetbare functie $f$ in de RKHS-klasse $\mathcal{F}^*$, wat impliceert voorwaardelijke dekking op latente buurten.
• Robuustheid tegen Schattingsfouten: De dekkinggarantie is robuust tegen fouten in de laag-rang projectie $\hat{\pi}(\cdot)$. Hoewel schattingsfouten de strakheid (grootte) van de voorspellingsets kunnen beïnvloeden, wordt de validiteit van de dekkinggarantie niet in gevaar gebracht.
• Groepsvoorwaardelijke Dekking: Het raamwerk breidt zich natuurlijk uit tot groepsvoorwaardelijke dekking wanneer het lineaire component $\Phi^*(X)$ cluster-toewijzingen codeert die zijn afgeleid van de latente embedding.

Belangrijkste Bijdragen

1. Algoritmische Efficiëntie: De auteurs introduceren een stabiel, snel oplossingspad-algoritme voor op RKHS gebaseerde conforme voorspelling. Door gebruik te maken van de affiene structuur van het oplossingspad over zowel de regularisatieparameter $\lambda$ als de ingevulde score $S$, bereiken ze een 40-voudige snelheidswinst ten opzichte van Gibbs et al. [2025] terwijl ze hetzelfde theoretische raamwerk behouden.
2. Aanpassing aan Hoogdimensionale Settings: De methode breidt voorwaardelijke conforme voorspelling uit naar hoogdimensionale settings door te conditioneren op geleerde laag-rang embeddings. Deze aanpak levert beter gekalibreerde voorspellingsets op, met name in gebieden met lage dichtheid in de data waar conditionering in de ruwe ruimte faalt.
3. Hyperparameter Tuning: Het algoritme biedt een gesloten-formule mechanisme voor gelijktijdige selectie van hyperparameters (gladheid $\lambda$ en kernbandbreedte $\gamma$) via cross-validatie, waardoor de rekentijd-bottleneck van gezamenlijke roosterzoektochten wordt vermeden.
4. Theoretische Karakterisering: Het artikel karakteriseert hoe schattingsfouten in embeddings de validiteit van dekking beïnvloeden en biedt grenzen voor de dekkingkloof, waaruit blijkt dat deze afneemt met de regularisatieparameter $\lambda$.

Experimentele Resultaten

De auteurs evalueren SpeedCP op synthetische admixturedata, voorspelling van moleculaire eigenschappen (QM9, QM7b, ESOL) en analyse van hersentumor-MRI.

• Dekking: SpeedCP bereikt uniforme dekking dicht bij het nominale niveau (0,9) over diverse latente ruimtepartities en subgroepen, en presteert beter dan baselines zoals SplitCP (dat lokaal onderdekt) en PCP/RLCP (dat vaak overdekt).
• Efficiëntie: In synthetische experimenten draait SpeedCP bijna 50 keer sneller dan CondCP (Gibbs et al. [2025]). In moleculaire datasets worden snelheidswinsten van 40–60x bereikt.
• Grootte van Voorspellingset: SpeedCP produceert aanzienlijk strakkere voorspellingsets dan CondCP (verbetering van interval-lengte met ~30%) terwijl het geldige dekking behoudt. Het past zich aan lokale heterogeniteit in de scoreverdeling aan, terwijl SplitCP vertrouwen stelt op een enkele globale cutoff.
• Robuustheid: De methode blijft effectief zelfs met predictors van lage kwaliteit (bijv. lineaire regressie) en in hoogdimensionale kenmerkenruimtes waar andere methoden falen om localiteit te benutten.

Betekenis en Claims

Het artikel claimt dat SpeedCP flexibele voorwaardelijke conforme voorspelling computationeel haalbaar maakt voor hoogdimensionale data. Door herhaaldelijk RKHS opnieuw passen en binaire zoektocht te vervangen door actieve set-pad-tracking, stelt de methode het gebruik van complexe, datagedreven latente ruimtes voor kalibratie mogelijk zonder rekentijd-handelbaarheid op te offeren.

De auteurs benadrukken dat hun aanpak betrouwbare voorwaardelijke dekking biedt over moderne black-box predictors, terwijl de rekenlast aanzienlijk wordt verminderd. Zij merken op dat hoewel de methode uitwisselbaarheid en symmetrische embedding-schatting veronderstelt, deze robuust is tegen modelmisspecificatie en schattingsfouten in embeddings, waardoor het geschikt is voor praktische toepassingen waar minimale distributie-aannames gelden. Het werk overbrugt de kloof tussen de theoretische belofte van op RKHS gebaseerde voorwaardelijke validiteit en de praktische beperkingen van grootschalig machine learning.