PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework

Technische Samenvatting: PCS-UQ: Onzekerheidskwantificatie via het Predictability-Computability-Stability Framework

Probleemstelling
Nu machine learning (ML)-systemen worden ingezet in domeinen met een hoog belang, is de behoefte aan betrouwbare onzekerheidskwantificatie (Uncertainty Quantification, UQ) cruciaal geworden voor veiligheid en betrouwbaarheid. Traditionele statistische inferentie vertrouwt op het specificeren van een correct generatief model, een aanname die vaak wordt geschonden door moderne complexe modellen (bijv. large language models) en massale, multimodale datasets. Hoewel conformal inference een distributievrije alternatief biedt dat marginale dekking garandeert onder uitwisselbaarheid (exchangeability), lijdt het aan drie belangrijke beperkingen: (1) het mist een expliciet mechanisme om de adequaatheid van het model te screenen, wat potentieel instabiele of onnodig brede voorspellingssets kan produceren als het basismodel slecht is; (2) de validiteit is marginaal, wat vaak leidt tot tekortkomingen in de dekking voor specifieke subgroepen; en (3) empirische vergelijkingen van conformal methoden over diverse real-world condities blijven beperkt. Bovendien creëert de "garden of forking paths" in de data science lifecycle—keuzes met betrekking tot datacleaning, modelselectie en hyperparameters—een verborgen universum van onzekerheid dat door standaard UQ-methoden vaak wordt genegeerd.

Methodologie: Het PCS-UQ Framework
De auteurs stellen PCS-UQ voor, een framework gebaseerd op de Predictability-Computability-Stability (PCS) principes voor veridische data science. De methode is ontworpen om robuuste voorspellingsintervallen (voor regressie) en voorspellingssets (voor classificatie) te produceren door model-screening, resampling en adaptieve kalibratie te integreren.

1. Predictability (Model Screening): Het framework begint met een kandidaat-set van algoritmen. De data wordt gesplitst in trainings- en validatiesets. Algoritmen worden getraind op de trainingsset, en de algoritmen die slecht presteren op de validatieset (gebaseerd op een verliesfunctie) worden eruit gefilterd. Dit zorgt ervoor dat onzekerheid alleen wordt gekwantificeerd met modellen die de onderliggende datagenererende procedure voldoende vatten.
2. Stability (Bootstrapping): Om de variabiliteit in eindige steekproeven en algoritmische instabiliteit te beoordelen, wordt de gefilterde set algoritmen gefit op meerdere gebootstrapte datasets. Dit creëert een "pseudo-populatie" van modellen. Voor regressie maakt de methode gebruik van Out-of-Bag (OOB) samples om efficiënt datagebruik te garanderen zonder dat er voor elke bootstrap-iteratie een aparte, vaste validatieset nodig is.
3. Computability (Kalibratie & Efficiëntie):
   • Multiplicatieve Kalibratie: In tegenstelling tot standaard conformal methoden die additieve kalibratie gebruiken (het verbreden van intervallen met een vaste constante), gebruikt PCS-UQ een nieuwe multiplicatieve kalibratieschema. Het schaalt de intervalbreedte op basis van de lokale spreiding van de bootstrap-voorspellingen. Hierdoor kan het interval adaptief verbreden voor samples waar het modelensemble een hoge onzekerheid vertoont, wat de lokale en subgroep-dekking verbetert.
   • Deep Learning Benaderingen: Om de computationele kosten van het trainen van meerdere deep learning modellen aan te pakken, stellen de auteurs twee benaderingsvarianten voor: (1) Weighted Monte-Carlo Dropout, waarbij knopen proportioneel aan de activatie worden gedropt, en (2) Additive Noise Perturbation, waarbij Gaussische ruis aan de gewichten wordt toegevoegd. Deze methoden genereren geperturbeerde modellen vanuit één getraind netwerk, waardoor dure hertraining wordt omzeild.

Belangrijkste Bijdragen

• Nieuw Framework: Introductie van PCS-UQ, dat model-screening, bootstrap-gebaseerde stabiliteitsbeoordeling en multiplicatieve kalibratie verenigt om de beperkingen van bestaande conformal methoden aan te pakken.
• Benchmark Compilatie: Creatie van een uitgebreide benchmark bestaande uit 17 real-world regressiedatasets en 6 multi-class classificatiedatasets. Cruciaal is dat de auteurs handmatig natuurlijke subgroepen voor elke dataset hebben geconstrueerd (gebaseerd op feature-distributies) om subgroep-dekking rigoureus te evalueren, een metriek die vaak over het hoofd wordt gezien in de conformal literatuur.
• Theoretische Connectie: Het artikel legt een formele link tussen PCS-UQ en conformal inference. Het demonstreert dat de multiplicatieve kalibratiestap kan worden beschouwd als een nieuwe conformal scorefunctie. Onder een aangepast algoritme (het splitsen van data in training-, validatie- en kalibratiesets), bewijzen de auteurs dat PCS-UQ geldige dekking behoudt onder uitwisselbaarheid, waardoor de PCS-principes effectief worden overbrugd met split conformal inference.
• Schaalbaarheid: Ontwikkeling van computationeel efficiënte varianten voor deep learning die een geldige dekking behouden terwijl ze de runtime aanzienlijk verminderen ten opzichte van volledige bootstrap-hertraining.

Resultaten

• Regressie Prestaties: Over 17 real-world datasets behield PCS-UQ de doelstelling van 90% marginale dekking, terwijl het voorspellingsintervallen produceerde die gemiddeld 10–20% smaller waren dan "oracle-selected" conformal baselines (Split Conformal, Studentized Conformal, en Jackknife+-after-Bootstrap).
• Subgroep Dekking: PCS-UQ behaalde consistent de doeldekking over geconstrueerde subgroepen. In tegen tegenstelling hiertoe vertoonden standaard conformal methoden (zelfs met oracle-geselecteerde modellen) frequent tekortkomingen in de dekking voor specifieke subgroepen. De multiplicatieve kalibratie werd geïdentificeerd als de belangrijkste drijfveer voor deze subgroep-adaptiviteit.
• Classificatie Prestaties: Op 6 multi-class classificatiedatasets verminderde PCS-UQ de grootte van de voorspellingssets met ongeveer 20% vergeleken met conformal baselines (APS, RAPS, TopK), terwijl het 90% dekking behield.
• Deep Learning Efficiëntie: Op drie computer vision benchmarks (CIFAR-100, Caltech Birds, ImageNet-Small) verminderden de voorgestelde benaderingsmethoden de grootte van de voorspellingssets met ~20% ten opzichte van de conformal baselines. Deze benaderingen waren 30–100 keer sneller dan de oorspronkelijke bootstrap-gebaseerde PCS-UQ, waarmee een balans werd gevonden tussen computationele efficiëntie en intervalkwaliteit.

Betekenis
Het artikel betoogt dat betrouwbare UQ een breder zicht vereist op de volledige data science lifecycle, verder reikend dan de afhankelijkheid van correct gespecificeerde generatieve modellen of louter marginale garanties. Door het integreren van het PCS-framework laten de auteurs zien dat het mogelijk is om zowel competitieve intervalbreedtes als consistente subgroep-dekking te bereiken. Het werk benadrukt dat expliciete modelcontrole (predictability) en adaptieve kalibratie (multiplicatieve schaling) essentieel zijn voor robuuste onzekerheidskwantificatie in complexe, real-world settings. De theoretische connectie met conformal inference valideert verder de methodologische keuzes, wat suggereert dat PCS-UQ een praktisch en theoretisch gefundeerd pad biedt voor verantwoorde AI-besluitvorming.