📊 statistics

Parameter-Free and Group Conditional Online Conformal Prediction

Dit artikel stelt een nieuw parameter-vrij algoritme voor groep-conditionele online conformale voorspelling voor dat de robuustheid tegen onbekende datashifts verenigt met eerlijkheidsgaranties, waarbij optimale groep-conditionele dekking wordt bereikt terwijl de grootte van de voorspellingsintervallen vergelijkbaar blijft met die van goed afgestemde methoden.

Oorspronkelijke auteurs: Beepul Bharti, Ambar Pal, Jacopo Teneggi, Jeremias Sulam

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Beepul Bharti, Ambar Pal, Jacopo Teneggi, Jeremias Sulam

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een weerman bent. Je taak is niet alleen om te voorspellen of het gaat regenen; het is om een "betrouwbaarheidsinterval" te geven—een reeks mogelijkheden, zoals "het gaat tussen de 2 en 4 inch regenen."

In de wereld van machine learning wordt dit Onzekerheidskwantificatie genoemd. Maar hier is de crux: de wereld verandert. Een model dat getraind is op zomerweer, kan rampzalig falen wanneer de winter invalt. Dit is het probleem van datashifting.

Het artikel introduceert een nieuwe tool genaamd POGO (Portfolios for Online Group Conformal) om dit op te lossen. Hier is hoe het werkt, uitgelegd via eenvoudige analogieën.

Het Probleem: De "Gemiddelde" Valstrik

Stel je voor dat je een schoolkantine beheert. Je wilt ervoor zorgen dat je genoeg eten hebt voor iedereen.

Oude Methode (Marginale Dekking): Je kijkt naar de gemiddelde student. Je zegt: "95% van de studenten krijgt eten." Geweldig! Maar wat als de 5% die geen eten krijgt, allemaal studenten zijn met ernstige allergieën? Het "gemiddelde" ziet er goed uit, maar een specifieke groep verhongert.
Het Probleem in de Praktijk: In ziekenhuizen of banken, als een model "95% accuraat" is over de hele linie, kan het constant falen voor een specifieke minderheidsgroep (zoals een specifieke leeftijd, ras of verzekeringstype). Dit is onrechtvaardig en gevaarlijk.

De Oude Oplossing: De "Afgestelde" Thermostaat

Eerdere methoden probeerden dit op te lossen door voor elke groep een aparte "thermostaat" te maken (bijv. één instelling voor Groep A, één voor Groep B).

De Gebreken: Deze thermostaten hadden een leersnelheid nodig (een draaiknop die je handmatig moest instellen).
- Als je de knop te langzaam draait, is het systeem traag en kan het niet reageren wanneer de data verandert (zoals bij een plotselinge griepuitbraak).
- Als je hem te snel draait, gaat het systeem van slag.
- Het Dilemma: Je moet de perfecte instelling van de knop raden voordat je begint. Maar omdat toekomstige data onvoorspelbaar is (het kan "adversarial" of kwaadwillend zijn), kun je nooit zeker weten of je de juiste gok hebt gedaan.

De Nieuwe Oplossing: POGO (Het "Zelfregulerende" Portfolio)

De auteurs creëerden POGO, een methode die geen knoppen, geen afstelling en geen giswerk nodig heeft.

De Analogie: De Aandelenportefeuille

Beschouw het machine learning-model als een handelaar die een portefeuille van aandelen beheert.

Het Doel: De handelaar wil dat hun "vermogen" (nauwkeurigheid) gestaag groeit voor elke groep mensen die ze bedienen.
De Strategie: In plaats van een leersnelheid te raden, behandelt POGO het probleem als beleggen.
- Het creëert een "markt" voor elke groep.
- Als het model een fout maakt voor Groep A, keert de "aandelenmarkt" voor Groep A een enorme beloning uit.
- Als het model het goed heeft, keert de aandelenmarkt een kleine beloning uit.
- POGO verschuift automatisch zijn "geld" (zijn voorspellingsintervallen) naar de groepen die het moeilijk hebben, net zoals een slimme investeerder geld verschuift naar de best presterende activa.

Omdat het een wiskundige strategie gebruikt die Universal Portfolio Optimization wordt genoemd, heeft het geen mens nodig om een "leersnelheid" in te stellen. Het past zich automatisch aan, ongeacht hoe gek of onvoorspelbaar de datastroom ook wordt.

Wat POGO Bereikt

Rechtvaardigheid voor Iedereen: Het garandeert dat elke groep (niet alleen het gemiddelde) de juiste dekking krijgt. Als je vraagt om 95% nauwkeurigheid, krijgt elke enkele groep ongeveer 95%, zelfs als de data wild verschuift.
Geen Afstelling Nodig: Het is "parameter-vrij". Je hoeft niet wekenlang instellingen te tweaken. Je zet het gewoon aan, en het figuurt de juiste snelheid zelf uit.
Kleine Intervallen: Het gokt niet breed om maar veilig te zijn. Het houdt de voorspellingsintervallen (de "regenverwachting"-range) zo nauw mogelijk terwijl het nog steeds accuraat is.

De Resultaten (Het Bewijs)

De auteurs hebben dit getest op:

Synthetische Data: Nepdata die ontworpen is om lastig te zijn, met plotselinge verschuivingen en groeiende fouten. POGO kon deze verschuivingen beter aan dan de oude methoden, die ofwel vastliepen ofwel crashten.
Echte Data:
- Ziekenhuizen: Voorspellen hoe lang patiënten in de IC verblijven (met gebruik van data over ras, verzekering en geslacht).
- Aandelenmarkt: Voorspellen van de dagelijkse aandelenkoersen van Apple, Delta en Boeing.

In beide gevallen kwam POGO overeen met of presteerde het beter dan de beste bestaande methoden, maar dan zonder de hoofdpijn van handmatige afstelling. Het bood een eerlijke dekking voor alle groepen en paste zich snel aan wanneer de markt of de populatie patiënten veranderde.

In een Notendop

POGO is een zelfrijdende auto voor onzekerheid. Oude methoden waren als auto's waarbij je handmatig de gevoeligheid van het stuur moest aanpassen op basis van de wegcondities (en je gokte vaak fout). POGO is een auto die automatisch de weg aanvoelt, de sturing voor elke passagier (groep) aanpast en veilig rijdt zonder dat je ooit een knop aanraakt.

Technische Samenvatting: Parameter-vrije en Groep-conditionele Online Conformal Prediction

1. Probleemstelling en Motivatie

Machine learning-modellen worden steeds vaker ingezet in omgevingen met hoge inzet en niet-stationaire eigenschappen (bijv. medische triage, autonome voertuigen), waar datadistributies in de loop van de tijd verschuiven, wat de vereiste uitwisselbaarheid (exchangeability) van standaard Conformal Prediction (CP) schendt. Online Conformal Prediction (OCP) pakt dit aan door een sequentie van voorspellingssets te genereren voor adversariële datastromen. Echter, standaard OCP-methoden garanderen doorgaans alleen marginale dekking (d.w.z. de totale foutenmarge nadert $1-\alpha$ ). Deze marginale garantie kan systematische onderdekking voor specifieke subpopulaties maskeren, wat leidt tot problemen met eerlijkheid en veiligheid.

Hoewel eerdere werken Groep-conditionele OCP (G-OCP) hebben voorgesteld om dekking guarantees voor specifieke groepen te waarborgen, vertrouwen bestaande methoden (bijv. GCACI) op leersnelheden (stapgroottes) die handmatig moeten worden afgestemd. In adversariële of verschuivende omgevingen is het afstemmen van leersnelheden problematisch omdat:

Er geen validatieset beschikbaar is voor afstemming.
Willekeurige datashifts een voorheen "goede" leersnelheid ongepast kunnen maken.
Bestaande parameter-vrije OCP-methoden (bijv. UP-OCP) alleen marginale dekking bereiken, geen groep-conditionele garanties.

Het kernprobleem dat wordt geadresseerd is het ontwerp van een parameter-vrij OCP-algoritme dat tegelijkertijd rigoureuze groep-conditionele dekking garandeert zonder dat handmatige hyperparameter-afstemming vereist is.

2. Methodologie: POGO

De auteurs stellen POGO voor (Portfolios for Online Group Conformal), het eerste parameter-vrije algoritme voor groep-conditionele OCP. De methodologie bouwt voort op het concept van Universal Portfolio (UP) optimalisatie, eerder toegepast op marginale OCP (UP-OCP), en breidt dit uit om meerdere overlappende groepen te verwerken.

2.1 Probleemformulering

Gegeven een stroom van data $(X_t, Y_t)$ en een voorspeller $\hat{Y}_t$ , is het doel om een sequentie van radii $\tau_t$ te leren zodat het voorspellingsinterval $I_t = [\hat{Y}_t - \tau_t, \hat{Y}_t + \tau_t]$ voldoet aan:
$\lim_{T \to \infty} \left| \frac{1}{T_j} \sum_{t=1}^T \mathbb{1}\{Y_t \in I_t\} c_j(X_t) - (1-\alpha) \right| = 0$
voor alle $k$ groepen, waarbij $c_j(X_t) \in [0, 1]$ een zachte indicatorfunctie is voor groepslidmaatschap, en $T_j$ de cumulatieve telling van groep $j$ is.

2.2 Lineaire Parameterisatie

In tegenstelling tot standaard OCP, dat een scalaire radius leert, leert POGO een $k$ -dimensionale parametervector $\theta_t \in \mathbb{R}^k$ . De radius wordt geparametriseerd als een lineaire functie van de groepslidmaatschapsvector $c(X_t)$ :
$\tau_t(X_t) = \langle \theta_t, c(X_t) \rangle$
Dit stelt het algoritme in staat om verschillende radii toe te wijzen op basis van de specifieke groepslidmaatschappen van een monster, terwijl er één enkel, verenigd voorspellingsinterval wordt geproduceerd.

2.3 Portfolio Optimalisatiemechanisme

POGO behandelt het leren van $\theta_t$ als een portfolio-optimalisatieprobleem.

Subgradiënten als Fouten: Het algoritme definieert een kwantielverlies (pinball loss) voor elke groep. De subgradiënt $g_t$ van dit verlies kwantificeert de miscoverage-fout. Specifiek komt de $j$ -de entry van de cumulatieve som van subgradiënten $\sum g_{t,j}$ overeen met de miscoverage-fout voor groep $j$ .
Vermogensprocessen: Voor elke groep $j$ $j$ construeert POGO een "markt" met twee aandelen. De rendementen van deze aandelen hangen af van de vraag of de huidige voorspelling de ware label dekt:
- Als de voorspelling een misser is (onderdekking), levert één aandeel een hoog rendement op.
- Als de voorspelling dekt, levert het andere aandeel een bescheiden rendement op.
Universal Portfolio (UP): POGO gebruikt het Universal Portfolio-algoritme om een sequentie van portfolio-gewichten $\lambda_{t,j}$ voor elke groep $j$ te leren. Het doel is om de logaritmische groei van het "vermogen" $W_{t,j}$ geassocieerd met elke groep te maximaliseren.
Parameter Update: De parameters $\theta_{t,j}$ worden direct afgeleid van de vermogensprocessen $W_{t,j}$ en de portfolio-gewichten $\lambda_{t,j}$ , waardoor de cumulatieve subgradiënten langzaam groeien. Deze trage groei vertaalt zich direct naar een begrensde groep-conditionele miscoverage.

Cruciaal is dat dit proces parameter-vrij is; het vereist geen leersnelheid $\eta$ of stapgrootte, maar vertrouwt op de intrinsieke eigenschappen van het Universal Portfolio-algoritme.

3. Belangrijkste Bijdragen

Eerste Parameter-vrije G-OCP Algoritme: De introductie van POGO, dat groep-conditionele dekking garandeert zonder handmatige afstemming van leersnelheden.
Rigoureuze Finite-Time Garanties: De auteurs stellen theoretische dekkingbounds vast voor POGO. De miscoverage-rate voor groep $j$ wordt begrensd door:
$\text{MisCov}_T(c_j) \leq \frac{1}{T_j} \left[ U_T(k) + \sqrt{2T_j \alpha(1-\alpha) U_T(k)} \right]$
waarbij $U_T(k)$ logaritmisch schaalt met het aantal groepen $k$ en de tijd $T$ . Dit vertegenwoordigt de best bekende finite-time groep-dekking resultaten.
Superieure Schaalbaarheid: Theoretische analyse toont aan dat de foutenbound van POGO logaritmisch afhankelijk is van het aantal groepen ( $O(\ln k)$ ), terwijl bestaande parameter-afhankelijke methoden (zoals GCACI) schalen met $\sqrt{k}$ en sterk afhangen van de keuze van de leersnelheid.
Single-Interval Output: In tegenstelling tot naïeve benaderingen die aparte OCP-algoritmen voor elke groep draaien (wat $k$ verschillende radii produceert), produceert POGO een enkele radius $\tau_t$ voor elk monster, waardoor problemen met conflicterende intervallen en potentiële privacy-lekken met betrekking tot groepslidmaatschap worden vermeden.

4. Experimentele Resultaten

De auteurs evalueren POGO op synthetische en real-world datasets, waarbij ze het vergelijken met GCACI (de huidige standaard voor groep-conditionele OCP) en UP-OCP (parameter-vrije marginale OCP).

4.1 Synthetische Experimenten

Begrensde, geleidelijk variërende scores: POGO bereikt doeldekking-rates binnen 3% voor alle groepen en produceert de kleinste gemiddelde radii vergeleken met GCACI-varianten. Het behoudt een hoge adaptiviteit, waarbij de langste sequentie van opeenvolgende miscoverage-events vergelijkbaar is met de best-afgestemde GCACI.
Abrupte Shifts: Wanneer datadistributies abrupt verschuiven, blijft POGO robuust. In contrast hiermee lijdt GCACI met een vaste leersnelheid (zelfs een goed afgestemde zoals $\eta=0.01$ ) aan slechte adaptiviteit, wat resulteert in lange sequenties van miscoverage totdat de leersnelheid effectief wordt "herafgestemd" door de data.
Onbegrensde groeiende scores: In scenario's waarin non-conformity scores kwadratisch groeien voor een specifieke groep, falen de meeste GCACI-varianten om de doeldekking te bereiken. POGO bereikt consistent dekking die dichter bij de doelniveaus ligt, met name bij hoge dekkingseisen ( $1-\alpha \in [0.9, 0.95]$ ).

4.2 Real-World Data

MIMIC-IV (ICU Length of Stay): Door gebruik te maken van patiëntgegevens (ras, verzekering, geslacht als groepen), bereikt POGO een dekking die vergelijkbaar is met GCACI, maar met kleinere voorspellingsset-groottes (radii).
Aandelenmarkt (Apple, Delta, Boeing): Voor dagelijkse prijsvoorspelling demonstreert POGO opnieuw competitieve prestaties, waarbij het doeldekking bereikt met kleinere set-groottes dan GCACI.
Trade-offs: Hoewel POGO in specifieke statische regimes soms iets langere opeenvolgende miscoverage-streaks vertoont dan de best-getunede GCACI, presteert het significant beter dan GCACI in dynamische of verschuivende regimes waar afstemming onmogelijk is.

5. Betekenis en Claims

Het artikel claimt dat POGO de basis legt voor eerlijke en robuuste onzekerheidskwantificatie in verschuivende omgevingen. Door groep-conditionele dekking te verenigen met parameter-vrije online learning, elimineert de methode de noodzaak voor handmatige hyperparameter-afstemming, wat een kritieke bottleneck vormt in adversariële of niet-stationaire settings.

De auteurs benadrukken dat:

POGO de best bekende finite-time groep-dekking bounds biedt.
Het deze garanties levert zonder de fragiliteit van leersnelheidselectie.
Het een praktische oplossing biedt voor scenario's met hoge inzet waar eerlijkheid tussen subpopulaties vereist is en waar datadistributies niet als statisch of uitwisselbaar kunnen worden aangenomen.

Het artikel sluit bescheiden af met de opmerking dat hoewel POGO een lineaire specificatie voor radii gebruikt, toekomstig werk rijkere modellen voor de radius kan verkennen en deze instrumenten kan uitbreiden naar andere vormen van online onzekerheidskwantificatie, zoals kalibratie.