When Your Model Stops Working: Anytime-Valid Calibration Monitoring

Titel: Anytime-Valid Calibration Monitoring (PITMonitor)

Auteur: Tristan Farran (Universiteit van Amsterdam)
Doel: Het ontwikkelen van een methode om de kalibratie van ingezette probabilistische modellen continu te monitoren met formele foutbeheersing, ongeacht hoe lang de monitoring duurt.

1. Het Probleem

In de praktijk worden probabilistische modellen (bijv. in geneeskunde of financiën) continu ingezet, maar de wereld verandert (concept drift). Dit kan leiden tot een verslechtering van de kalibratie, waarbij voorspelde kansen niet meer overeenkomen met de werkelijke uitkomsten.

Bestaande methoden voor het monitoren van modellen hebben drie fundamentele tekortkomingen:

1. Valse alarmen bij continue monitoring: Traditionele statistische tests (zoals p-waarden) zijn ontworpen voor een vast steekproefgrootte. Als men deze tests herhaaldelijk toepast op een oneindige datastroom (bijv. dagelijks), zal de kans op een valse alarm (Type I-fout) uiteindelijk 100% worden, zelfs als het model perfect stabiel is.
2. Gebrek aan formele garanties: Bestaande "online drift detectors" (zoals die in de river-bibliotheek) gebruiken vaak heuristieken of per-window garanties, maar bieden geen garantie voor de totale stroom.
3. Indirecte signalen: Veel methoden monitoren algemene foutpercentages of residuen in plaats van specifieke kalibratiemaatregelen. Een model kan bijvoorbeeld nauwkeurig blijven (goed voorspellen) maar oververzekerd (overconfident) worden, wat door algemene methoden niet wordt opgemerkt.

2. Methodologie: PITMonitor

De auteur introduceert PITMonitor, een monitor die specifiek gericht is op kalibratie en "altijd geldig" (anytime-valid) is.

Kernconcepten:

• Probability Integral Transform (PIT):
  Voor een model met voorspellende cumulatieve verdelingsfunctie $\hat{F}$ en een observatie $Y$, is de PIT gedefinieerd als $U = \hat{F}(Y)$.

  • Bij perfecte kalibratie is $U$ gelijkmatig verdeeld over $(0, 1)$.
  • Afwijkingen in de verdeling van $U$ (bijv. U-vormig voor onderdispersie) wijzen op miscalibratie.
  • De nulhypothese ($H_0$) is dat de PIT-waarden onafhankelijk en identiek verdeeld (i.i.d.) zijn volgens een verdeling $F$ (niet noodzakelijk uniform). De alternatieve hypothese ($H_1$) is dat er een veranderingstijdstip $\tau$ is waarbij de verdeling van $U$ verandert.

• E-waarden en E-processen:
  In plaats van p-waarden gebruikt de methode e-waarden. Een e-waarde is een niet-negatieve variabele waarvan de verwachting onder $H_0$ maximaal 1 is.

  • Door e-waarden multiplicatief te combineren, ontstaat een e-proces.
  • Volgens de ongelijkheid van Ville kan men een drempelwaarde ($1/\alpha$) stellen die de kans op een valse alarm over een oneindige tijdsperiode garandeert onder $\alpha$, zelfs zonder vooraf een stopregel te definiëren.

• Betalen op dichtheid (Density Betting):
  Om e-waarden te construeren, wordt een "betting"-framework gebruikt. Op elk tijdstip $t$ wordt een dichtheidsfunctie $\hat{f}_t$ geschat op basis van eerdere PIT-waarden (via een histogram).

  • De e-waarde is $e_t = \hat{f}_t(p_t)$, waarbij $p_t$ een geconverteerde p-waarde is gebaseerd op rangschikkingen.
  • Als de verdeling verschuift, leert het histogram dit en stijgt de verwachte e-waarde boven 1.

• Mixture E-process (Voor onbekende changepoint):
  Omdat het exacte tijdstip van de drift ($\tau$) onbekend is, wordt een mengsel (mixture) van e-processen gebruikt. Er wordt een e-proces gestart voor elk mogelijk starttijdstip, gewogen met $w_\tau = 1/(\tau(\tau+1))$.

  • Dit mengsel is zelf ook een geldig e-proces.
  • Dit zorgt voor een efficiënte recursie ($O(1)$ per update) en detecteert drift ongeacht wanneer deze begint.

• Changepoint Schatting:
  Na een alarm wordt het veranderingstijdstip geschat door de splitsing te kiezen die de sterkste Bayes-factor oplevert voor de post-split data (waarbij $H_1$ de data beter verklaart dan $H_0$).

3. Belangrijkste Bijdragen

1. Anytime-Valid Foutbeheersing: PITMonitor garandeert dat $P(\text{nooit alarm} | H_0) \leq \alpha$ voor alle tijdstippen, zonder vooraf een eindtijd te moeten specificeren.
2. Kalibratie-specifiek: Het monitort direct de relatie tussen voorspellingen en uitkomsten via PITs, in plaats van indirecte signalen zoals foutpercentages. Het kan miscalibratie detecteren zelfs als de voorspellingsnauwkeurigheid gelijk blijft.
3. Geen referentieperiode nodig: De methode werkt vanaf de eerste observatie en vereist geen "schone" startperiode.
4. Efficiëntie: De methode heeft een tijdscomplexiteit van $O(1)$ per update (plus $O(\log n)$ voor rangbeheer) en $O(n)$ geheugen.
5. Verdeling-vrij: Er worden geen aannames gedaan over de specifieke vorm van de verdelingen voor of na de drift.

4. Resultaten

De methode is getest op de FriedmanDrift-benchmark (synthetische regressiestroom) en vergeleken met zeven bestaande drift-detectoren uit de river-bibliotheek (o.a. ADWIN, DDM, HDDM). Drie scenario's werden getest:

• GRA (Global Recurring Abrupt): Plotselinge globale verschuiving.
• GSG (Global Slow Gradual): Langzame, globale verschuiving.
• LEA (Local Expanding Abrupt): Lokale, plotselinge verschuiving die zich uitbreidt (stress-test voor de single-changepoint aanname).

Kernbevindingen:

• Type I Fout (Valse Alarmen): PITMonitor hield de valse alarmratio (FPR) consistent rond de nominale $\alpha = 0.05$ (3.8% in de test), terwijl veel andere methoden (zoals KSWIN, PageHinkley) FPRs hadden van >89% of zeer lage detectierates.
• Detectiekracht (TPR): PITMonitor behaalde een TPR van 96.2% in alle drie de scenario's.
  • ADWIN had een iets hogere TPR (99.1%) en lagere vertraging, maar zijn FPR is empirisch en niet formeel gegarandeerd voor oneindige stromen.
  • Andere methoden zoals DDM en HDDM hadden lagere TPRs of veel hogere vertragingen.
• Vertraging (Delay):
  • Bij globale drift (GRA/GSG) was de vertraging concurrerend (77 en 189 samples).
  • Bij lokale uitbreidende drift (LEA) was de vertraging aanzienlijk langer (1919 samples). Dit komt doordat de drift in de beginfase zwak is en het e-proces tijd nodig heeft om te accumuleren.
• Locatie van Verandering: Bij globale drift was de schatting van het veranderingstijdstip zeer nauwkeurig (gemiddelde fout < 7 samples). Bij LEA was de fout groter omdat de methode de sterkste verschuiving detecteert in plaats van het begin van de eerste fase.

5. Betekenis en Conclusie

PITMonitor biedt een oplossing voor het fundamentele statistische probleem van continue monitoring: het vermijden van valse alarmen door het "multiple testing"-probleem.

• Praktische relevantie: Het stelt practitioners in staat om modellen continu te bewaken zonder bang te hoeven zijn voor valse alarmen door toeval, wat cruciaal is voor betrouwbare AI-systemen in kritieke domeinen.
• Interpretatie: Na een alarm biedt PITMonitor een histogram van de PIT-waarden, wat direct inzicht geeft in het type miscalibratie (bijv. over- of onderverzekerdheid), iets wat traditionele methoden niet doen.
• Beperkingen en Toekomst: De methode reageert trager op zeer lokale of zwakke drifts en schat het veranderingstijdstip minder nauwkeurig bij meervoudige fasen. Toekomstig werk richt zich op het onderscheiden van verbetering versus verslechtering van kalibratie en het uitbreiden naar meervoudige changepoints.

Kortom, PITMonitor is de eerste methode die formele statistische garanties biedt voor de kalibratie van modellen in een oneindige datastroom, terwijl het specifiek gericht is op de kwaliteit van de waarschijnlijkheidsvoorspellingen in plaats van alleen op fouten.