📊 statistics

Anytime-Valid Confirmation of Label-Shift Corrections

Dit artikel stelt een anytime-valid sequentieel testframework voor dat het lopende product van per-observatie likelihood ratio's gebruikt om vooraf gespecificeerde label-shift correcties in small-batch settings te bevestigen, wat een statistisch rigoureus alternatief biedt voor datagedreven shift-schatting wanneer gelabelde doeluitkomsten schaars zijn.

Oorspronkelijke auteurs: Seungjin Choi

Gepubliceerd 2026-06-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seungjin Choi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Schaars Label"-Dilemma

Stel je voor dat je een arts bent met een diagnostisch hulpmiddel dat is getraind op patiënten uit Ziekenhuis A (de Bron). Nu zet je dit hulpmiddel in bij Ziekenhuis B (het Doel). Je weet dat de mix van patiënten anders is — misschien heeft Ziekenhuis B meer oudere patiënten of meer mensen met een specifieke aandoening. Dit wordt Label Shift genoemd.

Normaal gesproken zou je, om je hulpmiddel te corrigeren, een enorme berg nieuwe gegevens nodig hebben uit Ziekenhuis B met bekende uitkomsten (gelabelde gegevens) om precies te berekenen hoe de patiëntenmix is veranderd. Maar in veel reële wetenschappelijke of medische scenario's zijn gelabelde gegevens schaars. Je krijgt misschien maar af en toe nieuwe resultaten binnen, of ze komen langzaam binnen. Je kunt niet wachten op een enorme dataset om je model opnieuw te trainen.

Je hebt echter wel een vermoeden. Misschien suggereert een regelgeving, een eerder klein experiment, of deskundige kennis: "Ik denk dat de patiëntenmix in Ziekenhuis B met ongeveer 10% is verschoven naar de oudere doelgroep."

De Vraag: In plaats van te vragen "Wat is de exacte verschuiving?" (wat veel data vereist), vraagt het artikel: "Wordt mijn vermoeden (de voorgestelde correctie) ondersteund door de weinige nieuwe datapunten die we binnenkrijgen?"

De Oplossing: De "Confidence Accumulator"

De auteurs stellen een nieuwe manier voor om je vermoeden te testen. Ze veranderen het probleem in een spel van het verzamelen van bewijs, vergelijkbaar met een gokker die wedt op een paardenrace, maar dan met strikte regels om te voorkomen dat je wordt gefopt door geluk.

1. De Twee Voorspellingen

Stel je voor dat je twee weersvoorspellers hebt:

De Oude Voorspeller (Bron): Voorspelt regen op basis van de oude gegevens (Ziekenhuis A).
De Aangepaste Voorspeller (Gekanteld): Voorspelt regen op basis van de oude gegevens plus jouw vermoeden dat het klimaat is verschoven (Ziekenhuis B).

2. De "E-waarde" (De Inzet)

Elke keer dat er een nieuwe patiëntuitkomst binnenkomt (bijv. "Het regende" of "De patiënt is hersteld"), vergelijk je de twee voorspellers:

Heeft de Aangepaste Voorspeller deze uitkomst beter voorspeld dan de Oude Voorspeller?
Zo ja, dan win je een "wedchip" (een e-waarde).
Zo nee, dan verlies je een chip.

Het artikel bewijst wiskundig dat als je vermoeden onjuist is (en de Oude Voorspeller daadwerkelijk de waarheid spreekt), je gemiddeld genomen gelijk blijft of chips verliest. Je wordt niet rijk door puur geluk.

3. De "Martingale" (De Lopende Score)

Je houdt een totaal bij van je verzamelde chips. Dit totaal wordt een Martingale genoemd.

De Regel: Als de Oude Voorspeller echt correct is, is de kans dat je chipentotaal ooit extreem hoog wordt (een specifieke drempel overschrijdt) extreem klein (bijvoorbeeld minder dan 5%).
De "Anytime-Valid" Superkracht: Dit is de grootste innovatie van het artikel. Normaal gesproken moet je in de statistiek van tevoren beslissen hoeveel patiënten je gaat testen. Als je voortijdig stopt omdat je het "gevoel" hebt dat je genoeg data hebt, worden je statistieken ongeldig.
- Deze methode staat je toe om op elk gewenst moment te stoppen. Je kunt de score controleren na 5 patiënten, 50 patiënten of 500 patiënten. Zolang je de drempel nog niet hebt overschreden, blijven de regels van kracht. Als je de drempel wel overschrijdt, kun je er met vertrouwen van zeggen: "De data ondersteunt mijn vermoeden."

De "Log-Wealth" Analogie

Het artikel noemt NLPD (Negative Log-Predictive Density). Zie dit als een "verrassingsscore".

Als een voorspeller verrast wordt door een uitkomst, krijgt hij een hoge score (slecht).
Als hij het goed voorspelde, krijgt hij een lage score (goed).
Het artikel laat zien dat jouw "chipentotaal" exact het verschil is tussen hoe verrast de Oude Voorspeller was versus hoe verrast de Aangepaste Voorspeller was.
Verwerping: Als je "chipentotaal" hoog genoeg wordt, betekent dit dat de Aangepaste Voorspeller consistent minder verrast is dan de Oude een. Dit bevestigt dat je vermoeden waarschijnlijk correct is.

Belangrijke Beperkingen (Wat het Artikel Zegt)

Het artikel is zeer voorzichtig over wat dit hulpmiddel wel en niet kan doen:

Het is een "Ja/Nee"-test, geen Meting: Als de test zegt "Ja, je vermoeden wordt ondersteund", vertelt het je niet exact hoe groot de verschuiving is. Het zegt alleen dat de verschuiving in de juiste richting en met de juiste grootte is om plausibel te zijn. Als je het exacte getal nodig hebt, heb je nog steeds veel data en andere instrumenten nodig.
De "Garbage In"-Waarschuwing: De test gaat ervan uit dat de Oude Voorspeller goed gekalibreerd is. Als de Oude Voorspeller defect is (bijv. hij denkt dat de kans op regen 50% is terwijl het eigenlijk 90% is), kan de test valse alarmen geven. Je moet de basisnauwkeurigheid van het oorspronkelijke model kunnen vertrouwen.
Het Vermoeden Moet Vaststaan: Je moet je "vermoeden" (de correctie) bepalen voordat je begint met het bekijken van de nieuwe gegevens. Je kunt niet eerst naar de data kijken, je vermoeden aanpassen en dan pas de test uitvoeren. Dat verbreekt de wiskunde.

Samenvatting

Dit artikel geeft wetenschappers een formele manier om te zeggen: "Ik heb een theorie over hoe mijn data is veranderd. Ondanks dat ik slechts een paar nieuwe datapunten heb, kan ik wiskundig bewijzen dat mijn theorie deze nieuwe punten beter beschrijft dan mijn oude model, zonder dat ik hoef te wachten op een enorme dataset."

Het verandert modelbewaking in een rigoureus, stapsgewijs bevestigingsspel waarbij je het spel kunt stoppen op het moment dat je genoeg bewijs hebt.

Technische Samenvatting: Anytime-Valid Bevestiging van Label-Shift Correcties

1. Probleemstelling

In wetenschappelijke implementaties met kleine batches zijn gelabelde doeluitkomsten vaak te schaars om label-shifts (waarbij de marginale distributie $p(y)$ verandert terwijl $p(x|y)$ stabiel blijft) betrouwbaar te schatten met traditionele methoden voor ongelabelde doelgegevens, zoals BBSE of MLLS. In dergelijke scenario's beschikken beoefenaars vaak over een vooraf gespecificeerde kandidaat-correctie afgeleid van domeinkennis, regelgevende specificaties of brugexperimenten.

Het kernprobleem dat wordt aangepakt, is niet het schatten van de verschuiving, maar het bevestigen of binnenkomende gelabelde uitkomsten een geposteerde, vaste label-shift correctie ondersteunen ten opzichte van een bron-predictief model. Dit wordt geframed als een bevestigingsprobleem in plaats van een schattingsprobleem, wat een statistische tool vereist die sequentiële aankomst van data kan verwerken zonder een vooraf gespecificeerd steekproefomvang, terwijl de Type I-fout onder optionele stopzetting wordt gecontroleerd.

2. Methodologie

Het paper stelt een sequentieel testframework voor gebaseerd op e-waarden en e-processen (Vovk & Wang, 2021; Shafer, 2021).

Kernconstructie:
Gegeven een vaste bron-predictief $p_s(y|x, D_{tr})$ en een kandidaat-gewicht $w(y)$ afgeleid van domeinkennis, definieert de auteur een getilted predictief:
$\tilde{p}_w(y|x, D_{tr}) \propto w(y) p_s(y|x, D_{tr})$
De test cumuleert de per-observatie likelihood ratio tussen het getilde predictief en het bron-predictief:
$e_i = \frac{\tilde{p}_w(y_i|x_i, D_{tr})}{p_s(y_i|x_i, D_{tr})} = \frac{w(y_i)}{Z_w(x_i)}$
waarbij $Z_w(x_i)$ de normalisatieconstante is.

Theoretische Garanties:

Conditionele E-waarde: Onder de predictieve nulhypothese $H_0^{pred}$ (waarbij uitkomsten de bron-predictief $p_s$ volgen), is de verwachting van $e_i$ gegeven de voorgaande data en de huidige input gelijk aan 1. Zo is $e_i$ een geldige conditionele e-waarde.
Martingaal-eigenschap: De lopende product $M_t = \prod_{i=1}^t e_i$ vormt een niet-negatieve martingaal (een e-proces).
Anytime-Valid Regel: Volgens de ongelijkheid van Ville controleert de stopregel $\tau^* = \inf\{t : M_t > 1/\alpha\}$ de Type I-fout op niveau $\alpha$ simultaan voor alle steekproefgroottes $t$ , zonder correctie voor optionele stopzetting.
NLPD Gap Identiteit: De log-rijkdom $\log M_t$ is gelijk aan het cumulatieve verschil in Negative Log-Predictive Density (NLPD) tussen het bron-predictief en het getilde predictief:
$\log M_t = \sum_{i=1}^t (\text{NLPD}_i(p_s) - \text{NLPD}_i(\tilde{p}_w))$
Verwerping vindt plaats wanneer het voordeel in de cumulatieve log-score van het getilde predictief de waarde $\log(1/\alpha)$ overschrijdt.

Gesloten Vorm voor Gaussische Processen:
Voor Gaussian Process (GP) bronnen met Gaussische label-shift ratio's, leiden de auteurs gesloten vorm expressies af voor de normalisatieconstante $Z_w(x)$ en de per-sample log e-waarde. Dit maakt efficiënte berekening mogelijk met enkel de GP-posterior outputs ( $\mu_s, \sigma^2_s$ ) en de shift-parameters.

Meervoudige Testen:
Voor parallel testen van $K$ stromen, adviseert het paper de e-BH procedure (Wang & Ramdas, 2022) gebruikmakend van batch e-waarden om de False Discovery Rate (FDR) te controleren, in plaats van de conservatieve Bonferroni-correcties.

3. Belangrijkste Bijdragen

NLPD-Gap Identiteit: Verbindt Kelly-optimale weddenschap met modelevaluatie, waarbij wordt aangetoond dat de cumulatieve NLPD-gap de log-rijkdom is van een geldige e-proces.
Anytime-Valid Bevestigingstest: Biedt een formele sequentiële test voor een vaste geposteerde shift die geen vooraf gespecificeerde steekproefomvang vereist en de Type I-fout onder optionele stopzetting controleert.
Gesloten Formule GP E-waarden: Leidt analytische oplossingen af voor e-waarden onder Gaussische label-shift tilts, wat praktische implementatie in GP-regressie mogelijk maakt.
Groei-snelheid Karakterisering: Bewijst dat onder de alternatieve hypothese (correcte specificatie), de test asymptotische power één heeft, met een groeisnelheid gelijk aan de gemiddelde KL-divergentie tussen het getilde en het bron-predictief.
Empirische Validatie: Demonstreert Type I-controle, eind-steekproef power, gevoeligheid voor miskalibratie en het voordeel van een betrouwbare prior boven ruizige her-schatting in kleine batches.

4. Experimentele Resultaten

De auteurs valideren de methode met end-to-end GP-regressie simulaties:

Type I Controle: Onder de predictieve nul blijft de empirische fout-alarm-rate strikt onder het nominale $\alpha$ (0.05) over alle horizonten, wat de anytime-valid garantie bevestigt.
Power vs. Fixed-Sample LRT: Hoewel fixed-sample Likelihood Ratio Tests (LRT) gekalibreerd voor specifieke steekproefgroottes bij grotere horizonten een iets hogere power vertonen, behoudt het e-proces de validiteit onder willekeurige stopregels, wat een fundamentele afruil biedt tussen power en flexibiliteit.
Small-Batch Voordeel: In scenario's met kleine target batch groottes ( $n_t=10$ ), presteert een betrouwbare prior correctie (oracle) significant beter dan adaptieve her-schatting in termen van held-out NLPD. De bevestigingstest levert formeel bewijs ter ondersteuning van het gebruik van dergelijke priors.
Miscalibratie Gevoeligheid: De test is zeer gevoelig voor de miskalibratie van het bron-predictief. Variantie-onderschatting door de bron-GP (bijv. factor $c=2$ ) veroorzaakt een scherpe inflatie van de Type I-fout (tot 36,45%), wat benadrukt dat de validiteitsgarantie afhankelijk is van het feit dat het bronmodel goed gekalibreerd is.
Misspecificatie Robuustheid: Wanneer de geposteerde shift misgespecificeerd is (verkeerde magnitude of richting), neemt de power van de test af, maar blijft de Type I-fout gecontroleerd zolang het gewicht vooraf is vastgesteld. De test verwerpt de nulhypothese niet ten onrechte door misspecificatie; hij faalt simpelweg in het verwerpen ervan.

5. Betekenis en Claims

Het paper claimt een noodzakelijk instrument te bieden voor een specifieke, vaak over het hoofd geziene setting in modelimplementatie: bevestiging in plaats van schatting.

Onderscheid van Schatting: De auteurs benadrukken dat verwerping bevestigt dat de geposteerde correctie consistent is met de data ten opzien van de bron, maar dat het de exacte mate van de verschuiving niet kwantificeert. Voor kwantitatieve schatting blijven methoden voor ongelabelde targets de juiste tool.
Praktisch Nut: De methode stelt beoefenaars in staat om domeinkennis-gebaseerde correcties (bijv. regelgevende specs) formeel te valideren terwijl data binnenkomt, waardoor de onbetrouwbaarheid van het her-schatten van shifts uit schaarse gelabelde data wordt vermeden.
Beperkingen: De auteurs stellen expliciet dat de Type I-controle garantie voorwaardelijk is aan de predictieve nul (d.w.z. het bronmodel moet goed gekalibreerd zijn). De test is niet robuust tegen willekeurige modelmisspecificatie zonder aanvullende kalibratielagen. Bovendien moet het kandidaat-gewicht vóór de teststroom worden vastgesteld; het gebruik van data uit de teststroom om het gewicht te schatten, invalideert de e-waarde eigenschap.

Samenvattend biedt het paper een rigoureus, anytime-valid framework voor het bevestigen van vooraf gespecificeerde label-shift correcties, waarmee de brug wordt geslagen tussen domeinkennis en sequentiële statistische bewijsvoering in omgevingen met schaarse data.