Technisch Overzicht: Anytime-Valid Bewijs voor Prespecificeerde Predictieve Correcties

1. Probleemstelling

Het artikel behandelt het probleem van het bevestigen van een prespecificeerde predictieve correctie in een sequentiële setting. In veel wetenschappelijke en operationele contexten (bijv. instrumentrecalibratie, assay-drift of bekende interventies) kan een prakticus een specifieke hypothese bezitten over hoe een bestaande bron-predictieve distributie, $p_0(y \mid x, D_{tr})$, moet worden aangepast om toekomstige verwachte veranderingen in uitkomsten te reflecteren. Deze aanpassing, of tilt $h(x, y)$, definieert een gecorrigeerde predictieve distributie $p_h(y \mid x, D_{tr})$.

In tegenstelling tot standaard distributieverschuivingsproblemen waarbij het doel is om een onbekende doelverdeling te schatten met behulp van overvloedige doelgegevens, richt dit werk zich op bevestiging: bepalen of de specifieke, prespecificeerde correctie $p_h$ inkomende doeluitkomsten $(X_i, Y_i)$ beter voorspelt dan de oorspronkelijke bron $p_0$. De setting gaat ervan uit dat uitkomsten sequentieel binnenkomen, potentieel onder adaptieve inputselectie, en dat de prakticus de bewijsvoering continu wil monitoren zonder vooraf een steekproefomvang vast te leggen.

2. Methodologie

2.1 De Constructie van de E-proces

De kernmethodologie construeert een anytime-valid e-proces gebaseerd op de gecorrigeerde-tot-bron predictieve likelihood-ratio.

• Tilt en Normalisatie: Een niet-negatieve tilt $h: \mathcal{X} \times \mathcal{Y} \to [0, \infty)$ is prespecificeerd. Deze wordt genormaliseerd door $Z_h(x, D_{tr}) = \int h(x, y)p_0(y \mid x, D_{tr}) dy$ om een gecorrigeerde predictieve vorm te creëren:
  $$p_h(y \mid x, D_{tr}) = \frac{h(x, y)p_0(y \mid x, D_{tr})}{Z_h(x, D_{tr})}$$
• Conditionele E-waarde: Voor elke observatie $i$ is de een-staps bewijsfactor gedefinieerd als:
  $$e_i = \frac{p_h(Y_i \mid X_i, D_{tr})}{p_0(Y_i \mid X_i, D_{tr})} = \frac{h(X_i, Y_i)}{Z_h(X_i, D_{tr})}$$
  Onder de bron-predictieve nulhypothese $H_0^{pred}: Y_i \mid X_i, \mathcal{F}_{i-1} \sim p_0(\cdot \mid X_i, D_{tr})$, is de conditionele verwachting $E[e_i \mid \mathcal{G}_i] = 1$, waarbij $\mathcal{G}_i$ deel uitmaakt van de verleden data en de huidige input $X_i$. Zo is $e_i$ een conditionele e-waarde.
• Het Rijkdomsproces (Wealth Process): Het lopende product $M_t = \prod_{i=1}^t e_i$ vormt een niet-negatieve martingale onder $H_0^{pred}$. Volgens de ongelijkheid van Ville geldt voor elke $\alpha \in (0, 1)$:
  $$\sup_{P \in \mathcal{P}_0^{pred}} P\left( \sup_{t \ge 0} M_t > \frac{1}{\alpha} \right) \le \alpha$$
  Dit garandeert dat de kans om de correctie vals te bevestigen (het overschrijden van de grens $1/\alpha$) hoogstens $\alpha$ is, ongeacht de stopregel of het mechanisme van de inputselectie (inclusief adaptieve ontwerpen).

2.2 Interpretatie van Bewijs

De logaritme van het rijkdomsproces, $\log M_t$, representeert het cumulatieve predictieve log-score voordeel van de gecorrigeerde distributie ten opzichte van de bron:
$$\log M_t = \sum_{i=1}^t \left( \log p_h(Y_i \mid X_i, D_{tr}) - \log p_0(Y_i \mid X_i, D_{tr}) \right)$$
Een overschrijding van de grens $1/\alpha$ (of $\log(1/\alpha)$ in de log-ruimte) biedt anytime-valid relatief bewijs dat $p_h$ de bron $p_0$ overtreft op de geobserveerde stroom.

2.3 Uitbreidingen en Variaties

• Refutatie (Weerlegging): Als $h(x, y) > 0$ bijna overal geldt, maakt het reciproke proces $M_t^\downarrow = 1/M_t$ anytime-valid refutatie van de gecorrigeerde predictieve ten gunste van de bron mogelijk.
• Voorspelbare Tilts: Het framework breidt zich uit naar tilts $h_i$ die voorspelbaar worden bijgewerkt op basis van eerdere observaties, waarbij het resultaat wordt geïnterpreteerd als bewijs voor een adaptieve wedstrategie in plaats van een enkele vaste correctie.
• Mengsels (Mixtures): Om onzekerheid over de magnitude of richting van de correctie te behandelen, stelt het paper voor om de rijkdompaden te mengen over een prespecificeerde familie van tilts, $\int M_t(\theta) d\Pi(\theta)$, wat de e-proces eigenschap behoudt.
• Beyond-Tolerance: De methode kan worden aangepast om te testen of een verschuiving een specifieke tolerantiegrens $\delta_{tol}$ overschrijdt door een acteerbare predictieve $p_{alarm}$ te vergelijken met $p_{tol}$ in plaats van de ongecorrigeerde bron.

3. Belangrijkste Bijdragen

1. Anytime-Valid Relatieve Bevestiging: Het paper construeert een conditioneel e-proces voor prespecificeerde predictieve correcties. De validiteit houdt stand onder optionele stopregels en willekeurige (inclusief adaptieve) inputsequenties. Het proces kwantificeert het cumulatieve log-score voordeel van de correctie ten opzichte van de bron.
2. Drift-decompositie en Groei: De auteur leidt een conditionele drift-decompositie af die aantoont dat de verwachte log-groeisnelheid het verschil is in de conditionele Kullback-Leibler (KL) divergenties:
   $$\Gamma_h(x) = D_{KL}(q(\cdot \mid x) \parallel p_0(\cdot \mid x, D_{tr})) - D_{KL}(q(\cdot \mid x) \parallel p_h(\cdot \mid x, D_{tr}))$$
   Dit verduidelijkt dat positieve bewijsaccumulatie alleen vereist dat de correctie dichterbij de werkelijke target ligt dan de bron, niet dat deze perfect gespecificeerd moet zijn.
3. Controle van Vals-Bevestiging bij Mispecificatie: Het paper identificeert een correctie-afhankelijke beschermde halfruimte van mispecificeerde target-distributies. Als de werkelijke target $q$ aan een specifieke momentvoorwaarde voldoet ($E_q[h(X, Y)] \le Z_h(X)$), blijft de oorspronkelijke grens voor vals-bevestiging geldig. Dit onderscheidt algemene nabijheid tot de bron (die geen controle garandeert) van specifieke moment-gebaseerde robuustheid.
4. Overshoot Identiteit: Er wordt een identiteit afgeleid die verklaart waarom de gerealiseerde Type I foutenrate vaak strikt onder het nominale niveau $\alpha$ ligt. De kans op overschrijding is invers gerelateerd aan de verwachte overshoot van het rijkdomsproces op het moment van overschrijding.
5. Gestructureerde Correcties: Het framework wordt geïnstantieerd voor specifieke gevallen, waaronder label-shift, gemiddelde/variantie correcties, subgroep-specifieke aanpassingen en algemene exponentiële familie tilts.

4. Resultaten uit Synthetische Experimenten

Het paper valideert de theorie met behulp van synthetische experimenten met een oracle Gaussische bron-predictieve:

• Validiteit: Onder de bron-nul werden de empirische vals-bevestigingspercentages consequent lager dan de nominale $\alpha = 0.05$ (bijv. 0.034), wat consistent is met de overshoot-identiteit.
• Groeisnelheden: Correct gespecificeerde correcties (gemiddelde en variantie verschuivingen) cumuleerden bewijs met snelheden die overeenkwamen met de theoretische drift-voorspellingen. Underspecificeerde correcties cumuleerden nog steeds bewijs (positieve drift) maar met lagere snelheden, terwijl overgespecificeerde correcties kunnen leiden tot negatieve drift of verminderde kracht.
• Robuustheid en Foutmodi:
  • Cross-Family Drift: Een variantie-correctieproces kon worden gedreven door een pure gemiddelde-verschuiving (als de gemiddelde-verschuiving het tweede moment voldoende vergrootte), wat leidde tot valse bevestiging van een variantie-verandering. Omgekeerd kon een gemiddelde-correctieproces worden gedreven door zware staarten of variantie-inflatie. Dit demonstreert dat een overschrijding de relatieve predictieve prestatie van de correctie ondersteunt, maar de onderliggende fysieke mechaniek niet uniek identificeert.
  • Falen van de Momentvoorwaarde: Wanneer de target-distributie de momentvoorwaarde schond (bijv. heavy-tailed targets waar de verwachting van de tilt oneindig is), kon de vals-bevestigingsgrens worden overschreden, zelfs als de langetermijn-drift negatief was. Dit benadrukt dat negatieve drift alleen niet garandeert dat er tijd-uniforme bescherming is.
• Adaptiviteit: Adaptieve inputselectie (bijv. het selecteren van inputs met een hoge KL-separatie) versnelde de bewijsaccumulatie zonder de validiteit van de bron-nul garantie in gevaar te brengen.
• Mengsels en Beyond-Tolerance: Mengsels over correctie-magnitudes boden robuustheid tegen onzekerheid, en beyond-tolerance tests controleerden succesvol over foutieve alarmen over een samengestelde regio van acceptabele verschuivingen.

5. Betekenis en Claims

Het paper claimt een finite-sample, anytime-valid framework te bieden voor het evalueren van prespecificeerde predictieve correcties zonder de volledige target-distributie te hoeven schatten.

• Relatief vs. Absoluut: De auteur benadrukt dat de methode relatieve bevestiging biedt. Een grensoverschrijding geeft aan dat de voorgestelde correctie beter is dan de bron-predictieve voor de geobserveerde data, maar het bewijst niet dat de correctie de ware target-distributie is of identificeert het specifieke mechanisme van de verschuiving.
• Operationele Bruikbaarheid: Het framework is ontworpen voor settings waar een plausibele correctie beschikbaar is voordat de monitoring begint (bijv. door engineering-analyse of beleidswijzigingen), wat sequentiële monitoring mogelijk maakt met strikte foutcontrole.
• Beperkingen: De garanties zijn afhankelijk van de gefitte bron-predictieve $p_0$. Het paper beweert niet bron-model-mispecificatie of onzekerheid voortvloeiend uit het model-fitting stadium zelf te behandelen. Bovendien is de reciproke refutatie-grens alleen gekalibreerd onder de gecorrigeerde predictieve nul, niet onder een brede klasse van mispecificaties.
• Onderscheid van Schatting: Het werk onderscheidt zich expliciet van distributieverschuivings-schatting of adaptatie methoden. Het leert geen onbeperkte target; het test een specifieke hypothese over hoe de bron moet worden aangepast.

Samenvattend biedt het paper een rigoureus statistisch instrument voor het "wedden" op een specifieke predictieve correctie tegenover een bronmodel, waarbij wordt gegarandeerd dat het risico op valse alarmen op elk moment van een sequentieel monitoringsproces onder controle is, terwijl de interpretatieve grenzen met betrekking tot de identificatie van het onderliggende verschuivingsmechanisme worden verduidelijkt.