📊 statistics

Bet on Features: Anytime-Valid and Feature-Aware Auditing of Conditional Quantile Forecasters

Dit artikel introduceert een distributievrij, speltheoretisch kader voor het continu auditeren van black-box conditionele kwantielvoorspellers dat rekening houdt met kenmerkafhankelijke informatiesets, wat interpreteerbare, op elk moment geldige detectie van miskalibratie mogelijk maakt zonder te vertrouwen op i.i.d.-aannames.

Oorspronkelijke auteurs: Ivane Antonov, Sohom Mukherjee, Richard Pibernik, Yo Joong Choe

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ivane Antonov, Sohom Mukherjee, Richard Pibernik, Yo Joong Choe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een scheidsrechter bent die een goocheltruc ziet van een mysterieuze "Black Box"-orakel. Deze orakel voorspelt de toekomst, en zegt specifiek tegen je: "Er is een kans van 90% dat het volgende getal onder deze lijn ligt." In de echte wereld gebruiken bedrijven dit soort voorspellingen om te beslissen hoeveel voorraad ze in de schappen moeten houden of hoeveel geld ze opzij moeten zetten voor risico's.

Decennialang hebben scheidsrechters deze voorspellingen gecontroleerd met een eenvoudige regel: "Bleven de getallen ongeveer 90% van de tijd onder de lijn?" Als het antwoord ja was, kreeg de orakel een voldoende. Maar dit is het probleem: de oude regel is als het controleren van een weersvoorspelling door alleen naar de gemiddelde temperatuur van een heel jaar te kijken. Het kan gemiddeld perfect lijken, maar het kan elke dinsdag in juli volkomen fout zijn. Als de orakel consequent fout zit op specifieke dagen, zal een bedrijf dat erop vertrouwt geld verliezen, zelfs als het "gemiddelde" er goed uitziet.

Het Nieuwe Spel: Wedden op de Details

De auteurs van dit artikel, Ivane Antonot en zijn team, stellen een nieuwe manier voor om deze voorspellingen te beoordelen. In plaats van alleen het totaal aantal 'hits' te tellen, veranderen ze de audit in een voortdurend wedspel.

Stel je voor dat de auditor een gokker is die elke dag een weddenschap kan plaatsen.

De orakel doet een voorspelling.
Het echte getal arriveert.
De auditor wedt op of de orakel gelijk heeft of niet, maar met een addertje onder het gras: de auditor mag alleen informatie gebruiken die zichtbaar is voordat de weddenschap wordt geplaatst.

Als de orakel echt eerlijk is (gekalibreerd), zal de auditor, ongeacht hoe hij wedt, nooit een fortuin maken. Zijn vermogen zal vlak blijven, als een munt die even vaak op kop als op munt landt. Maar als de orakel stiekem aan het bedriegen is — bijvoorbeeld door altijd de plank mis te slaan op zaterdagen of tijdens promotieacties — kan de slimme auditor dit patroon opmerken. Door specifiek op die dagen te wedden, zal het vermogen van de auditor gaan groeien.

De "Feature-Aware" Twist

De grootste ontdekking van het artikel is dat wat je weet, bepaalt wat je kunt bewijzen.

Denk aan de kennis van de auditor als een bril:

De "Marginal" Bril (Wazig): Deze bril laat alleen de totale score zien. Als je deze draagt, zie je misschien niet dat de orakel slecht is in het voorspellen van verkopen op zaterdagen. De auditor blijft veilig (hij zal een eerlijke orakel niet onterecht beschuldigen), maar hij is blind voor de fraude.
De "Feature-Aware" Bril (Helder): Deze bril laat de auditor specifieke details zien, zoals "Is het zaterdag?" of "Is er een promotie bezig?". Wanneer de auditor deze bril draagt, kan hij zien dat de orakel specifiek op zaterdagen faalt.

De auteurs laten zien dat als je alleen de wazige bril gebruikt, je zou kunnen denken dat de orakel perfect is, terwijl hij in de echte wereld rampzalig presteert. Maar als je de heldere bril gebruikt en wedt op de specifieke kenmerken (zoals "zaterdag"), wordt de fraude overduidelijk.

Wat Ze Vonden (en Wat Ze Niet Vonden)

Het team heeft dit idee op twee manieren getest:

In een Simulatie: Ze creëerden een fictieve wereld waarin ze wisten of de orakel perfect of stiekem bevooroordeeld was. Ze vonden dat hun "feature-aware" wedstrategie de bias snel kon detecten, terwijl de oude "wazige" methode het volledig miste. In deze simulaties identificeerde de nieuwe methode de fraude in het overgrote deel van de gevallen wanneer de bias aanwezig was, en riep zelden "fout" wanneer de orakel eigenlijk eerlijk was.
In de Echte Wereld: Ze namen een populair, geavanceerd AI-model genaamd Chronos-2 en testten dit tegen echte winkelverkoopgegevens (van een dataset genaamd Rossmann) en synthetische gegevens. Het resultaat? Het AI-model slaagde voor de oude, wazige tests. Maar toen de auteurs hun "feature-aware" brillen opzetten en wedden op zaken als promoties en zaterdagen, groeide het vermogen van de AI snel, waarbij het de drempel overging om te bewijzen dat het niet goed gekalibreerd was. De AI zat er specifiek op die dagen consequent naast, ook al zag het er gemiddeld goed uit.

Wat Ze Uitsluiten

Het artikel voert expliciet argumenten aan tegen het idee dat je alleen de "gemiddelde" prestaties kunt controleren om zeker te weten of een voorspelling goed is. Ze laten zien dat een voorspelling er gemiddeld perfect uit kan zien, terwijl hij in specifieke contexten gevaarlijk fout is. Ze sluiten ook de noodzaak uit dat de data "onafhankelijk en identiek verdeeld" (i.i.d.) moet zijn, een veelvoorkomende aanname in oudere statistiek. Hun methode werkt zelfs wanneer de data rommelig is, verandert in de loop van de tijd, of afhankelijk is van wat er gisteren is gebeurd.

Hoe Zeker Zijn Ze?

De auteurs zijn zeer zelfverzekerd over hun wiskunde. Ze hebben bewezen dat als een voorspeller bedriegt op een manier die zichtbaar is via de kenmerken die de auditor kan zien, het vermogen van de auditor zal groeien, en dat hij de bedrieger uiteindelijk zal betrappen. Dit is geen gok; het is een wiskundige garantie.

Ze merken echter voorzichtig op dat hun methode alleen werkt als de auditor de juiste "bril" heeft. Als de auditor geen toegang heeft tot het specifieke kenmerk dat de fraude onthult (zoals niet weten dat het zaterdag is), kan hij het misschien nog steeds missen. De methode is krachtig, maar is slechts zo goed als de informatie die de auditor mag gebruiken.

Kortom, het artikel suggereert dat je om een black-box voorspeller echt te kunnen vertrouwen, niet alleen naar het grote plaatje kunt kijken. Je moet op de details wedden, en je moet weten welke details er toe doen. Als je dat doet, kun je de bedriegers vangen die de oude methoden erdoorheen laten glippen.

Technische Samenvatting: Wedden op Kenmerken

Probleemstelling
Black-box conditionele kwantielvoorspellers worden steeds vaker ingezet voor sequentiële besluitvorming onder asymmetrische kosten, zoals voorraadplanning en risicobeheer. Eenmaal uitgerold, worden deze modellen echter geconfronteerd met twee kritieke uitdagingen: (1) datastromen kunnen driften of van regime veranderen, waardoor standaard backtests met een vaste horizon ongeldig worden door optionele stopzetting; en (2) bestaande kalibratietests houden vaak geen rekening met de informatie-asymmetrie tussen de voorspeller en de auditor. Een voorspeller kan beschikken over rijke interne context (bijv. promoties, specifieke winkelidentificatoren), terwijl een externe auditor mogelijk slechts een grover beeld waarneemt (bijv. geaggregeerde verkopen). Bijgevolg kan een voorspelling gekalibreerd lijken voor een marginale auditor, terwijl deze systematisch misgekalibreerd is ten opzichte van specifieke, observeerbare kenmerken. Huidige kaders voldoen over het algemeen aan óf de vereiste van anytime-validiteit (veilig onder continue monitoring), óf aan de vereiste van conditionele sensitiviteit, maar zelden aan beide, en ze missen vaak een mechanisme om de kalibratie-nul expliciet te indexeren aan de beschikbare informatie van de auditor.

Methodologie
De auteurs stellen een distributievrij, speltheoretisch kader voor het auditen van conditionele kwantielvoorspellers voor op basis van "testen door wedden".

Informatie-geïndexeerde Kalibratie-nullen: Het artikel formaliseert de conditionele kwantielkalibratie relatief aan een specifieke monitorings-informatiestructuur $\mathcal{H}$ . Laat $Z_t = \mathbb{1}\{Y_t \le \hat{q}_t\} - \alpha$ de gecentreerde hit zijn. De nulhypothese $P_0(\mathcal{H})$ wordt gedefinieerd als de verzameling wetmatigheden waar $\mathbb{E}_P[Z_t | \mathcal{H}_{t-1}] = 0$ bijna zeker geldt. De auteurs stellen een hiërarchie van nullen vast: marginale kalibratie ( $\mathcal{H}^{marg}$ ) is de zwakste, gevolgd door single-feature kalibratie ( $\mathcal{H}^w$ ), en volledige feature-kalibratie ( $\mathcal{H}^\phi$ ). Cruciaal is dat $P_0(\mathcal{H}^\phi) \subseteq P_0(\mathcal{H}^w) \subseteq P_0(\mathcal{H}^{marg})$ . Dit impliceert dat een test die geldig is voor een grovere nul (bijv. marginaal) ook geldig blijft voor rijkere nullen, maar een grovere test kan een gebrek aan vermogen (power) hebben om schendingen te detecteren die alleen zichtbaar zijn in rijkere informatiesets.
Anytime-Valid E-Processen: De auditor fungeert als een "scepticus" in een sequentieel wedspel. Op elk tijdstip $t$ kiest de scepticus een weddenschapsmultiplier $\lambda_t$ op basis van hun informatie $\mathcal{H}_{t-1}$ uit een no-bankruptcy interval $\Lambda_\alpha = [-1/(1-\alpha), 1/\alpha]$ . Het vermogensproces $M_t = \prod (1 + \lambda_i Z_i)$ vormt een test-supermartingaal (en dus een e-proces) onder de nul. Door de ongelijkheid van Ville biedt dit proces anytime-valid bewijs: als $M_t$ groter is dan $1/\gamma$ , wordt de nul verworpen met een Type-I foutkans van maximaal $\gamma$ , ongeacht wanneer de test wordt gestopt.
Contextuele Weddenschappen met Kenmerken: Om vermogen te verkrijgen tegen feature-specifieke miskalibratie, introduceren de auteurs contextuele weddenschappen. De scepticus maakt gebruik van een voorspelbare feature-dictionary $\phi_t$ (bijv. kalenderindicatoren, vertraagde fouten) en gebruikt een online convex optimization (OCO) leerling om de weddenschapsgewichten $\theta_t$ aan te passen. De weddenschap wordt gedefinieerd als $\lambda_t(\theta) = \langle \theta, \phi_t \rangle$ . De leerling minimaliseert de regret tegen een vaste comparator $\theta^*$ , gedefinieerd via de loss $g_t(\theta) = -\log(1 + \langle \theta, \phi_t \rangle Z_t)$ .
Regret-naar-Power Garanties: Het artikel leidt garanties voor detectie in eindige tijd af. Als de alternatieve wet $Q$ een "voorspelbare rand" vertoont (dat wil zeggen, de conditionele miskalibratie komt overeen met een lineaire feature-richting zodanig dat de kwadratische rand $b^Q_t(\theta^*) \ge \kappa$ ), groeit het vermogen van de contextuele scepticus exponentieel. Specifiek, als de OCO-leerling een pathwise regret-grens $r_T$ bereikt, is de stoppertijd $\tau_\gamma$ met waarschijnlijkheid 1 eindig onder de alternatieve hypothese, en is de verwachte stoppertijd begrensd door een functie van de regret en de sterkte van de rand.

Kernbijdragen

Informatie-geïndexeerde Anytime-Valid Audits: Het artikel formuleert continue auditing als een sequentieel spel geïndexeerd door de monitoring-informatie van de auditor. Het bewijst dat voorspelbare no-bankruptcy weddenschappen valide e-processen genereren voor elke monitoringstructuur zonder de aanname van i.i.d. data, stationariteit of parametrische modellen.
Hiërarchie van Validiteit en Vermogen: Het stelt vast dat validiteit overgaat van grovere naar rijkere nullen, maar vermogen (power) niet. Een marginale audit kan perfect valide zijn, maar blind voor feature-specifieke schendingen.
Feature-Aware Contextuele Weddenschappen: De auteurs ontwikkelen een methode waarbij een online leerling lineaire weddenschappen over een feature-dictionary aanpast. Ze bewijzen dat onder persistente, feature-gealigneerde voorspelbare randen, elk OCO-algoritme met sublineaire regret eindige-tijd detectiegaranties oplevert.
Empirische Validatie van Miskalibratie: Het kader wordt gevalideerd op synthetische data en echte winkelverkopen (Rossmann dataset) met de Chronos-2 voorspeller.

Resultaten

Validiteit: Op een gekalibreerde Negative-Binomial oracle, komen de empirische verwerping-ratio's van de weddenschap-audits over verschillende kwantielniveaus en scepticus-configuraties (marginaal, single-feature, full-feature) overeen met het nominale 5% Ville-niveau, wat de controle van de Type-I fout bevestigt.
Power Gap: In experimenten met een gecontroleerd Markov hit-proces faalden marginale sceptici om schendingen te detecteren (gecensureerd bij de horizon), terwijl sceptici die bewust waren van de vorige hit ( $Z_{t-1}$ ) snel verwierpen, wat de power gap demonstreert die door de theorie wordt voorspeld.
Real-World Bevindingen: Bij toepassing op Chronos-2 voorspellingen op Rossmann winkelverkoopdata en synthetische Negative-Binomial series, detecteerden feature-bewuste sceptici significante conditionele miskalibratie die marginale audits misten. Specifiek toonden de audits aan dat voorspellingen systematisch misgekalibreerd waren ten opzichte van de promotiestatus, zaterdag-indicatoren en log-prijs. De marginale audit-vermogens bleven vlak, terwijl de feature-aware vermogens de verwerping-drempels overschreden.

Betekenis en Claims
Het artikel claimt het eerste kader te bieden dat tegelijkertijd voldoet aan anytime-validiteit en feature-awareness voor black-box conditionele kwantielvoorspellers. Door de informatie-set van de auditor expliciet te modelleren, scheidt het kader de concepten van validiteit (veiligheid) en vermogen (detecteerbaarheid). De auteurs stellen dat dit essentieel is in operationele omgevingen waar auditors beperkt zicht hebben vergeleken met voorspellers. De empirische resultaten suggereren dat populaire foundation modellen zoals Chronos-2, hoewel ze potentieel goed gekalibreerd zijn op gemiddeld niveau, systematische, voorspelbare fouten vertonen geconditioneerd op specifieke zakelijke kenmerken (zoals promoties), die standaard marginale backtests niet detecteren. Het werk overbrugt game-theoretische statistiek, online leren en voorspellingsevaluatie, en biedt een instrument voor continue, interpreteerbare monitoring van probabilistische voorspellingen in niet-stationaire omgevingen.

Meer zoals dit