📊 statistics

Bet on Features: Anytime-Valid and Feature-Aware Auditing of Conditional Quantile Forecasters

Dieses Paper führt ein distributionsfreies, spieltheoretisches Framework zur kontinuierlichen Auditierung von Black-Box-Quantilsforekastern ein, das merkmalsabhängige Informationsmengen berücksichtigt und eine interpretierbare, jederzeit gültige Detektion von Fehlkalibrierung ermöglicht, ohne auf i.i.d.-Annahmen angewiesen zu sein.

Ursprüngliche Autoren: Ivane Antonov, Sohom Mukherjee, Richard Pibernik, Yo Joong Choe

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ivane Antonov, Sohom Mukherjee, Richard Pibernik, Yo Joong Choe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Schiedsrichter, der einen Zaubertrick eines mysteriösen „Black Box“-Orakels beobachtet. Dieses Orakel sagt die Zukunft voraus, indem es zum Beispiel sagt: „Es besteht eine 90-prozentige Wahrscheinlichkeit, dass die nächste Zahl unter dieser Linie liegen wird.“ In der realen Welt nutzen Unternehmen solche Vorhersagen, um zu entscheiden, wie viel Lagerbestand sie vorhalten oder wie viel Geld sie für Risiken zurücklegen sollten.

Jahrzehntelang haben Schiedsrichter diese Vorhersagen mit einer einfachen Regel überprüft: „Blieben die Zahlen etwa 90 % der Zeit unter der Linie?“ Wenn die Antwort ja lautete, erhielt das Orakel eine Bestehenswertung. Aber dieses Problem ist folgendes: Diese alte Regel ist wie der Versuch, eine Wettervorhersage zu überprüfen, indem man nur die Durchschnittstemperatur eines ganzen Jahres betrachtet. Es mag im Durchschnitt perfekt aussehen, aber an jedem einzelnen Dienstag im Juli könnte es völlig falsch liegen. Wenn das Orakel an spezifischen Tagen konsequent falsch liegt, wird ein Unternehmen, das sich auf dieses verlassen, Geld verlieren, selbst wenn der „Durchschnitt“ gut aussieht.

Das neue Spiel: Wetten auf die Details

Die Autoren dieser Arbeit, Ivane Antonov und sein Team, schlagen eine neue Art vor, diese Vorhersagen zu bewerten. Anstatt nur die Gesamtzahl der Treffer zu zählen, verwandeln sie das Audit in ein kontinuierliches Wettspiel.

Stellen Sie sich den Prüfer als einen Glücksspieler vor, der jeden Tag eine Wette platzieren darf.

Das Orakel macht eine Vorhersage.
Die reale Zahl trifft ein.
Der Prüfer wettet darauf, ob das Orakel recht hatte oder nicht, aber mit einem Haken: Der Prüfer darf nur Informationen verwenden, die er vor der Platzierung der Wette sehen kann.

Wenn das Orakel wirklich fair (kalibriert) ist, wird der Prüfer, egal wie er wettet, niemals ein Vermögen machen. Sein Wohlstand wird flach bleiben, wie eine Münze, die gleich oft Kopf oder Zahl zeigt. Aber wenn das Orakel heimlich schummelt – zum Beispiel, indem es samstags oder während Verkaufsaktionen immer danebenliegt – kann der kluge Prüfer dieses Muster erkennen. Indem der Prüfer gezielt an diesen Tagen wettet, wird sein Vermögen wachsen.

Der „Feature-Aware“-Twist

Die wichtigste Entdeckung des Papers ist: Was man weiß, verändert das, was man beweisen kann.

Stellen Sie sich das Wissen des Prüfers wie eine Brille vor.

Die „Marginal“-Brille (unscharf): Diese Brille zeigt nur die Gesamtpunktzahl. Wenn Sie diese tragen, übersehen Sie vielleicht die Tatsache, dass das Okwakel an Samstagen schlecht darin ist, den Umsatz vorherzusagen. Mit dieser Brille bleibt der Prüfer sicher (er wird kein faires Orakel fälschlicherweise beschuldigen), aber er ist blind für den Betrug.
Die „Feature-Aware“-Brille (klar): Diese Brille lässt den Prüfer spezifische Details sehen, wie zum Beispiel: „Ist heute Samstag?“ oder „Findet gerade eine Werbeaktion statt?“. Wenn der Prüfer diese Brille trägt, kann er erkennen, dass das Orakel speziell an Samstagen versagt.

Die Autoren zeigen, dass man mit der unscharfen Brille denken könnte, das Orakel sei perfekt, obwohl es in der realen Welt kläglich versagt. Aber wenn man die klare Brille aufsetzt und auf die spezifischen Merkmale (Features) wettet (wie „Samstag“), wird der Betrug offensichtlich.

Was sie fanden (und was sie nicht fanden)

Das Team testete diese Idee auf zwei Arten:

In einer Simulation: Sie erschufen eine künstliche Welt, in der sie wussten, ob das Orakel entweder perfekt oder heimlich voreingenommen war. Sie fanden heraus, dass ihre „feature-aware“ Wettstrategie die Voreingenommenheit schnell erkennen konnte, während die alte „blurry“ Methode sie völlig übersah. In diesen Simulationen identifizierte die neue Methode den Betrug in den allermeisten Fällen, wenn die Voreingenommenheit vorhanden war, und erhob selten „Einspruch“, wenn das Orakel tatsächlich fair war.
In der realen Welt: Sie nahmen ein populäres, hochmodernes KI-Modell namens Chronos-2 und testeten es gegen reale Verkaufsdaten aus Geschäften (einen Datensatz namens Rossmann) sowie gegen synthetische Daten. Das Ergebnis? Das KI-Modell bestand die alten, unscharfen Tests. Aber als die Autoren die „feature-aware“-Brillen aufsetzten und auf Dinge wie Werbeaktionen und Samstage wetteten, wuchs das Vermögen der KI rasant an und überschritt den Schwellenwert, um zu beweisen, dass sie nicht kalibriert war. Die KI lag an diesen spezifischen Tagen konsequent falsch, obwohl sie im Durchschnitt gut aussah.

Was sie ausschließen

Das Paper argumentiert explizit dagegen, dass man nur die „Durchschnittsleistung“ prüfen kann, um sicher zu sein, dass eine Vorhersage gut ist. Sie zeigen, dass eine Vorhersage im Durchschnitt perfekt aussehen kann, während sie in bestimmten Kontexten gefährlich falsch liegt. Sie schließen auch die Notwendigkeit aus, dass die Daten „unabhängig und identisch verteilt“ (i.i.d.) sein müssen, eine gängige Annahme in der älteren Statistik. Ihre Methode funktioniert selbst dann, wenn die Daten unordentlich sind, sich über die Zeit verändern oder davon abhängen, was gestern passiert ist.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in ihre Mathematik. Sie haben bewiesen, dass, wenn ein Vorhersager auf eine Weise schummelt, die durch die Merkmale sichtbar ist, die der Prüfer sehen kann, das Vermögen des Prüfers wachsen wird und er den Betrug schließlich entlarven wird. Das ist nicht nur eine Vermutung; es ist eine mathematische Garantie.

Sie weisen jedoch vorsichtig darauf hin, dass ihre Methode nur funktioniert, wenn der Prüfer über die richtige „Brille“ verfügt. Wenn der Prüfer keinen Zugriff auf das spezifische Merkmal hat, das den Betrug offenbart (wie zum Beispiel nicht zu wissen, dass es ein Samstag ist), könnte er es immer noch übersehen. Die Methode ist mächtig, aber sie ist nur so gut wie die Informationen, die dem Prüfer zur Verfügung stehen.

Kurz gesagt: Das Paper legt nahe, dass man, um einem Black-Box-Vorhersager wirklich zu vertrauen, nicht nur auf das große Ganze schauen darf. Man muss auf die Details wetten, und man muss wissen, welche Details wichtig sind. Wenn man dies tut, kann man die Betrüger entlarven, die die alten Methoden durchkommen lassen.

Technische Zusammenfassung: Wetten auf Merkmale (Bet on Features)

Problemstellung
Black-Box-Quantil-Vorhersagemodelle werden zunehmend für sequentielle Entscheidungsfindung unter asymmetrischen Kosten eingesetzt, wie etwa in der Bestandsplanung oder im Risikomanagement. Einmal implementiert, stehen diese Modelle jedoch vor zwei kritischen Herausforderungen: (1) Datenströme können driften oder Regimewechsel durchlaufen, was Standard-Backtests mit festem Zeithorizont aufgrund des optionalen Stoppens ungültig macht; und (2) bestehende Kalibrierungstests berücksichtigen oft nicht die Informationsasymmetrie zwischen dem Vorhersagemodell und dem Auditor. Ein Vorhersagemodell kann über einen reichen internen Kontext verfügen (z. B. Werbeaktionen, spezifische Filial-IDs), während ein externer Auditor möglicherweise nur eine gröbere Sichtweise hat (z. B. aggregierte Verkäufe). Folglich kann eine Vorhersage gegenüber einem marginalen Auditor kalibriert erscheinen, während sie in Bezug auf spezifische, beobachtbare Merkmale systematisch falsch kalibriert ist. Aktuelle Frameworks erfüllen meist entweder die Anforderung der Zeit-Validität (anytime-validity; sicher unter kontinuierlicher Überwachung) oder die Anforderung der bedingten Sensitivität, aber selten beides, und ihnen fehlt oft ein Mechanismus, um die Kalibrierungsnullhypothese explizit anhand der verfügbaren Informationen des Auditors zu indizieren.

Methodik
Die Autoren schlagen ein distributionsfreies, spieltheoretisches Framework zur Prüfung von bedingten Quantil-Vorhersagen basierend auf „Testen durch Wetten“ vor.

Informations-indizierte Kalibrierungs-Nullhypothesen: Das Paper formalisiert die bedingte Quantil-Kalibrierung relativ einer spezifischen Monitoring-Informationsstruktur $\mathcal{H}$ . Sei $Z_t = \mathbb{1}\{Y_t \le \hat{q}_t\} - \alpha$ der zentrierte Hit. Die Nullhypothese $P_0(\mathcal{H})$ wird als die Menge der Gesetze definiert, bei denen $\mathbb{E}_P[Z_t | \mathcal{H}_{t-1}] = 0$ fast sicher gilt. Die Autoren etablieren eine Hierarchie von Nullhypothesen: die marginale Kalibrierung ( $\mathcal{H}^{marg}$ ) ist die schwächste, gefolgt von der Einzelmerkmal-Kalibrierung ( $\mathcal{H}^w$ ) und der Vollmerkmal-Kalibrierung ( $\mathcal{H}^\phi$ ). Entscheidend ist: $P_0(\mathcal{H}^\phi) \subseteq P_0(\mathcal{H}^w) \subseteq P_0(\mathcal{H}^{marg})$ . Dies impliziert, dass ein Test, der für eine gröbere Nullhypothese (z. B. marginal) gültig ist, auch für reichere Nullhypothesen gültig bleibt, aber ein gröberer Test möglicherweise nicht die nötige Power besitzt, um Verletzungen zu erkennen, die nur in reicheren Informationssätzen sichtbar sind.
Zeit-valide E-Prozesse: Der Auditor agiert als „Skeptiker“ in einem sequentiellen Wettspiel. Zum Zeitpunkt $t$ wählt der Skeptiker einen Wett-Multiplikator $\lambda_t$ basierend auf seiner Information $\mathcal{H}_{t-1}$ aus einem Nicht-Bankrott-Intervall $\Lambda_\alpha = [-1/(1-\alpha), 1/\alpha]$ . Der Vermögensprozess $M_t = \prod (1 + \lambda_i Z_i)$ bildet einen Test-Supermartingal (und somit einen e-Prozess) unter der Nullhypothese. Durch Ville's Ungleichung liefert dieser Prozess zeit-valide Evidenz: Wenn $M_t$ den Wert $1/\gamma$ überschreitet, wird die Nullhypothese mit einer Typ-I-Fehlerrate von höchstens $\gamma$ abgelehnt, unabhängig davon, wann der Test gestoppt wird.
Kontextbezogenes, merkmalsbewusstes Wetten: Um Power gegen merkmals-spezifische Fehlkalibrierung zu erreichen, führen die Autoren kontextbezogenes Wetten ein. Der Skeptiker nutzt ein prädiktibles Merkmal-Dictionary $\phi_t$ (z. B. Kalenderindikatoren, verzögerte Fehler) und setzt einen Online-Convex-Optimization (OCO)-Lerner ein, um die Wettgewichte $\theta_t$ anzupassen. Der Einsatz ist definiert als $\lambda_t(\theta) = \langle \theta, \phi_t \rangle$ . Der Lerner minimiert den Regret gegenüber einem festen Komparator $\theta^*$ mittels der Verlustfunktion $g_t(\theta) = -\log(1 + \langle \theta, \phi_t \rangle Z_t)$ .
Regret-zu-Power-Garantien: Das Paper leitet Endlichkeit-Detektionsgarantien ab. Falls das alternative Gesetz $Q$ einen „vorhersehbaren Vorteil“ aufweist (d. h. die bedingte Fehlkalibrierung korreliert mit einer linearen Merkmal-Richtung, sodass der quadratische Vorteil $b^Q_t(\theta^*) \ge \kappa$ gilt), wächst das Vermögen des kontextbezogenen Skeptikers exponentiell. Speziell, wenn der OCO-Lerner einen pfadweisen Regret-Bound $r_T$ erreicht, ist die Stoppzeit $\tau_\gamma$ unter der Alternativen mit Wahrscheinlichkeit 1 endlich, und die erwartete Stoppzeit ist durch eine Funktion des Regrets und der Stärke des Vorteils beschränkt.

Wesentliche Beiträge

Informations-indizierte zeit-valide Audits: Das Paper formuliert die kontinuierliche Prüfung als sequentielles Spiel, das durch die Monitoring-Information des Auditors indiziert ist. Es beweist, dass prädiktible Nicht-Bankrott-Wetten für jede Monitoring-Struktur valide e-Prozesse generieren, ohne i.i.d.-Daten, Stationarität oder parametrische Modelle vorauszusetzen.
Hierarchie von Validität und Power: Es etabliert, dass sich Validität von gröberen zu reicheren Nullhypothesen überträgt, die Power jedoch nicht. Ein marginaler Audit kann perfekt valide sein, aber blind für merkmals-spezifische Verletzungen.
Merkmalsbewusstes kontextbezogenes Wetten: Die Autoren entwickeln eine Methode, bei der ein Online-Lerner lineare Einsätze über ein Merkmal-Dictionary anpasst. Sie beweisen, dass unter persistenten, merkmal-ausgerichteten vorhersehbaren Vorteilen jeder OCO-Algorithmus mit sublinearem Regret endliche Detektionsgarantien liefert.
Empirische Validierung der Fehlkalibrierung: Das Framework wird anhand synthetischer Daten und realer Ladenverkäufe (Rossmann-Datensatz) unter Verwendung des Chronos-2 Vorhersagemodells validiert.

Ergebnisse

Validität: Bei einem kalibrierten Negative-Binomial-Oracle liegen die empirischen Ablehnungsraten der Wett-Audits über verschiedene Quantilstufen und Skeptiker-Konfigurationen hinweg (marginal, Einzelmerkmal, Vollmerkmal) im Bereich des nominalen 5%-Ville-Niveaus, was die Kontrolle der Typ-I-Fehler bestätigt.
Power-Gap: In Experimenten mit einem kontrollierten Markov-Hit-Prozess scheiterten marginale Skeptiker daran, Verletzungen zu erkennen (zensiert am Horizont), während Skeptiker, die über den vorherigen Hit ( $Z_{t-1}$ ) informiert waren, schnell ablehnten, was die theoretisch vorhergesagte Power-Lücke demonstriert.
Reale Erkenntnisse: Bei der Anwendung auf Chronos-2-Vorhersagen auf Rossmann-Verkaufsdaten und synthetischen Negative-Binomial-Serien detektierten merkmalsbewusste Skeptiker signifikante bedingte Fehlkalibrierungen, die marginale Audits übersehen hatten. Konkret zeigten die Audits, dass die Vorhersagen in Bezug auf den Werbestatus, Samstags-Indikatoren und den Log-Preis systematisch fehlkalibriert waren. Während das Vermögen des marginalen Audits flach blieb, überschritt das Vermögen des merkmalsbewussten Audits die Ablehnungsschwellen.

Bedeutung und Ansprüche
Das Paper beansprucht, das erste Framework bereitzustellen, das gleichzeitig Zeit-Validität (anytime-validity) und Merkmalsbewusstsein (feature-awareness) für Black-Box-Quantil-Vorhersagen erfüllt. Durch die explizite Modellierung des Informationssatzes des Auditors trennt das Framework die Konzepte von Validität (Sicherheit) und Power (Detektierbarkeit). Die Autoren argumentieren, dass dies in operativen Umgebungen essenziell ist, in denen Auditoren eine geringere Sichtweise haben als die Vorhersagemodelle selbst. Die empirischen Ergebnisse legen nahe, dass populäre Foundation-Modelle wie Chronos-2 zwar im Durchschnitt gut kalibriert sein können, aber systematische, vorhersehbare Fehler in Abhängigkeit von spezifischen Geschäftsmerkmalen (wie Werbeaktionen) aufweisen, welche Standard-Marginal-Backtests nicht entdecken können. Die Arbeit verbindet spieltheoretische Statistik, Online-Learning und Vorhersagebewertung und bietet ein Werkzeug für das kontinuierliche, interpretierbare Monitoring von probabilistischen Vorhersagen in nicht-stationären Umgebungen.

Technische Zusammenfassung: Wetten auf Merkmale (Bet on Features)

Mehr davon