📊 statistics

Bet on Features: Anytime-Valid and Feature-Aware Auditing of Conditional Quantile Forecasters

Cet article introduit un cadre de théorie des jeux, indépendant de la distribution, pour l'audit continu de prévoyeurs de quantiles conditionnels de type boîte noire qui tient compte des ensembles d'informations dépendants des caractéristiques, permettant une détection interprétable et valide à tout instant de la décalibrage sans s'appuyer sur des hypothèses i.i.d.

Auteurs originaux : Ivane Antonov, Sohom Mukherjee, Richard Pibernik, Yo Joong Choe

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ivane Antonov, Sohom Mukherjee, Richard Pibernik, Yo Joong Choe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un arbitre observant un tour de magie réalisé par un oracle mystérieux nommé « Black Box ». Cet oracle prédit l'avenir, en vous disant spécifiquement : « Il y a 90 % de chances que le prochain nombre soit en dessous de cette ligne. » Dans le monde réel, les entreprises utilisent ce genre de prédictions pour décider de la quantité de stock à garder en rayon ou de l'argent à mettre de côté pour les risques.

Pendant des décennies, les arbitres ont vérifié ces prédictions en utilisant une règle simple : « Les nombres sont-ils restés sous la ligne environ 90 % du temps ? » Si la réponse est oui, l'oracle reçoit une note de passage. Mais voici le problème : cette ancienne règle est comme vérifier une prévision météorologique en ne regardant que la température moyenne sur une année entière. Elle peut sembler parfaite en moyenne, mais elle pourrait être complètement erronée chaque mardi de juillet. Si l'oracle se trompe systématiquement sur des jours spécifiques, une entreprise s'appuyant sur lui perdra de l'argent, même si « la moyenne » semble correcte.

Le Nouveau Jeu : Parier sur les Détails

Les auteurs de cet article, Ivane Antonov et son équipe, proposent une nouvelle façon d'arbitrer ces prédictions. Au lieu de simplement compter le nombre total de réussites, ils transforment l'audit en un jeu de pari continu.

Imaginez que l'auditeur soit un parieur qui peut placer un pari chaque jour.

L'Oracle fait une prédiction.
Le nombre réel arrive.
L'auditeur parie sur le fait que l'Oracle a raison ou tort, mais avec un piège : l'auditeur ne peut utiliser que les informations qu'il peut voir avant que le pari ne soit placé.

Si l'Oracle est véritablement honnête (calibré), peu importe la façon dont l'auditeur parie, il ne fera jamais fortune. Sa richesse restera stable, comme une pièce qui tombe autant sur pile que sur face. Mais si l'Oracle triche secrètement — par exemple, en ratant systématiquement la cible les samedis ou lors d'événements de promotion — l'auditeur intelligent pourra repérer ce schéma. En pariant spécifiquement sur ces jours-là, la richesse de l'auditeur commencera à croître.

Le Twist « Sensible aux Caractéristiques »

La plus grande découverte du papier est que ce que vous savez change ce que vous pouvez prouver.

Considérez la connaissance de l'auditeur comme une paire de lunettes.

Les Lunettes « Marginales » (Floues) : Ces lunettes ne montrent que le score total. Si vous les portez, vous pourriez manquer le fait que l'Oracle est médiocre pour prédire les ventes le samedi. L'auditeur reste en sécurité (il n'accusera pas faussement un Oracle honnête), mais il est aveugle à la tricherie.
Les Lunettes « Sensibles aux Caractéristiques » (Claires) : Ces lunettes permettent à l'auditeur de voir des détails spécifiques, comme « Est-ce samedi ? » ou « Y a-t-il une promotion en cours ? ». Lorsque l'auditeur porte ces lunettes, il peut voir que l'Oracle échoue spécifiquement les samedis.

Les auteurs montrent que si vous n'utilisez que les lunettes floues, vous pourriez penser que l'Oracle est parfait, alors qu'il échoue lamentablement dans le monde réel. Mais si vous utilisez les lunettes claires et pariez sur les caractéristiques spécifiques (comme le « samedi »), la tricherie devient évidente.

Ce Qu'Ils Ont Trouvé (et Ce Qu'Ils N'Ont Pas Trouvé)

L'équipe a testé cette idée de deux manières :

Dans une Simulation : Ils ont créé un monde fictif où ils savaient si l'Oracle était parfait ou secrètement biaisé. Ils ont découvert que leur stratégie de pari « sensible aux caractéristiques » pouvait détecter le biais rapidement, tandis que l'ancienne méthode « floue » l'avait totalement manqué. Dans ces simulations, la nouvelle méthode identifiait correctement la tricherie dans la grande majorité des cas lorsqu'elle était présente, et criait rarement « au crime » lorsque l'Oracle était réellement honnête.
Dans le Monde Réel : Ils ont pris un modèle d'IA de pointe très populaire, appelé Chronos-2, et l'ont testé contre des données réelles de ventes de magasins (un ensemble de données appelé Rossmann) et des données synthétiques. Le résultat ? Le modèle d'IA a réussi les anciens tests flous. Mais lorsque les auteurs ont mis leurs lunettes « sensibles aux caractéristiques » et ont parié sur des éléments comme les promotions et les samedis, la richesse de l'IA a crû rapidement, franchissant le seuil pour prouver qu'elle était mal calibrée. L'IA était systématiquement erronée sur ces jours spécifiques, même si elle semblait correcte en moyenne.

Ce Qu'Ils Écarteront

Le papier argumente explicitement contre l'idée que l'on puisse simplement vérifier la performance « moyenne » pour être sûr qu'une prévision est bonne. Ils montrent qu'une prévision peut paraître parfaite en moyenne tout en étant dangereusement erronée dans certains contextes spécifiques. Ils écartent également la nécessité que les données soient « indépendantes et identiquement distribuées » (i.i.d.), une hypothèse courante dans les statistiques plus anciennes. Leur méthode fonctionne même lorsque les données sont désordonnées, changent au fil du temps ou dépendent de ce qui s'est passé la veille.

À Quel Point Sont-ils Sûrs ?

Les auteurs sont très confiants dans leurs mathématiques. Ils ont prouvé que si un prévoyeur triche d'une manière qui est visible à travers les caractéristiques dont l'auditeur a connaissance, la richesse de l'auditeur croîtra, et qu'il finira par attraper la tricherie. Ce n'est pas une simple supposition ; c'est une garantie mathématique.

Cependant, ils précisent avec prudence que leur méthode ne fonctionne que si l'auditeur possède les bonnes « lunettes ». Si l'auditeur n'a pas accès à la caractéristique spécifique qui révèle la triche (comme ne pas savoir que nous sommes samedi), il pourrait encore passer à côté. La méthode est puissante, mais elle n'est aussi bonne que l'information que l'auditeur est autorisé à utiliser.

En bref, le papier suggère que pour vraiment faire confiance à un prédicteur « boîte noire », on ne peut pas se contenter de regarder la vue d'ensemble. Il faut parier sur les détails, et il faut savoir quels détails comptent. Si vous le faites, vous pouvez attraper les tricheurs que les anciennes méthodes laissent filer.

Résumé Technique : Parier sur les Caractéristiques (Bet on Features)

Énoncé du Problème
Les pronostics de quantiles conditionnels en boîte noire sont de plus en plus déployés pour la prise de décision séquentielle sous coûts asymétriques, tels que la planification des stocks et la gestion des risques. Cependant, une fois déployés, ces modèles font face à deux défis critiques : (1) les flux de données dérivent ou changent de régime, rendant les tests de rétroprojection (backtests) à horizon fixe invalides en raison de l'arrêt optionnel ; et (2) les tests de calibration existants ne parviennent souvent pas à prendre en compte l'asymétrie d'information entre le pronostiqueur et l'auditeur. Un pronostiqueur peut posséder un contexte interne riche (ex: promotions, identifiants de magasins spécifiques), tandis qu'un auditeur externe peut n'observer qu'une vue plus grossière (ex: ventes agrégées). Par conséquent, un pronostic peut paraître calibré pour un auditeur marginal tout en étant systématiquement mal calibré par rapport à des caractéristiques spécifiques observables. Les cadres actuels satisfont généralement soit l'exigence de validité à tout instant (sécurité sous surveillance continue), soit l'exigence de sensibilité conditionnelle, mais rarement les deux, et manquent souvent de mécanisme pour indexer explicitement le nul de calibration sur l'information disponible de l'auditeur.

Méthodologie
Les auteurs proposent un cadre de théorie des jeux, sans distribution, pour l'audit des pronostiqueurs de quantiles conditionnels basé sur le « pari par test » (testing by betting).

Nuls de Calibration Indexés par l'Information : L'article formalise la calibration des quantiles conditionnels par rapport à une structure d'information de surveillance $\mathcal{H}$ spécifique. Soit $Z_t = \mathbb{1}\{Y_t \le \hat{q}_t\} - \alpha$ le hit centré. L'hypothèse nulle $P_0(\mathcal{H})$ est définie comme l'ensemble des lois où $\mathbb{E}_P[Z_t | \mathcal{H}_{t-1}] = 0$ presque sûrement. Les auteurs établissent une hiérarchie de nuls : la calibration marginale ( $\mathcal{H}^{marg}$ ) est la plus faible, suivie de la calibration à caractéristique unique ( $\mathcal{H}^w$ ), puis de la calibration à caractéristiques complètes ( $\mathcal{H}^\phi$ ). Crucialement, $P_0(\mathcal{H}^\phi) \subseteq P_0(\mathcal{H}^w) \subseteq P_0(\mathcal{H}^{marg})$ . Cela implique qu'un test valide pour un nul plus grossier (ex: marginal) reste valide pour des nuls plus riches, mais qu'un test plus grossier peut manquer de puissance pour détecter des violations visibles uniquement dans des ensembles d'informations plus riches.
E-Process Valides à Tout Instant : L'auditeur agit comme un « sceptique » dans un jeu de pari séquentiel. À chaque instant $t$ , le sceptique choisit un multiplicateur de pari $\lambda_t$ basé sur son information $\mathcal{H}_{t-1}$ à partir d'un intervalle de non-faillite $\Lambda_\alpha = [-1/(1-\alpha), 1/\alpha]$ . Le processus de richesse $M_t = \prod (1 + \lambda_i Z_i)$ forme un supermartingale de test (et donc un e-process) sous l'hypothèse nulle. Par l'inégalité de Ville, ce processus fournit une preuve valide à tout instant : si $M_t$ dépasse $1/\gamma$ , l'hypothèse nulle est rejetée avec une probabilité d'erreur de Type-I au plus de $\gamma$ , quel que soit le moment où le test est arrêté.
Pari Contextuel Sensible aux Caractéristiques : Pour obtenir de la puissance contre la mal-calibration spécifique aux caractéristiques, les auteurs introduisent le pari contextuel. Le sceptique utilise un dictionnaire de caractéristiques prévisibles $\phi_t$ (ex: indicateurs de calendrier, erreurs décalées) et emploie un apprenant d'optimisation convexe en ligne (OCO) pour adapter les poids de pari $\theta_t$ . Le pari est défini par $\lambda_t(\theta) = \langle \theta, \phi_t \rangle$ . L'apprenant minimise son regret contre un comparateur fixe $\theta^*$ , défini via la perte $g_t(\theta) = -\log(1 + \langle \theta, \phi_t \rangle Z_t)$ .
Garanties de Regret-à-Puissance : L'article dérive des garanties de détection en temps fini. Si la loi alternative $Q$ présente un « avantage prévisible » (c'est-à-dire que la mal-calibration conditionnelle s'aligne avec une direction de caractéristique linéaire telle que l'avantage quadratique $b^Q_t(\theta^*) \ge \kappa$ ), la richesse du sceptique contextuel croît exponentiellement. Plus précisément, si l'apprenant OCO atteint un regret de chemin (pathwise regret) $r_T$ , le temps d'arrêt $\tau_\gamma$ est fini avec probabilité 1 sous l'alternative, et le temps d'arrêt attendu est borné par une fonction du regret et de la force de l'avantage.

Contributions Clés

Audits Valides à Tout Instant Indexés par l'Information : L'article formule l'audit continu comme un jeu séquentiel indexé par l'information de surveillance de l'auditeur. Il prouve que les paris prévisibles de non-faillite génèrent des e-processes valides pour toute structure de surveillance sans supposer de données i.i.d., de stationnarité ou de modèles paramétriques.
Hiérarchie de Validité et de Puissance : Il établit que la validité se transfère des nuls plus grossiers vers les plus riches, mais que la puissance ne se transfère pas. Un audit marginal peut être parfaitement valide tout en étant aveugle aux violations spécifiques aux caractéristiques.
Pari Contextuel Sensible aux Caractéristiques : Les auteurs développent une méthode où un apprenant en ligne adapte des paris linéaires sur un dictionnaire de caractéristiques. Ils prouvent que sous des avantages prévisibles alignés sur les caractéristiques et sous-linéaires, tout algorithme OCO avec un regret sous-linéaire offre des garanties de détection en temps fini.
Validation Empirique de la Mal-calibration : Le cadre est validé sur des données synthétiques et des données réelles de ventes de magasins (jeu de données Rossmann) utilisant le pronostiqueur Chronos-2.

Résultats

Validité : Sur un oracle de type Binomiale Négative calibré, les taux de rejet empiriques des audits de pari à travers divers niveaux de quantiles et configurations de sceptiques (marginal, caractéristique unique, caractéristiques complètes) s'alignent sur le niveau de Ville nominal de 5 %, confirmant le contrôle de l'erreur de Type-I.
Écart de Puissance : Dans des expériences avec un processus de hit de type Markov contrôlé, les sceptiques marginaux n'ont pas détecté les violations (censurées à l'horizon), tandis que les sceptiques conscients du hit précédent ( $Z_{t-1}$ ) ont rejeté rapidement, démontant l'écart de puissance prédit par la théorie.
Résultats Réels : Appliqué aux pronostics de Chronos-2 sur les données de ventes de magasins Rossmann et sur des séries de Binomiale Négative synthétiques, les sceptiques sensibles aux caractéristiques ont détecté une mal-calibration conditionnelle significative que les audits marginaux ont manquée. Plus précisément, les audits ont révélé que les pronostics étaient systématiquement mal calibrés par rapport au statut de promotion, aux indicateurs de samedi et au log-prix. La richesse de l'audit marginal est restée stable, tandis que la richesse du sceptique sensible aux caractéristiques a franchi les seuils de rejet.

Signification et Revendications
L'article affirme fournir le premier cadre qui satisfait simultanément la validité à tout instant et la sensibilité aux caractéristiques pour les pronostiqueurs de quantiles conditionnels en boîte noire. En modélisant explicitement l'ensemble d'information de l'auditeur, le cadre sépare les concepts de validité (sécurité) et de puissance (détectabilité). Les auteurs soutiennent que cela est essentiel dans les contextes opérationnels où les auditeurs ont une visibilité limitée par rapport aux pronostiqueurs. Les résultats empiriques suggèrent que les modèles de fondation populaires comme Chronos-2, bien que potentiellement bien calibrés en moyenne, présentent des erreurs systématiques et prévisibles conditionnées par des caractéristiques commerciales spécifiques (comme les promotions), que les rétroprojections marginales standards ne parviennent pas à détecter. Ce travail fait le pont entre la statistique de théorie des jeux, l'apprentissage en ligne et l'évaluation de pronostics, offrant un outil pour la surveillance continue et interprétable de pronostics probabilistes dans des environnements non stationnaires.

Articles similaires