📊 statistics

Auditing Conformal Prediction under Distribution Shift: A Detectability Boundary, Exact Label-Budget Design, and Repair

Cet article introduit DriftGuard, un cadre d'audit en deux étapes qui établit des frontières de détectabilité théoriques pour le décalage de distribution et fournit un protocole rigoureux, doté d'un budget d'étiquetage, pour diagnostiquer l'échec de couverture et recalibrer les modèles de prédiction conforme sous des décalages de covariables et de concepts.

Auteurs originaux : Maha Moussa

Publié 2026-08-07

📖 10 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maha Moussa

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un prévisionniste météorologique ayant passé des années à prédire la pluie dans votre ville natale. Vous avez construit un système qui dit : « Je suis sûr à 90 % qu'il pleuvra demain », et pendant des années, il a eu raison 90 % du temps. Ce système s'appelle la Prédiction Conforme (Conformal Prediction). C'est une astuce ingénieuse qui permet aux ordinateurs de fournir un « filet de sécurité » autour de leurs prédictions, promettant que la réponse réelle tombera à l'intérieur de ce filet la plupart du temps, sans avoir besoin de connaître les lois exactes de la physique derrière les nuages.

Mais voici le hic : que se passe-t-il lorsque vous déplacez votre station météo dans une ville complètement différente ? Peut-être que l'humidité est différente, ou que le vent souffle d'une nouvelle direction. C'est ce qu'on appelle un Décalage de Distribution (Distribution Shift). L'air (les données) a changé, mais vos anciennes règles tournent peut-être encore en mode automatique. Vous pourriez toujours dire : « Je suis sûr à 90 % », mais si les modèles météorologiques ont changé, vous pourriez vous tromper bien plus souvent que vous ne le pensez. La grande question pour les scientifiques est la suivante : peut-on savoir si votre filet de sécurité tient toujours bon en regardant simplement les nouveaux nuages, sans attendre de voir s'il pleut réellement ?

Ce document, intitulé « Auditing Conformal Prediction under Distribution Shift », s'attaque précisément à ce casse-tête. L'auteur, Maha Moussa, introduit un nouveau système appelé DriftGuard pour agir comme un inspecteur de contrôle qualité pour ces filets de sécurité de prédiction. L'histoire révèle une vérité surprenante : vous ne pouvez pas toujours savoir si votre filet de sécurité est cassé simplement en regardant les nuages. Si le type de météo change (comme la pluie qui se transforme en neige, même si les nuages se ressemblent), votre ancien système pourrait échouer silencieusement. Cependant, le document propose une solution ingénieuse : un moyen de tester le filet avec un petit échantillon soigneusement choisi de données de pluie réelles pour prouver s'il fonctionne toujours et, si ce n'est pas le cas, comment le réparer à la volée.

Le piège invisible : Quand les nuages se ressemblent mais que la pluie est différente

Le document commence par expliquer une limite délicate. Imaginez que vous ayez une machine qui prédit si une station de vélos en libre-service sera occupée. Vous l'avez entraînée sur des données d'un été ensoleillé à Logan, Utah. Maintenant, vous la déployez dans un hiver pluvieux à Le Caire. La machine observe la météo (les « covariables ») et tente de deviner la demande de vélos.

Les chercheurs ont découvert que vous pouvez facilement détecter si la météo a changé. Si les nouvelles données semblent très différentes des anciennes données, vous pouvez dire : « Hé, les nuages ont une drôle de tête ! » C'est ce qu'on appelle un Décalage de Covariable (Covariate Shift). Le système DriftGuard peut mesurer cela en vérifiant à quel point les nouvelles données diffèrent des données d'entraînement. Il calcule un score appelé « Taille d'Échantillon Effective » (ESS), ce qui revient à demander : « Combien de ces nouveaux jours ressemblent réellement aux jours sur lesquels je me suis entraîné ? » Si le score est bas, c'est un signal d'alarme.

Mais voici la grande découverte : Vous ne pouvez pas détecter si les règles du jeu ont changé simplement en regardant les nuages. C'est ce qu'on appelle un Décalage de Concept (Concept Shift). Imaginez que la météo soit exactement la même (ensoleillé, 24 °C), mais que soudain, les habitants de la nouvelle ville décident de faire deux fois plus de vélo parce qu'un nouveau festival a commencé. L'entrée (la météo) est la même, mais la sortie (la demande de vélos) a changé.

Le document démonte mathématiquement le fait qu'aucune quantité d'observation des nouvelles données météo ne pourra vous dire si la demande de vélos a changé. C'est comme essayer de deviner si un tour de magie a changé ses règles en regardant simplement les mains du magicien ; si les mains semblent identiques, vous ne pouvez pas savoir si le lapin est réellement dans le chapeau ou si le magicien est maintenant en train de sortir un poulet de nulle part. L'auteur appelle cela la « Limite de Détectabilité ». Sans voir les résultats réels (les comptes de vélos), vous êtes aveugle à ce type de défaillance.

Le détective en deux étapes : DriftGuard et DriftGuard-L

Pour résoudre cela, le document propose une histoire de détective en deux étapes appelée DriftGuard.

Étape 1 : L'audit sans étiquette (Le « coup d'œil »)
D'abord, le système examine les nouvelles données sans avoir besoin de réponses. Il vérifie le « chevauchement » entre les anciennes et les nouvelles données.

Le Score de Chevauchement : C'est un nombre compris entre 0 et 1. S'il est élevé (proche de 1), les nouvelles données ressemblent beaucoup aux anciennes. S'il est bas, les nouvelles données sont en territoire « étranger ».
L'Avertissement : Si le chevauchement est faible, le système vous avertit que votre filet de sécurité est peut-être trop tendu. Il peut même dire : « Je ne sais pas, je m'abstiens », plutôt que de donner une prédiction risquée.
Le Piège : Même si le chevauchement est élevé, le système admet qu'il ne sait toujours pas si les règles ont changé (le décalage de concept). Il peut seulement dire : « Les nuages me sont familiers », et non « La pluie tombera de la même manière ».

Étape 2 : L'audit par budget d'étiquettes (Le « contrôle ponctuel »)
C'est ici que le papier devient vraiment ingénieux. Puisque vous ne pouvez pas savoir avec certitude sans voir les résultats, l'auteur suggère un « Budget d'Étiquettes ». C'est comme un gestionnaire qui dirait : « Nous ne pouvons pas vérifier chaque vélo, mais nous pouvons payer pour en vérifier 50. »

Le Test Exact : Le système choisit un petit échantillon aléatoire des nouvelles données (par exemple, 50 comptes de vélos) et vérifie si le filet de sécurité les capture.
La Mathématique : Ils utilisent un test statistique précis pour dire : « Si notre filet de sécurité fonctionnait, il n'y aurait que 5 % de chances que nous voyions autant d'errements. » Si les erreurs sont trop nombreuses, le système sait que le filet est cassé.
La Réparation : Si le filet est cassé, le système ne se contente pas d'abandonner. Il utilise ces 50 nouvelles réponses pour recalibrer le filet de sécurité. Il rétrécit ou élargit le filet afin de capturer à nouveau la réalité actuelle.

La Preuve : Simulations et Vélos du Monde Réel

L'auteur ne s'est pas contenté de théoriser ; il a testé cela avec des simulations et des données réelles.

Les Expériences Gaussiennes :
Dans une simulation informatique contrôlée où ils savaient exactement comment les données changeaient, ils ont constaté que lorsque la « météo » changeait fortement, l'ancien filet de sécurité échouait. Il ne capturait la bonne réponse que 78,9 % du temps au lieu des 90 % promis.

La Réparation : Lorsqu'ils ont utilisé la nouvelle méthode « Pondérée » (qui prend en compte la météo différente), le taux de capture est monté à 92,6 %.
Le Dilemme : Cependant, il existe une nuance cruciale. Si le système essaie de deviner les ratios météo sans les connaître parfaitement (en utilisant des poids estimés), la méthode devient une approximation, et non une garantie exacte. Le document montre que les erreurs d'estimation de ces ratios font que le filet de sécurité n'est plus mathématiquement parfait. Parfois, pour éviter de donner un faux sentiment de sécurité, le système doit admettre qu'il ne sait pas (donnant un « intervalle infini » ou s'abstenant), ou il pourrait accidentellement masquer le fait qu'il sous-estime la couverture.

Le Test de Partage de Vélos :
La partie la plus excitante était un test sur des données réelles du système Capital Bikeshare à Washington D.C. Ils ont pris un modèle entraîné en 2011 et ont tenté de l'utiliser en 2012.

L'Échec : L'ancien modèle était terrible en 2012. Il ne capturait la bonne réponse qu'environ 56 % du temps ! Le « filet de sécurité » avait des trous de la taille d'un camion.
La Réparation : Ils ont attendu d'avoir 2 176 comptes de vélos de la part des trois premiers mois de 2012 (les « étiquettes retardées »). Ils les ont utilisés pour réparer le filet.
Le Résultat : Après la réparation, le filet de sécurité a capturé 88,4 % des réponses. Ce n'était pas parfait, mais c'était une amélioration massive par rapport au désastre de 56 %.

La Comparaison « Doublement Robuste » :
Le document a également comparé leur méthode à une autre méthode sophistiquée appelée « Calibration Doublement Robuste ». Ils ont trouvé que cette autre méthode fonctionne très bien si vous maîtrisez parfaitement les mathématiques. Mais si vous faites erreur sur une seule partie du calcul, elle échoue aussi mal que l'ancienne méthode. L'approche de DriftGuard est différente : elle ne cherche pas à deviner des mathématiques complexes ; elle demande simplement quelques réponses réelles pour vérifier le travail.

Conclusion : Ce que vous pouvez et ne pouvez pas savoir

Le document conclut par un message très important pour quiconque utilise l'IA dans le monde réel : Ne faites pas confiance à un filet de sécurité simplement parce qu'il semble bon.

Vous pouvez détecter si les données semblent différentes. (Les nuages ont changé).
Vous ne pouvez pas détecter si les règles ont changé sans voir les résultats. (La pluie s'est transformée en neige).
Vous avez besoin d'un petit échantillon aléatoire de résultats réels pour être sûr. (Le « Budget d'Étiquettes »).
Si le filet est cassé, vous pouvez le réparer avec ce petit échantillon. (Recalibrage).

L'auteur souligne que ce n'est pas une baguette magique. Si vous ne vérifiez que 25 vélos, vous pourriez manquer un petit problème. Mais si vous en vérifiez 100, vous pouvez être très confiant. Et si vous en vérifiez 200, vous pouvez réparer le filet pour qu'il fonctionne à nouveau.

Le document se termine en disant que, dans le futur, les entreprises ne devraient pas simplement déployer l'IA en espérant que tout se passe bien. Elles devraient avoir un « plan directeur » pour l'audit : vérifier le chevauchement, fixer un budget pour vérifier les résultats réels, et être prêtes à recalibrer. Cela transforme l'idée effrayante d'une « IA qui échoue silencieusement » en un processus gérable de vérification et de réparation étape par étape.

En bref, DriftGuard est le rappel que dans un monde changeant, la seule façon de savoir si votre carte est toujours précise est de s'arrêter occasionnellement pour vérifier les points de repère. Et si la carte est fausse, vous n'avez pas besoin de redessiner le monde entier — vous avez juste besoin d'ajuster l'échelle en utilisant quelques nouveaux points.

Résumé Technique : Audit de la Prédiction Conforme sous Décalage de Distribution

Énoncé du Problème
La prédiction conforme (CP) fournit des garanties de couverture marginale en échantplage fini pour les modèles prédictifs sous l'hypothèse d'échangeabilité entre les données sources (entraînement/calibration) et cibles (déploiement). Cependant, le déploiement en conditions réelles implique souvent des décalages de distribution, spécifiquement le décalage de covariables (changements dans la distribution marginale des entrées, $P_X$ ) et le décalage de concept (changements dans la distribution conditionnelle des résultats, $P_{Y|X}$ ). La prédiction conforme pondérée (WCP) peut restaurer la validité sous un décalage de covariables si les rapports de densité sont connus, mais les praticiens sont fréquemment confrontés à un écart opérationnel critique : ils possèdent des données sources étiquetées et des covariables cibles non étiquetées, mais manquent d'étiquettes cibles. La question centrale est de savoir si les seules données cibles non étiquetées peuvent déterminer si la couverture reste crédible et, si ce n'est pas le cas, comment acquérir efficacement la quantité minimale d'étiquettes cibles requise pour auditer et réparer le système.

Méthodologie : Le Cadre DriftGuard
Le papier introduit DriftGuard, un cadre d'audit à deux étapes conçu pour diagnostiquer les décalages de distribution et réparer la validité de la couverture.

Étape 1 : Audit sans Étiquettes (DriftGuard)
- Objectif : Évaluer la « détectabilité » du décalage sans étiquettes cibles.
- Mécanisme : Un classificateur probabiliste distingue les covariables sources des cibles pour estimer l'Aire Sous la Courbe ROC ( $A$ ) et la Taille d'Échantillon Effective (ESS) des rapports de densité estimés.
- Diagnostics : Il rapporte la discriminabilité des domaines, la stabilisation des poids et l'abstention visible (intervalles de prédiction infinis). Il calcule optionnellement un score de chevauchement $R \in [0, 1]$ pour résumer le chevauchement des covariables et la non-concentration des poids.
- Limite Théorique : L'auteur établit une Frontière de Détectabilité (Proposition 2). Ils prouvent que sous un décalage conditionnel sans restriction, aucun statistique d'audit sans étiquettes ne peut certifier uniformément la couverture cible. Si la loi conditionnelle $Q_{Y|X}$ change alors que la marginale $Q_X$ reste similaire, la couverture peut chuter arbitrairement (jusqu'à 0) tandis que l'audit sans étiquettes reste indiscernable du cas nul. Cela produit un ensemble identifié net pour la couverture cible de $[0, 1]$ en l'absence d'étiquettes.
Étape 2 : Falsification et Réparation par Étiquettes Minimales (DriftGuard-L)
- Objectif : Traverser la frontière de détectabilité en utilisant un budget minimal et préspécifié d'étiquettes cibles.
- Mécanisme :
  - Audit Exact : Un échantillon aléatoire simple de $b$ étiquettes cibles est tiré. Un test binomial unilatéral exact vérifie l'hypothèse nulle $H_0: c_t \geq 1-\alpha$ (où $c_t$ est la couverture réelle).
  - Conception Prospective : Le papier dérive des formules exactes pour calculer le budget d'étiquettes minimal ( $b_{min}$ ) requis pour atteindre une puissance statistique spécifique ( $1-\beta$ ) contre un niveau de couverture alternative scientifiquement pertinent.
  - Réparation : Si une sous-couverture est détectée, l'échantillon d'audit cible remplace l'ensemble de calibration source. Un nouveau seuil de conformité est calculé en utilisant les scores de non-conformité cibles, restaurant la validité en échantplage fini sous l'hypothèse d'échangeabilité cible.

Contributions Clés

Théorie de l'Identification : Le papier caractérise l'audit sans étiquettes comme un problème d'identification, prouvant que sans restrictions sur $Q_{Y|X}$ , la couverture n'est pas identifiable à partir de données non étiquetées seules. Il établit des bornes de test minimax et un ensemble identifié net de $[0, 1]$ pour la couverture.
Diagnostics Opérationnels : Il sépare le diagnostic du chevauchement des covariables (via l'AUC et l'ESS) de l'hypothèse non vérifiable de stabilité conditionnelle. Il rapporte explicitement l'« abstention visible » (intervalles infinis) plutôt que de tronquer silencieusement les poids, ce qui peut masquer une sous-couverture.
Conception de Budget d'Étiquettes Exact : Contrairement aux approches heuristiques, DriftGuard-L fournit un test exact en échantplage fini pour la sous-couverture marginale et un calcul préspécifié du budget d'étiquettes requis pour détecter des niveaux spécifiques de sous-couverture avec une puissance garantie.
Évaluation Complète : Le cadre est validé à travers des décalages gaussiens synthétiques, des benchmarks publics (diabète, cancer du sein, vin, chiffres) et deux déploiements externes complexes : un jeu de données de partage de vélos (Bike Sharing) chronologique (8 734 observations horaires) et des transferts de marchés boursiers roulants.

Résultats

Limites de Détectabilité : Dans les expériences de décalage de covariables pur, l'audit sans étiquettes a signalé avec succès les décalages sévères (le score de chevauchement chutant de 0,96 à 0,37) alors que la couverture restait proche de la valeur nominale (0,90). Inversement, sous un décalage de concept pur, le score de chevauchement est resté élevé (~0,96) tandis que la couverture s'est effondrée (de 0,90 à 0,40), confirmant l'impossibilité théorique de détecter le décalage conditionnel sans étiquettes.
Prédiction Conforme Pondérée (WCP) : Sous un fort décalage de covariables gaussien, la couverture de la CP ordinaire est tombée à 0,789. L'Oracle WCP et la WCP estimée par cross-fitting ont restauré la couverture à environ 0,926 et 0,923, respectivement. Cependant, le tronquage des poids pour éviter les intervalles infinis a réduit la couverture à 0,873, démontrant un compromis entre l'abstention visible et la sous-couverture cachée.
Comparaison de la Robustesse Double : Un comparateur de robustesse double publié a maintenu la couverture lorsqu'au moins un modèle de nuisance (rapport ou score conditionnel) était correctement spécifié. Cependant, lorsque les deux modèles de nuisance étaient mal spécifiés sous un décalage sévère (décalage de moyenne gaussienne de 2,0), la couverture est tombée à 0,812. En revanche, la calibration de robustesse double estimée (utilisant les modèles de nuisance ajustés) a atteint 0,882 au même niveau de décalage, tandis que la WCP estimée a atteint 0,895.
Validation Externe (Bike Sharing) : Dans un déploiement de 2012 non touché, la CP source, la WCP estimée et la calibration de robustesse double estimée ont toutes subi une sous-couverture sévère (0,568–0,594), échouant à rendre compte de l'évolution temporelle hors du modèle de décalage de covariables.
Efficacité de la Réparation : L'utilisation de 2 176 étiquettes cibles différées (janvier–mars 2012) pour la recalibration a restauré la couverture sur la période disjointe avril–décembre de 0,558 (la ligne de base avant recalibration pour cette période spécifique) à 0,884. Dans les déploiements mensuels roulants, la recalibration utilisant seulement 7 à 30 jours d'étiquettes cibles antérieures a systématiquement restauré la couverture à environ 0,90–0,92.
Efficacité du Budget d'Étiquettes : Les calculs de puissance exacte ont montré que la détection d'une sous-couverture sévère (ex: 0,70) nécessite de petits budgets (~~25 étiquettes), tandis que la détection d'une sous-couverture légère (ex: 0,85) nécessite des budgets nettement plus importants (~~270 étiquettes pour une puissance de 80 %).

Signification et Revendications
Le papier affirme fournir un problème de décision formellement spécifié pour la surveillance du déploiement plutôt qu'un nouveau théorème de couverture basé sur un score composite. Sa signification réside dans :

Séparation de l'Observable et de l'Invérifiable : Il clarifie que les diagnostics sans étiquettes ne peuvent évaluer que le chevauchement des covariables et la stabilité des poids, et non la stabilité du mécanisme de résultat.
Opérationnalisation de la Réparation : Il transforme l'acquisition d'étiquettes cibles d'une analyse rétrospective opportuniste en une conception de surveillance prospective avec un contrôle d'erreur exact et une puissance connue.
Incertitude Honnête : En rapportant les intervalles infinis et les taux d'abstention aux côtés de la couverture, le cadre empêche la « commodité » des poids tronqués de masquer des défaillances de distribution sévères.
Complémentarité : L'auteur positionne DriftGuard-L non pas comme un remplacement des méthodes de robustesse double asymptotiques, mais comme un mécanisme d'audit et de réparation en échantplage fini qui s'active lorsque des étiquettes cibles représentatives franchissent la frontière de l'information.

L'étude conclut que bien que l'audit sans étiquettes ait un rôle utile mais strictement délimité, le flux de travail combiné de DriftGuard et DriftGuard-L permet aux praticiens de rapporter des avertissements observables, le coût des hypothèses invérifiables, la puissance achetée par un budget d'étiquetage, et le coût de la largeur d'intervalle pour restaurer une couverture marginale honnête.

Le piège invisible : Quand les nuages se ressemblent mais que la pluie est différente

Le détective en deux étapes : DriftGuard et DriftGuard-L

La Preuve : Simulations et Vélos du Monde Réel

Conclusion : Ce que vous pouvez et ne pouvez pas savoir

Articles similaires