Anytime-Valid Confirmation of Label-Shift Corrections

Résumé Technique : Confirmation à Validité Temporelle des Corrections de Décalage de Label

1. Énoncé du Problème

Dans les déploiements scientifiques à petits lots (small-batch), les résultats cibles étiquetés sont souvent trop rares pour estimer de manière fiable les décalages de label (où la distribution marginale $p(y)$ change tandis que $p(x|y)$ reste stable) en utilisant les méthodes traditionnelles sur données non étiquetées comme BBSE ou MLLS. Dans ces scénarios, les praticiens possèdent souvent une correction candidate pré-spécifiée dérivée de connaissances métier, de spécifications réglementaires ou d'expériences de pontage.

Le problème central abordé n'est pas l'estimation du décalage, mais la confirmation de savoir si les résultats étiquetés entrants soutiennent une correction de décalage de label fixée et postulée par rapport à un modèle prédictif source. Cela est formulé comme un problème de confirmation plutôt qu'un problème d'estimation, nécessitant un outil statistique capable de gérer l'arrivée séquentielle de données sans taille d'échantillon pré-spécifiée, tout en contrôlant l'erreur de Type I sous arrêt optionnel.

2. Méthodologie

Le papier propose un cadre de test séquentiel basé sur les e-valeurs et les e-processus (Vovk & Wang, 2021 ; Shafer, 2021).

Construction Fondamentale :
Étant donné un prédicteur source fixe $p_s(y|x, D_{tr})$ et un poids candidat $w(y)$ dérivé des connaissances métier, les auteurs définissent un prédicteur incliné (tilted predictive) :
$$\tilde{p}_w(y|x, D_{tr}) \propto w(y) p_s(y|x, D_{tr})$$
Le test accumule le rapport de vraisemblance par observation entre le prédicteur incliné et le prédicteur source :
$$e_i = \frac{\tilde{p}_w(y_i|x_i, D_{tr})}{p_s(y_i|x_i, D_{tr})} = \frac{w(y_i)}{Z_w(x_i)}$$
où $Z_w(x_i)$ est la constante de normalisation.

Garanties Théoriques :

• E-valeur Conditionnelle : Sous l'hypothèse nulle prédictive $H_0^{pred}$ (où les résultats suivent le prédicteur source $p_s$), l'espérance de $e_i$ étant donné les données passées et l'entrée actuelle est 1. Ainsi, $e_i$ est une e-valeur conditionnelle valide.
• Propriété de Martingale : Le produit courant $M_t = \prod_{i=1}^t e_i$ forme une martingale non négative (un e-processus).
• Règle à Validité Temporelle (Anytime-Valid) : Par l'inégalité de Ville, la règle d'arrêt $\tau^* = \inf\{t : M_t > 1/\alpha\}$ contrôle l'erreur de Type I au niveau $\alpha$ simultanément pour toutes les tailles d'échantillon $t$, sans correction pour l'arrêt optionnel.
• Identité de l'Écart NLPD : Le log-gain (log-wealth) $\log M_t$ est égal à la différence cumulative de la Négative Log-Densité Prédictive (NLPD) entre la source et le prédicteur incliné :
  $$\log M_t = \sum_{i=1}^t (\text{NLPD}_i(p_s) - \text{NLPD}_i(\tilde{p}_w))$$
  Le rejet se produit lorsque l'avantage cumulé du score de log du prédicteur incliné dépasse $\log(1/\alpha)$.

Forme Fermée pour les Processus Gaussiens :
Pour les sources de type Processus Gaussien (GP) avec des ratios de décalage de label gaussiens, les auteurs dérivent des expressions en forme fermée pour la constante de normalisation $Z_w(x)$ et l'e-valeur par échantillon. Cela permet un calcul efficace en utilisant uniquement les sorties de l'a posteriori du GP ($\mu_s, \sigma^2_s$) et les paramètres de décalage.

Tests Multiples :
Pour le test parallèle de $K$ flux, le papier recommande la procédure e-BH (Wang & Ramdas, 2022) utilisant des e-valeurs par lots pour contrôler le taux de fausses découvertes (FDR), plutôt qu'une correction de Bonferroni conservatrice.

3. Contributions Clés

1. Identité de l'Écart NLPD : Relie le pari optimal de Kelly à l'évaluation de modèle, montrant que l'écart de NLPD cumulé sert de log-gain d'un e-processus valide.
2. Test de Confirmation à Validité Temporelle : Fournit un test séquentiel formel pour un décalage posé et fixe qui ne nécessite pas de taille d'échantillon pré-spécifiée et contrôle l'erreur de Type I sous arrêt optionnel.
3. E-Valeurs GP en Forme Fermée : Dérive des solutions analytiques pour les e-valeurs sous des inclinaisons de décalage de label gaussiennes, permettant une mise en œuvre pratique en régression GP.
4. Caractérisation du Taux de Croissance : Prouve que sous l'alternative (spécification correcte), le test possède une puissance asymptotique de un, avec un taux de croissance égal à la divergence KL moyenne entre le prédicteur incliné et la source.
5. Validation Empirique : Démontre le contrôle du Type I, la puissance à échantillon fini, la sensibilité au mauvais calibrage et l'avantage d'utiliser un a priori fiable plutôt qu'une ré-estimation bruitée dans les petits lots.

4. Résultats Expérimentaux

Les auteurs valident la méthode à l'aide de simulations de régression GP de bout en bout :

• Contrôle du Type I : Sous la nulle prédictive, le taux empirique de fausses alarmes reste strictement inférieur au $\alpha$ nominal (0,05) sur tous les horizons, confirmant la garantie de validité temporelle.
• Puissance vs LRT à Échantillon Fixe : Bien que les tests de rapport de vraisemblance (LRT) à échantillon fixe calibrés pour des tailles d'échantillon spécifiques montrent une puissance légèrement supérieure à de grands horizons, l'e-processus maintient sa validité sous des temps d'arrêt arbitraires, offrant un compromis fondamental entre puissance et flexibilité.
• Avantage des Petits Lots : Dans les scénarios avec de petits lots cibles ($n_t=10$), une correction a priori fiable (oracle) surpasse significativement la ré-estimation adaptative en termes de NLPD sur les données testées. Le test de confirmation fournit une preuve formelle pour soutenir l'utilisation de tels a priori.
• Sensibilité au Mauvais Calibrage : Le test est très sensible au mauvais calibrage du prédicteur source. Une sous-estimation de la variance par le GP source (par exemple, un facteur $c=2$) provoque une inflation brutale du Type I (jusqu'à 36,45 %), soulignant que la garantie de validité repose sur le fait que le modèle source soit bien calibré.
• Robustesse à la Spécification Incorrecte : Lorsque le décalage posé est mal spécifié (mauvaise magnitude ou direction), la puissance du test diminue, mais le Type I reste contrôlé tant que le poids est fixé avant le test. Le test ne rejette pas faussement la nulle à cause de la mauvaise spécification ; il échoue simplement à rejeter.

5. Signification et Revendications

Le papier affirme fournir un outil nécessaire pour un contexte spécifique, souvent négligé dans le déploiement de modèles : la confirmation plutôt que l'estimation.

• Distinction de l'Estimation : Les auteurs soulignent que le rejet confirme que la correction postulée est cohérente avec les données par rapport à la source, mais cela ne quantifie pas le degré exact du décalage. Pour une estimation quantitative, les méthodes sur données non étiquetées restent l'outil approprié.
• Utilité Pratique : La méthode permet aux praticiens de valider formellement des corrections basées sur des connaissances métier (ex: spécifications réglementaires) à mesure que les données arrivent, évitant l'imprévisibilité de la ré-estimation des décalages à partir de données étiquetées rares.
• Limites : Les auteurs déclarent explicitement que la garantie de contrôle du Type I est conditionnée par la nulle prédictive (c'est-à-dire que le modèle source doit être bien calibré). Le test n'est pas robuste à une erreur de spécification de modèle arbitraire sans couches de calibration supplémentaires. De plus, le poids candidat doit être fixé avant le début du flux de test ; utiliser les données du flux de test pour estimer le poids invalide la propriété de l'e-valeur.

En résumé, ce papier offre un cadre rigoureux et à validité temporelle pour confirmer des corrections de décalage de label pré-spécifiées, comblant le fossé entre la connaissance métier et les preuves statistiques séquentielles dans des environnements à données rares.