📊 statistics

Conformal Bayes under Label Shift: Post-Hoc Calibration vs. In-Training Adaptation

Cet article présente un cadre unifié pour traiter le décalage de distribution des étiquettes (label shift) dans le cadre du Bayes conforme en comparant le calibrage post-hoc, qui ajuste le seuil conforme tout en maintenant fixe la distribution a posteriori des paramètres, à l'adaptation lors de l'entraînement, qui repondère la distribution a posteriori des paramètres elle-même, démontrant que les deux atteignent une couverture valide mais que cette dernière offre une efficacité supérieure dans les régimes d'entraînement biaisés.

Auteurs originaux : Seungjin Choi

Publié 2026-06-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seungjin Choi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un prévisionniste météo. Vous avez construit un modèle basé sur des années de données provenant d'une région spécifique (appelons-la « Ville Source »). Votre modèle est excellent pour prédire la pluie dans la Ville Source.

Maintenant, on vous demande de prévoir le temps pour un nouvel emplacement, la « Ville Cible ». Cependant, il y a un piège : la Ville Cible a un profil climatique différent. Il y pleut beaucoup plus souvent que dans la Ville Source, mais quand il pleut, les phénomènes météorologiques (nuages, vent, humidité) sont exactement les mêmes. Ce que l'article appelle le Décalage de Label (Label Shift) : la fréquence du résultat (pluie vs pas de pluie) a changé, mais la relation entre les signes météorologiques et la pluie reste inchangée.

Si vous utilisez simplement votre ancien modèle de la Ville Source sur la Ville Cible sans ajustement, vos prévisions seront fausses. Vous pourriez dire : « Il y a seulement 10 % de chances qu'il pleuve », alors qu'en réalité, c'est 50 %.

Cet article introduit une méthode appelée Conformal Bayes pour corriger cela. Au lieu de donner un chiffre unique (comme « 50 % de chances »), il donne un ensemble de prédiction (par exemple, « il y aura entre 40 % et 60 % de chances qu'il pleuve »). L'objectif est de s'assurer que cette plage est exacte 90 % du temps, même avec ce nouveau climat.

Les auteurs proposent deux façons différentes de corriger le modèle, qu'ils appellent Stratégie A et Stratégie B.

Les Deux Stratégies

Stratégie A : Le Redressement « Post-Hoc » (La correction rapide)

Considérez cela comme si vous preniez votre rapport météo terminé et que vous vous contentiez de réétiqueter les pages avant de les remettre au client.

Comment ça marche : Vous gardez votre modèle original exactement tel quel. Vous ne touchez pas à la mathématique interne. Au lieu de cela, lorsque vous calculez la plage de prédiction finale, vous appliquez un « poids » aux données. Si la nouvelle ville est plus pluvieuse, vous « penchez » mathématiquement votre réponse finale pour tenir compte de cette pluie supplémentaire.
L'analogie : Imaginez que vous avez une carte de la Ville Source. Vous ne redessinez pas la carte. Au lieu de cela, vous posez une feuille transparente dessus avec un filtre qui dit : « Rappelez-vous qu'il pleut plus ici. » Vous dessinez ensuite votre cercle de prédiction en fonction de cette vue filtrée.
Avantages : C'est sûr et cela fonctionne même si vous ne savez pas comment le modèle original a été construit (une « boîte noire »).
Inconvénients : Si le modèle original était déjà biaisé (par exemple, s'il a été entraîné uniquement sur des jours de forte pluie), cette méthode ajuste simplement le chiffre final, mais ne corrige pas le biais sous-jacent dans le raisonnement du modèle.

Stratégie B : Le Redressement « En cours d'entraînement » (La correction profonde)

Considérez cela comme le fait de réécrire le manuel de formation du prévisionniste météo avant même qu'il ne commence à faire des prévisions.

Comment ça marche : Avant que le modèle ne fasse sa prédiction finale, vous retournez dans son « cerveau » (les paramètres) et vous ajustez ses croyances. Vous dites au modèle : « Hé, les données sur lesquelles tu as appris étaient biaisées. Ajustons ta compréhension interne de la fréquence des pluies. »
L'analogie : Au lieu de simplement mettre un filtre sur la carte, vous redessinez réellement la carte pour refléter la nouvelle réalité. Vous apprenez au prévisionniste que « la journée moyenne » dans la nouvelle ville est différente.
Avantages : Si les données d'entraînement originales ont été « enrichies » (par exemple, le modèle n'a vu que des données de jours orageux), cette méthode débiaise activement le modèle. Elle corrige la cause profonde, menant à des plages de prédiction plus serrées et plus précises.
Inconvénients : Vous avez besoin d'accéder au processus d'entraînement interne du modèle. Si le modèle est une boîte noire, vous ne pouvez pas faire cela.

Les Expériences : Quel usage en faire ?

Les auteurs ont mené deux expériences informatiques pour voir quelle stratégie l'emporte.

Expérience 1 : L'entraînement « Équitable »

Scénario : Le modèle a été entraîné sur un ensemble de données parfaitement équilibré et juste provenant de la Ville Source.
Résultat : Les deux stratégies ont bien fonctionné. Elles ont toutes deux atteint la précision correcte de 90 %. La Stratégie A était légèrement plus simple, mais la Stratégie B n'a rien entravé.
À retenir : Si vos données d'entraînement sont bonnes et sans biais, vous pouvez utiliser la correction simple « Post-Hoc » (Stratégie A).

Expérience 2 : L'entraînement « Biaisé » (Optimisation du Lead)

Scénario : Cela simule un problème du monde réel comme la découverte de médicaments. Imaginez que vous entraînez un modèle pour trouver de bons médicaments, mais que vos données d'entraînement ne contiennent que des composés à « haute activité » (les meilleurs médicaments). Le modèle est biaisé car il pense que tout est un médicament à haute activité.
Résultat :
- La Stratégie A (la correction rapide) a toujours réussi à obtenir la couverture correcte, mais les plages de prédiction étaient un peu larges.
- La Stratégie B (la correction profonde) a excellé ici. En corrigeant le biais interne du modèle, elle a produit des plages de prédiction plus étroites et plus précises tout en maintenant la précision de 90 %. Elle a essentiellement « débiaisé » le modèle, le rendant plus intelligent face à la nouvelle réalité.
À retenir : Si vos données d'entraînement sont biaisées ou spécialisées (ce qui est courant dans des domaines spécialisés comme la découverte de médicaments), la Stratégie B est supérieure car elle nettoie la logique interne du modèle, et pas seulement le résultat final.

Résumé en langage clair

Le Problème : Votre modèle d'IA a été entraîné sur des données qui ne correspondent plus à la réalité (le « Décalage de Label »).
La Solution : Utilisez le Conformal Bayes pour créer un filet de sécurité (une plage de prédiction) qui est garanti d'être correct.
Le Choix :
- Si votre modèle a été entraîné sur des données équitables, utilisez la Stratégie A (ajustez le résultat final). C'est simple et efficace.
- Si votre modèle a été entraîné sur des données biaisées ou spécialisées (comme uniquement les « meilleurs » exemples), utilisez la Stratégie B (corrigez le cerveau interne du modèle). Cela rend les prédictions plus précises et élimine le biais.

L'article conclut que bien que les deux méthodes garantissent la précision, la Stratégie B est l'« opérateur de débiaisement » qui rend le modèle plus efficace lorsque les données d'entraînement étaient imparfaites.

Résumé Technique : Conformal Bayes sous décalage de labels (Label Shift)

1. Énoncé du Problème

Le papier traite du défi consistant à construire des ensembles de prédiction statistiquement valides sous un décalage de labels (label shift), un décalage de distribution où la distribution marginale des labels change entre les domaines source ( $p_s(y)$ ) et cible ( $p_t(y)$ ), tandis que la distribution conditionnelle des caractéristiques reste invariante ( $p_t(x|y) = p_s(x|y)$ ).

Dans le cadre standard du Conformal Bayes, les ensembles de prédiction sont construits à l'aide de la densité prédictive bayésienne postérieure $p(y|x, D_{tr})$ et d'un score de non-conformité (typiquement la densité logarithmique négative, NLPD). Sous un décalage de labels, les données de calibration tirées du domaine source et les données de test du domaine cible ne sont plus échangeables sous la même mesure. Par conséquent, les ensembles de prédiction calibrés sur les données sources ne parviennent pas à atteindre le niveau de couverture nominal sur les points de test cibles. Ce problème est particulièrement pertinent dans des domaines comme l'optimisation de tête de série (lead-optimization), où les données d'entraînement sont enrichies en composés à haute activité, mais où les prédictions sont requises sur une bibliothèque chimique complète présentant une distribution de labels différente.

2. Méthodologie

Les auteurs proposent un cadre unifié analysant deux stratégies complémentaires pour restaurer la couverture nominale dans le domaine cible. Les deux stratégies reposent sur une calibration de conformal pondérée par l'importance (IW) pour assurer la validité, mais diffèrent fondamentalement dans la manière dont elles ajustent la géométrie prédictive.

Hypothèses Fondamentales

Décalage de Labels (Invariance Conditionnelle) : $p_t(x|y) = p_s(x|y)$ , mais $p_t(y) \neq p_s(y)$ .
Rapport de Densité : Le décalage est modélisé via un basculement exponentiel (exponential tilting) : $w(y) = p_t(y)/p_s(y) \propto \exp(\beta y)$ , où $\beta$ est un paramètre connu (ou estimé).
Modèle : Un squelette (backbone) gelé $\phi(x)$ avec une tête linéaire gaussienne : $y|x, \theta \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2)$ .

Stratégie A : Calibration Post-Hoc (Basculement Prédictif)

Mécanisme : La distribution postérieure des paramètres $\pi_s(\theta|D_{tr})$ reste inchangée. La correction est appliquée au niveau prédictif.
Processus :
1. La densité prédictive cible est dérivée en appliquant un basculement à la densité prédictive source : $p_A(y|x, D_{tr}) \propto p_s(y|x, D_{tr}) w(y)$ .
2. Le score de non-conformité est la densité logarithmique négative de cette densité prédictive basculée : $s_A(x, y) = -\log p_A(y|x, D_{tr})$ .
3. Le seuil de conformalité est calculé à l'aide d'un quantile pondéré par l'importance des scores de calibration.
Géométrie : Le centre de l'ensemble de prédiction inclut un décalage proportionnel à l'incertitude épistémique ( $\phi(x)^\top \Sigma_\theta \phi(x)$ ). Les entrées éloignées de la distribution d'entraînement reçoivent des intervalles plus larges.
Exigences : Ne nécessite pas d'accès au pipeline d'entraînement ; traite le modèle source comme une boîte noire.

Stratégie B : Adaptation durant l'Entraînement (Basculement de la Postérieure)

Mécanisme : La correction est appliquée au niveau des paramètres avant la calibration.
Processus :
1. Une "postérieure basculée vers la cible" est construite en ajustant la postérieure source à l'aide de rapports de vraisemblance par observation : $\pi_t(\theta|D_{tr}) \propto \pi_s(\theta|D_{tr}) \prod_{i} Z_\theta(x_i)^{-1}$ .
2. Pour les têtes gaussiennes, cela produit une postérieure gaussienne en forme fermée avec une moyenne décalée : $\hat{\theta}_t = \hat{\theta}_s - \beta n \Sigma_\theta \bar{\phi}$ , où $\bar{\phi}$ est la caractéristique moyenne de l'ensemble d'entraînement.
3. Le score de non-conformité est la NLPD de la distribution prédictive dérivée de cette postérieure corrigée.
4. Le seuil de conformalité utilise le même quantile pondéré par l'importance que la Stratégie A.
Géométrie : Le décalage du centre de l'ensemble de prédiction dépend de la similitude entre le point de test et la distribution d'entraînement ( $\phi(x)^\top \bar{\phi}$ ), plutôt que de l'incertitude épistémique.
Exigences : Nécessite l'accès au pipeline d'entraînement et aux caractéristiques d'entraînement pour calculer la correction de la moyenne.

Pipeline Algorithmique

Les deux stratégies suivent un pipeline unifié (Algorithme 1) :

Calculer les paramètres de la régression linéaire bayésienne source.
Calculer la fonction de score (soit $s_A$ , soit $s_B$ ).
Évaluer l'ensemble de calibration.
Calculer le seuil du quantile pondéré par l'importance.
Construire l'ensemble de prédiction $C(x) = \{y : s(x, y) \leq \hat{q}\}$ .

3. Contributions Clés

Cadre Unifié : Une séparation de la validité (régie par le quantile pondéré par l'importance) de l'efficacité (régie par le choix de la géométrie du score : basculement prédictif vs basculement de la postérieure).
Solutions en Forme Fermée : Dérivation d'une postérieure basculée vers la cible en forme fermée pour les têtes gaussiennes, permettant le calcul exact de la distribution prédictive corrigée.
Analyse Comparative : Une comparaison directe identifiant les régimes où chaque stratégie est préférable :
- Entraînement Non-Biaisé : Les deux stratégies atteignent une couverture valide, mais la Stratégie A (Basculement Prédictif) produit des intervalles plus étroits. La Stratégie B introduit un biais inutile si les données sources sont déjà représentatives.
- Entraînement Biaisé/Enrichi (Optimisation de Tête de Série) : La Stratégie B agit comme un opérateur de débaisage. En corrigeant la postérieure des paramètres, elle réduit simultanément le biais des paramètres, le biais prédictif et la largeur des intervalles tout en maintenant une couverture valide.

4. Résultats Expérimentaux

Les auteurs évaluent les méthodes sur des données de régression linéaire gaussienne synthétique sous deux régimes :

Expérience 1 (Régime Non-Biaisé) : Les données d'entraînement sont un tirage uniforme de la distribution source.
- Couverture : Toutes les méthodes utilisant le quantile IW (CB-IW, Stratégie A, Stratégie B) maintiennent une couverture nominale de 90 % quel que soit l'intensité du décalage de labels ( $\beta$ ). La base non pondérée échoue, perdant en couverture à mesure que $\beta$ augmente.
- Efficacité : La Stratégie A produit les intervalles les plus étroits. La Stratégie B est plus large car la correction MAP déplace la postérieure loin de la vérité dans un contexte non biaisé.
Expérience 2 (Régime d'Optimisation de Tête de Série) : Les données d'entraînement sont enrichies en composés à haute réponse (source biaisée).
- Couverture : Toutes les méthodes basées sur l'IW maintiennent une couverture valide de 90 %. La base non pondérée sur-couvre (91–95 %) en raison de scores de calibration gonflés par le modèle biaisé.
- Débiaisage : La Stratégie B réduit le biais des paramètres d'environ 40 % et le biais prédictif de 34 % par rapport à la postérieure source biaisée.
- Efficacité : La Stratégie B produit des intervalles strictement plus étroits que la Stratégie A (jusqu'à une réduction de 16 % de la largeur à $\beta=0,6$ ) tout en maintenant la même couverture. Cela démontre que corriger la postérieure des paramètres est plus efficace que de corriger la densité prédictive lorsque les données d'entraînement sources sont biaisées.

5. Signification et Revendications

Le papier prétend fournir une vision unifiée et fondée sur des principes pour gérer le décalage de labels dans le Conformal Bayes. Sa principale signification réside dans la distinction entre la calibration pour la validité et l'adaptation pour l'efficacité :

La validité est garantie uniquement par la règle du quantile pondéré par l'importance, que le score soit corrigé post-hoc ou durant l'entraînement.
L'efficacité dépend du contexte. Dans les contextes non biaisés, le basculement prédictif post-hoc est supérieur car il évite d'altérer la postérieure des paramètres. Cependant, dans les scénarios avec des données d'entraînement enrichies/biaisées (courants en optimisation de tête de série), l'adaptation de la postérieure durant l'entraînement agit comme une étape de débaisage nécessaire, améliorant à la fois la précision du modèle sous-jacent et l'efficacité des ensembles de prédiction.

Les auteurs notent que le cadre repose actuellement sur des hypothèses fortes (décalage de labels pur, paramètre de basculement connu, têtes linéaires gaussiennes) et une validation synthétique. Ils suggèrent que l'extension aux modèles profonds nécessitera une inférence approximative (ex: approximation de Laplace) et que la validation sur des données réelles est laissée à des travaux futurs. Ils décrivent également une procédure en deux étapes pour estimer $\beta$ sans données cibles étiquetées en utilisant des pseudo-labels, faisant référence à un article compagnon pour les applications de propriétés moléculaires.