📊 statistics

Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

Cet article introduit un cadre bayésien conforme pour la régression gaussienne censurée des deux côtés sous décalage d'étiquette, qui combine l'inclinaison prédictive a posteriori avec le calibrage conforme pondéré pour construire des ensembles de prédiction de densité maximale mixtes, restaurant efficacement la couverture marginale tout en s'adaptant à la nature mixte discrète-continue complexe des données censurées.

Auteurs originaux : Seungjin Choi

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seungjin Choi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire la température d'une pièce, mais que votre thermomètre est cassé. Il possède un plancher rigide à 0 °C et un plafond rigide à 100 °C.

Si la température réelle est de -5 °C, le thermomètre affiche simplement "0".
Si la température réelle est de 105 °C, il affiche simplement "100".
Uniquement si la température se situe entre 0 et 100, il affiche le nombre exact.

C'est ce qu'on appelle des données censurées des deux côtés (Two-Sided Censored Data). L'article traite de la manière de faire des prédictions lorsque vos données sont "tronquées" en haut et en bas de cette façon.

Imaginez maintenant que vous avez entraîné votre modèle de prédiction sur un ensemble de données où les températures étaient majoritairement douces (autour de 20 °C). Mais au moment d'utiliser votre modèle dans le monde réel, la météo a changé (ce qui est appelé Décalage de l'étiquette ou Label Shift) et, désormais, les températures sont principalement extrêmes (soit très froides, soit très chaudes).

La question posée par l'article est la suivante : Comment construire un filet de sécurité (un intervalle de prédiction) qui garantit de capturer la température réelle, même lorsque les données sont tronquées et que la météo a changé ?

Voici la solution de l'article, décomposée en concepts simples :

1. Le Problème : Un méli-mélo confus

Les outils de prédiction standards supposent que les données suivent une ligne lisse et continue. Mais avec un thermomètre cassé, vos données sont un mélange étrange :

Les "Atomes" : Un amas de points de données coincés exactement à 0 et exactement à 100.
L' "Intérieur" : Une courbe lisse de points de données flottant entre 0 et 100.

Si vous essayez d'appliquer les mathématiques standards sur cela, cela échoue car vous traitez "l'amas à 0" de la même manière qu'un nombre spécifique comme "5". L'article appelle cela un Espace Mixte (Mixed Space).

2. La Solution : La Prédiction Bayésienne Conforme avec une Touche de Génie

Les auteurs combinent deux idées puissantes : la Prédiction Bayésienne (utiliser un modèle pour deviner l'avenir) et la Prédiction Conforme (utiliser un contrôle de sécurité pour garantir l'exactitude).

Ils introduisent une "recette" en trois étapes pour corriger le scénario du thermomètre cassé :

Étape A : L' "Inclinaison" (Ajuster le Modèle)

Puisque la météo a changé (Label Shift), la prédiction originale du modèle est biaisée. Les auteurs "inclinent" la prédiction du modèle pour qu'elle corresponde à la nouvelle réalité.

Analogie : Imaginez que vous visez une cible sur un tableau en vous basant sur d'anciennes configurations de vent. Maintenant, le vent a tourné. Au lieu de simplement deviner, vous faites pivoter physiquement votre bras (l' "inclinaison") pour viser là où le vent souffle maintenant.
Le Piège : À cause du thermomètre cassé, cette "inclinaison" ne se contente pas de déplacer la courbe lisse ; elle modifie également la taille des amas aux marques de 0 et de 100.

Étape B : Le "Poids" (Corriger le Filet de Sécurité)

Pour s'assurer que le filet de sécurité fonctionne, vous devez pondérer vos points de données différemment.

Le Problème : Un "poids" standard n'est qu'un simple nombre. Mais ici, le poids est un outil en trois parties :
1. Un poids pour l'amas de "0".
2. Un poids pour l'amas de "100".
3. Un poids pour les nombres lisses entre les deux.
L'Innovation : L'article démontre que vous ne pouvez pas simplement considérer l'amas de "0" comme un nombre unique. C'est en réalité la somme de toutes les températures cachées qui étaient si froides qu'elles ont été écrasées en "0". Le "poids" de cet amas est une moyenne de toutes ces températures cachées et écrasées.

Étape C : Le "Filet de Sécurité Mixte" (Le Résultat)

Lorsque vous combinez l'Inclinaison et le Poids, vous obtenez un ensemble de prédiction qui diffère de la normale.

Prédiction Normale : "La température est comprise entre 15 et 25."
La Prédiction de cet Article : "La température est soit exactement 0 (il gèle), exactement 100 (il bout), soit elle se situe quelque part entre 18 et 22."

Le filet de sécurité peut être un intervalle unique, ou une forme étrange comme "Le nombre 0, plus un écart, plus le nombre 100". C'est ce qu'on appelle une Région de Densité Maximale Mixte (Mixed Highest Density Region).

3. Pourquoi cela Importe (La "Recette Secrète")

L'article met en avant deux principales astuces techniques qui permettent de réussir :

Le "Poids Moyenné sur la Queue" (Tail-Averaged Weight) : Lorsque le modèle change, le "poids" des limites de 0 et 100 n'est pas un simple ratio. C'est une moyenne de toutes les données cachées et écrasées derrière ces limites. L'article a trouvé comment calculer cette moyenne mathématiquement sans avoir besoin de voir les données cachées.
La "Formule en Trois Parties" : Ils ont dérivé une formule spéciale (un "normalisateur") qui comporte trois parties : une pour la limite gauche, une pour la limite droite et une pour le milieu. Cela permet à l'ordinateur de calculer le filet de sécurité correct instantanément, sans simulations lentes et désordonnées.

4. Ce Qu'ils Ont Trouvé (Les Expériences)

Les auteurs ont testé cela avec des simulations informatiques :

Précision : Leur méthode a réussi à capturer la valeur réelle 90 % du temps (comme promis), même lorsque les données étaient fortement tronquées et que la météo avait changé.
Efficacité : Leurs filets de sécurité étaient beaucoup plus petits (plus serrés) que ceux d'autres méthodes. Les autres méthodes, par peur de se tromper, donnaient des plages énormes et inutiles (ex: "Entre -50 et 150"). La nouvelle méthode disait : "C'est soit 0, 100, ou entre 18 et 22", ce qui est beaucoup plus utile.
Le Compromis : Parfois, la méthode est très bonne pour capturer les cas de "0", mais légèrement moins précise pour les nombres du milieu, ou inversement. Mais globalement, elle équilibre parfaitement le risque.

Résumé en une phrase

Cet article nous enseigne comment construire un filet de sécurité intelligent et ajustable pour les prédictions lorsque nos outils de mesure sont cassés en haut et en bas, et que le monde que nous prédisons a soudainement changé, garantissant ainsi une réponse précise et serrée qui reconnaît la possibilité d'extrêmes "tronqués".

Résumé Technique : Conformal Bayes pour la Régression Gaussienne avec Censures Bilatérales sous Décalage de Labels (Label Shift)

1. Énoncé du Problème

Le papier traite du défi consistant à construire des ensembles de prédiction valides pour des tâches de régression où la variable de réponse est soumise à une censure bilatérale (two-sided censoring) et à un décalage de labels (label shift).

Censure Bilatérale : Les réponses continues latentes $Y^*$ sont observées sous la forme $\tilde{Y} = T(Y^*)$ , où les valeurs inférieures à une limite inférieure $L$ sont enregistrées comme $L$ , les valeurs supérieures à une limite supérieure $U$ sont enregistrées comme $U$ , et les valeurs comprises dans l'intervalle $(L, U)$ sont observées exactement. Cela crée un espace d'observation mixte $\{L\} \cup (L, U) \cup \{U\}$ avec des masses ponctuelles (atomes) aux limites et une densité continue à l'intérieur.
Décalage de Labels : La distribution marginale de la réponse change entre l'environnement d'entraînement (source) et l'environnement de déploiement (cible).
La Difficulté Centrale : La prédiction conforme standard suppose des réponses continues. Dans ce cadre, la distribution observée est un mélange d'atomes discrets et de densité continue. De plus, un décalage de label latent (une inclinaison exponentielle sur le $Y^*$ non observé) n'induit pas un simple rapport de densité sur l'échelle censurée observée. Au lieu de cela, le décalage induit des poids moyennés par les queues de distribution (tail-averaged weights) au niveau des atomes de bordure et un rapport de densité standard à l'intérieur. Ce décalage complique à la fois le calibrage de la couverture et la géométrie des ensembles de prédiction.

2. Méthodologie

La méthode proposée, Weighted Tilted Conformal Bayes (WT), combine la modélisation prédictive bayésienne avec un calibrage conforme pondéré sur l'espace mixte observé.

A. Tête de Prédiction Bayésienne
Les auteurs utilisent un modèle Tobit gaussien bilatéral avec une approximation de Laplace du postérieur.

Modèle Latent : $Y^* | x \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2_\epsilon)$ .
Postérieur : Approximé par $\mathcal{N}(\hat{\theta}, \hat{\Sigma}_\theta)$ via une approximation de Laplace au niveau du MAP.
Distribution Prédictive : La distribution prédictive résultante pour le $\tilde{Y}$ observé est une mesure mixte :
$dP_s(\tilde{y}|x) = \pi_L(x)\delta_L + f_s(\tilde{y}|x)\mathbb{1}_{(L,U)} + \pi_U(x)\delta_U$
où $\pi_L, \pi_U$ sont les probabilités de queue de censure, et $f_s$ est la densité gaussienne intérieure.

B. Poids d'Importance dans l'Espace Mixte
Pour corriger le décalage de labels, la méthode définit un poids d'importance dans l'espace mixte $w(\tilde{y}) = \frac{dP_t}{dP_s}(\tilde{y})$ .

Intérieur ( $L < \tilde{y} < U$ ) : Le poids est un rapport de densité ordinaire, modélisé comme une inclinaison exponentielle $w(\tilde{y}) \propto \exp(\beta \tilde{y})$ .
Atomes ( $\tilde{y} = L$ ou $U$ ) : Le poids est le rapport des probabilités de censure marginales ( $\rho_{t,L}/\rho_{s,L}$ et $\rho_{t,U}/\rho_{s,U}$ ).
Insight Clé : Une inclinaison exponentielle latente induit des poids d'atomes moyennés par les queues, qui sont généralement dépendants de l'entrée. L'algorithme pratique approxime ces poids par des ratios scalaires marginaux, une distinction que le papier souligne explicitement comme une source d'erreur d'approximation.

C. Inclinaison Prédictive et Calibrage
La méthode distingue le score (déterminant la géométrie de l'ensemble) du poids (déterminant la validité du calibrage).

Distribution Prédictive Inclinée : La distribution prédictive source est inclinée par le ratio de label observé pour s'aligner sur la distribution cible :
$p_t(\tilde{y}|x) \propto p_s(\tilde{y}|x) w(\tilde{y})$
Cela produit une nouvelle distribution mixte avec un normalisateur $Z(x)$ en forme fermée à trois termes, ajustant à la fois la moyenne intérieure et les masses des atomes.
Score : Le score conforme est le logarithme négatif de la densité de la distribution prédictive inclinée : $s(\tilde{y}) = -\log p_t(\tilde{y}|x)$ .
Calibrage : Un quantile conforme pondéré est calculé à l'aide des données sources, où chaque échantillon est pondéré par le ratio marginal de l'espace observé $w(\tilde{y})$ .

D. Ensembles de Prédiction (Mixed-HDR)
L'ensemble de prédiction résultant est une Région de Densité Maximale Mixte (Mixed Highest Density Region - Mixed-HDR). Elle est définie comme le niveau de la densité mixte inclinée :
$C(x) = \{ \tilde{y} : p_t(\tilde{y}|x) \geq \lambda^* \}$
En raison de la mesure mixte, cet ensemble peut prendre trois formes :

Un intervalle intérieur $[y_\ell, y_u]$ .
Un intervalle intérieur uni à un ou deux atomes de bordure (ex: $\{L\} \cup [y_\ell, y_u]$ ).
Un ensemble composé uniquement d'un atome (ex: $\{U\}$ ) sous une censure forte ou un décalage extrême.

3. Principales Contributions

Le papier apporte quatre contributions techniques majeures :

Normalisateur Incliné en Forme Fermée : Dérivation des distributions prédictives source et inclinées pour un modèle Tobit bilatéral avec approximation de Laplace. Le normalisateur incliné se décompose en termes d'atome gauche, d'intérieur et d'atome droit, permettant le calcul exact de la loi prédictive mixte.
Caractérisation du Décalage Latent-vers-Observé : Identification du fait qu'un décalage de label latent ne correspond pas à un rapport de densité unique sur l'échelle observée. Au lieu de cela, il crée un poids mixte où les composantes d'atomes sont des ratios moyennés par les queues et l'intérieur est un rapport de densité. Le papier distingue explicitement le pushforward latent exact de l'approximation marginale pratique.
Géométrie du Mixed-HDR : Caractérisation des ensembles de prédiction sur l'espace censuré. Les ensembles sont des unions d'atomes de bordure optionnels et d'un intervalle intérieur unique. Le papier prouve que les ensembles déconnectés (ex: $\{L\} \cup \{U\}$ avec un écart) sont non génériques sous la tête de prédiction gaussienne.
Hiérarchie et Efficacité de la Méthode : Comparaison de trois configurations de calibrage :
- UT (Unweighted Tilted) : Utilise des scores inclinés mais aucun poids (mal calibré sous décalage).
- WS (Weighted Source) : Utilise les scores sources avec des poids (valide mais géométrie sous-optimale).
- WT (Weighted Tilted) : Utilise des scores inclinés avec des poids (valide et efficace).
  L'analyse montre que WT restaure la couverture marginale tout en réduisant significativement la taille des ensembles par rapport à WS.

4. Résultats Expérimentaux

Des expériences synthétiques sur un modèle de régression gaussienne latente avec censure bilatérale démontrent :

Validité de la Couverture : La règle WT exacte pondérée par les candidats atteint la couverture marginale nominale (ex: 90 %) sous décalage de label, contrairement aux méthodes non pondérées (UT) qui sur-couvrent ou sous-couvrent selon la direction du décalage.
Efficacité : WT produit des ensembles de prédiction nettement plus petits que WS. Pour un paramètre de décalage $\beta=1.2$ , la taille moyenne des ensembles est passée de 2.894 (WS) à 1.740 (WT), soit une réduction d'environ 40 %.
Écart d'Approximation : L'approximation pratique par "atome scalaire" (utilisant des ratios marginaux plutôt que des moyennes de queues dépendantes de l'entrée) et les seuils de "calibrage uniquement" introduisent une erreur négligeable sur la couverture marginale dans le régime synthétique testé, bien qu'ils ne garantissent pas la couverture composante par composante.
Adaptation de la Géométrie : À mesure que l'intensité de la censure augmente, les ensembles de prédiction passent d'intervalles intérieurs à des ensembles dominés par les atomes de bordure. Sous une censure forte, les ensembles se réduisent souvent à des atomes uniques (ex: $\{U\}$ ), reflétant correctement l'incertitude quant à la position de la valeur réelle au-delà de la limite de détection.
Estimation du Rapport de Densité : Les estimateurs ignorant la variance résiduelle (pseudo-labels ponctuels) souffrent d'une compression de la variance, entraînant des estimations d'inclinaison atténuées et des ensembles trop larges. L'échantillonnage prédictif incliné est montré comme étant l'approche fondamentale pour estimer le paramètre d'inclinaison $\beta$ , restaurant la variance nécessaire.

5. Signification et Revendications

Le papier affirme fournir un cadre rigoureux pour la prédiction conforme dans des contextes où les réponses sont censurées et les distributions décalées.

Séparation Théorique : Il sépare clairement la validité (garantie par l'identité d'importance dans l'espace mixte et le calibrage pondéré) de l'efficacité (garantie par le score incliné et la géométrie du Mixed-HDR).
Nouveauté de la Censure : Le travail souligne que le décalage de label censuré n'est pas simplement une variante notationnelle du décalage continu. La transformation "latent-vers-mixte" crée des subtilités techniques uniques, spécifiquement la nature des poids d'atomes moyennés par les queues et la géométrie Mixed-HDR résultante.
Utilité Pratique : La méthode offre une solution de calculable (expressions en forme fermée) qui s'adapte au régime de censure spécifique, évitant l'inefficacité consistant à traiter les frontières censurées comme de simples valeurs numériques.

Les auteurs notent des limitations, notamment la dépendance à l'approximation de Laplace et l'hypothèse d'erreurs latentes gaussiennes, et identifient des travaux futurs dans les vraisemblances non gaussiennes et les applications de données moléculaires réelles.