🤖 machine learning

Robust Conditional Conformal Prediction via Branched Normalizing Flow

Cet article présente le flot normalisant ramifié (BNF), une méthode novatrice qui exploite le transport inversible pour borner et atténuer les erreurs de couverture conditionnelle dans la prédiction conforme sous dérive de distribution, améliorant ainsi considérablement la robustesse sur des ensembles de données diversifiés.

Auteurs originaux : Rui Xu, Xingyuan Chen, Wenxing Huang, Minxuan Huang, Weiyan Chen, Sihong Xie, Hui Xiong

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rui Xu, Xingyuan Chen, Wenxing Huang, Minxuan Huang, Weiyan Chen, Sihong Xie, Hui Xiong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un météorologue. Vous voulez dire aux gens non seulement « Il pleuvra demain », mais « Il pleuvra entre 1 et 3 pouces ». Cette plage constitue votre ensemble de prédiction.

Dans le monde de l'IA, cela s'appelle la Prédiction Conformée (CP). Sa tâche principale est de garantir que la quantité réelle de pluie tombe à l'intérieur de votre plage prédite un certain pourcentage du temps (disons 90 % du temps).

Le Problème : L'Erreur « Toujours la Même »

Habituellement, les modèles d'IA sont entraînés sur des « données d'étalonnage » (la météo passée) et testés sur des « données de test » (la météo future). La méthode standard fonctionne très bien si le futur ressemble exactement au passé.

Mais que se passe-t-il si le climat change ? Que se passe-t-il si les jours de « test » sont soudainement beaucoup plus chauds ou venteux que les jours de « calibration » ? Cela s'appelle un changement de distribution.

Les méthodes existantes tentent de résoudre ce problème en examinant l'erreur moyenne. Elles disent : « En moyenne, notre garantie de 90 % est respectée. » Mais c'est comme dire : « En moyenne, mon parapluie me protège de la pluie. » Cela ne vous aide pas si vous vous trouvez à un endroit précis où la pluie tombe de biais et où votre parapluie est trop petit.

L'article souligne que, bien que la garantie moyenne puisse encore être respectée, la garantie échoue pour des situations spécifiques et délicates. Si l'IA est incertaine concernant un type de journée particulier (par exemple, une vague de chaleur soudaine), elle pourrait fournir une plage de prédiction beaucoup trop étroite, échouant à capturer la vraie réponse.

La Solution : Le « Traducteur Métamorphe »

Les auteurs proposent une nouvelle méthode appelée Flot Normalisant Branché (BNF), spécifiquement une version Augmentée.

Imaginez le processus de prédiction de l'IA comme une chaîne de montage d'usine :

L'Entrée : Un nouveau jour de météo étrange arrive (les données de test).
Le Problème : Ce jour ne ressemble en rien aux jours sur lesquels l'usine a été entraînée. Si nous essayons de prédire directement, l'usine se perd et fournit une mauvaise plage.
Le Traducteur (BNF) : Avant que l'usine ne voie le nouveau jour, le BNF agit comme un traducteur métamorphe. Il prend ce jour étrange et nouveau et le « déforme » mathématiquement pour qu'il ressemble exactement aux anciens jours familiers que l'usine connaît.
- Analogie : Imaginez que vous essayez de faire entrer un clou carré dans un trou rond. Au lieu de forcer le clou, vous disposez d'un outil magique qui transforme temporairement le clou carré en un clou rond afin qu'il s'adapte parfaitement.
La Prédiction : Maintenant que le jour semble « normal » pour l'usine, l'usine génère une plage de prédiction garantie comme étant correcte (90 % de couverture) car elle travaille avec des données familières.
Le Traducteur Inverse : Voici le tour de magie. Le BNF est inversible. Une fois que l'usine a fourni la plage de prédiction « normale », le BNF utilise son « outil magique » à l'envers pour déformer cette plage afin qu'elle corresponde au jour de météo étrange et original.

Parce que l'outil est réversible et soigneusement conçu, la plage de prédiction finale pour le jour étrange est tout aussi fiable que celle pour le jour normal.

Pourquoi « Branché » et « Augmenté » ?

L'article introduit deux caractéristiques spéciales pour rendre cela possible :

Les Branches : Le traducteur possède deux bras séparés. Un bras gère les caractéristiques (température, vent, etc.), et l'autre gère le résultat (la quantité de pluie).
- Pourquoi ? Lorsque vous faites une prédiction pour demain, vous connaissez la température (caractéristiques), mais vous ne connaissez pas encore la pluie (résultat). La conception « Branchée » permet au traducteur de corriger les caractéristiques sans avoir besoin de connaître la réponse au préalable. C'est comme ajuster l'objectif d'un appareil photo avant de prendre la photo, sans avoir besoin de savoir à quoi ressemblera la photo.
L'Augmentation (L'Ingrédient « Bruit ») : L'idée originale était un peu trop rigide. Pour rendre le traducteur suffisamment flexible afin de gérer des données réelles complexes et désordonnées, les auteurs ajoutent une pincée de bruit aléatoire (comme saupoudrer un peu de sel dans une recette).
- Analogie : Imaginez que vous essayez d'adapter deux sculptures en argile très différentes. Si vous étirez simplement l'argile, elle pourrait se déchirer. Mais si vous ajoutez un peu de « poussière magique » (bruit) qui permet à l'argile de couler plus librement, vous pouvez la remodeler parfaitement sans la briser. Ce bruit aide le modèle à apprendre des formes complexes qu'un modèle rigide ne pourrait pas gérer.

Les Résultats

L'équipe a testé cette méthode sur neuf scénarios réels différents, notamment :

Location de vélos : Prédire combien de vélos les gens loueront à différents moments de la journée.
Trafic : Prédire la vitesse du trafic dans différentes villes.
Santé : Prédire combien de temps un patient pourrait rester en soins intensifs.
Épidémies : Prédire les cas de grippe pendant différentes phases d'une pandémie.

Dans tous ces cas, où les données ont « dévié » (changé de motifs), leur méthode a maintenu la fiabilité des plages de prédiction. Elle n'a pas seulement maintenu le taux de réussite moyen ; elle a assuré que l'IA ne échouait pas spécifiquement sur les jours les plus difficiles et les plus inhabituels.

En Résumé

L'article dit : « Ne vous fiez pas seulement à la moyenne. Si votre IA va faire face à des situations étranges et nouvelles, donnez-lui un traducteur réversible capable de transformer ces situations étranges en situations familières, de faire la prédiction, puis de retransformer la réponse. Cela maintient votre filet de sécurité solide, même lorsque le sol sous vos pieds change. »

Résumé Technique : Prédiction Conformale Conditionnelle Robuste via Flux Normalisant Branché

1. Énoncé du Problème

La Prédiction Conformale (CP) fournit des ensembles de prédiction avec des garanties de couverture marginale, sous l'hypothèse que les données d'étalonnage et de test sont indépendantes et identiquement distribuées (i.i.d.). Cependant, en présence de dérifts de distribution (où la distribution de test $Q_{XY}$ diffère de la distribution d'étalonnage $P_{XY}$ ), les méthodes existantes alignent généralement uniquement les distributions marginales des scores conformes. Bien que cela préserve la couverture marginale, cela échoue à contrôler l'erreur de couverture conditionnelle pour les entrées de test individuelles. Par conséquent, les ensembles CP peuvent devenir peu fiables dans des régions spécifiques où les distributions de scores conditionnelles sont inadaptées, entraînant soit une sous-couverture, soit une surcouverture excessive pour certaines entrées. Le défi central consiste à garantir des garanties de couverture conditionnelle robustes ( $Pr(Y \in C(X) | X=x) \ge 1-\alpha$ ) sous des dérifts de distribution conjointe, sans nécessiter la connaissance des véritables étiquettes de test lors de l'inférence.

2. Méthodologie

La solution proposée introduit un cadre théorique reliant le dérift de distribution à la dégradation de la couverture conditionnelle, ainsi qu'une architecture novatrice pour l'atténuer.

Cadre Théorique :

Écart de Couverture Conditionnelle (CCG) : Les auteurs définissent le CCG pour mesurer la divergence entre la couverture conditionnelle d'une entrée de test sous $Q_{XY}$ et la garantie sous $P_{XY}$ .
Écart de Couverture Intégré (ICG) : Défini comme l'espérance du CCG sur la distribution des caractéristiques de test $Q_X$ , servant de métrique globale de robustesse.
Majoration par la Distance de Wasserstein : L'article dérive une borne supérieure pour l'ICG utilisant la distance de Wasserstein ( $W$ ) entre les distributions conjointes d'étalonnage et de test ( $P_{XY}$ et $Q_{XY}$ ). Plus précisément, $ICG(P, Q) \le \sqrt{2\kappa L} (\eta \cdot W(P_{XY}, Q_{XY}) + 1/4)$ . Cette borne implique que la minimisation de la distance de Wasserstein entre les distributions peut théoriquement favoriser une couverture conditionnelle robuste.

Algorithme : Flux Normalisant Branché (BNF)
Pour opérationnaliser la borne de Wasserstein, les auteurs proposent le Flux Normalisant Branché (BNF), une application inversible $f_\theta(x, y) = (f_{\theta_X}(x), f_{\theta_Y}(y))$ conçue pour transformer la distribution de test $Q_{XY}$ afin qu'elle corresponde à la distribution d'étalonnage $P_{XY}$ .

Architecture : Le BNF utilise deux branches indépendantes. La branche $X$ ( $f_{\theta_X}$ ) normalise les entrées de test, tandis que la branche $Y$ ( $f_{\theta_Y}$ ) transforme les étiquettes. Crucialement, les branches ne partagent pas de paramètres, garantissant que la transformation de $X$ ne dépend pas de l'étiquette de test non observée $Y$ .
Processus d'Inférence :
1. Transformer une entrée de test $X_{n+1}$ en une entrée normalisée $\bar{X}_{n+1} = f_{\theta_X}(X_{n+1})$ .
2. Construire un ensemble de prédiction conditionnel $CC(\bar{X}_{n+1})$ en utilisant la distribution d'étalonnage $P_{XY}$ (par exemple, via une Régression Quantile Conformalisée).
3. Inverser la transformation de l'ensemble vers l'espace de test en utilisant $f_{\theta_Y}^{-1}$ pour obtenir l'ensemble de prédiction robuste final $C_{BNF}(X_{n+1})$ .
BNF Augmenté : Pour gérer des distributions complexes où les transformations monotones univariées (requises pour une application inversible simple) sont insuffisantes, les auteurs introduisent le BNF Augmenté. Cette variante ajoute un composant de bruit stochastique $\epsilon \sim \mathcal{N}(0,1)$ à la transformation de la branche $Y$ ( $f_{\theta_Y}^{aug}(y; \epsilon)$ ). Cela augmente l'expressivité mais nécessite de résoudre un problème de recherche de racines (ou une recherche sur grille) lors de l'inférence pour construire l'ensemble de prédiction, car la transformation n'est plus strictement monotone.
Généralisation de Domaine Multi-Sources (MSDG) : Dans les scénarios où la distribution de test est un mélange de $K$ distributions sources, la méthode minimise la distance de Wasserstein moyenne entre l'ensemble d'étalonnage et les ensembles sources transformés, en supposant des poids de mélange uniformes.

3. Contributions Clés

Quantification de la Robustesse : La définition de l'Écart de Couverture Conditionnelle (CCG) et de l'Écart de Couverture Intégré (ICG) fournit une métrique théorique pour évaluer la robustesse de la couverture conditionnelle sous dérift de distribution.
Borne Théorique : La dérivation d'une borne supérieure pour l'ICG en fonction de la distance de Wasserstein entre les distributions conjointes, établissant un lien théorique entre la minimisation du transport et la préservation de la couverture conditionnelle.
Flux Normalisant Branché (BNF) : L'introduction d'une architecture inversible à deux branches permettant la transformation des entrées de test vers une distribution similaire à celle d'étalonnage sans nécessiter d'étiquettes de test, préservant ainsi les garanties conditionnelles lors de la transformation inverse.
BNF Augmenté : Une extension utilisant l'augmentation stochastique pour améliorer la capacité d'ajustement aux distributions complexes, couplée à une méthode pour retrouver les garanties conditionnelles malgré la perte de monotonie.

4. Résultats Expérimentaux

La méthode a été évaluée sur neuf jeux de données couvrant des dérifts synthétiques et des défis réels (prévision des ventes, prévision du trafic, prise de décision médicale et modélisation épidémique) dans des configurations de Généralisation de Domaine Multi-Sources (MSDG).

Métriques : La performance a été mesurée à l'aide de la Couverture Marginale, de la Couverture du Slice le plus Pire (WSC) et de l'Écart de Couverture du Slice le plus Pire (WSCG) proposé, qui pénalise à la fois la sous-couverture et la surcouverture.
Constats :
- Robustesse : Le BNF Augmenté combiné à la Régression Quantile Conformalisée (CQR) a systématiquement atteint le WSCG le plus bas sur tous les jeux de données et niveaux de confiance, surpassant les références incluant CP Split, CP Pondéré par Importance, CP Cas Pire et CP Régularisé par Wasserstein.
- Couverture : La méthode a maintenu une couverture marginale et une WSC proches du niveau de confiance cible ( $1-\alpha = 0,9$ ) tout en réduisant significativement l'écart par rapport à la cible dans les tranches conditionnelles.
- Efficacité : Bien que le BNF Augmenté standard produise des ensembles de prédiction plus grands pour tenir compte de l'incertitude de la source, une variante "Conditionnée à l'Augmentation" (qui conditionne sur la source connue lors de l'inférence) a considérablement réduit la taille de l'ensemble tout en maintenant la couverture.
- Généralisation : La méthode a démontré une robustesse face à des tailles d'échantillon variables, des nombres de domaines sources ( $K$ ) et différents niveaux de confiance.

5. Importance et Revendications

L'article revendique que sa principale importance réside dans la résolution de la dégradation de la couverture conditionnelle de la Prédiction Conformale sous dérifts de distribution, un problème largement ignoré par les méthodes existantes axées sur la marge. En bornant l'invalidité conditionnelle via la distance de Wasserstein et en l'implémentant via un flux branché inversible, ce travail fournit un mécanisme théoriquement fondé et empiriquement efficace pour garantir que la quantification de l'incertitude reste fiable pour les entrées de test individuelles, même lorsque les distributions de données dérivent. Les auteurs positionnent cela comme une étape vers des applications d'IA plus sûres dans des domaines critiques (par exemple, santé, trafic, modélisation épidémique) où les dérifts de distribution sont inévitables et où la fiabilité conditionnelle est primordiale.

L'article reconnaît des limitations, notamment le coût computationnel de la recherche de racines dans le BNF Augmenté, la nature stochastique des ensembles de prédiction et les contraintes architecturales nécessitant des entrées multivariées. Il note également que, bien que les données d'étalonnage soient réutilisées pour entraîner le flux (un biais de réglage potentiel), des études d'ablation suggèrent que cet impact est minime en pratique.