Résumé technique : Distributions prédictives conformes basées sur des flots

Énoncé du problème

La prédiction conforme offre un cadre sans hypothèse de distribution pour la quantification de l'incertitude (UQ) en générant des ensembles de prédiction $C_\alpha(x)$ avec une couverture garantie pour des échantillons finis. Bien qu'efficaces dans les espaces de faible dimension où les ensembles peuvent être représentés sous forme d'intervalles, les méthodes conformes rencontrent des défis majeurs dans les espaces de sortie de haute dimension ou structurés (par exemple, images, champs, opérateurs). Dans ces domaines, les ensembles de prédiction sont définis implicitement comme des ensembles de sous-niveau d'un score de non-conformité, ce qui les rend difficiles à représenter, à visualiser ou à exploiter pour des tâches en aval telles que les prévisions probabilistes, l'estimation des risques et la simulation.

Les tentatives existantes pour représenter ces ensembles ou les relever vers des distributions — telles que les bandes de prédiction, la modélisation générative ou les applications de transport optimal (OT) — souffrent de limitations incluant une inefficacité des données, des coûts de calcul élevés, une mauvaise évolutivité avec la dimension, ou une dépendance à des hypothèses simplificatrices fortes. De plus, les méthodes conformes standard ne fournissent pas intrinsèquement une unique distribution prédictive, qui est souvent requise pour des tâches telles que le calcul d'espérances ou la simulation d'événements rares.

Méthodologie

L'article propose des Distributions Prédictives Conformes (CPD) basées sur des flots, une méthode constructive qui transforme les ensembles de prédiction conforme en distributions prédictives traitables à l'aide de flots déterministes.

1. Flots de non-conformité

L'innovation centrale est la définition d'un flot de non-conformité, un système dynamique en temps continu induit par un score de non-conformité différentiable $S(x, y)$. Étant donné un niveau de non-coverage cible $\alpha$ et le seuil conforme correspondant $\tau_\alpha$, la méthode définit une Équation Différentielle Ordinaire (EDO) sur l'espace de sortie $Y$ :
$$y'(t) = v_\alpha(y(t))$$
Le champ vectoriel $v_\alpha$ est dérivé pour satisfaire une équation de « contrôleur de score » :
$$S'(y(t)) = -\lambda(S(y(t)) - \tau_\alpha)$$
Cela garantit que le score de la trajectoire évolue linéairement vers le seuil cible $\tau_\alpha$. En sélectionnant la solution de norme minimale pour le champ vectoriel, le flot est défini explicitement comme :
$$v_\alpha(y(t)) = -\lambda(S(y(t)) - \tau_\alpha) \frac{\nabla S(y(t))}{\|\nabla S(y(t))\|_2^2}$$
Ce flot est sans entraînement ; il ne nécessite aucune modélisation supplémentaire, aucun entraînement génératif ni aucun apprentissage de carte de transport. Il repose uniquement sur le gradient du score de non-conformité préexistant.

Propriétés de convergence :
Les auteurs démontrent que, sous de légères conditions de régularité (différentiabilité et gradients non nuls), les trajectoires du flot convergent globalement et exponentiellement vite vers la frontière conforme $\partial C_\alpha(x) = \{y : S(x, y) = \tau_\alpha\}$. Le taux de convergence est indépendant de la dimension, dépendant uniquement de l'amplitude du gradient et du paramètre de vitesse du flot $\lambda$.

2. Distributions Prédictives Conformes (CPD)

Pour passer des ensembles aux distributions, les auteurs proposent un mélange sur les niveaux de confiance. Une Distribution Prédictive Conforme $P_x^{CPD}$ est construite en :

1. Échantillonnant un niveau de confiance $\alpha$ à partir d'une mesure de mélange $\pi$ (généralement Uniforme(0,1)).
2. Échantillonnant un point initial $y_0$ à partir d'une mesure de base $\mu_x$ (par exemple, des données d'étalonnage).
3. Faisant évoluer $y_0$ via le flot de non-conformité $\Phi_\alpha$ jusqu'à ce qu'il atteigne la frontière $\partial C_\alpha(x)$.

Cette construction produit une distribution où chaque ensemble conforme empirique $C_{\alpha_k}(x)$ est une région de quantile exacte. La méthode est $\pi$-admissible, ce qui signifie qu'elle respecte la filtration conforme sans nécessiter de modèles de vraisemblance ni d'hypothèses paramétriques.

3. Bornes théoriques

L'article fournit une borne d'approximation pour la distance de Wasserstein-2 ($W_2$) entre la vraie distribution conditionnelle et la CPD. L'erreur est décomposée en trois composantes :

1. Distorsion induite par le score : Le coût du transport de la vraie distribution vers la filtration conforme (dépendant de la façon dont les ensembles de niveau du score s'alignent avec la densité des données).
2. Qualité de la mesure de base : La distance entre la distribution d'initialisation $\mu_x$ et la vraie conditionnelle.
3. Distorsion induite par le flot de gradient : L'erreur introduite en suivant des chemins de flot de gradient plutôt que des projections orthogonales directes, contrôlée par la courbure des chemins de gradient du score.

Contributions clés

• Échantillonnage évolutif des frontières : Un mécanisme efficace en calcul et sans entraînement pour échantillonner les frontières des ensembles de prédiction conforme dans des dimensions arbitraires en utilisant des flots de gradient.
• CPD constructives : Une méthode pour relever les ensembles conformes vers des distributions prédictives garanties comme étant étalonnées (régions de quantile exactes) sans entraînement génératif ni transport optimal.
• Garanties théoriques : Des preuves de convergence exponentielle vers les frontières conformes et une borne d'approximation décomposant l'erreur prédictive en termes géométriques interprétables.
• Échantillonnage contrôlé d'événements rares : La capacité de cibler des niveaux de confiance spécifiques (y compris des queues extrêmes) en ajustant la mesure de mélange $\pi$, permettant une simulation contrôlée d'événements rares.

Résultats expérimentaux

Les auteurs ont évalué l'approche sur diverses tâches de régression structurée :

• Tâches : Régression par processus gaussien 2D, problèmes inverses d'EDP elliptiques, approximation de solutions d'équations de Navier-Stokes, réduction d'échelle des précipitations, débiaisage de modèles climatiques et prévision de trajectoires d'ouragans.
• Lignes de base : Comparaison avec MC Dropout, Deep Ensembles, réseaux à moyenne-variance, Conditional Flow Matching, réseaux de densité de mélange et réseaux de quantiles implicites.
• Métriques : Évaluation à l'aide de la distance d'énergie (ED), de la distance spectrale logarithmique (LSD) et de l'écart maximal moyen local (MMD).

Constats :

• Convergence : Le flot de non-conformité a convergé vers les ensembles de niveau cible dans la tolérance pour des scores lisses (par exemple, $\ell_2$, Huber, vraisemblance gaussienne) sur toutes les dimensions. Les scores non lisses (par exemple, $\ell_1$, kNN) ont présenté des problèmes de convergence.
• Qualité de la distribution : Les CPD ont obtenu des scores ED compétitifs et des scores LSD et MMD substantiellement inférieurs par rapport aux lignes de base. Cela indique une meilleure alignement avec les structures à grande échelle et la variabilité à petite échelle.
• Fidélité spectrale : Contrairement aux lignes de base qui lissent souvent excessivement ou injectent du bruit haute fréquence, les CPD ont préservé la forme spectrale des processus cibles.
• Événements rares : Dans la prévision de trajectoires d'ouragans, les CPD ont généré avec succès des trajectoires extrêmes plausibles en ciblant des niveaux de faible confiance, démontrant leur utilité en tant que simulateurs d'événements rares contrôlables. Le choix de la fonction de score (par exemple, géométrique vs euclidienne) a eu un impact significatif sur la plausibilité physique de ces échantillons extrêmes.

Importance et revendications

L'article revendique que les flots de non-conformité offrent une alternative évolutive, sans entraînement et efficace en calcul aux méthodes existantes pour représenter les ensembles de prédiction conforme et générer des distributions prédictives. En exploitant la géométrie du score de non-conformité, la méthode évite les goulots d'étranglement computationnels du transport optimal et les limitations des données des ensembles génératifs.

Les auteurs positionnent les CPD comme une approche rigoureuse et sans hypothèse de distribution pour les prévisions probabilistes qui maintient des garanties exactes de couverture pour des échantillons finis tout en fournissant la flexibilité requise pour les tâches statistiques en aval. Ils reconnaissent des limitations, notant que la méthode ne garantit pas une exploration complète de la frontière (potentiellement manquant certains échantillons admissibles) et repose sur la différentiabilité du score. Cependant, ils soutiennent que pour les tâches de prévision où l'adhésion à la variété des données est souhaitée, l'approche basée sur les flots offre une solution robuste et pratique.