Résumé Technique : Régression par Sur-Niveau (SLS)

1. Énoncé du Problème

En régression multivariée, caractériser avec précision la distribution conditionnelle d'une variable de réponse $Y \in \mathbb{R}^d$ étant donné des caractéristiques $X$ est souvent irréalisable sur le plan computationnel et statistiquement difficile. Bien que l'estimation complète de la densité soit possible, de nombreuses tâches de prise de décision nécessitent uniquement d'identifier les régions de densité la plus élevée (HDR) qui capturent une masse de probabilité spécifique $\tau$. Ces régions, connues sous le nom d'ensembles de niveau conditionnels, sont traditionnellement extraites via une approche « plug-in » : estimation d'abord de la densité conditionnelle complète $p(y|X)$, puis application d'un seuillage.

Cette méthode indirecte souffre de trois limitations principales :

1. Inefficacité : Elle force le modèle à dépenser sa capacité à apprendre des parties non pertinentes de la distribution.
2. Sensibilité : Elle est hautement sensible aux erreurs d'estimation dans la densité, qui se propagent à l'étape de seuillage.
3. Rigidité : Les stratégies d'estimation directe reposent souvent sur des hypothèses a priori restrictives concernant la forme, la localisation ou la topologie des données (par exemple, la convexité ou l'unimodalité).

De plus, formuler une optimisation directe visant à minimiser le volume de la région de prédiction sous contrainte de couverture conditionnelle est difficile. La fonction objectif (volume) est couplée au quantile conditionnel de l'erreur d'estimation propre du modèle. La différenciation à travers ce quantile dépendant de l'instance est notoirement difficile, car les techniques existantes pour l'optimisation sous contrainte de quantile (par exemple, le tri différentiable, les pénalités de Lagrange douces) sont conçues pour des quantiles marginaux ou au niveau du lot, et non pour ceux variant dynamiquement avec les covariables $X$.

2. Méthodologie : Régression par Sur-Niveau (SLS)

Les auteurs introduisent la Régression par Sur-Niveau (SLS), un cadre qui contourne l'estimation complète de la densité pour paramétrer et optimiser directement les frontières géométriques des ensembles de niveau conditionnels.

Formulation de Base

L'objectif est de trouver une application $\mathcal{A}(\cdot)$ qui définit l'ensemble de sur-niveau conditionnel :
$$\mathcal{A}(X) = \{y \in \mathcal{Y} : p(y|X) \geq t_\tau(X)\}$$
où $t_\tau(X)$ est le seuil garantissant $P(Y \in \mathcal{A}(X) | X) \geq \tau$. Théoriquement, la région de volume minimal satisfaisant cette condition est la solution à :
$$\inf_{\mathcal{B}(X) \subset \mathcal{Y}} \text{Vol}(\mathcal{B}(X)) \quad \text{sous} \quad P(Y \in \mathcal{B}(X) | X) \geq \tau$$

Au lieu d'estimer $p(y|X)$, la SLS recherche dans un espace d'hypothèses de fonctions à valeurs réelles $\mathcal{G}$ (fonctions de frontière) pour paramétrer la région comme un ensemble de sous-niveau :
$$\mathcal{C}_{G,q}(X) = \{y \in \mathcal{Y} : G(X, y) \leq q(X)\}$$
Le problème d'optimisation devient la minimisation du volume attendu $\mathbb{E}_X[\text{Vol}_G(q(X), X)]$ sous la contrainte $q(X) \geq \text{Quantile}_\tau(P_{G(X,Y)}|X)$.

Résolution du Couplage Implicite

Le défi principal réside dans le fait que l'objectif de volume et la contrainte de quantile sont couplés implicitement, rendant l'optimisation directe intraitable. Pour résoudre cela, les auteurs proposent un objectif de substitution qui moyenne le fonctionnel de volume sur un voisinage de probabilité rétrécissant autour du quantile cible $\tau$.

Soient $\varphi(n)$ et $\psi(n)$ des suites positives convergeant vers 0 lorsque les étapes d'entraînement $n \to \infty$. L'objectif de substitution minimise :
$$J_n(G) = \mathbb{E}_{X,Y} \left[ K_n(X, G(X,Y)) \cdot \text{Vol}_G(G(X,Y), X) \right]$$
où $K_n$ est une fonction indicatrice restreignant l'espérance à l'intervalle $[\tau - \varphi(n), \tau + \psi(n)]$.

Convergence : La Proposition 3.1 établit que lorsque $n \to \infty$, cet objectif de substitution converge uniformément vers l'objectif contraint réel. Cela permet d'utiliser un schéma d'optimisation alternée :

1. Initialisation : Une phase de « warm-up » où la fenêtre est large (ou le poids est uniforme), minimisant le volume moyen sur tous les quantiles pour établir une représentation fonctionnelle robuste.
2. Mises à jour Alternées :
   • Mise à jour de la fonction de frontière $G$ (paramètres $\theta$) pour minimiser le volume dans la fenêtre rétrécissante actuelle.
   • Mise à jour de l'estimateur de quantile $q$ (paramètres $\omega$) en utilisant la perte « pinball » pour suivre les quantiles conditionnels de la $G$ actuelle.
3. Fenêtre Rétrécissante : Les limites de la fenêtre $\varphi(n)$ et $\psi(n)$ décroissent au fil du temps, focalisant l'optimisation strictement sur le quantile $\tau$ cible.

Fonctions de Frontière

Pour gérer des géométries complexes (multimodales, disjointes, non convexes), l'article propose des architectures de frontière spécifiques :

• Frontière de Mahalanobis basée sur les Flots : Utilise un flot normalisant préservant le volume conditionnel $T_\phi$ combiné à une localisation apprenable $\mu_\theta(X)$ et une matrice de forme $L_\theta(X)$. Le volume de l'ensemble de sous-niveau admet une expression en forme fermée proportionnelle à $q(X)^{d/2} / \det(L_\theta(X))$. Cela permet au modèle de capturer des densités asymétriques, en forme d'étoile ou elliptiques.
• Union de Flots : Pour modéliser des régions disjointes ou hautement multimodales, la méthode agrège plusieurs composantes de flot en utilisant une moyenne pondérée par softmax (approximant un minimum dur). Cela permet à l'ensemble de prédiction de s'adapter à des topologies déconnectées sans nécessiter de distorsions extrêmes dans une seule application.

3. Contributions Clés

1. Cadre d'Optimisation Général : Les auteurs fournissent un cadre théorique (Proposition 3.1) capable de minimiser des fonctions objectif couplées implicitement aux quantiles conditionnels des propres prédictions du modèle.
2. Régression SLS : Une approche novatrice qui se concentre exclusivement sur l'apprentissage d'ensembles de niveau conditionnels spécifiques, contournant l'étape intermédiaire de l'estimation complète de la densité conditionnelle et éliminant le besoin d'hypothèses a priori restrictives sur la forme des données.
3. Optimisation Géométrique de Bout en Bout : Un cadre où la frontière géométrique est directement paramétrée et optimisée, offrant une nouvelle perspective sur la régression de quantile conditionnel multivariée.
4. Flexibilité Adaptative : En concevant des fonctions de frontière paramétriques flexibles (y compris des unions de flots), la méthode s'adapte au vecteur de caractéristiques $X$, capturant des structures complexes telles que des formes disjointes et multimodales.

4. Résultats Expérimentaux

Les auteurs évaluent la SLS sur des données synthétiques et réelles, la comparant à des bases de référence d'estimation de densité conditionnelle (CDE) et à diverses stratégies de prédiction conforme (par exemple, C-HDR, PCP, L-CP).

• Expériences Synthétiques :
  • La SLS récupère avec succès des formes géométriques complexes, y compris des densités asymétriques en forme d'étoile et des distributions multimodales disjointes.
  • Dans des scénarios avec des valeurs aberrantes (par exemple, bruit gaussien avec 10 % de valeurs aberrantes), la SLS apprend à ignorer les valeurs aberrantes pour capturer la région de densité la plus élevée, tandis que l'estimation de vraisemblance maximale standard (NLL) en est fortement faussée.
  • Le mécanisme de fenêtre rétrécissante s'avère critique pour corriger un centrage sous-optimal causé par la phase d'initialisation dans les distributions asymétriques.
• Ensembles de Données Réels :
  • Évalué sur six ensembles de données (par exemple, Bias, CASP, House, Taxi) avec des couvertures cibles de 50 % et 90 %.
  • La SLS est compétitive avec la CDE, opérant directement sur la frontière de Pareto du compromis entre la taille de la région (volume) et l'écart de couverture conditionnelle.
  • Bien que certaines bases de référence produisent des ensembles plus petits, elles le font souvent au prix d'une dégradation significative de la couverture conditionnelle. La SLS maintient un meilleur équilibre, atteignant un écart de couverture conditionnelle inférieur pour des volumes comparables.

5. Importance et Revendications

L'article revendique que la SLS représente un changement fondamental de perspective pour la régression de quantile conditionnel multivariée. En remplaçant les hypothèses restrictives des méthodes basées sur la densité par une stratégie d'optimisation géométrique directe, la SLS :

• Gestion Native de la Complexité : Elle capture nativement des structures conditionnelles complexes, multimodales et disjointes sans avoir besoin de modéliser la distribution complète.
• Optimisation Directe : Elle résout le couplage implicite entre la minimisation du volume et les contraintes de quantile conditionnel grâce à un nouvel objectif de substitution, évitant le besoin de tri différentiable ou de relaxations marginales.
• Robustesse : Elle est robuste aux valeurs aberrantes et aux hypothèses de distribution mal spécifiées (par exemple, supposer une ellipticité lorsque la vraie distribution est asymétrique) car elle optimise directement la région plutôt que d'ajuster une densité globale.

Les auteurs reconnaissent que des garanties exactes sans distribution pour la couverture conditionnelle sont théoriquement impossibles (Foygel Barber et al., 2021) ; ainsi, leur méthode l'approxime en pratique, souvent complétée par une étape de calibration conforme a posteriori pour garantir la validité marginale. Cependant, la contribution principale réside dans la capacité à apprendre directement des régions de volume minimal hautement adaptatives, offrant une alternative plus efficace et flexible à l'estimation de densité par « plug-in » traditionnelle.