Minimum Volume Conformal Sets for Multivariate Regression

1. Problématique

La prédiction de variables de réponse multivariées (vecteurs) pose un défi majeur en apprentissage automatique : quantifier l'incertitude de manière efficace et valide.

• Limites des méthodes existantes :
  • Les approches simples (produits cartésiens d'intervalles marginaux) ignorent les dépendances entre les dimensions, conduisant à des ensembles de prédiction trop conservateurs et inefficaces.
  • Les méthodes structurées (ellipsoïdales) supposent une symétrie elliptique, ce qui est restrictif pour des distributions complexes.
  • Les méthodes flexibles (basées sur les copules, l'estimation de densité ou le transport optimal) sont souvent coûteuses en calcul, souffrent de variance d'estimation élevée en haute dimension, ou ne minimisent pas explicitement le volume de l'ensemble de prédiction.
• Objectif : Construire des ensembles de prédiction conformes pour la régression multivariée qui garantissent une couverture valide (probabilité $1-\alpha$) tout en minimisant le volume de l'ensemble, sans hypothèses géométriques rigides.

2. Méthodologie

Les auteurs proposent un cadre d'optimisation unifié qui apprend simultanément le modèle prédictif et la géométrie de l'incertitude.

A. Ensembles de Recouvrement de Volume Minimal (MVCS)

Le cœur de la méthode repose sur la résolution d'un problème d'optimisation pour trouver le plus petit ensemble géométrique contenant une fraction $1-\alpha$ des résidus.

• Formulation : Au lieu de fixer une forme (comme une sphère ou un ellipsoïde), le modèle optimise une transformation linéaire $M$ et un centre $\mu$ pour des ensembles définis par des normes arbitraires (notamment des $p$-normes).
• Optimisation de la norme ($p$) : Le paramètre $p \in (0, \infty)$ est appris directement à partir des données. Cela permet d'adapter la forme de l'ensemble (allongé, anisotrope, rectangulaire) à la géométrie réelle des résidus.
• Normes multiples (Multi-norm) : Pour capturer des structures asymétriques complexes, le cadre est étendu à des partitions de l'espace où différentes régions utilisent différentes normes ($p_j$) et transformations diagonales.
• Algorithmes d'optimisation :
  • Le problème étant non convexe, les auteurs proposent une reformulation Différence de Fonctions Convexes (DC) résolue par l'algorithme DCA (Difference-of-Convex Algorithm).
  • Une relaxation convexe est également proposée pour une efficacité computationnelle accrue.
  • Pour l'apprentissage de $p$ et des transformations locales, une stratégie d'optimisation du premier ordre (gradient descente via Adam) est utilisée avec des reparamétrisations pour garantir la semi-définie positivité des matrices.

B. Apprentissage Supervisé et Adaptativité Locale

• Optimisation conjointe : Le modèle prédictif $f_\theta$ et les paramètres de l'incertitude sont appris ensemble. Cela aligne le prédicteur sur le critère de volume minimal, produisant des ensembles plus serrés.
• Adaptativité locale (Hétéroscédasticité) : Au lieu d'appliquer une transformation globale, la méthode apprend une transformation $M(x)$ dépendante des covariables. Cela permet d'ajuster la taille et la forme de l'ensemble de prédiction en fonction de la localité dans l'espace des features, capturant ainsi l'hétéroscédasticité.

C. Conformalisation

Pour garantir une validité théorique en échantillon fini, les ensembles appris sont conformalisés :

• Une séparation des données en ensembles d'entraînement et de calibration est effectuée.
• Un score de non-conformité est défini basé sur la norme apprise : $s(x, y) = \|M(x)(y - f_\theta(x))\|_p$.
• Un seuil est déterminé via le quantile empirique des scores sur l'ensemble de calibration, garantissant la couverture marginale $1-\alpha$ sans hypothèse de distribution.

3. Contributions Clés

1. Cadre d'optimisation MVCS : Introduction d'une méthode générale pour trouver des ensembles de volume minimal couvrant une fraction de données, supportant des normes arbitraires et des formulations multi-normes.
2. Apprentissage supervisé adaptatif : Extension du cadre MVCS à l'apprentissage supervisé où le prédicteur, la structure de norme et la transformation d'incertitude sont optimisés conjointement via une nouvelle fonction de perte.
3. Garanties de couverture : Intégration avec la prédiction conforme pour obtenir des ensembles de prédiction valides en échantillon fini, tout en conservant la forme adaptative apprise.
4. Efficacité computationnelle : Développement d'algorithmes scalables (DCA, relaxation convexe, gradient descente) permettant l'application à des données réelles de haute dimension.

4. Résultats Expérimentaux

Les auteurs évaluent leur méthode sur des données synthétiques et neuf jeux de données réels (benchmarks de régression multivariée).

• Données Synthétiques :
  • La méthode s'adapte correctement à différentes distributions de bruit (Gaussien, Exponentiel) et structures de dépendance.
  • Elle démontre une robustesse supérieure aux outliers par rapport aux méthodes de régression quantile classiques (Pinball loss).
  • L'approche locale capture efficacement l'hétéroscédasticité, là où les méthodes globales échouent.
• Données Réelles :
  • Sur 18 expériences (9 jeux de données, 2 niveaux de confiance), la méthode MVCS obtient le volume moyen normalisé le plus faible dans 16 cas, tout en maintenant une couverture empirique conforme au niveau désiré (0.90 ou 0.99).
  • Elle surpasse systématiquement les baselines : Régression Quantile Naïve, Covariance Empirique Globale et Covariance Empirique Locale.
  • Les volumes réduits traduisent des ensembles de prédiction plus informatifs et précis.

5. Signification et Impact

Ce travail représente une avancée significative dans la quantification de l'incertitude multivariée :

• Efficacité et Précision : Il résout le compromis classique entre la validité de la couverture et la taille de l'ensemble de prédiction, produisant des régions beaucoup plus compactes que les méthodes existantes.
• Flexibilité Géométrique : En apprenant la norme ($p$) et la transformation ($M$), la méthode s'adapte à des distributions de résidus complexes, non convexes et asymétriques, sans hypothèses a priori.
• Praticabilité : La méthode est scalable et applicable à des problèmes réels complexes, offrant une alternative robuste aux approches basées sur le transport optimal ou l'estimation de densité coûteuse.

En résumé, cette approche fournit un cadre principiel, piloté par les données, pour construire des ensembles de prédiction multivariés qui sont à la fois valides (garantie de couverture), adaptatifs (forme apprise) et minimaux (volume optimisé).