Résumé Technique : Prédiction Conforme Multi-Distributionnelle

Énoncé du Problème

L'article traite du défi consistant à construire des ensembles de prédiction qui maintiennent des garanties de couverture valides lorsque les données de test peuvent provenir d'un membre ou d'un mélange quelconque de $K$ sources de distributions hétérogènes. Dans de nombreux scénarios réels — comme la prédiction de risques cliniques à travers différents hôpitaux, l'équité entre des groupes protégés sans observer les étiquettes de groupe, ou l'apprentissage multi-sources — la distribution de test est inconnue et peut différer significativement de la distribution d'entraînement.

La prédiction conforme standard, lorsqu'elle est calibrée sur des données regroupées, ne garantit la couverture que pour la distribution de mélange spécifique induite par l'échantillon d'entraînement. Inversement, un calibrage sur une seule source échoue à garantir la couverture lorsque le point de test provient d'une source différente. Les auteurs formalisent l'objectif comme la construction d'un ensemble de prédiction unique $\hat{C}(X_{n+1})$ qui atteint une couverture uniforme :
$$\min_{k \in [K]} \mathbb{P}_{D \times P^{(k)}} \left( Y_{n+1} \in \hat{C}(X_{n+1}) \right) \ge 1 - \alpha$$
Cela garantit que la garantie de couverture est satisfaite simultanément pour toutes les distributions de sources possibles, quel que soit le processus ayant généré le point de test.

Méthodologie : Prédiction Conforme Multi-Distributionnelle (MDCP)

Le cadre proposé, MDCP, se compose de deux composantes principales : un mécanisme de validité et une stratégie d'optimisation de l'efficacité.

1. Agrégation Max-p pour la Validité

Le fondement de la méthode est un schéma d'agrégation sans hypothèse de distribution (distribution-free).

• P-valeurs à source unique : Pour chaque source $k$, un score de conformité $s_k$ est calculé. Une p-valeur conforme $p^{(k)}(y)$ est dérivée pour un label candidat $y$ en se basant sur le pli de calibration de la source $k$.
• Agrégation : La méthode agrège ces p-valeurs en prenant leur maximum : $p(y) = \max_{k \in [K]} p^{(k)}(y)$.
• Ensemble de prédiction : L'ensemble de prédiction final est l'ensemble des labels où la p-valeur agrégée est supérieure au niveau de signification $\alpha$ : $\hat{C}(X) = \{ y : p(y) \ge \alpha \}$.
• Garantie Théorique : Les auteurs prouvent que cet ensemble agrégé est exactement l'union des ensembles conformes à source unique. Par conséquent, il fournit une validité en échantillon fini pour tout mélange des distributions de sources, sans nécessiter la connaissance de la source du point de test.

2. Optimisation de l'Efficacité via la Formulation Duale

Bien que l'agrégation Max-p assure la validité, l'application naïve de cette méthode aux scores standards à source unique produit souvent des ensembles de prédiction excessivement conservateurs (trop larges). Pour y remédier, l'article dérive l'ensemble de prédiction optimal au niveau de la population qui minimise la taille sous des contraintes de couverture uniforme.

• Score Optimal : Les auteurs montrent que l'ensemble de prédiction optimal correspond à l'ensemble de sur-niveau d'un score de conformité "partagé" $h^*(x, y) = \sum_{k=1}^K \lambda_k^*(x) f_k(y|x)$, où $f_k$ est la densité conditionnelle de la source $k$ et $\lambda_k^*(x)$ sont des poids duaux non négatifs.
• Apprentissage des Poids : Les poids $\lambda_k^*(x)$ sont déterminés en résolvant un problème dual d'optimisation qui équilibre les contraintes de couverture entre les sources.
• Algorithme Empirique : L'article propose une procédure de bout en bout pour apprendre ces poids :
  1. Ajuster des modèles de densité conditionnelle (ou des classifieurs) pour chaque source et un modèle regroupé.
  2. Paramétrer les fonctions de poids $\lambda_k(x)$ (par exemple, via des splines ou des réseaux de neurones).
  3. Optimiser un objectif dual empirique (dérivé du Lagrangien du problème de population) pour apprendre les paramètres $\hat{\Theta}$.
  4. Construire l'ensemble MDCP final en utilisant les scores appris et l'agrégation Max-p.

Principales Contributions

1. Schéma d'Agrégation Max-p Général : Introduction d'un mécanisme simple, sans hypothèse de distribution, qui atteint une couverture uniforme en échantillon fini à travers plusieurs sources hétérogènes en agrégeant les p-valeurs conformes à source unique.
2. Caractérisation de l'Optimalité : Dérivation théorique des ensembles de prédiction optimaux sous contraintes de couverture uniforme. Les auteurs prouvent que l'agrégation Max-p est asymptotiquement optimale et serrée lorsqu'elle est couplée aux scores de conformité correctement appris (spécifiquement, le score partagé optimal $h^*$).
3. Algorithme de Bout en Bout : Un pipeline pratique pour apprendre les scores de conformité optimaux pour les tâches de classification et de régression, utilisant la minimisation du risque empirique sur un objectif dual.
4. Validation Empirique : Expérimentations approfondies démontrant que MDCP atteint une couverture dans le pire des cas tout en réduisant significativement la taille des ensembles de prédiction par rapport aux bases d'agrégation naïves.

Résultats

L'article évalue MDCP sur des données synthétiques et trois jeux de données du monde réel :

• Expériences Synthétiques : À travers des contextes linéaires, non linéaires et de température variable (hétérogénéité) pour la classification et la régression, MDCP maintient systématiquement une couverture dans le pire des cas proche du niveau nominal ($1-\alpha$). En revanche, les bases à source unique souffrent de sous-couverture sur des données décalées, et l'agrégation naïve (BASELINE-AGG) est trop conservatrice. MDCP réduit la taille des ensembles de prédiction d'environ 34 % en classification et 22 % en régression par rapport à l'agrégation naïve, approchant souvent l'efficacité d'un oracle ayant accès aux densités réelles.
• Applications Réelles :
  • FMoW (Imagerie Satellite) : Démontre une robustesse face aux décalages géographiques à travers six régions. MDCP fournit une couverture valide à travers toutes les régions avec des tailles d'ensembles plus petites que certains ensembles à source unique.
  • PovertyMap : Traite les décalages urbain-rural. MDCP maintient une couverture serrée là où les méthodes à source unique échouent (couverture aussi basse que 0,6) et où l'agrégation naïve est trop large.
  • MEPS (Dépenses Médicales) : Gère l'hétérogénéité entre groupes sensibles (race) sans nécessiter d'étiquettes de groupe au moment de l'inférence. MDCP atteint une couverture égalisée et des intervalles plus courts que les bases de comparaison.

Signification et Revendications

L'article affirme que MDCP offre une solution robuste pour la quantification de l'incertitude dans des environnements hétérogènes, comblant le fossé entre la robustesse distributionnelle et l'équité.

• Équité sans Attributs Protégés : La méthode permet des garanties de couverture conditionnelles aux groupes (assurant la fiabilité pour tous les sous-groupes) sans avoir besoin d'observer l'attribut de groupe sensible lors de l'inférence, répondant ainsi à une limitation critique de l'apprentissage automatique équitable.
• Protection contre le Décalage de Sous-population : Elle fournit des garanties contre les décalages de sous-population arbitraires, assurant la fiabilité même lorsque la distribution de test est un mélange de sources différentes du mélange d'entraînement.
• Compromis Efficacité-Validité : Ce travail démontre qu'il est possible d'atteindre une validité uniforme sans les lourdes pénalités d'efficacité habituellement associées à la robustesse dans le pire des cas, à condition d'apprendre un score de conformité partagé approprié.

Les auteurs positionnent MDCP comme une alternative pratique à la prédiction conforme standard dans les contextes multi-sources, offrant des garanties exactes en échantillon fini et une optimalité asymptotique sous des conditions de cohérence modérées.