📈 economics

Prediction Sets and Conformal Inference with Interval Outcomes

Cet article propose des méthodes pour estimer des ensembles de prédiction optimaux et valides en échantillon fini pour des variables de réponse censurées ou à intervalle, en combinant la théorie de l'identification partielle et l'inférence conforme pour gérer l'incertitude stochastique, d'identification et d'échantillonnage.

Auteurs originaux : Weiguang Liu, Áureo de Paula, Elie Tamer

Publié 2026-02-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weiguang Liu, Áureo de Paula, Elie Tamer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎯 Le Problème : Prévoir l'imprévisible avec des "Fourchettes"

Imaginez que vous essayez de prédire le prix d'une maison ou le salaire d'un futur employé. En statistique classique, on cherche souvent un chiffre précis (un "point"). Mais dans la vraie vie, les gens ne donnent pas toujours des chiffres exacts.

Exemple : Quand on demande à quelqu'un "Combien gagnez-vous ?", il ne dit pas toujours "42 350 €". Il dit souvent : "Entre 40 000 et 50 000 €".
Le défi : Comment construire une "boîte" de prédiction qui contient le vrai salaire avec une certitude de 90 %, alors que nos données sont déjà des boîtes (des intervalles) et non des points ?

Les auteurs de ce papier (Liu, de Paula et Tamer) ont développé une méthode pour créer ces "boîtes de prédiction" parfaites, même quand les données sont floues.

🧩 L'Analogie du "Chasseur de Trésor" (La Méthode Oracle)

Imaginez que vous êtes un chasseur de trésor. Vous savez que le trésor (le vrai salaire) se trouve quelque part dans une vaste région. Votre but est de dessiner une carte qui couvre le trésor avec une probabilité de 90 %, mais vous voulez que votre carte soit la plus petite possible pour être précise.

La "Boîte Oracle" (Le Saint Graal) : C'est la carte idéale, la plus petite qui garantit que vous trouverez le trésor 9 fois sur 10. Dans un monde parfait où tout est connu, cette carte serait facile à dessiner.
Le problème des données floues : Ici, nous ne voyons pas le trésor directement. Nous voyons seulement des indices : "Le trésor est entre la pierre A et la pierre B". De plus, nous ne savons pas exactement où se trouve le trésor entre ces deux pierres. C'est ce qu'on appelle l'identification partielle.
La solution des auteurs : Ils ont inventé une nouvelle façon de dessiner cette carte. Au lieu de supposer que le trésor est un point, ils traitent l'indice (la fourchette) comme l'élément central. Leur méthode permet de créer une carte qui peut être composée de plusieurs petites îles (plusieurs intervalles séparés) si le trésor a plus de chances d'être dans deux endroits différents (par exemple, un salaire bas pour les débutants ET un salaire très haut pour les experts, mais peu de choses au milieu).

🛡️ Le Bouclier Magique (L'Inférence Conformale)

Même avec la meilleure carte du monde, il y a un risque : notre carte est basée sur un échantillon de données, pas sur la réalité totale. Et si notre échantillon était un peu "malchanceux" ?

C'est là qu'intervient la Conformalité, une technique magique issue de l'apprentissage automatique.

L'analogie du test de stress : Imaginez que vous avez construit votre carte de prédiction. Avant de la donner au public, vous la testez sur un groupe de "jumeaux" (des données de test que vous n'avez pas utilisées pour la construire).
Le score de conformité : Vous demandez : "Est-ce que la fourchette de salaire de ce jumeau rentre bien dans ma carte ?"
- Si oui, c'est bon.
- Si non, ou si la carte est trop grande (gaspillage d'espace), vous ajustez la taille de la carte.
Le résultat : Cette technique garantit mathématiquement que, même avec un petit nombre de données, votre carte aura exactement la bonne taille pour couvrir le trésor 90 % du temps. C'est comme un bouclier qui s'adapte automatiquement pour ne jamais être trop petit (risque de rater le trésor) ni trop grand (trop imprécis).

🌍 Les Applications Réelles : Deux Histoires Vraies

Les auteurs ont testé leur méthode sur deux terrains de jeu réels :

Les Offres d'Emploi au Royaume-Uni (Adzuna) :
- Beaucoup d'annonces de travail donnent le salaire sous forme de fourchette ("30k-50k").
- Ce que la méthode a révélé : À Londres, la "boîte" de prédiction est énorme (de 22k à 180k !). Cela montre que le marché du travail londonien est très inégal : il y a des petits boulots et des salaires de stars, mais peu de choses au milieu. Dans des villes plus petites, la boîte est plus petite et plus serrée. La méthode a permis de voir cette dispersion sans avoir à deviner les chiffres manquants.
Les Revenus aux États-Unis (Enquête CPS) :
- Dans les sondages, beaucoup de gens refusent de donner leur salaire exact et disent juste "Plus de 60 000 $".
- Le problème habituel : Les statisticiens remplacent souvent ces fourchettes par un chiffre moyen (imputation), ce qui fausse les résultats.
- La solution : En gardant les fourchettes, la méthode des auteurs montre que les prédictions de revenus sont beaucoup plus fiables, surtout pour les salaires très élevés (la "queue" de la distribution). Ils ont prouvé que leur méthode respecte mieux la réalité que les anciennes méthodes qui "devinent" les chiffres manquants.

💡 En Résumé

Ce papier nous dit : "Arrêtez de forcer le monde à être précis quand il est flou."

Au lieu de transformer les fourchettes de salaire en chiffres uniques (ce qui crée des erreurs), les auteurs proposent de construire des boîtes de prédiction intelligentes.

Elles sont minuscules (efficaces) pour ne pas perdre d'information.
Elles sont sûres (garanties mathématiquement) grâce à la technique de "conformité".
Elles s'adaptent aux données imparfaites (intervalles, censures) que l'on trouve partout dans la vie réelle.

C'est comme passer d'une carte dessinée à la main avec des points approximatifs à un GPS intelligent qui dessine automatiquement la zone de sécurité la plus précise possible, même si vous ne connaissez que les bornes de la route.

1. Problématique et Contexte

L'article aborde le problème de la prédiction d'une variable aléatoire $Y$ (l'issue) conditionnellement à un vecteur de covariables $X$ , lorsque $Y$ n'est pas observé directement mais sous forme d'intervalles $[Y_L, Y_U]$ tels que $Y \in [Y_L, Y_U]$ .

Ce type de données, appelé données intervalles ou censurées par intervalles, est omniprésent en économétrie et en statistiques (ex: enquêtes sur les revenus où les répondants choisissent des tranches, données de chômage, risques concurrentiels).

Le défi principal réside dans la construction d'un ensemble de prédiction $C(x)$ (un sous-ensemble de l'espace des issues) qui satisfait deux critères :

Validité : La probabilité que la nouvelle observation $Y_{n+1}$ tombe dans $C(X_{n+1})$ soit d'au moins $1-\alpha$ (taux de couverture).
Efficacité : L'ensemble doit avoir un volume minimal (être le plus précis possible).

Dans le cas de données ponctuelles, l'ensemble de prédiction "oracle" (optimal) correspond à un ensemble de niveau supérieur de la densité conditionnelle. Cependant, avec des données intervalles, le modèle est partiellement identifié : la distribution de $Y$ n'est pas unique étant donné les observations. Les méthodes classiques (comme la régression quantile ou l'estimation de densité standard) échouent car elles supposent une identification ponctuelle ou ne peuvent pas garantir un volume minimal sans hypothèses de forme de distribution fortes.

2. Méthodologie Proposée

Les auteurs développent une approche en deux étapes combinant l'identification partielle et l'inférence conforme.

A. Caractérisation de l'Ensemble Oracle sous Identification Partielle

Les auteurs redéfinissent l'ensemble oracle $C^*$ dans un contexte de censure par intervalles.

Contrainte de validité : Au lieu de chercher à couvrir $Y$ directement (ce qui est impossible sans hypothèses supplémentaires), ils imposent que l'ensemble $C(x)$ contienne l'ensemble observé $[Y_L, Y_U]$ avec une probabilité d'au moins $1-\alpha$ .
Optimisation : L'ensemble oracle est défini comme celui qui minimise le volume de Lebesgue $\mu(C(x))$ sous la contrainte :
$P([Y_L, Y_U] \subset C(x) \mid X=x) \geq 1-\alpha$
Propriété clé : Ils démontrent que cette contrainte est "serrée" (tight) et ne conduit pas à un conservatisme inutile par rapport à la définition théorique de validité sous identification partielle.
Flexibilité : L'ensemble $C(x)$ peut être une union d'intervalles disjoints, permettant de capturer des distributions multimodales (ce que les intervalles uniques ne peuvent pas faire).

B. Estimation Consistante (Asymptotique)

Pour estimer $C^*$ , les auteurs utilisent des estimateurs non paramétriques de la distribution conditionnelle de $(Y_L, Y_U)$ donné $X$ (basés sur le lissage par noyau).

Ils proposent un estimateur $\hat{C}$ résolvant le problème d'optimisation empirique.
Ils établissent la consistance uniforme de cet estimateur vers l'oracle $C^*$ lorsque la taille de l'échantillon $n \to \infty$ , même en présence de censure fixe (tranches discrètes) ou aléatoire.
Pour gérer la censure fixe (où la fonction de distribution n'est pas lisse), ils introduisent une relaxation de la contrainte avec une séquence $\psi_n \to 0$ pour assurer la consistance.

C. Inférence Conforme pour la Validité en Échantillon Fini

Pour garantir une couverture valide même pour de petits échantillons (finite-sample validity), ils intègrent l'inférence conforme (Conformal Prediction).

Score de conformité adapté : Ils conçoivent une fonction de score spécifique pour les données intervalles. Pour un intervalle prédit $C$ $C$ et une observation $[y_L, y_U]$ $[y_{L}, y_{U}]$ , le score est défini comme la distance minimale nécessaire pour étendre $C$ $C$ afin qu'il contienne $[y_L, y_U]$ $[y_{L}, y_{U}]$ .
- Si $[y_L, y_U] \subset C$ , le score est négatif (sur-couverture).
- Si $[y_L, y_U] \not\subset C$ , le score est positif (sous-couverture).
Construction : En utilisant un échantillon de calibration, ils calculent le quantile empirique de ces scores pour ajuster les bornes de l'ensemble prédit $\hat{C}$ , produisant un ensemble conforme $\tilde{C}$ .
Résultat théorique : L'ensemble $\tilde{C}$ garantit une validité marginale en échantillon fini ( $P(Y_{n+1} \in \tilde{C}(X_{n+1})) \geq 1-\alpha$ ) et conserve la consistance asymptotique vers l'oracle.

3. Contributions Clés

Extension de l'Oracle : Définition rigoureuse et caractérisation de l'ensemble de prédiction oracle minimal sous identification partielle due à la censure par intervalles.
Nouveau Score de Conformité : Développement d'une fonction de score capable de gérer des observations intervalles et des ensembles de prédiction composés de multiples intervalles disjoints, corrigeant à la fois la sur-couverture et la sous-couverture.
Généralité : La méthode ne nécessite aucune hypothèse paramétrique sur la distribution de $Y$ ni sur le mécanisme de censure (contrairement aux méthodes d'imputation classiques). Elle fonctionne aussi bien pour la censure aléatoire que fixe.
Preuves Théoriques : Démonstration de la consistance des estimateurs non paramétriques et de la validité en échantillon fini des ensembles conformes.

4. Résultats Expérimentaux

Les auteurs valident leur méthode via des simulations de Monte Carlo et deux applications empiriques.

Simulations :
- Comparaison avec des méthodes basées sur la régression quantile (CQR).
- Les ensembles proposés ( $\tilde{C}$ ) montrent une couverture proche du niveau nominal (ex: 90%) et un volume significativement plus petit que les méthodes quantiles, surtout lorsque la distribution conditionnelle est multimodale (cas où l'oracle est une union d'intervalles).
- Robustesse démontrée face à la censure fixe et aléatoire.
Application 1 : Annonces d'emploi au Royaume-Uni (Adzuna)
- Données : Salaires sous forme d'intervalles pour des postes IT.
- Résultat : La méthode cartographie la dispersion spatiale des salaires. Elle révèle que les bornes supérieures des salaires sont très concentrées géographiquement (Londres, Manchester), tandis que les bornes inférieures sont plus homogènes. Cela met en évidence une forte hétérogénéité des salaires dans les grandes métropoles, invisible avec une simple estimation ponctuelle.
Application 2 : Enquête sur la Population Actuelle (CPS) aux USA
- Données : Revenus annuels (exactes ou par tranches) en fonction de l'éducation et de l'expérience.
- Comparaison : Les auteurs comparent leur méthode (utilisant les intervalles bruts) avec une méthode utilisant l'imputation des données manquantes.
- Résultat : Les intervalles de prédiction construits avec les données intervalles sont plus larges et plus précis (meilleure couverture) que ceux basés sur l'imputation. L'imputation tend à sous-estimer la variabilité de la queue droite de la distribution des revenus, conduisant à une sous-couverture.

5. Signification et Conclusion

Cet article apporte une contribution majeure à la littérature sur la prédiction et l'identification partielle.

Pratique : Il offre une boîte à outils robuste pour les économètres et les scientifiques des données confrontés à des données censurées ou regroupées, évitant les biais d'imputation.
Théorique : Il réussit à concilier les garanties de couverture en échantillon fini de l'inférence conforme avec les défis de l'identification partielle, un domaine où les garanties traditionnelles sont souvent absentes.
Impact : La capacité à produire des ensembles de prédiction non seulement valides mais aussi optimaux en volume (et potentiellement multimodaux) permet une meilleure compréhension de la structure de la distribution conditionnelle des variables d'intérêt, au-delà des simples moyennes ou médianes.

En résumé, la méthode proposée permet de faire des prédictions fiables et informatives même lorsque les données sont incomplètes ou agrégées, en quantifiant correctement l'incertitude inhérente à la fois à la stochasticité des données et à l'identification partielle.