📊 statistics

Online Selective Conformal Prediction with Asymmetric Rules: A Permutation Test Approach

Ce papier propose PEMI, un nouveau cadre d'inférence conforme basé sur des permutations qui permet de construire des ensembles de prédiction avec une couverture exacte pour tout mécanisme de sélection asymétrique dans un contexte de données séquentielles (online).

Auteurs originaux : Mingyi Zheng, Ying Jin

Publié 2026-02-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mingyi Zheng, Ying Jin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Biais du Survivant" dans la Prédiction

Imaginez que vous êtes un recruteur. Vous passez des entretiens à 100 candidats, mais vous ne décidez de faire un test technique approfondi qu'à ceux qui ont un "sourire convaincant".

Si, à la fin, vous analysez les résultats du test technique en disant : "En moyenne, nos candidats sont excellents", vous faites une erreur statistique. Pourquoi ? Parce que vous n'avez testé que la "crème de la crème" (ceux qui sourient). Vous avez ignoré tous les autres. Vos résultats sont biaisés par votre propre critère de sélection.

En intelligence artificielle, c'est la même chose. Souvent, un algorithme ne donne une réponse que lorsqu'il est "sûr de lui" ou quand une condition est remplie (par exemple, un médecin n'utilise l'IA que si elle détecte une anomalie suspecte). Le problème, c'est que si on veut mesurer l'incertitude de l'IA, on ne peut pas utiliser les règles de calcul habituelles, car elles ne sont plus valables pour ce groupe "sélectionné". Elles vont être trop optimistes et donner un faux sentiment de sécurité.

La Solution : La méthode PEMI (Le "Grand Jeu des Permutations")

Les chercheurs ont inventé une méthode appelée PEMI. Pour comprendre comment ça marche, oublions les maths et utilisons une métaphore : Le Jeu des Cartes Mélangées.

Imaginez que vous avez un paquet de cartes (vos données). Vous tirez une carte (le nouveau cas à prédire) et vous décidez de la garder uniquement si elle est un "As".

Pour savoir si votre décision est fiable et mesurer votre marge d'erreur, la méthode PEMI fait ceci :

Le Mélange Magique (Permutation) : Au lieu de regarder juste votre carte, on prend tout le paquet et on le mélange de mille façons différentes.
Le Filtre de Cohérence (La Référence) : On ne garde dans notre mémoire que les mélanges qui, par pur hasard, auraient produit le même résultat (c'est-à-dire des mélanges où la carte tirée est aussi un As).
La Comparaison : On regarde comment les autres cartes se comportent dans ces mélanges spécifiques. Cela nous permet de créer une "zone de sécurité" (un intervalle de confiance) qui est parfaitement ajustée au fait que nous avons choisi de ne regarder que les As.

En résumé : Au lieu de comparer le nouveau cas à toutes les données passées (ce qui est injuste car les données passées n'ont pas forcément été sélectionnées de la même façon), PEMI ne le compare qu'à des versions "miroirs" des données qui auraient provoqué la même décision de sélection.

Pourquoi est-ce une révolution ?

Avant ce papier, les méthodes existantes étaient comme des règles de conduite très rigides : elles ne fonctionnaient que si votre critère de sélection était très simple et "symétrique" (si vous choisissiez les candidats de façon aléatoire ou sans tenir compte de l'ordre).

PEMI, c'est le "Couteau Suisse" :

Il est flexible : Il fonctionne même si votre critère de sélection est complexe, changeant avec le temps, ou s'il dépend de l'ordre dans lequel les données arrivent (comme dans une file d'attente).
Il est honnête : Il ne vous donne pas une réponse trop confiante. Il vous dit : "Je sais que je n'ai sélectionné ce cas que parce qu'il était spécial, donc voici ma marge d'erreur réelle, ajustée à cette spécialité."
Il est utile en vrai : Les auteurs l'ont testé sur la découverte de médicaments. Dans ce domaine, on ne teste que les molécules qui semblent prometteuses. PEMI permet de savoir, avec une précision mathématique, si une molécule est vraiment une bonne candidate ou si c'est juste un coup de chance.

En une phrase :

PEMI est un correcteur de biais qui permet aux machines de dire "je ne suis sûr qu'à 90%" de manière honnête, même lorsqu'elles ont choisi de ne s'exprimer que sur les cas les plus intéressants.

Résumé Technique : PEMI (PErmutation-based Mondrian Conformal Inference)

1. Problématique (Le Problème)

La prédiction conforme (Conformal Prediction) classique vise à construire des ensembles de prédiction qui garantissent une couverture (coverage) statistique pour de nouvelles données, en supposant l'échangeabilité entre les données d'étalonnage et les données de test. Cependant, dans de nombreux scénarios réels, on ne s'intéresse qu'à un sous-ensemble de données qui sont sélectionnées par un mécanisme piloté par les données (ex: un chercheur ne teste un médicament que si son score prédit est élevé).

Le problème majeur identifié par les auteurs est le suivant :

La rupture de l'échangeabilité : La sélection conditionnelle brise l'échangeabilité entre les données étalonnées et les données sélectionnées, rendant les méthodes de prédiction conforme standard invalides pour les unités sélectionnées.
L'asymétrie du mode "Online" : Dans un flux de données séquentiel (online), le mécanisme de sélection est intrinsèquement asymétrique. La décision de sélectionner une donnée à l'instant $t$ dépend de l'ordre chronologique des données précédentes. Les méthodes existantes (comme JOMI) ne fonctionnent que pour des règles de sélection symétriques (invariantes aux permutations) ou imposent des contraintes très strictes sur les règles de décision, ce qui limite leur portée et peut produire des ensembles de prédiction "vides" ou trop conservateurs.

2. Méthodologie (PEMI)

Les auteurs proposent le cadre PEMI (PErmutation-based Mondrian Conformal Inference). L'idée centrale est de passer d'une approche de "swapping" (échange de points individuels) à une approche de test de permutation sur l'ensemble des permutations.

Le principe de fonctionnement :

Identification du groupe de référence : Au lieu de comparer la donnée de test à toutes les données d'étalonnage, PEMI identifie l'ensemble des permutations de l'historique des données qui aboutissent au même événement de sélection que celui observé. Ce sous-ensemble de permutations est appelé l'ensemble de référence ( $\hat{R}_t$ ).
Inférence sélective par permutation : On calcule une $p$ -valeur de permutation en utilisant uniquement les permutations appartenant à cet ensemble de référence. Cela permet de restaurer mathématiquement l'échangeabilité conditionnellement à la sélection.
Construction de l'ensemble : L'ensemble de prédiction est construit en inversant cette $p$ -valeur de permutation. Si une valeur hypothétique $y$ produit un score de conformité qui n'est pas "anormal" par rapport aux scores obtenus sous les permutations préservant la sélection, alors $y$ est inclus dans l'ensemble.

Variantes et extensions :

Monte-Carlo : Pour des raisons de calcul, PEMI peut utiliser un échantillon aléatoire de permutations plutôt que l'ensemble complet.
Données Offline : Le cadre peut intégrer des données étalonnées préalables (offline) en les incluant dans le processus de permutation.
Contrôle du FCR (False Coverage Rate) : Le cadre peut être étendu pour contrôler le taux de fausse couverture lorsque plusieurs points sont sélectionnés.

3. Contributions Clés

Généralité : PEMI est le premier cadre capable de gérer des règles de sélection arbitrairement asymétriques dans un contexte séquentiel (online).
Efficacité algorithmique : Les auteurs proposent des instanciations calculables pour trois classes de règles courantes :
1. Règles dépendantes des covariables (ex: sélection basée sur des seuils de prédiction ou optimisation en ligne).
2. Sélection conforme (ex: sélection basée sur des $p$ -valeurs ou des $e$ -valeurs issues de tests d'hypothèses).
3. Sélection basée sur les résultats antérieurs (ex: sélection basée sur les quantiles des étiquettes passées).
Garanties théoriques : L'article prouve que PEMI garantit une couverture exacte (en échantillon fini) pour la couverture conditionnelle à la sélection (SCC), sous l'hypothèse d'échangeabilité.

4. Résultats et Validation

Les auteurs valident leur méthode via deux approches :

Application réelle (Découverte de médicaments) : Sur un jeu de données de bio-informatique (DTI), PEMI surpasse nettement la prédiction conforme classique (qui sous-couvre massivement) et les méthodes existantes comme EXPRESS (qui est trop conservatrice et produit souvent des ensembles de taille infinie). PEMI produit des ensembles de prédiction précis et de taille raisonnable tout en respectant le taux de couverture cible.
Simulations : Les tests montrent que PEMI est robuste à :
- La qualité du modèle prédictif (même avec un modèle mal spécifié).
- Le niveau de bruit des données.
- Le taux de décroissance des poids dans les règles de sélection.
- Le choix de la fonction de score de conformité (ex: résidus vs régression quantile conforme).

5. Signification (Impact)

Ce travail est significatif car il comble une lacune majeure dans l'apprentissage automatique séquentiel : la capacité de fournir des intervalles d'incertitude fiables pour les décisions prises par un agent ou un algorithme. En permettant une inférence rigoureuse sur des processus de sélection asymétriques, PEMI ouvre la voie à une utilisation plus sûre de l'IA dans des domaines critiques comme la médecine, la finance ou l'optimisation de ressources, où les décisions sont prises au fur et à mesure que les données arrivent.