🤖 machine learning

Reliable Conformal Prediction for Ordinal Classification Using the Ranked Probability Score

Cet article introduit une méthode de prédiction conforme agnostique au modèle pour la classification ordinale qui utilise le score de probabilité classé comme mesure de non-conformité afin de générer des ensembles de prédiction contigus et centrés sur la médiane, équilibrant efficacement la largeur de l'ensemble et la sévérité de la non-couverture ordinale à travers divers jeux de données.

Auteurs originaux : Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

Publié 2026-06-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Deviner avec un filet de sécurité

Imaginez que vous êtes un médecin essayant de deviner l'âge d'un patient, ou un analyste financier essayant de deviner le niveau de risque d'une entreprise. Dans ces situations, les réponses ne sont pas de simples catégories aléatoires comme « Rouge », « Bleu » ou « Vert ». Elles ont un ordre naturel : « Bébé », « Enfant », « Adolescent », « Adulte », « Senior ». C'est ce qu'on appelle la classification ordinale.

Le problème est que même les meilleurs modèles d'IA font des erreurs. Parfois, ils devinent « Adolescent » alors que la personne est en réalité « Senior ». Dans des domaines à enjeux élevés comme la médecine ou la finance, la taille de cette erreur compte. Deviner « Adulte » au lieu de « Senior » est une petite erreur. Deviner « Bébé » au lieu de « Senior » est une erreur énorme et dangereuse.

Cet article présente une nouvelle façon de construire un « filet de sécurité » autour de ces prédictions d'IA. Au lieu de donner une seule réponse, l'IA donne un ensemble de réponses probables (un ensemble de prédiction). L'objectif est de s'assurer que la vraie réponse se trouve à l'intérieur de cet ensemble, tout en veillant à ce que l'ensemble ne soit pas trop large et ne saute pas d'étapes importantes au milieu.

Le problème des anciennes méthodes : L'approche « gourmande »

Auparavant, la plupart des méthodes essayaient de construire ces filets de sécurité en partant de la « meilleure supposition » de l'IA (la réponse la plus probable) et en s'étendant vers l'extérieur, comme un mangeur gourmand qui attrape les plus gros morceaux de nourriture à côté de lui.

La faille : Imaginez que l'IA observe un patient et pense qu'il y a 40 % de chances qu'il soit un « Adolescent », 35 % de chances qu'il soit un « Senior » et une infime chance qu'il soit un « Enfant ».

L'ancienne méthode : Elle commence par « Adolescent » et attrape « Enfant » parce que c'est le prochain gros bloc de probabilité. Elle ignore « Senior » pour le moment.
Le résultat : Le filet de sécurité pourrait finir par être {Adolescent, Enfant}. Si le patient est réellement un « Senior », le filet de sécurité échoue complètement, et l'erreur est massive (sauter de Adolescent à Senior). L'ancienne méthode se soucie plus de la taille du filet que de la distance de l'erreur.

La nouvelle solution : La « Balance Équilibrée » (Ranked Probability Score)

Les auteurs proposent une nouvelle méthode utilisant ce qu'on appelle le Ranked Probability Score (RPS). Voyez cela comme une balance équilibrée ou un funambule.

Au lieu de partir de la supposition la plus « probable » et de saisir les voisines, cette méthode regarde l'ensemble de la distribution des possibilités et construit le filet de sécurité à partir du milieu (la médiane) vers l'extérieur.

Comment ça marche :

Trouver le centre : Elle trouve le point central de l'incertitude de l'IA.
S'étendre uniformément : Elle ajoute les options les plus probables suivantes à gauche et à droite du centre, en essayant de garder le « poids » de la prédiction équilibré des deux côtés.
Le résultat : Le filet de sécurité est toujours un bloc contigu (sans lacunes). Si l'IA est incertaine, le filet s'élargit pour inclure le terrain intermédiaire.

L'analogie :
Imaginez que vous essayez de deviner la température.

Ancienne méthode (centrée sur le mode) : Vous devinez « 21°C » (le plus probable). Vous ajoutez « 20°C » et « 22°C » parce qu'ils sont proches. Mais si la température réelle est en fait de « 10°C » (une vague de froid), votre filet {20, 21, 22} est inutile. Vous avez manqué le froid totalement.
Nouvelle méthode (RPS/centrée sur la médiane) : Vous regardez l'ensemble du tableau. Si l'IA est incertaine entre « Froid », « Tempéré » et « Chaud », la nouvelle méthode construit un filet qui couvre toute la plage de « Tempéré » pour s'assurer de ne pas manquer les extrêmes. Elle donne la priorité à la minimisation de la distance de l'erreur. Si vous vous trompez, vous voulez vous tromper un peu, pas de façon catastrophique.

Pourquoi cela importe : La règle de « Contiguïté »

Dans les problèmes ordinaux, votre filet de sécurité doit être un bloc solide. Vous ne pouvez pas avoir un filet qui dit : « C'est soit un Bébé, soit un Senior, mais certainement pas un Enfant ». Cela n'a aucun sens.

L'article prouve mathématiquement que leur nouvelle méthode produit toujours un bloc de réponses solide et ininterrompu. Elle n'a pas besoin de faire des hypothèses spéciales sur le fait que les données soient « en forme de cloche » (unimodales). Même si l'IA est confuse et pense que la réponse pourrait être deux choses très différentes (comme « Bébé » et « Senior » sans rien entre les deux), cette méthode comble les vides pour garantir que le filet de sécurité est continu.

L'avantage de la « Vitesse »

Habituellement, trouver le filet de sécurité parfait nécessite beaucoup de recherches informatiques (comme essayer toutes les combinaisons possibles de nombres). Les auteurs montrent que leur méthode est très rapide. C'est comme avoir un raccourci qui permet de calculer le filet parfait en un seul passage, plutôt que de chercher dans un labyrinthe. Cela la rend pratique pour une utilisation dans le monde réel.

Les résultats : Un meilleur équilibre

Les auteurs ont testé cela sur des images (comme estimer l'âge à partir de visages ou détecter la gravité d'une maladie dans des scanners médicaux) et sur des tableaux de données (comme les scores de crédit).

Efficacité : La nouvelle méthode crée des filets de sécurité raisonnablement petits (efficaces).
Sécurité : Crucialement, quand le filet de sécurité échoue (la vraie réponse est en dehors du filet), l'erreur est beaucoup plus petite que avec les anciennes méthodes.
- Ancienne méthode : « J'ai deviné Adolescent, mais vous étiez Senior. » (Erreur énorme).
- Nouvelle méthode : « J'ai deviné Adolescent, mais vous étiez Adulte. » (Petite erreur).

Résumé

Cet article introduit une façon plus intelligente pour l'IA de dire : « Je ne suis pas sûre à 100 %, mais je suis assez sûre que la réponse se trouve dans cette plage ».

Au lieu de saisir aveuglément les suppositions les plus populaires, elle construit un filet de sécurité équilibré et continu qui garantit que si l'IA se trompe, elle ne se trompe que légèrement, et non de façon catastrophique. C'est comme un funambule qui garde toujours son équilibre au milieu, s'assurant de ne jamais faire un pas géant et dangereux hors du bord.

Résumé Technique : Prédiction Conforme Fiable pour la Classification Ordinale à l'aide du Score de Probabilité Classé

Énoncé du Problème

La classification ordinale (CO) consiste à prédire des étiquettes discrètes possédant un ordre linéaire naturel (par exemple, la sévérité d'une maladie, les groupes d'âge, les notations de crédit). Bien que des progrès significatifs aient été réalisés dans la prédiction ponctuelle pour la CO, la quantification de l'incertitude (UQ) reste sous-développée, particulièrement dans les domaines à enjeux élevés comme la médecine et la finance. La Prédiction Conforme (CP) standard offre des ensembles de prédiction sans distribution avec des garanties de couverture marginale, mais fait face à des défis spécifiques dans le cadre ordinal :

Contiguïté : Les ensembles de prédiction doivent être des intervalles contigus (par exemple, {enfant, adolescent, adulte}) pour respecter l'ordre des étiquettes. Les ensembles non contigus (par exemple, {enfant, senior}) sont sémantiquement déraisonnables.
Risque Ordinal : Lorsque la véritable étiquette se trouve en dehors de l'ensemble de prédiction (sous-couverture), la gravité de l'erreur dépend de la distance ordinale. Une méthode qui minimise la taille de l'ensemble (efficacité) peut produire des ensembles qui, en cas d'échec, manquent la véritable étiquette par une marge importante, entraînant une estimation catastrophique du risque.
Hypothèses de Distribution : Les méthodes existantes reposent souvent sur des procédures de recherche gloutonne ou imposent l'unimodalité (un pic unique dans la distribution prédictive) pour garantir la contiguïté. Ces hypothèses peuvent ne pas être vérifiées pour des données complexes (par exemple, des distributions bimodales résultant de désaccords d'experts) et peuvent conduire à des estimations d'incertitude biaisées.

Les approches actuelles peinent à équilibrer l'efficacité de l'ensemble avec la minimisation de la magnitude de la sous-couverture ordinale sans imposer de biais structurels forts au modèle prédictif sous-jacent.

Méthodologie

Les auteurs proposent une méthode de CP agnostique au modèle pour la classification ordinale basée sur le Score de Probabilité Classé (Ranked Probability Score - RPS).

Mécanisme Central :

Score de Non-conformité : Au lieu d'utiliser des scores centrés sur le mode (comme le Least Ambiguous Set-valued Classifier ou l'Adaptive Prediction Sets), la méthode utilise le RPS comme mesure de non-conformité. Le RPS est une règle de score strictement propre définie sur les distributions cumulatives prédictives :
$\text{RPS}(X, Y) = \frac{1}{K-1} \sum_{k=1}^{K-1} (F_X(k) - \mathbb{1}\{Y \leq y_k\})^2$
où $F_X(k)$ est la fonction de répartition (CDF) prédite et $K$ est le nombre de classes.
Construction de l'Ensemble de Prédiction : Pour une instance de test $X_{n+1}$ et un taux de sous-couverture $\alpha$ , l'ensemble de prédiction est défini comme :
$C_\alpha(X_{n+1}) = \{y \in \mathcal{Y} : \text{RPS}(X_{n+1}, y) \leq \hat{q}_{1-\alpha} \}$
où $\hat{q}_{1-\alpha}$ est le quantile empirique $(1-\alpha)$ des scores RPS calculés sur un ensemble de calibration.

Propriétés Théoriques :
L'article établit trois propriétés clés des ensembles basés sur le RPS :

Couverture Marginale : La méthode satisfait la garantie de couverture marginale standard ( $P(Y \in C(X)) \geq 1-\alpha$ ) sous l'hypothèse d'échangeabilité, quel que soit le modèle prédictif sous-jacent.
Contiguïté et Centrage sur la Médiane : Contrairement aux approches basées sur le mode, les ensembles basés sur le RPS sont contigus par construction. La fonction de score RPS est en forme de V autour de la médiane de la distribution prédictive. Par conséquent, les ensembles de prédiction résultants sont des intervalles contigus centrés sur la médiane, et non sur le mode. Cela reste vrai même pour les distributions multimodales où le mode et la médiane diffèrent.
Optimalité du Risque Ordinal : Sous un réglage de couverture conditionnelle oracle (où la distribution conditionnelle réelle est connue), les ensembles basés sur le RPS minimisent la distance $L_1$ attendue (risque ordinal) entre l'étiquette réelle et l'ensemble de prédiction. La méthode optimise la réduction du risque ordinal plutôt que la simple cardinalité de l'ensemble.

Efficacité Computationnelle :
La méthode est efficace sur le plan computationnel. Bien que le calcul naïf du RPS pour toutes les $K$ étiquettes prenne $O(K^2)$ , les auteurs démontrent une relation de récurrence permettant de calculer tous les scores en temps linéaire $O(K)$ . La complexité globale évolue linéairement avec le nombre de points de calibration et le nombre d'étiquettes.

Contributions Clés

Nouvelle Mesure de Non-conformité : Introduction du Score de Probabilité Classé (RPS) en tant que mesure de non-conformité strictement propre et agnostique au modèle, spécifiquement pour la prédiction conforme ordinale.
Garanties Théoriques : Preuve que les ensembles basés sur le RPS satisfont la couverture marginale, sont emboîtés par rapport à $\alpha$ , et sont intrinsèquement contigus et centrés sur la médiane sans nécessiter d'hypothèses d'unimodalité.
Optimisation du Risque : Démonstration que les ensembles basés sur le RPS optimisent directement le risque ordinal (erreur $L_1$ basée sur l'ensemble), contrastant avec les méthodes centrées sur le mode qui privilégient l'efficacité de l'ensemble.
Efficacité : Une implémentation en temps linéaire qui évite les procédures de recherche gloutonne ou de recherche binaire requises par les méthodes de CP ordinale existantes.
Validation Empirique : Évaluation complète sur plusieurs jeux de données d'images ordinales (BACH, RetinaMNIST, FGNet), comparant la méthode aux modèles de référence comme min-CPS, COPOC (LAC/APS) et OCDF.

Résultats Expérimentaux

Les auteurs ont évalué la méthode sur plusieurs jeux de données en utilisant des métriques qui capturent à la fois l'efficacité et le risque ordinal :

Magnitude de la Sous-couverture : Mesurée par la Magnitude Moyenne de la Sous-couverture Absolue (MAMM) et la Magnitude de la Sous-couverture Absolue dans le Pire Cas (WAMM). Les ensembles basés sur le RPS ont systématiquement obtenu des valeurs de MAMM et de WAMM plus faibles que les méthodes centrées sur le mode (min-CPS, COPOCL, COPOCA), indiquant que lorsqu'une erreur se produit, l'étiquette réelle est plus proche de l'ensemble de prédiction.
Compromis Efficacité vs Risque : Mesuré par la Perte du Score d'Intervalle Moyen (AISL), qui pénalise à la fois les intervalles larges et les grandes distances de sous-couverture. Les ensembles basés sur le RPS ont atteint un équilibre favorable, surpassant souvent les modèles de référence en termes d'AISL.
Contiguïté : Tous les ensembles basés sur le RPS étaient contigus (CV = 0), alors que les modèles non ordinaux (LAC, APS) violaient fréquemment la contiguïté.
Robustesse : Dans les cas de distributions prédictives multimodales (par exemple, opinions divergentes d'experts), le RPS a maintenu des performances robustes, tandis que les méthodes centrées sur le mode avaient tendance à sous-estimer le risque ordinal en se concentrant sur le seul pic de probabilité le plus élevé.

Signification et Revendications

L'article affirme que la prédiction conforme basée sur le RPS fournit une solution robuste et polyvalente pour l'incertitude ordinale. Sa principale importance réside dans :

Représentation Fidèle de l'Incertitude : En étant par conception centrés sur la médiane et contigus, ils reflètent avec précision la structure ordinale complète et les risques associés, particulièrement dans les scénarios de distributions asymétriques ou multimodales où les approches basées sur le mode échouent.
Applicabilité à Haut Enjeu : La méthode minimise la gravité de la sous-couverture, une exigence critique dans des domaines tels que le diagnostic médical et l'évaluation des risques financiers, où le coût d'une erreur est proportionnel à sa distance ordinale.
Praticité : Elle offre un cadre efficace sur le plan computationnel et agnostique au modèle, qui ne dépend pas de contraintes architecturales spécifiques (comme l'unimodalité) ou de procédures de recherche coûteuses, ce qui la rend applicable à tout prédicteur probabiliste sous-jacent.

Les auteurs concluent que bien que les ensembles basés sur le RPS puissent ne pas toujours produire les ensembles de prédiction les plus petits (maximisant l'efficacité), ils offrent un équilibre supérieur entre la largeur de l'intervalle et la magnitude de la sous-couverture ordinale, ce qui en fait un choix fiable pour les tâches de prédiction ordinale du monde réel. Les travaux futurs suggérés incluent la décomposition de l'incertitude en composantes épistémiques et aléatoires au sein de ce cadre.