🤖 machine learning

Benchmarking non-conformity score functions in conformal prediction

Cet article fournit un aperçu et introduit des modifications aux fonctions de score de non-conformité en prédiction conforme, en proposant une nouvelle méthode d'évaluation pour évaluer leur efficacité dans la génération d'ensembles de prédiction, en particulier dans des conditions de déséquilibre des classes.

Auteurs originaux : Sol Erika Boman

Publié 2026-05-26

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sol Erika Boman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : De « Deviner une Chose » à « Établir une Liste Sûre »

Imaginez que vous jouiez à un jeu de « Devinez l'animal ». Un modèle d'apprentissage automatique standard est comme un ami confiant qui pointe une image et dit : « C'est définitivement un Chat. » Parfois, ils ont raison, mais parfois ils se trompent, et ils n'admettent jamais leur incertitude.

La Prédiction Conformelle est une approche différente. Au lieu de deviner un seul animal, le modèle vous donne une liste de possibilités. Il pourrait dire : « C'est probablement un Chat, mais cela pourrait aussi être un Chien ou un Renard. »

La magie de cette méthode réside dans le filet de sécurité qu'elle garantit. Si vous dites au modèle : « Je veux être sûr à 95 % que ma réponse se trouve dans la liste », le modèle ajustera la taille de sa liste pour s'assurer que, au fil du temps, le véritable animal se trouve dans cette liste 95 % du temps.

Le Problème : Quelle Taille Doit Avoir la Liste ?

L'article pose une question cruciale : Comment décider ce qui doit figurer sur cette liste ?

Si la liste est trop petite (par exemple, juste « Chat »), vous risquez de manquer la bonne réponse. Si la liste est trop grande (par exemple, « Chat, Chien, Renard, Hamster, Poisson rouge »), vous êtes en sécurité, mais la liste est inutile car elle inclut tout.

L'outil que le modèle utilise pour décider quoi mettre sur la liste s'appelle un Score de Non-conformité. Imaginez ce score comme un « Mètre de Bizarreur ».

Score Faible : Le point de données semble très normal pour cette classe (par exemple, une image duveteuse ressemble beaucoup à un Chat).
Score Élevé : Le point de données semble étrange ou « non conforme » pour cette classe (par exemple, une image d'un rocher semble très bizarre si vous essayez de l'appeler un Chat).

L'objectif de l'article était de tester différents types de « Mètres de Bizarreur » pour voir lequel crée les listes les plus utiles (des listes qui sont petites mais toujours sûres).

Les « Mètres de Bizarreur » Testés

Les auteurs ont testé plusieurs façons de mesurer la « bizarreur » sur différents types de données (comme des images d'animaux). Voici les principales qu'ils ont comparées, en utilisant des analogies :

Distance d'Étiquette (Le Mètre de « Tir à la Cible ») :
- Fonctionnement : Il mesure à quelle distance l'guess du modèle se trouve de la réponse « parfaite ». Imaginez lancer une fléchette sur une cible. Si la fléchette est proche du centre, le score est faible (pas bizarre). Si elle est loin, le score est élevé.
- Résultat de l'article : Cela a très bien fonctionné, en particulier lorsqu'on utilisait une méthode spécifique de mesure de distance appelée « Distance Cosinus » (qui regarde la direction de la devinette plutôt que simplement la distance brute).
Distance de Marge (Le Mètre de « Garde-frontière ») :
- Fonctionnement : Au lieu de mesurer la distance par rapport à la réponse parfaite, il mesure à quelle distance la devinette se trouve de la frontière entre deux réponses. Si vous vous tenez juste sur la ligne entre « Chat » et « Chien », vous êtes très confus (bizarreur élevée). Si vous êtes profondément dans le territoire du « Chat », vous êtes confiant (bizarreur faible).
- Résultat de l'article : C'était une performance étoile, créant souvent les listes les plus petites et les plus efficaces, en particulier lorsqu'on regardait les chiffres bruts avant qu'ils ne soient convertis en pourcentages.
Distance Moyenne (Le Mètre de « Étreinte de Groupe ») :
- Fonctionnement : Il compare une nouvelle image à la « moyenne » de toutes les images qu'il a vues auparavant pour cette classe. Si une nouvelle image de chat ressemble au chat moyen, c'est un bon ajustement. Si elle ressemble à un chien, c'est bizarre.
- Résultat de l'article : C'était la meilleure méthode pour les ensembles de données complexes avec de nombreuses catégories (comme CIFAR100).
APS/RAPS/SAPS (Les Mètres de « Classement ») :
- Fonctionnement : Ce sont des méthodes plus complexes qui regardent le classement des réponses. Elles disent : « Ajoutons la meilleure devinette, puis la deuxième, puis la troisième... » jusqu'à ce que nous nous sentions assez en sécurité pour arrêter. Elles ajoutent quelques astuces mathématiques (régularisation) pour empêcher les listes de devenir trop grandes.
- Résultat de l'article : Elles étaient bonnes, mais créaient souvent des listes légèrement plus grandes que les mètres de « Distance ». Fait intéressant, l'article a découvert que le « bruit » aléatoire généralement ajouté à ces méthodes pour les rendre équitables n'était pas réellement nécessaire pour la garantie de sécurité ; un simple nombre fixe fonctionnait tout aussi bien.
Distance de Gradient/Caractéristique (Les Mètres de « Immersion Profonde ») :
- Fonctionnement : Elles tentent de mesurer la bizarreur profondément à l'intérieur du cerveau de l'ordinateur (les couches de caractéristiques) plutôt que simplement à la sortie finale.
- Résultat de l'article : Elles étaient lourdes en calcul (lentes) et ne performaient pas toujours mieux que les méthodes plus simples.

Le Test « Injuste » : Classes Déséquilibrées

Les auteurs ont également testé ce qui se passe lorsque les données sont injustes. Imaginez un ensemble de données où 90 % des images sont des Chats, et seulement 1 % sont des Tigres.

Le Défi : Le modèle est excellent pour repérer les Chats mais terrible pour repérer les Tigres.
Le Résultat : Lorsque le modèle est forcé d'être sûr à 95 %, il inclut souvent le « Tigre » dans la liste pour presque chaque image unique, même si l'image est clairement un Chat.
Pourquoi ? Le modèle est si incertain au sujet des Tigres qu'il joue la sécurité. C'est comme un gardien de sécurité qui a si peur de manquer un tigre qu'il arrête tout le monde entrant dans le bâtiment. L'article note que, bien que cela rende la prédiction « honnête » (elle admet qu'elle ne sait pas), cela rend la liste énorme et moins utile pour les éléments courants.

Les Principales Conclusions

Pas de Vainqueur Unique : Il n'y a pas un seul « meilleur » Mètre de Bizarreur pour chaque situation.
- Pour des tâches simples, la Distance d'Étiquette ou la Distance de Marge fonctionnaient le mieux.
- Pour des tâches complexes avec de nombreuses catégories, la Distance Moyenne était la championne.
La Direction Compte : Utiliser la Distance Cosinus (mesurant l'angle/direction des données) était souvent meilleur que la distance standard, en particulier dans les espaces de haute dimension (comme les modèles d'apprentissage profond).
La Simplicité Gagne : Les méthodes les plus complexes (comme les gradients de caractéristiques profondes) ne donnaient pas nécessairement de meilleurs résultats et étaient beaucoup plus lentes.
L'Architecture Compte : Le type de modèle informatique utilisé (par exemple, ResNet vs EfficientNet) changeait quel « Mètre de Bizarreur » fonctionnait le mieux, suggérant que le choix du mètre dépend du modèle spécifique que vous utilisez.

En bref, l'article fournit un « menu » d'outils pour construire des listes d'IA plus sûres. Il montre qu'en choisissant le bon « Mètre de Bizarreur » pour votre problème spécifique, vous pouvez garder vos listes de prédiction petites et utiles sans sacrifier la sécurité.

Résumé Technique : Évaluation des Fonctions de Score de Non-Conformité dans la Prédiction Conformelle

Énoncé du Problème

La prédiction conformelle (PC) offre une alternative rigoureuse à l'étalonnage des modèles en apprentissage automatique pour la classification, en générant des ensembles de prédictions plutôt que des prédictions de classe unique. Bien que la PC garantisse que la classe vraie est contenue dans l'ensemble de prédiction avec une probabilité au moins égale à $1 - \alpha$ (où $\alpha$ est un taux d'erreur pré-spécifié), l'utilité pratique de ces ensembles dépend fortement de leur taille. Un ensemble de prédiction trop grand est non informatif.

La taille et l'utilité de ces ensembles sont déterminées par le choix de la fonction de score de non-conformité. Malgré l'existence de nombreuses fonctions de score dans la littérature, il manque des études systématiques examinant leurs propriétés, leur efficacité et leur interaction avec les architectures de modèles et le déséquilibre des classes. Cet article comble le manque de compréhension sur la performance de différentes fonctions de score à travers divers domaines conformels (espace des probabilités, espace des logits et espace des caractéristiques) et dans différentes conditions, y compris sur des jeux de données déséquilibrés.

Méthodologie

Métrique d'Évaluation

Les auteurs introduisent une nouvelle métrique d'évaluation, $I_1$ , pour évaluer les fonctions de score indépendamment d'un choix arbitraire de taux d'erreur $\alpha$ . Les métriques traditionnelles rapportent la taille moyenne de l'ensemble de prédiction à un $\alpha$ fixe, ce qui peut être trompeur si $\alpha$ n'est pas aligné avec la précision du modèle.
La métrique est définie comme suit :
$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$
où $A_k$ est la précision top- $k$ du modèle (spécifiquement $A_1$ pour la précision top-1), et $\bar{|P|}(\alpha)$ est la taille moyenne de l'ensemble de prédiction au taux d'erreur $\alpha$ . Cette intégrale contraint l'évaluation à la plage « intéressante » des taux d'erreur (de 0 au taux d'erreur inhérent du modèle), fournissant un nombre unique et objectif où des valeurs plus faibles indiquent une meilleure performance (ensembles de prédiction plus petits).

Configuration Expérimentale

Jeux de données : ImageNet (1000 classes), CIFAR-100 (100 classes) et CIFAR-10 (10 classes).
Modèles : ResNet50 (principal), ResNet18 et EfficientNet-B0.
Domaines Conformels : L'étude évalue les fonctions de score à travers trois espaces distincts :
1. Espace des Probabilités : La sortie de la fonction softmax ( $\Delta_{n-1}$ ).
2. Espace des Logits : Les vecteurs de sortie bruts avant softmax ( $\mathbb{R}^n$ ).
3. Espace des Caractéristiques : Les vecteurs de caractéristiques finaux avant la couche de sortie linéaire.
Fonctions de Score Évaluées :
- Distance d'Étiquette : Distance entre la prédiction et l'étiquette encodée en one-hot.
- Distance de Marge : Distance à la frontière de décision entre la classe vraie et la classe incorrecte la plus probable.
- Distance Moyenne : Distance à la moyenne des exemples d'étalonnage appartenant à la même classe.
- Plus Proche Voisin : Ratio des distances aux exemples de même classe les plus proches par rapport aux exemples de classes différentes.
- APS/RAPS/SAPS : Ensembles de Prédictions Adaptatifs et leurs variantes régularisées (méthodes basées sur le rang).
- Gradient/Gradient Rapide : Méthodes basées sur les caractéristiques approximanant la distance à la frontière de décision dans l'espace des caractéristiques.
Test de Déséquilibre : Un setting conditionnel par classe a été testé où les classes minoritaires ont été réduites à une prévalence de 10 % pour évaluer dans quelle mesure différentes fonctions de score gèrent le déséquilibre des classes.

Résultats Clés

Performance des Fonctions de Score

Les résultats de l'évaluation, résumés par la métrique $I_1$ , révèlent des schémas de performance distincts :

Basées sur la Distance vs Basées sur le Rang : Les fonctions de score basées sur la distance ont généralement surpassé les méthodes basées sur le rang (APS, RAPS, SAPS) en termes de taille d'ensemble de prédiction, en particulier lors de l'utilisation de la distance cosinus.
Domaines et Métriques Optimaux :
- La Distance de Marge dans l'Espace des Logits utilisant la Distance Cosinus a obtenu les valeurs $I_1$ les plus faibles pour ImageNet sur les modèles ResNet.
- La Distance Moyenne a performé exceptionnellement bien sur CIFAR-100, en particulier dans l'Espace des Caractéristiques avec la Distance Cosinus.
- La Distance d'Étiquette dans l'Espace des Probabilités avec la Distance Cosinus était également très compétitive.
Euclidienne vs Cosinus : La distance euclidienne s'est révélée moins adaptée aux espaces de haute dimension (comme les vecteurs de caractéristiques dans ResNet50), tandis que la distance cosinus a performé de manière robuste, suggérant que ces modèles organisent les classes en clusters approximativement orthogonaux.
Randomisation dans APS/RAPS : L'étude a constaté que le terme randomisé ( $u$ ) dans APS et RAPS n'est pas strictement nécessaire pour les garanties de couverture dans des settings étalonnés. Définir $u$ comme une petite constante (servant de départage) a souvent donné de meilleures performances que l'approche randomisée standard.
Méthodes de Gradient : Les méthodes Gradient et Gradient Rapide étaient coûteuses en calcul et, dans le cas du Gradient Rapide, ont performé significativement moins bien que les autres méthodes sur les jeux de données testés.

Impact de l'Architecture du Modèle

Alors que ResNet50 et ResNet18 ont montré un ordre relatif similaire de performance des fonctions de score, EfficientNet-B0 a présenté un classement différent. Cela suggère que l'architecture du modèle (par exemple, les fonctions d'activation comme ReLU vs Swish) influence les propriétés géométriques du domaine conformel et donc le choix optimal de la fonction de score, potentiellement plus que la précision brute du modèle.

Déséquilibre des Classes

Dans le setting déséquilibré, les classes minoritaires ont souvent été incluses dans les ensembles de prédiction à des fréquences bien supérieures à leur vraie prévalence (par exemple, une inclusion de 27 % pour une classe avec une vraie prévalence de 0,1 %). Les auteurs notent que si cela réduit la précision du prédicteur, c'est un reflet « honnête » de l'incertitude sous-jacente du modèle concernant les classes rares. La Distance Moyenne dans l'espace des caractéristiques a de nouveau montré la meilleure capacité à minimiser cette sur-inclusion tout en maintenant la couverture.

Signification et Revendications

L'article prétend combler un vide de connaissances concernant les propriétés et l'efficacité des fonctions de score de non-conformité. Ses contributions principales sont :

Évaluation Systématique : Fournir une comparaison complète de diverses fonctions de score à travers plusieurs jeux de données, modèles et domaines conformels.
Métrique d'Évaluation : Introduire $I_1$ comme une métrique robuste à nombre unique qui prend en compte la précision du modèle et évite la sélection arbitraire de taux d'erreur.
Insights sur les Domaines et Métriques : Démontrer que la distance cosinus est supérieure à la distance euclidienne dans les domaines conformels de haute dimension et que l'espace des logits surpasse souvent le simplexe de probabilités.
Conseils Pratiques : Offrir un point de départ aux praticiens pour sélectionner des fonctions de score basées sur leur architecture de modèle spécifique et les caractéristiques de leur jeu de données, plutôt que de s'appuyer sur une seule méthode « meilleure » universelle.

Les auteurs concluent qu'aucune fonction de score unique n'est universellement supérieure ; plutôt, le choix optimal dépend du contexte spécifique du modèle et des données. Cependant, l'évaluation fournit une base claire et fondée sur les données pour effectuer ces sélections.