Know When to Abstain: Optimal Selective Classification with Likelihood Ratios

Cet article propose de nouvelles méthodes de classification sélective fondées sur le lemme de Neyman-Pearson et les rapports de vraisemblance pour améliorer la fiabilité des modèles, en particulier dans des scénarios réalistes de dérive de covariables où les distributions d'entraînement et de test diffèrent.

L'essentiel

🎩 Le Chapeau Magique de l'IA : "Savoir quand se taire"

Imaginez un expert très intelligent, disons un chef cuisinier robot (c'est notre modèle d'IA). Ce robot est excellent pour cuisiner des plats classiques. Mais il a un défaut : il est trop confiant. Même s'il ne connaît pas un ingrédient exotique ou si la lumière dans la cuisine est bizarre, il va quand même essayer de cuisiner et vous servira un plat qui risque d'être mauvais.

Dans le monde de l'intelligence artificielle, on appelle cela faire une prédiction erronée. Le problème, c'est que les humains, eux, savent dire : "Je ne sais pas, je ne devrais pas répondre".

Ce papier propose une solution pour apprendre à ce robot à savoir quand se taire (abstention). Au lieu de toujours répondre, le robot doit pouvoir dire : "Hé, cette situation me semble étrange, je vais laisser un humain expert prendre le relais."

🧪 La Nouvelle Règle du Jeu : Le "Test de Vérité"

Les chercheurs (Alvin Heng et Harold Soh) ont eu une idée brillante. Ils ont regardé un vieux principe de mathématiques appelé le Lemme de Neyman-Pearson.

Pour faire simple, imaginez que vous êtes un garde-frontière. Vous avez deux hypothèses :

1. Hypothèse A : Ce voyageur est un citoyen honnête (la réponse de l'IA est correcte).
2. Hypothèse B : Ce voyageur est un imposteur (la réponse de l'IA est fausse).

Le Lemme dit que pour faire le meilleur choix possible, le garde ne doit pas se fier à son "intuition" ou à une simple estimation de confiance. Il doit comparer deux probabilités :

• À quel point ce voyageur ressemble-t-il à un citoyen honnête ?
• À quel point ce voyageur ressemble-t-il à un imposteur ?

Le robot doit calculer ce rapport de vraisemblance (ou "Likelihood Ratio"). Si le voyageur ressemble beaucoup plus à un honnête citoyen qu'à un imposteur, on le laisse passer. Sinon, on l'arrête.

🌍 Le Défi : Quand le Monde Change (Le "Choc de Covariance")

Jusqu'à présent, la plupart des IA étaient entraînées et testées dans le même environnement (comme un restaurant qui sert toujours les mêmes clients). Mais dans la vraie vie, les choses changent !

• Exemple : Imaginez que votre robot a été entraîné sur des photos de chats réalistes.
• Le problème : Un jour, on lui montre des peintures de chats ou des dessins animés. Ce sont toujours des chats (le sens est le même), mais l'apparence (l'image) a changé. C'est ce qu'on appelle un choc de covariance.

La plupart des méthodes actuelles échouent ici car elles sont trop rigides. Elles disent : "Ce dessin ne ressemble pas à mes photos d'entraînement, donc je ne suis pas sûr" (et parfois, elles se trompent en pensant que c'est un OOD - hors distribution - alors que c'est juste un chat dessiné).

🛠️ Les Nouvelles Outils du Robot

Les chercheurs ont créé deux nouveaux outils basés sur leur "Test de Vérité" pour aider le robot à mieux gérer ces changements :

1. Le Détecteur de Distance (Δ-MDS et Δ-KNN) :
   Au lieu de juste regarder si l'image est "proche" de ce qu'il connaît, le robot regarde deux choses séparément :

   • À quelle distance est cette image par rapport aux exemples où il avait raison ?
   • À quelle distance est-elle par rapport aux exemples où il avait tort ?

   L'analogie : Imaginez que vous êtes dans une forêt. Si vous êtes plus proche du groupe de gens qui savent où est la sortie (les "corrects") que du groupe qui s'est perdu (les "faux"), alors vous êtes probablement en sécurité. Le robot fait exactement ce calcul, mais dans un espace mathématique complexe.

2. La Fusion des Forces (Combinaison Linéaire) :
   Parfois, le robot a besoin d'un coup de pouce. Les chercheurs ont mélangé leur nouveau détecteur de distance avec une méthode classique (basée sur les "logits", qui sont comme des scores de confiance internes).

   • C'est comme si le robot utilisait à la fois sa boussole (la distance) et son instinct (le score de confiance) pour prendre une décision. Ensemble, ils sont plus forts que séparément.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé leur méthode sur des tâches complexes :

• Vision : Reconnaître des objets sur des photos, des croquis, des peintures ou des images abîmées.
• Langage : Comprendre des avis clients sur Amazon.

Le verdict ?
Leurs nouvelles méthodes sont beaucoup plus performantes que les anciennes.

• Elles font moins d'erreurs.
• Elles savent mieux dire "Je ne sais pas" quand c'est nécessaire.
• Elles fonctionnent même quand l'IA est utilisée sur des modèles très puissants comme CLIP (qui comprend les images et le texte) ou des modèles de langage.

💡 En Résumé

Ce papier nous apprend que pour rendre une IA plus fiable, il ne suffit pas de la rendre plus intelligente. Il faut lui apprendre à reconnaître ses limites.

En utilisant une vieille règle mathématique (Neyman-Pearson) comme boussole, les auteurs ont créé un système qui permet à l'IA de dire : "Attends, ce cas est trop différent de ceux où j'ai l'habitude de réussir, je vais laisser un humain s'en occuper."

C'est une avancée majeure pour rendre l'IA plus sûre, surtout dans un monde où les données changent tout le temps (photos de dessins, nouvelles langues, environnements imprévus).

Le code de cette "boussole" est même disponible gratuitement pour que tout le monde puisse l'utiliser ! 🚀

Résumé technique

1. Problématique et Contexte

La classification sélective vise à améliorer la fiabilité des modèles d'apprentissage automatique en leur permettant de s'abstenir de prédire sur des entrées incertaines, plutôt que de produire une prédiction erronée. Bien que de nombreuses méthodes existent (basées sur la probabilité softmax maximale, les marges de logits, ou la distance aux données d'entraînement), elles souffrent de deux lacunes majeures :

1. Manque de fondement théorique unifié : Il n'existe pas de guide général et principiel pour concevoir des fonctions de sélection optimales dans le contexte des réseaux de neurones profonds modernes.
2. Défaut de prise en compte du décalage de covariable (Covariate Shift) : La plupart des évaluations supposent que les données de test suivent la même distribution que les données d'entraînement (i.i.d.). Or, dans les applications réelles (notamment avec les modèles vision-langage comme CLIP), la distribution des entrées change souvent (ex: photos vs croquis) tandis que l'espace des étiquettes reste fixe. Ce scénario, appelé covariate shift, est sous-exploré dans la littérature sur la classification sélective.

2. Méthodologie : Le Lemme de Neyman-Pearson

Les auteurs proposent une nouvelle perspective fondée sur le lemme de Neyman-Pearson (NP), un résultat classique de la statistique qui caractérise la règle de rejet optimale comme un test de rapport de vraisemblance.

Cadre Théorique

Le problème est reformulé comme un test d'hypothèse binaire pour chaque entrée $x$ :

• $H_0$ : Le classifieur fait une prédiction correcte ($C$).
• $H_1$ : Le classifieur fait une prédiction incorrecte ($\neg C$).

Le lemme de NP stipule que la règle de décision optimale pour minimiser le risque (taux d'erreur) à un niveau de couverture donné est basée sur le rapport de vraisemblance :
$$s(x) = \frac{p_c(x)}{p_w(x)}$$
où $p_c(x)$ est la densité de probabilité des entrées classées correctement et $p_w(x)$ celle des entrées classées incorrectement. Toute transformation monotone de ce rapport est également optimale.

Nouvelles Méthodes Proposées

Pour approximer ce rapport de vraisemblance inconnu, les auteurs proposent deux nouvelles fonctions de score basées sur la distance, en séparant explicitement les échantillons d'entraînement correctement et incorrectement classés :

1. $\Delta$-MDS (Mahalanobis Distance) :

   • Au lieu d'estimer une seule distribution par classe, la méthode maintient deux ensembles de statistiques (moyenne et covariance) : un pour les prédictions correctes ($\mu^c, \Sigma^c$) et un pour les erreurs ($\mu^w, \Sigma^w$).
   • Le score est la différence des distances de Mahalanobis par rapport à ces deux distributions :
     $$s_{\Delta\text{-MDS}}(x) = D_{MDS}(x; \mu^c, \Sigma^c) - D_{MDS}(x; \mu^w, \Sigma^w)$$
   • Théoriquement optimal sous l'hypothèse que les représentations de caractéristiques suivent des distributions gaussiennes conditionnelles.

2. $\Delta$-KNN (k-Nearest Neighbors) :

   • Méthode non-paramétrique qui calcule la différence entre les distances logarithmiques moyennes vers les $k$ plus proches voisins dans l'ensemble des échantillons corrects ($A_c$) et incorrects ($A_w$).
   • $$s_{\Delta\text{-KNN}}(x) = D_{KNN}(x; A_c) - D_{KNN}(x; A_w)$$
   • Théoriquement optimal asymptotiquement sans hypothèse paramétrique forte sur la densité.

3. Combinaison Linéaire :

   • Les auteurs combinent les scores basés sur la distance (ex: $\Delta$-MDS) avec des scores basés sur les logits (ex: RLog - Raw Logits, qui est la différence entre les deux premiers logits).
   • La combinaison $s(x) = s_{\text{distance}} + \lambda \cdot s_{\text{logit}}$ est théoriquement justifiée comme une transformation monotone d'un rapport de vraisemblance "tilté", offrant une robustesse accrue.

3. Contributions Clés

1. Cadre Unificateur : Introduction d'un cadre basé sur le lemme de Neyman-Pearson pour définir l'optimalité en classification sélective via les rapports de vraisemblance, unifiant ainsi plusieurs méthodes existantes (MSP, RLog, MDS, KNN) comme des approximations implicites de ce test.
2. Nouvelles Méthodes : Proposition de deux nouveaux sélecteurs ($\Delta$-MDS et $\Delta$-KNN) qui exploitent explicitement la distinction entre les erreurs et les succès lors de l'entraînement, plutôt que de se fier uniquement à la distribution globale des données.
3. Évaluation Rigoureuse sous Covariate Shift : Une évaluation exhaustive sur des tâches de vision (ImageNet et ses variantes décalées) et de langage (Amazon Reviews), y compris sur des modèles Vision-Language (VLM) comme CLIP, démontrant la supériorité des méthodes proposées dans des scénarios de distribution changeante.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles supervisés (EVA, ResNet50) et des modèles VLM (DFN CLIP), ainsi que sur des modèles de langage (DistilBERT).

• Performance Globale : Les méthodes proposées ($\Delta$-MDS, $\Delta$-KNN) et leurs combinaisons linéaires surpassent systématiquement les baselines existantes (MSP, MaxLogit, Energy, MDS standard, KNN standard, SIRC) en termes de AURC (Area Under the Risk-Coverage Curve) et de NAURC (Normalized AURC).
• Réduction du Risque : Sur les modèles CLIP, le passage des méthodes classiques aux variantes $\Delta$-NP entraîne une réduction d'environ 50 % du risque moyen (AURC/NAURC).
• Robustesse aux Décalages : Les méthodes maintiennent une performance élevée sur des jeux de données à décalage de covariables (ex: ImageNet-Rendition, ImageNet-Sketch, ImageNet-C), là où les méthodes traditionnelles échouent souvent.
• Combinaisons Optimales :
  • Pour les modèles VLM (CLIP) : La combinaison $\Delta$-KNN-RLog obtient les meilleurs résultats, suggérant que l'approche non-paramétrique s'adapte mieux aux espaces de caractéristiques appris par contraste.
  • Pour les modèles Supervisés (EVA, ResNet) : La combinaison $\Delta$-MDS-RLog est supérieure, validant l'hypothèse que les classificateurs softmax sont bien modélisés par des distributions gaussiennes (lien avec l'Analyse Discriminante Linéaire).
• Efficacité Échantillonnaire : Les méthodes restent robustes même avec très peu de données étiquetées pour le calcul des statistiques (jusqu'à 0,1 % pour $\Delta$-KNN).

5. Signification et Impact

Ce travail est significatif car il :

• Comble un vide théorique : Il fournit une justification rigoureuse (Neyman-Pearson) pour le design des sélecteurs, dépassant les approches heuristiques.
• Adapte la classification sélective à la réalité du déploiement : En se concentrant sur le covariate shift, le papier adresse un problème critique pour les modèles modernes (comme les VLM) où les données de test diffèrent souvent des données d'entraînement sans changer les classes cibles.
• Propose des solutions pratiques et performantes : Les méthodes $\Delta$-MDS et $\Delta$-KNN sont simples à mettre en œuvre (post-hoc, sans réentraînement du modèle) et offrent des gains de performance immédiats et substantiels.

En conclusion, l'article démontre que l'exploitation explicite de la structure de vraisemblance entre les prédictions correctes et incorrectes via le lemme de Neyman-Pearson constitue une voie robuste et optimale pour améliorer la fiabilité des modèles d'IA dans des environnements dynamiques.