When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification
Cette étude démontre que s'appuyer sur des évaluations basées sur un seul jeu de données pour la classification déséquilibrée est trompeur, car une analyse exhaustive de 45 tâches révèle que l'ajustement du seuil et les techniques de rééchantillonnage comme SMOTE améliorent considérablement les performances à travers divers ratios de déséquilibre, contrairement aux résultats nuls observés sur le jeu de données populaire mais non représentatif de la fraude à la carte de crédit.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'apprentissage automatique, on demande souvent aux ordinateurs de faire des choix binaires : cet e-mail est-il un spam ou non, cette transaction est-elle frauduleuse ou légitime, ce scanner médical montre-t-il une maladie ou un état sain. Ces tâches deviennent difficiles lorsqu'un résultat est nettement plus fréquent que l'autre. Si une banque traite un million de transactions par jour et que seulement quelques centaines sont frauduleuses, l'ordinateur voit une montagne d'activités normales et un sommet minuscule, presque invisible, de fraude. C'est ce qu'on appelle le déséquilibre de classes. Pour aider l'ordinateur à voir l'événement rare, les chercheurs ont développé des outils standards. Ils peuvent créer artificiellement plus d'exemples de l'événement rare pour équilibrer les données d'entraînement, ou ils peuvent ajuster la ligne de décision interne de l'ordinateur. Par défaut, un ordinateur décide généralement qu'un événement est positif uniquement s'il en est sûr à plus de cinquante pour cent. Dans un monde déséquilibré, cette ligne de cinquante pour cent peut être trop haute, ce qui fait que l'ordinateur manque entièrement les événements rares. Ainsi, la pratique standard consiste à abaisser cette ligne, rendant l'ordinateur plus enclin à donner l'alerte.
Pendant des années, la communauté scientifique s'est appuyée sur un seul et célèbre ensemble de données de transactions de cartes de crédit pour tester ces outils. C'est le banc d'essai le plus utilisé dans le domaine, contenant des centaines de milliers de transactions réelles avec une fraction infime de fraudes. Lorsque les chercheurs testaient leurs méthodes sur cet ensemble de données spécifique, ils parvenaient souvent à une conclusion convaincante : les outils standards étaient inutiles. Ils ont découvert qu'un modèle informatique simple et bien calibré pouvait détecter la fraude parfaitement bien sans aucun ajustement spécial, et que tenter de modifier la ligne de décision ou d'équilibrer les données rendait en réalité les choses pires. Cette conclusion est devenue une règle empirique largement acceptée, suggérant que pour des modèles bien-comportés, tout l'appareil de gestion du déséquilibre était superflu.
Une nouvelle étude remet en question la sécurité de cette règle. Les chercheurs, travaillant à l'Université technologique du Queensland, ont posé une question simple mais profonde : une conclusion tirée d'un ensemble de données spécifique s'applique-t-elle au reste du monde ? Ils ont commencé par tester rigoureusement le célèbre ensemble de données de fraude par carte de crédit en utilisant un protocole strict, sans fuite de données, qui garantissait qu'aucune information provenant des résultats de test n'influença par accident l'entraînement. Leurs résultats ont confirmé l'ancienne histoire. Sur cet ensemble de données spécifique, un modèle standard appelé Forêt Aléatoire (Random Forest) a obtenu les meilleurs résultats avec son réglage par défaut, et toute tentative d'ajuster le seuil de décision ou d'ajouter des données synthétiques à l'ensemble d'entraînement n'a apporté aucun bénéfice. En fait, sur cet ensemble de données, les ajustements ont rendu le modèle légèrement moins performant.
Cependant, les chercheurs ne se sont pas arrêtés là. Ils ont appliqué ce même protocole de test à une collection beaucoup plus large de quarante-cinq tâches de classification binaire différentes. Ces tâches allaient de l'identification de chiffres manuscrits au diagnostic du cancer du sein, et incluaient des données réelles ainsi que des scénarios synthétiques soigneusement construits. Les ratios de déséquilibre dans cette nouvelle collection variaient largement, d'une différence légère de un pour un et demi, jusqu'à une différence sévère de un pour cent soixante-dix-huit. Lorsqu'ils ont fait tourner leurs modèles à travers cette suite diversifiée, l'histoire a totalement basculé.
La conclusion qui fonctionnait sur l'ensemble de données de cartes de crédit s'est avérée être une anomalie, spécifique à cet ensemble de données et à ce modèle précis. À travers les quarante-cinq tâches, le même modèle de Forêt Aléatoire qui n'avait besoin d'aucune aide sur les données de fraude a été celui qui a le plus bénéficié d'un ajustement du seuil de décision. Les ajustements qui étaient nuisibles sur l'ensemble de données de fraude sont devenus utiles à travers la suite plus large. De même, une technique appelée SMOTE, qui génère artificiellement des exemples de la classe rare, s'est révélée néfaste sur l'ensemble de données de fraude, mais a apporté un gain de performance significatif dans la majorité des autres tâches. Les chercheurs ont découvert que le bénéfice de l'ajustement du seuil de décision n'est pas une ligne droite qui s'améliore à mesure que les données deviennent plus déséquilibrées. Au lieu de cela, le bénéfice suit une courbe en U inversé. Il est négligeable lorsque le déséquilibre est léger, culmine dans la plage intermédiaire de déséquilibre, puis décline à nouveau lorsque le déséquilibre devient extrême.
Cette découverte explique pourquoi l'ensemble de données de fraude par carte de crédit, avec son ratio de déséquilibre extrême de un pour cinq cent soixante-dix-sept, est un mauvais endroit pour étudier ces questions. Il se situe dans la zone où le bénéfice de l'ajustement est à son niveau le plus bas et le plus difficile à mesurer de manière fiable. L'étude a également testé une intuition commune : l'idée qu'un chercheur pourrait observer à quel point un modèle est mal calibré et décider s'il faut ajuster le seuil en fonction de cela. Ils ont trouvé cette intuition fausse. Il n'y avait aucun lien fiable entre l'erreur de calibration d'un modèle et l'aide qu'il recevait de l'ajustement. Un modèle pouvait être mal calibré et ne rien gagner de l'ajustement, ou être bien calibré et en gagner beaucoup.
Les implications pour quiconque construit ces systèmes sont claires. L'idée qu'un seul ensemble de données puisse fournir une règle universelle pour gérer les événements rares est risquée. Une méthode qui fonctionne parfaitement sur un ensemble de données peut échouer ou même avoir l'effet inverse sur un autre. Les chercheurs recommandent aux praticiens de tester systématiquement différents seuils de décision sur un ensemble de validation pour chaque nouvelle tâche, plutôt que de supposer qu'un réglage par défaut est suffisant ou qu'un ajustement spécifique est toujours nécessaire. Ils conseillent également de ne pas se fier aux diagnostics de calibration pour prendre cette décision, car ces mesures ne prédisent pas le résultat. L'étude conclut que si la validité interne — s'assurer qu'une expérience unique est exempte d'erreurs — est importante, la validité externe — s'assurer que les conclusions tiennent la route à travers différentes données — est tout aussi critique. Une expérience méthodologiquement parfaite sur un seul ensemble de données peut tout de même conduire à la mauvaise conclusion générale, et la seule façon de savoir ce qui fonctionne est de le tester à travers une grande variété de situations.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.