Enhancing Automated Machine Learning via Homogeneous Train-Test Splitting Methods
Cet article propose une méthode de distribution optimisée pour la division entraînement-test qui maximise explicitement la similitude statistique entre les sous-ensembles, surpassant cinq stratégies établies sur quinze jeux de données UCI en atteignant le score de similitude MMD moyen le plus élevé de 89,0 % et en atténuant l'instabilité d'évaluation causée par les décalages de distribution.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un chef essayant d'inventer une nouvelle recette pour la pizza parfaite. Pour savoir si votre recette est vraiment délicieuse, vous ne pouvez pas simplement goûter la pizza que vous avez faite vous-même ; vous avez besoin d'un test de dégustation à l'aveugle avec des inconnus. Mais voici le piège : si vous ne donnez aux inconnus que des parts de pizza qui sont exactement comme celles sur lesquelles vous vous êtes entraîné, ils pourraient penser que votre pizza est incroyable alors qu'elle est en fait juste moyenne. Dans le monde de l'informatique, plus précisément dans un domaine appelé l'apprentissage automatique (Machine Learning), les ordinateurs apprennent en étudiant des données, tout comme un chef étudie les ingrédients. Pour voir si un ordinateur a bien appris, les scientifiques divisent leurs données en deux tas : un tas d'« entraînement » pour que l'ordinateur les étudie, et un tas de « test » pour que l'ordinateur prouve ses compétences plus tard.
La grande question est la suivante : comment diviser ces données ? Si vous jetez simplement les données dans deux tas de manière aléatoire, vous pourriez accidentellement donner à l'ordinateur tous les exemples faciles à étudier et lui laisser tous les exemples difficiles pour le test. Ou, si les données ont des motifs cachés (comme un groupe d'ingrédients à l'apparence similaire regroupés ensemble), un découpage aléatoire pourrait passer totalement à côté. C'est un enjeu majeur. Si la division est injuste, l'ordinateur pourrait penser qu'il est un génie alors qu'il a simplement eu de la chance, ou il pourrait penser qu'il est un échec alors qu'il est en fait brillant. Réussir cette division, c'est la différence entre un ordinateur qui fonctionne dans le monde réel et un qui s'effondre et échoue lamentablement.
Cet article, écrit par Yearn Tan Yin Tze et Charles Grellois, est comme une compétition de dégustation rigoureuse pour voir quelle méthode de division de données est la plus équitable. Les auteurs ont examiné cinq méthodes différentes pour diviser les données, incluant certaines vieilles astuces et une toute nouvelle méthode qu'ils ont inventée, appelée « Optimised-Distribution ». Ils ont testé ces méthodes sur quinze ensembles de données différents, allant de petites collections d'environ 150 éléments à de massives bases de données de plus de 250 000 entrées.
Les chercheurs ont découvert que certaines méthodes sophistiquées et populaires utilisées par les experts rendent en fait la division pire. Ils ont découvert que les méthodes conçues pour choisir les exemples les plus « divers » ou « extrêmes » pour l'ensemble d'entraînement (comme les algorithmes Kennard–Stone et SPXY) créent souvent un tas d'entraînement qui ne ressemble en rien au tas de test. C'est comme si vous aviez formé un chef uniquement sur des pizzas épicées, brûlées et de formes bizarres, puis que vous lui demandiez de juger une pizza normale et fraîche. Le chef serait confus, et les résultats seraient un désastre. En fait, ces méthodes sophistiquées ont obtenu un score proche de zéro lors d'un « test de similitude » appelé MMD, ce qui signifie que les deux tas étaient fondamentalement différents.
En revanche, la nouvelle méthode des auteurs, « Optimised-Distribution », traitait la division comme un exercice d'équilibre. Au lieu de simplement choisir des échantillons aléatoires ou les plus extrêmes, elle vérifiait et échangeait constamment des morceaux de données entre les tas d'entraînement et de test pour s'assurer qu'ils soient statistiquement identiques. Cette méthode a remporté la compétition, atteignant un score de similitude de 89,0 % en moyenne, soit le plus élevé de toutes les stratégies testées.
Cependant, l'article offre également un rappel à la réalité très important. Les auteurs ont constaté que, bien qu'avoir une division parfaite soit une bonne chose, cela ne change pas toujours le score final. Si les données sont énormes (comme le jeu de données avec 253 680 entrées) ou très faciles à comprendre, même une division aléatoire fonctionne très bien car l'ordinateur possède tellement d'informations qu'il ne peut pas faire autrement que d'apprendre les bons schémas. La nouvelle méthode brille le plus lorsque les données sont petites, désordonnées ou complexes. Dans ces situations spécifiques, utiliser une mauvaise division peut faire paraître un ordinateur médiocre, tandis que l'utilisation de la nouvelle méthode des auteurs l'aide à être beaucoup plus fiable. Ainsi, bien que vous n'ayez pas toujours besoin d'une division parfaite, lorsque vous travaillez avec des données limitées ou difficiles, cette nouvelle façon de diviser le gâteau garantit que l'ordinateur ait une chance équitable de prouver ses véritables compétences.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.