Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study
Cette étude présente un benchmark à grande échelle, distribué en classe, de 11 536 cycles d'entraînement à travers 18 ensembles de données et 6 familles de modèles, démontrant que si les lois de puissance décrivent efficacement les courbes d'apprentissage pour la plupart des modèles tabulaires avec des exposants partagés approximatifs, une variance significative persiste en raison de détails d'implémentation plutôt que de graines aléatoires.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'apprendre à un robot comment prendre des décisions, comme prédire si un client va acheter un produit ou si un prêt sera remboursé. Pendant longtemps, les scientifiques se sont passionnés pour les « lois d'échelle » des réseaux de neurones géants — ces ordinateurs massifs, semblables à des cerveaux, qui alimentent des choses comme les agents conversationnels ou les générateurs d'images. Ils ont découvert une règle magique : si vous nourrissez ces géants avec plus de données, plus de cellules cérébrales et plus de puissance de calcul, leurs erreurs diminuent de manière parfaitement prévisible, comme un toboggan qui descend une colline. Cette règle est devenue si importante que les entreprises dépensent des millions de dollars simplement pour calculer la quantité de données qu'elles doivent acheter.
Mais voici le rebondissement : la majeure partie du monde réel ne fonctionne pas grâce à des réseaux de neurones géants. Elle fonctionne sur des « données tabulaires ». Pensez à un tableur : des lignes de clients, des colonnes de leur âge, de leur revenu et de leur historique d'achat. C'est le pain quotidien des entreprises, utilisé pour tout, de la tarification des assurances à la prévision des ventes. Pour ces tâches, des outils plus simples et plus anciens, comme les arbres de décision et les modèles linéaires, fonctionnent souvent mieux que les grands géants sophistiqués. La grande question était : ces outils plus simples suivent-ils la même règle magique du « plus de données = moins d'erreurs » ? Et si oui, la règle est-elle la même pour tout le monde, ou change-t-elle selon le tableur spécifique que vous utilisez ? Jusqu'à présent, personne n'avait testé cela à une échelle aussi vaste pour voir si la règle tient bon lorsque différentes personnes tentent de mener la même expérience.
Cet article est une expérience géante, de la taille d'une salle de classe, conçue pour répondre précisément à cela. Au lieu d'une seule équipe de recherche menant quelques tests, l'auteur a organisé 127 étudiants d'un cours de machine learning de niveau master pour agir comme des scientifiques indépendants. Chaque étudiant a reçu un ensemble spécifique de règles et s'est vu attribuer trois ensembles de données différents du monde réel (comme des défauts de cartes de crédit ou des prix immobiliers) sur lesquels travailler. Ils devaient entraîner six types différents de modèles de machine learning « classiques » sur ces ensembles de données, en commenissant par de petites quantités de données et en en ajoutant progressivement plus, pour voir comment les taux d'erreur changeaient. Au total, ils ont mené plus de 11 000 sessions d'entraînement, créant une immense bibliothèque de résultats pour voir si une formule mathématique simple pouvait prédire la capacité de ces modèles à apprendre.
Les résultats ont été étonnamment clairs, mais avec quelques nuances importantes. Premièrement, la « formule magique » (une loi de puissance) fonctionne très bien pour la plupart de ces modèles. Les auteurs ont constaté que pour environ 78 % des expériences, la formule correspondait si bien aux données qu'elle pouvait prédire avec précision la baisse de l'erreur à mesure que les données étaient ajoutées. Cependant, tous les modèles ne sont pas égaux. Les modèles « basés sur les arbres » (comme le Boosting et les Random Forests) ont été les champions, surpassant systématiquement les autres et atteignant les taux d'erreur les plus bas. En revanche, certains modèles, particulièrement la régression Lasso, n'ont pas du tout suivi la règle, se contentant souvent de deviner la moyenne et ignorant la taille des données.
L'étude a également abordé une question fascinante : existe-t-il une seule « vitesse d'apprentissage » pour toute une famille de modèles, quel que soit l'ensemble de données ? La réponse est un « en quelque sorte ». Pour cinq des six familles de modèles, les étudiants ont constaté qu'une seule « vitesse d'apprentissage » moyenne (un exposant) pouvait prédire le comportement de leurs modèles à travers différents ensembles de données presque aussi bien qu'en calculant une vitesse unique pour chacun d'eux. C'est comme dire que toutes les voitures d'une certaine marque accélèrent à peu près au même rythme, même si les conditions de route varient. Cependant, ce n'est pas une loi universelle parfaite ; l'ajustement n'est pas exact, et pour certains modèles comme la régression Ridge, la « vitesse » était si instable qu'elle ne pouvait être fiable.
La découverte la plus surprenante ne concernait peut-être pas les données, mais les humains effectuant le travail. Même si chaque étudiant recevait exactement les mêmes instructions et la même graine aléatoire (un point de départ numérique) pour garantir qu'ils devraient obtenir des résultats identiques, leurs réponses finales variaient tout de même légèrement. Les auteurs ont calculé que ce « bruit d'implémentation humaine » — causé par de minuscules différences inévitables dans la gestion des nombres manquants ou l'encodage du texte — créait une variation d'environ 14 % dans les résultats. Cela suggère que lorsqu'une seule équipe de recherche prétend avoir découvert une loi d'échelle spécifique, il existe un « flou » intrinsèque d'environ 14 % qui provient simplement de la façon dont l'expérience a été mise en place, et non des données elles-mêmes.
En fin de compte, cet article nous offre une carte pratique pour le monde des données tabulaires. Il confirme que pour la plupart des problèmes commerciaux, vous n'avez pas besoin d'un supercalculateur ; un modèle d'arbre bien ajusté sera probablement le vainqueur. Il fournit une « liste de courses » pour les données, estimant que pour certains problèmes courants, vous pourriez n'avoir besoin que de quelques centaines de lignes de données pour atteindre un haut niveau de précision, tandis que pour d'autres, vous pourriez en avoir besoin de dizaines de milliers. Mais il nous avertit aussi de rester humbles : les règles sont approximatives, et non absolues, et la façon dont nous préparons nos données peut introduire autant d'incertitude que les données elles-mêmes. C'est un rappel que dans le monde du machine learning, même les tableurs les plus simples ont leurs propres rythmes complexes, légèrement désordonnés, mais finalement prévisibles.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.