Evolving Executable Pipeline Programs for AutoML with Language Models
LACE est un nouveau cadre d'AutoML qui emploie une boucle évolutive guidée par un grand modèle de langage pour générer et faire évoluer des programmes de pipelines Python exécutables, atteignant une précision compétitive sur 68 tâches OpenML tout en offrant une transparence, une éditabilité et une flexibilité de l'espace de recherche supérieures par rapport aux systèmes traditionnels.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la science des données moderne, on demande de plus en plus aux machines de donner un sens à des informations réelles et désordonnées : prédire si un demandeur de prêt remboursera, diagnostiquer une maladie à partir d'un tableur de symptômes, ou prévoir les ventes en se basant sur les tendances passées. Pour ce faire, les chercheurs construisent des « pipelines », qui sont des instructions étape par étape permettant de nettoyer les données, de choisir un modèle mathématique et d'ajuster ce modèle jusqu'à ce qu'il soit performant. Pendant des années, les outils les plus puissants pour cette tâche ont été des systèmes automatisés agissant comme un chef cuisinier expert disposant d'un ensemble fixe d'ingrédients. Ces systèmes peuvent mélanger et assortir des étapes de prétraitement et des algoriths d'apprentissage connus, en ajustant les quantités pour trouver la meilleure saveur. Cependant, ils sont strictement limités au garde-manger qui leur a été donné ; ils ne peuvent pas inventer un nouvel ingrédient ou une nouvelle technique de cuisine qui ne figure pas dans leur liste prédéfinie. Cette limitation signifie que si la meilleure solution nécessite une structure que le système n'a jamais vue auparavant, elle restera non découverte.
Une équipe de chercheurs de l'Université de Leyde a maintenant introduit une approche différente, qui traite la création de ces pipelines de données non pas comme une sélection dans un menu, mais comme l'écriture d'une nouvelle recette à partir de zéro. Ils ont développé un système appelé LACE, qui utilise un grand modèle de langage — une intelligence artificielle entraînée sur de vastes quantités de textes et de codes — pour agir comme un moteur évolutif. Au lieu de choisir parmi une liste fixe d'outils, LACE demande à l'IA d'écrire des programmes informatiques complets et exécutables qui définissent comment traiter les données et faire des prédictions. Le système teste ensuite ces programmes, apprend de leurs erreurs et demande à l'IA d'écrire des versions améliorées, répétant ce cycle jusqu'à ce qu'il trouve une solution hautement efficace. Le résultat est un système qui ne se contente pas de peaufiner des outils existants, mais peut composer des structures entièrement nouvelles, produisant du code que les experts humains peuvent lire, comprendre et modifier directement.
Les chercheurs ont testé cette méthode sur 68 tâches de classification de données différentes, allant de petits ensembles de données avec quelques centaines d'entrées à des collections massives comprenant près de cinq millions de lignes. Ils ont comparé LACE à plusieurs systèmes automatisés établis et à un ensemble de modèles pré-entraînés fixes. Les résultats ont montré que LACE, lorsqu'il est alimenté par un modèle de langage spécifique, est aussi performant que les systèmes automatisés les plus puissants existants et nettement meilleur que les méthodes plus anciennes. Crucialement, bien que certains des nouveaux modèles pré-entraînés soient légèrement plus précis sur les tâches spécifiques qu'ils peuvent gérer, ils ont échoué à fonctionner sur de nombreux ensembles de données plus larges ou plus complexes du test. LACE, en revanche, a réussi à générer une solution fonctionnelle pour chaque tâche qui lui a été donnée.
Ce qui rend cette réussite particulièrement notable est la nature du résultat. Les systèmes automatisés traditionnels renvoient souvent une « boîte noire » — un objet complexe et ajusté qui fonctionne bien mais qui est difficile à inspecter ou à modifier pour un humain sans une connaissance technique approfondie du framework logiciel. LACE renvoie du code Python ordinaire. Cela signifie qu'un scientifique des données peut regarder le programme final, voir exactement comment les données ont été nettoyées, quels modèles ont été choisis, et comment ils ont été combinés, puis éditer le code pour l'améliorer davantage ou l'adapter à un nouvel usage. Les chercheurs ont constaté que l'IA ne s'est pas contentée de copier des schémas existants ; elle a fait évoluer des solutions diverses, combinant souvent différents types de modèles de manière novatrice et écrivant une logique personnalisée pour fusionner leurs prédictions. Dans de nombreux cas, l'IA a écrit son propre code pour mélanger les sorties de plusieurs modèles, un niveau de flexibilité que les systèmes fixes ne peuvent pas facilement répliquer.
L'étude a également abordé une préoccupation courante dans la recherche en intelligence artificielle : que l'IA ne soit pas simplement en train de mémoriser les réponses aux questions de test parce qu'elle les a déjà vues lors de son entraînement. Pour éviter cela, les chercheurs ont caché les noms et les détails spécifiques des ensembles de données à l'IA, ne lui donnant qu'une description générale de la taille et du type de données. Malgré ce manque de connaissances spécifiques, le système a tout de même trouvé des solutions performantes, suggérant qu'il apprenait véritablement à construire des pipelines efficaces plutôt que de simplement rappeler des réponses. Les chercheurs ont en outre vérifié que l'IA suivait des règles strictes, telles que ne pas utiliser de recherches internes cachées pour ajuster ses propres paramètres, garantissant que les améliorations provenaient bien du processus de recherche évolutive elle-même.
L'une des découvertes les plus frappantes fut la rapidité avec laquelle le système s'est amélioré. Le premier programme généré par l'IA était souvent défectueux ou incomplet, mais à mesure que le système itérait, il apprenait à corriger ces erreurs et à affiner la logique. Au moment où le processus se terminait, les programmes finaux étaient non seulement valides, mais nettement plus précis que les tentatives initiales. Les chercheurs ont observé que le système avait tendance à favoriser certains types de modèles, tels que les ensembles basés sur des arbres, mais qu'il ne restait pas bloqué sur un seul schéma ; il explorait une grande variété de combinaisons structurelles. Cette diversité suggère que le système est capable de découvrir des solutions qu'un humain ne penserait pas essayer, ou qu'un système rigide ne considérerait jamais.
Ce travail démontre que traiter l'apprentissage automatique automatisé comme un processus d'écriture et d'évolution de code ouvre une nouvelle frontière. Cela permet de dépasser la contrainte d'une bibliothèque d'outils fixe, permettant au système d'adapter sa structure au problème spécifique traité. Bien que le coût computationnel de la conduite de ces expériences ait été élevé, nécessitant un temps important pour générer et tester des milliers de programmes candidats, les résultats suggèrent que la capacité à produire du code transparent, éditable et hautement efficace est un compromis précieux. Les chercheurs concluent que cette approche offre une voie prometteuse, où la recherche du meilleur pipeline de données est définie par la créativité du code lui-même, plutôt que par les limitations d'un ensemble de composants pré-sélectionnés.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.