🤖 machine learning

LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers

Ce papier présente LLM-FE, un cadre novateur qui combine la recherche évolutionnaire avec les grands modèles de langage pour découvrir itérativement des programmes de transformation de caractéristiques efficaces pour les données tabulaires, surpassant ainsi les méthodes existantes d'ingénierie automatique des caractéristiques en exploitant mieux les connaissances du domaine et les retours d'expérience basés sur les données.

Auteurs originaux : Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre une énigme en utilisant un tas de indices (des données). Habituellement, vous devez trier manuellement ces indices, les combiner de manière ingénieuse et créer de nouveaux « super-indices » pour vous aider à résoudre l'affaire plus rapidement. Ce processus s'appelle l'ingénierie de caractéristiques (Feature Engineering). Dans le monde de l'apprentissage automatique, le faire manuellement est lent, ennuyeux et nécessite un expert humain pour savoir exactement quelles combinaisons d'indices pourraient fonctionner.

L'article présente un nouvel outil appelé LLM-FE qui automatise ce travail de détective en utilisant une IA « super-intelligente » (un grand modèle de langage) agissant comme un partenaire créatif.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le problème : Le « jeu de devinettes »

Les outils automatisés traditionnels tentent de résoudre ce problème en mélangeant et en associant aveuglément des nombres (comme ajouter la colonne A à la colonne B) sur la base d'une liste fixe de règles. Ils sont comme un robot qui ne sait que tourner à gauche ou à droite, sans jamais réaliser que parfois il faut sauter par-dessus une clôture. Ils manquent souvent les moments « eureka ! » qui découlent de la compréhension de l'histoire derrière les données (comme savoir que l'« insuline » et le « glucose » sont liés au diabète).

2. La solution : Le « chef évolutif »

Les auteurs proposent LLM-FE, qui traite l'ingénierie de caractéristiques comme un concours de cuisine où l'IA est le chef. Au lieu de simplement suivre une recette, l'IA reçoit :

Les ingrédients : Les données brutes (par exemple, l'âge du patient, les taux de sucre dans le sang).
Le menu : Le problème spécifique à résoudre (par exemple, « prédire si un patient est diabétique »).
Le livre de cuisine : La connaissance interne du monde de l'IA (par exemple, « Je sais qu'un taux de sucre élevé et une faible insuline sont mauvais pour la santé »).

3. Comment cela fonctionne : La boucle en quatre étapes

L'article décrit un cycle qui se répète encore et encore, similaire à la façon dont la nature fait évoluer les espèces pour mieux survivre :

Étape A : L'étincelle créative (Génération)
L'IA examine les données et le problème. Elle dit : « Hmm, si je divise le taux d'insuline par le taux de glucose, cela pourrait nous dire quelque chose sur la façon dont le corps traite le sucre. » Elle écrit un petit programme informatique (une recette) pour créer ce nouveau « super-indice ».
- Analogie : Le chef invente une nouvelle sauce basée sur les ingrédients et le plat qu'il essaie de préparer.
Étape B : Le test de dégustation (Évaluation)
La nouvelle recette est appliquée aux données. Ensuite, un modèle de prédiction (un test simple) tente de résoudre le problème en utilisant ces nouvelles données.
- Analogie : Le chef sert la nouvelle sauce à un juge. Si le juge l'apprécie (le score augmente), la recette est bonne. Sinon, elle est jetée.
Étape C : La banque de mémoire (Gestion de l'expérience)
C'est la sauce secrète de LLM-FE. Le système n'oublie pas simplement les recettes ratées. Il conserve une « Hall of Fame » des meilleures recettes qu'il a jamais créées.
- Analogie : Imaginez un chef qui tient un carnet de ses 10 meilleurs plats. Lorsqu'il doit inventer un nouveau plat, il ne repart pas de zéro ; il regarde ses meilleurs plats passés et se dit : « Et si je prenais la meilleure partie du Plat n°3 et que je la mélangeais avec la meilleure partie du Plat n°7 ? »
Étape D : L'évolution (Raffinement)
L'IA utilise la « Hall of Fame » pour créer des versions encore meilleures des recettes. Elle tente de « muter » (modifier légèrement) les meilleures recettes pour voir si elles peuvent s'améliorer encore.
- Analogie : C'est comme la sélection naturelle. Les recettes les plus fortes et les plus savoureuses survivent et évoluent, tandis que les faibles disparaissent.

4. Pourquoi c'est mieux que le reste

L'article compare LLM-FE à d'autres méthodes et constate qu'il gagne pour trois raisons principales :

Il connaît le contexte : Contrairement à d'autres robots qui ne font que des maths, cette IA comprend ce que signifient les données. Elle sait que « l'âge » et l'« IMC » sont liés à la santé, elle crée donc des caractéristiques qui ont du sens pour les humains, et pas seulement des nombres.
Il ne reste pas bloqué : D'autres méthodes restent souvent bloquées en essayant d'améliorer une seule idée. LLM-FE fait tourner plusieurs « îles » d'idées en même temps. Si une île reste bloquée dans une impasse, une autre île peut trouver un raccourci.
Il apprend de ses erreurs : En conservant une mémoire de ce qui a fonctionné auparavant, il devient plus intelligent à chaque tentative, plutôt que de simplement deviner au hasard.

5. Les résultats

Les chercheurs ont testé cela sur de nombreux ensembles de données différents (comme la prédiction des maladies cardiaques, des prix de l'immobilier et des ventes de voitures). Ils ont constaté que LLM-FE rendait systématiquement les modèles de prédiction plus précis que les anciennes méthodes. Il ne fonctionnait pas seulement avec un type d'IA ; il aidait différents types de modèles à mieux faire leur travail.

En résumé : LLM-FE est un système qui utilise une IA intelligente pour inventer de nouvelles façons significatives d'examiner les données. Il agit comme un chef créatif qui apprend de ses meilleurs plats passés, utilise sa connaissance du monde et expérimente constamment jusqu'à ce qu'il trouve la recette parfaite pour résoudre un problème.

Résumé technique : LLM-FE : Ingénierie automatique des caractéristiques pour les données tabulaires avec des LLM en tant qu'optimiseurs évolutionnaires

Énoncé du problème

L'ingénierie des caractéristiques est une composante critique, mais laborieuse, du flux de travail d'apprentissage automatique sur les données tabulaires. Bien que des caractéristiques bien conçues puissent améliorer considérablement les performances des modèles basés sur les arbres (surpassant souvent les approches d'apprentissage profond sur les données structurées), le processus d'exploration de l'immense espace combinatoire des transformations de caractéristiques est chronophage et gourmand en ressources. Les méthodes traditionnelles d'ingénierie automatique des caractéristiques reposent sur des espaces de recherche prédéfinis, conçus manuellement, et sur des transformations fixes, échouant souvent à intégrer des connaissances sectorielles précieuses. À l'inverse, les approches récentes basées sur les grands modèles de langage (LLM) tentent d'intégrer des connaissances sectorielles mais reposent généralement sur des invocations directes ou des scores de validation simples. Ces méthodes existantes basées sur les LLM échouent souvent à exploiter les enseignements tirés d'expériences de découverte antérieures, manquent de raisonnement significatif entre la génération de caractéristiques et la performance pilotée par les données, et tendent à générer des caractéristiques simples et répétitives en raison de biais inhérents au préentraînement des LLM.

Méthodologie : Le cadre LLM-FE

Les auteurs proposent LLM-FE, un cadre novateur qui formule l'ingénierie des caractéristiques comme un problème de recherche de programmes, combinant les connaissances sectorielles et les capacités de raisonnement des LLM avec une recherche évolutionnaire et un retour d'information piloté par les données. Le cadre fonctionne comme une boucle itérative composée de quatre étapes principales :

Génération de nouvelles caractéristiques (Invocation) :
Le LLM agit comme un optimiseur évolutionnaire guidé par les connaissances. Il reçoit une invite structurée contenant :
- Description de la tâche et métadonnées : Détails spécifiques sur la tâche en aval et les descriptions des caractéristiques.
- Échantillons de données : Exemples sérialisés du jeu de données pour fournir un contexte.
- Fonction d'évaluation : Un extrait de code définissant comment la qualité des caractéristiques est mesurée (entraînement d'un modèle et notation sur un jeu de validation).
- Démonstrations en contexte : Une sélection de programmes de transformation de caractéristiques à haute performance provenant d'itérations précédentes.
  Le LLM reçoit explicitement l'instruction de générer des programmes de transformation de caractéristiques complexes et novateurs (code Python) plutôt que de simples opérations arithmétiques, en exploitant ses connaissances sectorielles intégrées pour raisonner sur la pertinence des caractéristiques.
Ingénierie des caractéristiques (Exécution) :
Les programmes Python générés sont exécutés sur le jeu de données sous-jacent. Cette étape applique les transformations proposées pour créer un jeu de données augmenté. Pour assurer la robustesse, le système impose des limites de temps d'exécution et de mémoire, écartant les programmes sujets aux erreurs ou inefficaces.
Évaluation des caractéristiques (Retour d'information piloté par les données) :
Le jeu de données augmenté est utilisé pour entraîner un modèle de prédiction en aval (par exemple, XGBoost, MLP, TabPFN). La performance du modèle sur un jeu de validation retenu sert de score de fitness pour le programme de transformation de caractéristiques. Ce score fournit le retour d'information piloté par les données nécessaire pour guider la recherche.
Gestion de l'expérience (Recherche évolutionnaire) :
Pour éviter les optima locaux et maintenir la diversité, LLM-FE emploie un modèle « d'îles » à populations multiples.
- Mémoire multi-îles : L'espace de recherche est divisé en $m$ îles indépendantes. Chaque île maintient un tampon de programmes à haut score.
- Clustering et échantillonnage : Les programmes au sein d'une île sont regroupés en clusters en fonction de leurs scores de validation. Le système utilise un échantillonnage de Boltzmann pour sélectionner des clusters destinés aux exemples en contexte, équilibrant l'exploration (clusters à score plus faible) et l'exploitation (clusters à score plus élevé).
- Raffinement itératif : À chaque itération, le LLM échantillonne à partir du tampon de mémoire pour générer de nouveaux candidats, effectuant ainsi implicitement des mutations et des croisements par la génération conditionnée par l'invite.

Contributions clés

L'article expose trois contributions principales :

Cadre novateur : L'introduction de LLM-FE, qui présente l'ingénierie des caractéristiques comme un problème d'optimisation évolutionnaire guidé par un LLM. Il intègre de manière unique les connaissances sectorielles, l'évaluation pilotée par les données et une mémoire à long terme pour un raffinement itératif.
Efficacité empirique : Les résultats expérimentaux démontrent que LLM-FE surpasse systématiquement les références de l'état de l'art (à la fois les méthodes classiques comme OpenFE/AutoFeat et les méthodes basées sur les LLM comme CAAFE/FeatLLM) sur divers jeux de données tabulaires, tâches et modèles de prédiction.
Analyse des composants : Grâce à des études d'ablation complètes, les auteurs mettent en évidence les rôles critiques des connaissances sectorielles, de la recherche évolutionnaire, du retour d'information piloté par les données et des échantillons de données pour guider le LLM dans l'exploration efficace de l'espace des caractéristiques et la découverte de caractéristiques impactantes.

Résultats expérimentaux

Les auteurs ont évalué LLM-FE en utilisant GPT-3.5-Turbo et Llama-3.1-8B-Instruct comme modèles de base sur 19 jeux de données de classification et 10 jeux de données de régression. Le cadre a été testé contre des références utilisant XGBoost, MLP et TabPFN comme prédicteurs en aval.

Performance : LLM-FE a obtenu le rang moyen le plus bas (indiquant la meilleure performance globale) sur les tâches de classification et de régression. Il a constamment amélioré la performance prédictive par rapport aux références sur données brutes et aux autres méthodes d'ingénierie des caractéristiques.
Généralisabilité : Le cadre a démontré une robustesse à travers différents modèles de base LLM et architectures de modèles de prédiction. Les caractéristiques générées par LLM-FE ont amélioré les performances des modèles basés sur les arbres, des réseaux de neurones et des modèles tabulaires basés sur les transformateurs.
Complexité et atténuation des biais : Contrairement aux invocations naïves de LLM qui tendent à favoriser des opérateurs simples (addition, soustraction), le raffinement évolutionnaire dans LLM-FE a découvert avec succès des transformations complexes (par exemple, agrégations group-by, résidus, fonctions sigmoïde). Environ 45 % des caractéristiques découvertes ont été classées comme complexes, contre des quantités négligeables dans les méthodes de référence basées sur les LLM.
Efficacité : Une analyse de Pareto de la performance par rapport au temps d'exécution a montré que LLM-FE se situe sur la frontière de Pareto, atteignant une précision supérieure à celle de concurrents comme CAAFE et OCTree avec des coûts de calcul comparables ou inférieurs.
Études d'ablation : La suppression des connaissances sectorielles a entraîné une baisse significative des performances (d'environ 0,687 à 0,626 de précision), soulignant leur importance. De même, la suppression du raffinement évolutionnaire a conduit au plus grand déclin (vers 0,587), mettant en évidence la nécessité d'un retour d'information itératif piloté par les données.
Mémorisation : Des expériences sur des jeux de données publiés après les dates de coupure de formation des LLM ont montré que LLM-FE fournissait des gains constants et modestes, suggérant que les améliorations découlent d'un raisonnement authentique et d'une sélection évolutionnaire plutôt que d'une mémorisation de données.

Signification et affirmations

L'article positionne LLM-FE comme une avancée significative dans l'automatisation du pipeline centré sur les données. Sa signification réside dans le rapprochement entre le raisonnement informé par le domaine et l'optimisation. En traitant le LLM non seulement comme un générateur mais comme un optimiseur évolutionnaire, le cadre surmonte les limites des espaces de recherche statiques et le biais vers des caractéristiques simples inhérent aux invocations directes.

Les auteurs affirment que LLM-FE offre une solution robuste et généralisable pour l'apprentissage tabulaire qui réduit l'effort manuel tout en améliorant la performance prédictive. Ils soulignent que le cadre est conçu pour compléter, et non remplacer, les experts du domaine, en fournissant des caractéristiques interprétables et guidées par des hypothèses qui peuvent être examinées et validées. Ce travail suggère que combiner les LLM avec des mécanismes de recherche évolutionnaire est une voie viable vers la découverte de caractéristiques de haute qualité et interprétables, difficiles à concevoir manuellement.