Résumé Technique : CoFEH

Énoncé du Problème

L'ingénierie des caractéristiques (Feature Engineering, FE) est une pierre angulaire des pipelines d'apprentissage automatique, mais elle reste un goulot d'étranglement pour les méthodes automatisées traditionnelles. Les approches existantes souffrent de trois limitations fondamentales :

1. Agnosticisme Sémantique : Elles reposent sur des espaces de recherche rigides et prédéfinis ainsi que sur des essais-erreurs, sans exploiter les connaissances a priori du domaine.
2. Topologie Rigide : Elles imposent des séquences de pipeline fixes (par exemple, génération suivie de sélection), empêchant l'entrelacement dynamique ou la composition flexible d'opérations hétérogènes.
3. Ensembles d'Opérations Restreints : Elles sont confinées à des bibliothèques fermées d'algorithmes intégrés ou d'arithmétique de base, incapables de découvrir des opérations spécifiques à la tâche au-delà des primitives prédéfinies.

De plus, bien que les Grands Modèles de Langage (LLM) offrent une alternative prometteuse pour générer des opérateurs ancrés sémantiquement et illimités, les méthodes de FE basées sur les LLM actuelles se concentrent généralement sur des sous-tâches isolées (comme la génération de caractéristiques) et échouent à construire des pipelines de forme libre. Crucialement, ces méthodes associent rarement la FE à l'Optimisation des Hyperparamètres (HPO) du modèle en aval. Cela conduit à un flux de travail séquentiel « gourmand » (FE puis HPO) qui ignore la forte dépendance entre la représentation des caractéristiques et la capacité du modèle, piégeant souvent le système dans des minima locaux sous-optimaux.

Méthodologie : Cadre CoFEH

Les auteurs proposent CoFEH (Collaborative Feature Engineering and Hyperparameter Optimization), un cadre conçu pour entrelacer la FE pilotée par les LLM et l'HPO bayésienne pour un AutoML robuste de bout en bout. Le système comprend trois composants principaux :

1. Optimiseur FE à Arbre de Pensée (ToT) Piloté par LLM

Pour relever le défi de la FE de forme libre, CoFEH reformule la construction du pipeline comme un problème de prise de décision séquentielle résolu par une recherche arborescente Monte Carlo (MCTS).

• Représentation de l'État : L'ensemble de données à n'importe quel stade de transformation est traité comme un nœud d'état dans un arbre de recherche.
• Raisonnement Pilotable : Le LLM génère de nouvelles opérations de FE basées sur un prompt structuré contenant les métadonnées de l'ensemble de données, le pipeline ancêtre, et une directive dynamique ($d$) :
  • Initialisation : Génère des opérations initiales de haute qualité pour le nœud racine.
  • Exploration : Propose de nouvelles opérations pour sonder des régions inconnues de l'espace de recherche.
  • Exploitation : Affine l'état actuel en réutilisant et en adaptant des opérations historiques performantes.
• Mémoire Globale : Un mécanisme de récupération basé sur la Pareto archive les opérations réussies (chaînes de raisonnement, sous-ensembles de caractéristiques, scores et gains relatifs) pour guider le LLM lors de la phase d'Exploitation.

2. Mécanisme de Conditionnement Mutuel

Pour résoudre le défi de la FE–HPO Collaborative, CoFEH établit un flux d'information bidirectionnel entre le LLM (FE) et l'Optimisation Bayésienne (BO) (HPO), évitant un réglage isolé.

• HPO Conditionnée par la FE : Le modèle de substitution de la BO utilise des méta-caractéristiques ($\phi(s)$) extraites de l'état de l'ensemble de données pour caractériser le pipeline de FE. Cela permet à la BO de modéliser l'influence conjointe du pipeline et des hyperparamètres, recommandant la configuration optimale ($\lambda^*$) pour un état spécifique de l'ensemble de données ($s^*$).
• FE Conditionnée par la HPO : Les phases de sélection et de simulation (playout) du MCTS sont informées par les résultats de la HPO. La métrique de « meilleure performance » pour un nœud est déterminée par les hyperparamètres optimaux trouvés pour cet état spécifique de l'ensemble de données, garantissant que le LLM évalue la qualité des caractéristiques sous des configurations de modèles optimales plutôt que sous des paramètres par défaut.

3. Sélecteur d'Optimiseur Dynamique

Pour répondre à l'ordonnancement adaptatif aux tâches, CoFEH modélise l'allocation du budget d'optimisation entre la FE et la HPO comme un problème de Bandit Multi-Arme (MAB) utilisant une politique Predictor Upper Confidence Bound (PUCB).

• Le sélecteur décide dynamiquement d'exécuter une étape de FE ou une étape de HPO à chaque itération en fonction des taux de succès empiriques ($Q(a)$) et des poids a priori variables dans le temps ($\omega_a$).
• Ordonnancement des Poids A Priori : Le système commence avec un biais en faveur de la FE (pour garantir que les données sont « prêtes pour le modèle ») et décroît linéairement ce biais vers un équilibre 50/50 à mesure que le budget s'épuise. Cela garantit une distribution équilibrée du budget dans des scénarios neutres tout en permettant aux récompenses empiriques spécifiques à la tâche de guider l'allocation en pratique.

Contributions Clés

1. Optimisation de Pipeline de Forme Libre : Un optimiseur ToT piloté par LLM qui explore des topologies et opérateurs de pipeline non contraints, permettant une ingénierie de caractéristiques véritablement de forme libre qui compose dynamiquement le prétraitement, la transformation, la génération et la sélection.
2. Mécanisme de Conditionnement Mutuel : Un couplage bidirectionnel novateur où la FE et la HPO informent les décisions l'une de l'autre, empêchant la « myopie gourmande » de l'optimisation séquentielle et permettant la découverte d'optima globaux dans l'espace conjoint.
3. Allocation Dynamique des Ressources : Un sélecteur basé sur PUCB qui alloue de manière adaptative le budget de calcul entre la FE et la HPO en fonction de l'utilité spécifique de chacune pour la tâche donnée.
4. Validation Empirique : Des expériences extensives démontrant que CoFEH surpasse à la fois les systèmes AutoML traditionnels et les bases de référence existantes basées sur les LLM.

Résultats Expérimentaux

Les auteurs ont évalué CoFEH sur 28 ensembles de données publics (19 classification, 9 régression) à travers trois scénarios de modèles en aval : XGBoost, MLP et CASH (Combined Algorithm Selection and Hyperparameter Optimization).

• FE Autonome : CoFEH a obtenu le meilleur rang moyen (1,82) parmi toutes les bases de référence, surpassant significativement les méthodes traditionnelles (Mindware, OpenFE) et d'autres approches basées sur les LLM (OCTree, ELLM, LFG).
• FE+HPO Conjointe : Dans le cadre de bout en bout, CoFEH a démontré une réduction relative de l'erreur de 7,03 % par rapport à sa propre performance en FE autonome, surpassant toutes les bases de référence. Il a obtenu un rang moyen de 1,75, établissant un nouvel état de l'art.
• Généralisation : Le cadre a montré une généralisation robuste à travers différents types de modèles (MLP, CASH), maintenant des performances de premier plan et réalisant des réductions d'erreur significatives (par exemple, +45,1 % d'amélioration dans les scénarios CASH).
• Efficacité Coûts : CoFEH a obtenu le meilleur compromis coût-performance, nécessitant seulement ~0,07 $ par tâche avec le socle Gemini-2.0-flash, tandis que les méthodes traditionnelles axées sur la recherche (OpenFE, Mindware) nécessitaient un temps d'exécution nettement supérieur.
• Études d'Ablation : La suppression du mécanisme de conditionnement mutuel ou du sélecteur dynamique a considérablement dégradé les performances, confirmant la nécessité à la fois d'une gestion de l'information couplée et d'un ordonnancement adaptatif des ressources.

Importance et Revendications

L'article revendique que CoFEH comble le fossé entre les capacités de raisonnement sémantique des LLM et l'efficacité numérique de l'Optimisation Bayésienne. En s'éloignant des flux de travail rigides et séquentiels vers une stratégie d'optimisation entrelacée et collaborative, CoFEH surmonte le « paradoxe de l'intégration des capacités » où les LLM excellent dans la FE mais sont en retard dans le couplage FE-HPO.

Les auteurs affirment que CoFEH :

• Libère le plein potentiel des LLM pour créer des pipelines de forme libre similaires à ceux d'experts humains.
• Résout le problème des minima locaux sous-optimaux causés par la FE et la HPO découplées.
• Fournit une base évolutive et extensible pour les travaux futurs en AutoML, qui peut être adaptée aux données d'images et de texte via des modifications de prompts.

Ce travail est présenté comme une étape significative vers l'optimisation holistique des pipelines d'apprentissage automatique, où la découverte de caractéristiques et le réglage du modèle sont traités comme un processus unifié et mutuellement renforçant plutôt que comme des étapes isolées.