🤖 machine learning

TopoFE: topology-aware LLM-guided Automated Feature Engineering

TOPOFE est un cadre évolutif multi-îles sensible à la topologie qui améliore l'ingénierie automatisée de caractéristiques guidée par les LLM en intégrant une exploration spécialisée par famille, une mémoire de prompt adaptative et un transfert de connaissances guidé par la topologie afin de surmonter les limites de la génération sans état et de la recherche homogène, découvrant ainsi des programmes de caractéristiques diversifiés et performants à travers 29 ensembles de données tabulaires.

Auteurs originaux : Sha Li, Naren Ramakrishnan

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Sha Li, Naren Ramakrishnan

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un ordinateur à prendre des décisions intelligentes, comme prédire si un demandeur de prêt remboursera son argent ou si un patient souffre d'une maladie spécifique. L'ordinateur ne commence pas avec les réponses ; il doit examiner un tableur de données brutes — nombres, catégories et dates — et découvrir quels motifs sont importants. Ce processus est appelé apprentissage automatique (machine learning). Mais voici la partie délicate : les données brutes sont souvent désordonnées et difficiles à comprendre. Tout comme un chef ne peut pas faire une excellente soupe avec seulement des légumes crus et non découpés, un ordinateur ne peut souvent pas trouver les meilleurs motifs à moins que les données ne soient transformées au préalable. Cette étape de transformation s'appelle l'ingénierie des caractéristiques (feature engineering). C'est l'art de prendre des nombres bruts et de les mélanger pour créer de nouveaux indices plus intelligents qui aident l'ordinateur à voir la vérité. Pendant longtemps, les humains devaient faire cela à la main, en devinant quelles combinaisons de nombres pourraient être utiles. Récemment, nous avons commencé à utiliser des programmes informatiques ultra-intelligents appelés Grands Modèles de Langage (LLM) pour nous aider. Considérez ces LLM comme des assistants brillants et très cultivés qui connaissent beaucoup de choses en mathématiques et en sciences et qui peuvent suggérer de nouvelles façons de mélanger les données. Cependant, même ces assistants brillants ont un problème : ils restent parfois bloqués dans une routine, suggérant les mêmes types de mélanges encore et encore, ou oublient ce qu'ils ont déjà essayé, perdant ainsi du temps sur des impasses.

C'est là qu'intervient un nouveau cadre appelé TOPOFE. Les chercheurs, Sha Li et Naren Ramakrishnan de l'Université de Virginia Tech, ont réalisé que l'espace des mélanges de données possibles est si vaste et varié qu'une stratégie de recherche uniforme et unique ne suffit pas. Ils ont proposé un système qui traite la recherche des meilleurs indices de données comme une équipe d'explorateurs spécialisés travaillant dans différents territoires, plutôt que comme une seule foule géante.

Au lieu d'avoir un seul grand groupe de programmes informatiques essayant tous de résoudre le problème en même temps, TOPOFE divise le travail en cinq « îles » distinctes. Chaque île est une équipe de spécialistes concentrée sur un type spécifique de manipulation mathématique. Une île ne s'occupe que de l'arithmétique simple, comme l'addition ou la multiplication de nombres. Une autre se concentre sur les statistiques, comme les moyennes et les décomptes. Une troisième examine les modèles temporels, comme l'évolution des ventes au cours de la dernière semaine. Une autre gère les relations entre différents groupes, et la dernière traite des formes courbes et non linéaires. En gardant ces spécialistes séparés, le système garantit qu'aucun type de manipulation mathématique ne prend le dessus et ne bloque la découverte des autres.

Mais la véritable magie opère lorsque ces îles communiquent entre elles. Dans les anciens systèmes, si une équipe se retrouvait bloquée, elle pouvait simplement échanger des idées de manière aléatoire avec une autre équipe, ce qui n'aidait souvent pas. TOPOFE est plus intelligent. Il utilise un « graphe de topologie », qui est comme une carte dynamique qui apprend quelles équipes sont les plus aptes à s'entraider. Si l'île « Temps » se retrouve bloquée, le système consulte sa carte et voit que l'île « Arithmétique » possède les meilleures idées pour l'aider. Il déclenche alors un événement spécial où les deux équipes combinent leurs meilleures idées pour créer quelque chose d'entièrement nouveau — une caractéristique « hybride » que ni l'une ni l'autre n'aurait pu inventer seule. Par exemple, il pourrait combiner une moyenne temporelle avec une opération de division pour créer un nouvel indice, hautement prédictif.

Le système possède également une « mémoire » qui apprend de ses propres erreurs. Si un certain type de manipulation mathématique échoue systématiquement sur un ensemble de données spécifique, le système s'en souvient et cesse de le suggérer, tout en renforçant les manipulations qui fonctionnent. Cela se produit sans avoir besoin de réentraîner le cerveau informatique principal, ce qui rend la recherche incroyablement efficace.

Les chercheurs ont testé cette idée sur 29 ensembles de données réels différents, allant de la prédiction des maladies cardiaques à la prévision de la location de vélos. Ils ont constaté que TOPOFE surpassait systématiquement les meilleures méthodes existantes. Il ne se contentait pas de trouver de meilleures réponses ; il trouvait des réponses plus diversifiées. Alors que les autres méthodes finissaient souvent par produire un tas d'indices très similaires (redondance), les îles spécialisées et le travail d'équipe intelligent de TOPOFE ont produit un ensemble d'indices couvrant un spectre plus large et fonctionnant bien avec différents types de modèles de prédiction. L'étude suggère qu'en organisant la recherche en groupes spécialisés et communicants, et en laissant les équipes apprendre quand échanger des idées, nous pouvons débloquer des manières bien plus puissantes d'enseigner aux ordinateurs la compréhension de nos données. Les résultats montrent que cette approche est robuste, fonctionnant bien même lorsque le « cerveau » informatique sous-jacent change, prouvant que la recette secrète réside dans la structure de la recherche elle-même, et non dans l'intelligence du modèle.

Résumé Technique : TOPOFE

Énoncé du Problème

L'ingénierie automatique de caractéristiques (AutoFE) pour les données tabulaires est fondamentalement un problème de synthèse de programmes visant à découvrir des transformations prédictives au sein d'un espace de recherche exponentiellement large. Bien que les approches récentes basées sur les Grands Modèles de Langage (LLM) aient étendu l'expressivité de l'AutoFE au-delà des bibliothèques d'opérateurs prédéfinies, elles souffrent de trois limitations structurelles critiques :

Dynamique de Recherche Homogène : Les méthodes existantes de type LLM-évolutionnaire opèrent sur une population unique et non différenciée. Cela provoque un effondrement de la recherche sur un sous-ensemble étroit de types de transformations (ex: interactions arithmétiques) une fois que quelques motifs performants saturent le tampon d'expérience, laissant les familles orthogonales (ex: dynamiques temporelles, encodages relationnels) sous-explorées.
Requêtage de LLM Sans État (Stateless) : La génération de caractéristiques manque de mémoire persistante des évaluations antérieures. Les propositions sont générées à partir de prompts statiques sans adaptation cumulative aux motifs spécifiques au jeu de données, menant à des suggestions répétitives et improductives.
Structure de Transfert Rigide : Lorsque plusieurs populations sont utilisées, la migration est typiquement périodique ou aléatoire. Il n'existe aucun mécanisme principled pour détecter quand la recherche locale stagne ou pour identifier quelle famille source est la plus complémentaire à une cible en stagnation, empêissant la découverte de compositions complexes entre familles.

Méthodologie : TOPOFE

TOPOFE (Topology-Aware LLM-Guided Automated Feature Engineering) reformule l'AutoFE comme une recherche évolutive multi-îlots structurée en graphe. Il décompose l'espace des programmes de caractéristiques en « familles de transformations » sémantiquement cohérentes et coordonne leur exploration via trois composantes centrales :

1. Décomposition Multi-Îlots (Décomposition du Biais Inductif)

L'espace des programmes $\mathcal{P}$ est partitionné en $M$ îlots dédiés, chacun assigné à une famille de transformations spécifique (ex: interactions arithmétiques, agrégats statistiques, caractéristiques temporelles, encodages relationnels, cartes univariées non linéaires).

État de l'Îlot : Chaque îlot $i$ maintient une population $\Pi_i$ , un archive d'élites $A_i$ , un historique d'acceptation/rejet $H_i$ , et un vecteur de mémoire de prompt $\rho_i$ .
Exploration Spécialisée : Au sein de chaque îlot, le LLM effectue des opérations de mutation et de croisement conditionnées par le biais inductif spécifique à la famille et par l'historique accumulé de l'îlot, empêchant la convergence prématurée vers un seul type de transformation.

2. Mémoire d'Adaptation de Prompt (PAM)

Pour remédier à la génération sans état, TOPOFE implémente un mécanisme de mémoire léger par îlot qui adapte les propositions du LLM sans mise à jour de paramètres.

Mécanisme : Après chaque génération, le système résume les motifs de programmes acceptés et rejetés à partir d'une fenêtre glissante en un signal textuel naturel de type « préférer/éviter » ( $\rho_i$ ).
Conditionnement : Ce signal est injecté dans chaque prompt du LLM aux côtés des métadonnées de la tâche et des démonstrations d'élites, permettant une adaptation cumulative et spécifique au jeu de données tout au long de la recherche.

3. Transfert Inter-Îlots Sensible à la Topologie

Pour découvrir des caractéristiques nécessitant des opérateurs de plusieurs familles (ex: une caractéristique temporelle combinée à un ratio arithmétique), TOPOFE emploie un graphe de topologie dirigé appris $G(t)$ .

Détection de Saturation : Le transfert n'est pas périodique mais déclenché par un critère de saturation. Un îlot est considéré comme saturé lorsque son amélioration marginale sur une fenêtre glissante tombe en dessous d'un seuil $\epsilon$ , indiquant l'épuisement de la recherche locale.
Routage Adaptatif : Lors de la saturation, le système interroge le graphe de topologie pour sélectionner un îlot précurseur $j^*$ qui maximise l'utilité de transfert observée empiriquement $w_{j \to i}$ .
Synthèse Hybride : Au lieu de copier des programmes, le LLM effectue une synthèse hybride. Il reçoit les programmes de l'îlot cible saturé et de l'îlot précurseur sélectionné comme contexte, générant un nouveau programme qui compose des éléments structurels des deux familles.
Apprentissage du Graphe : Les poids des arêtes dans le graphe de topologie sont mis à jour en ligne via une moyenne mobile exponentielle basée sur le gain de performance des événements de transfert, apprenant ainsi un modèle des complémentarités inter-familles piloté par les données.

Contributions Clés

Formulation Sensible à la Topologie : L'article propose de formuler l'AutoFE comme une recherche multi-îlots structurée en graphe où la topologie de migration n'est pas fixe mais apprise en ligne via une règle de type bandit basée sur l'utilité de transfert empirique.
Transfert Adaptatif Déclenché par la Saturation : Un critère basé sur l'utilité déclenche le transfert inter-îlots uniquement lorsque la recherche locale est épuisée, couplé à une Mémoire d'Adaptation de Prompt qui permet une adaptation cumulative sans mise à jour de paramètres.
Cadre d'Évaluation Fondé sur des Principes : Les auteurs introduisent trois métriques dédiées :
- Corrélation de Sortie Pairée Moyenne (MPOC) : Mesure la redondance des caractéristiques.
- Rang Effectif (EffRank) : Mesure la couverture de l'espace de sous-dimension.
- Score de Spécialisation du Graphe de Topologie (TGSS) : Quantifie le degré auquel le graphe de topologie acquiert des connaissances de transfert spécifiques à la tâche.
Validation Empirique : Des expériences approfondies sur 29 jeux de données tabulaires publics (19 classification, 10 régression) démontrent des améliorations constantes par rapport aux méthodes d'AutoFE classiques et basées sur les LLM de pointe.

Résultats

Performance Prédictive : TOPOFE a obtenu la meilleure performance sur 15 des 19 jeux de données de classification et 9 des 10 de régression. Les gains de performance ont été plus prononcés sur les jeux de données nécessitant des interactions complexes entre familles (ex: balance-scale, heart, bike), là où les méthodes à population unique ont échoué à découvrir les caractéristiques compositionnelles nécessaires.
Robustesse : Le cadre est resté stable à travers différents backbones de LLM (Qwen2.5-Coder, Qwen3-8B, GPT-4o-mini) et différents prédicteurs en aval (XGBoost, CatBoost, MLP, TabPFN), confirmant que les gains sont portés par les mécanismes architecturaux plutôt que par les capacités spécifiques des modèles.
Diversité des Caractéristiques : TOPOFE a produit des ensembles de caractéristiques avec une redondance nettement plus faible (MPOC plus bas) et une couverture de sous-espace plus élevée (EffRank plus élevé) par rapport aux bases de référence. Cela est attribué au filtre de redondance explicite et à la capacité d'importer des modèles structurellement orthogonaux via la synthèse hybride.
Spécialisation de la Topologie : La métrique TGSS a confirmé que le graphe de topologie a réussi à apprendre des voies de transfert spécifiques aux tâches. Les jeux de données présentant des valeurs TGSS élevées (indiquant de fortes préférences apprises pour des transferts spécifiques entre familles) étaient corrélés à des gains de performance plus importants par rapport aux bases de référence à famille unique.

Signification et Revendications

L'article affirme que la complémentarité inter-familles est une quantité apprenable et exploitable que les méthodes d'AutoFE existantes laissent inexploitée. En allant au-delà de la recherche homogène et du prompting statique, TOPOFE démontre que :

La décomposition structurée de l'espace des programmes préserve la diversité et empêche la convergence prématurée.
Le transfert adaptatif, déclenché par la saturation, permet de découvrir des caractéristiques compositionnelles complexes, inaccessibles aux grammaires à famille unique.
Le graphe de topologie appris agit comme un mécanisme fondé sur des principes pour router le flux de connaissances précisément là où il est le plus précieux.

Les auteurs concluent que leur approche ouvre des directions prometteuses pour l'induction automatique de schémas de familles et la planification de transferts spécifiques au type de tâche, établissant un nouveau paradigre pour l'ingénierie de caractéristiques guidée par les LLM qui équilibre l'exploitation spécialisée et l'exploration structurée.