SIGMA: SHAP-Guided Implicit-Trajectory Generation for Metadata-Free LLM-Based AutoFE

Dans le monde de la science des données, les ordinateurs reçoivent souvent de vastes feuilles de calcul remplies de chiffres pour résoudre des problèmes, allant de la prédiction de défauts de paiement de prêts au diagnostic de maladies. Cependant, ces chiffres bruts sont rarement suffisants en eux-mêmes. Pour obtenir les meilleurs résultats, les experts doivent effectuer un processus appelé ingénierie automatisée des caractéristiques, qui consiste à créer de nouvelles colonnes de données plus intelligentes en combinant ou en transformant les colonnes existantes. Imaginez un chef qui ne se contente pas d'utiliser les ingrédients du garde-manger, mais qui invente de nouvelles combinaisons de saveurs pour améliorer le goût d'un plat. Pendant des décennies, les ordinateurs ont tenté de faire cela en mélangeant et en associant aveuglément des chiffres, mais cette approche est lente et produit souvent des résultats déroutants. Récemment, les scientifiques ont commencé à utiliser des modèles de langage de grande taille — des systèmes d'intelligence artificielle puissants capables de raisonner et d'apprendre du contexte — pour agir comme ces chefs créatifs. Ces systèmes d'IA étaient considérés comme la clé pour débloquer de meilleures prédictions, mais ils ont été confrontés à un obstacle majeur : ils avaient généralement besoin de descriptions détaillées de la signification de chaque nombre pour fonctionner correctement. Dans le monde réel, de telles descriptions sont souvent absentes en raison de règles de confidentialité ou simplement parce que les données proviennent de capteurs qui ne parlent pas le langage humain. De plus, lorsque ces systèmes d'IA tentaient d'apprendre de leurs tentatives passées pour améliorer les données, la liste de leur historique devenait si longue qu'elle submergeait la mémoire de l'ordinateur, provoquant un blocage du système dans une boucle de répétition des mêmes erreurs.

Une équipe de chercheurs de l'Université nationale de Yokohama a développé une nouvelle méthode appelée SIGMA pour résoudre ces problèmes, permettant à l'intelligence artificielle d'élaborer de meilleures données sans avoir besoin de descriptions de ce que représentent les nombres. Au lieu de s'appuyer sur le langage humain pour comprendre les données, SIGMA utilise un outil mathématique appelé SHAP pour mesurer l'importance réelle de chaque fragment d'information pour la prédiction finale. Considérez cet outil comme un projecteur qui met en lumière les chiffres les plus importants et tamise les moins utiles, donnant à l'IA un sens de la direction clair sans qu'elle ait besoin de savoir comment les chiffres sont nommés. Les chercheurs ont ensuite regroupé ces nombres en trois catégories : les plus importants, les modérément utiles et les faibles. Ils ont demandé à l'IA de créer de nouvelles colonnes de données en mélangeant les nombres au sein de ces groupes ou en reliant les forts avec les faibles, enseignant ainsi au système à concentrer sa créativité là où elle compte le plus.

L'innovation la plus significative de ce travail est une technique que les chercheurs appellent une « trajectoire implicite de caractéristiques exposées ». Dans les tentatives précédentes, les systèmes d'IA conservaient une liste écrite de chaque caractéristique qu'ils avaient déjà créée pour éviter les doublons, mais cette liste devenait rapidement trop longue pour tenir dans la mémoire de l'ordinateur. SIGMA adopte une approche différente. Au lieu de rédiger un historique, il cache simplement les caractéristiques qui ont déjà été utilisées de la vue de l'IA pendant un court instant. Si l'IA tente de créer une caractéristique en utilisant un nombre qui est actuellement caché, elle est contrainte de chercher ailleurs. Cet acte simple de cacher et de révéler agit comme un guide silencieux, détournant l'IA de la répétition sans jamais avoir besoin de stocker un long journal d'historique. Cela permet au système de fonctionner sur des périodes beaucoup plus longues, affinant son travail au fil de nombreuses étapes sans être ralenti par les limites de mémoire ou coincé dans un cycle de génération de caractéristiques inutiles et répétitives.

Les résultats de cette nouvelle approche sont frappants. Lors de tests sur seize ensembles de données réels, SIGMA a obtenu des performances aussi bonnes que les meilleures méthodes d'IA existantes qui reposent sur des descriptions détaillées, prouvant que le système n'a pas besoin d'étiquettes humaines pour être efficace. Plus important encore, il a résolu le problème de la répétition. Dans les systèmes précédents, près de trente-sept pour cent des caractéristiques générées étaient des doublons, gaspillant une précieuse puissance de calcul. Avec la méthode de masquage des caractéristiques de SIGMA, ce taux de duplication a chuté de manière spectaculaire pour descendre à moins de sept pour cent. Le système s'est également révélé incroyablement efficace. Alors que les méthodes traditionnelles génèrent souvent des centaines de nouvelles caractéristiques pour trouver quelques-unes de bonnes, SIGMA a atteint des performances de premier plan en utilisant une moyenne de seulement cinq nouvelles caractéristiques par ensemble de données. Cela signifie que le système trouve les améliorations les plus précieuses rapidement, laissant le reste des données propres et gérables.

Les chercheurs ont également découvert que cette méthode permet à l'IA de construire des structures de données complexes et multicouches qui étaient auparavant hors de portée. Dans certains tests, le système a réussi à combiner des caractéristiques en chaîne, utilisant la sortie d'une étape comme entrée pour la suivante, créant ainsi un réseau profond de relations qui améliorent considérablement les prédictions. Cette capacité a permis à SIGMA de surpasser les anciennes méthodes non-IA qui reposent sur des règles rigides et prédéfinies. L'étude confirme qu'en remplaant le besoin de langage humain par des signaux d'importance mathématique et en utilisant un système astucieux de dissimulation et de révélation de données, l'intelligence artificielle peut devenir un outil plus puissant et plus pratique pour améliorer l'analyse de données, même dans les situations où aucune description humaine n'est disponible.