💬 NLP

LLM-Driven Reasoning for Constraint-Aware Feature Selection in Industrial Systems

Ce papier présente MoFA, un cadre piloté par les grands modèles de langage (LLM) qui effectue une sélection de caractéristiques séquentielle et raisonnée pour répondre aux contraintes opérationnelles dans des systèmes industriels réels, démontrant ainsi son efficacité pour améliorer la précision, l'efficacité et la maintenabilité des modèles de production.

Auteurs originaux : Yuhang Zhou, Zhuokai Zhao, Ke Li, Spilios Evmorfos, Gökalp Demirci, Mingyi Wang, Qiao Liu, Qifei Wang, Serena Li, Weiwei Li, Tingting Wang, Mingze Gao, Gedi Zhou, Abhishek Kumar, Xiangjun Fan, Lizhu Z

Publié 2026-03-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuhang Zhou, Zhuokai Zhao, Ke Li, Spilios Evmorfos, Gökalp Demirci, Mingyi Wang, Qiao Liu, Qifei Wang, Serena Li, Weiwei Li, Tingting Wang, Mingze Gao, Gedi Zhou, Abhishek Kumar, Xiangjun Fan, Lizhu Zhang, Jiayi Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le chef d'un restaurant très populaire (un système industriel comme ceux de Meta). Votre objectif est de créer le plat parfait pour chaque client. Pour cela, vous avez accès à une énorme épicerie remplie de milliers d'ingrédients (les données ou "features").

Le problème ?

Vous ne pouvez pas utiliser tous les ingrédients en même temps (le four est trop petit, et le plat serait ingérable).
Vous n'avez pas toujours de clients qui vous disent explicitement ce qu'ils ont aimé (peu de données étiquetées).
Certains ingrédients appartiennent à des fournisseurs différents, et commander trop de fournisseurs différents rend la cuisine lente et coûteuse à gérer.

Traditionnellement, les chefs utilisaient des formules mathématiques rigides pour choisir les ingrédients. C'est efficace, mais ça ne prend pas en compte l'histoire de l'ingrédient ou les contraintes du restaurant.

C'est là qu'intervient MoFA (Model Feature Agent), le nouveau chef cuisinier de votre équipe, qui est en fait une Intelligence Artificielle très intelligente (un LLM).

Voici comment MoFA fonctionne, expliqué simplement :

1. Le Chef qui "Lit" les Étiquettes

Contrairement à l'ancien chef qui ne regardait que les chiffres (combien de fois l'ingrédient a été utilisé), MoFA lit les étiquettes.

Il comprend le sens des ingrédients : "Ah, c'est du piment, ça va bien avec le fromage, mais pas avec le chocolat !"
Il lit aussi les contraintes : "On ne peut commander que 3 fournisseurs différents aujourd'hui."
Il raisonne comme un humain : "Si je prends cet ingrédient, je dois enlever celui-là pour ne pas surcharger le four."

2. La Stratégie "Diviser pour Régner" (Le Grand Tri)

Imaginons que votre épicerie a 10 000 ingrédients. MoFA ne peut pas tout regarder d'un coup (il a une "mémoire" limitée). Alors, il utilise une astuce de génie :

Phase 1 (Le Tri Local) : Il divise l'épicerie en 10 petits rayons. Dans chaque rayon, il choisit les meilleurs ingrédients possibles, un par un, en expliquant pourquoi il les choisit.
Phase 2 (Le Tri Global) : Il rassemble tous les meilleurs ingrédients de chaque rayon dans un seul panier. Il fait un dernier tour de piste pour s'assurer qu'ils fonctionnent bien ensemble et qu'il n'y a pas de doublons inutiles.

3. Les Résultats dans la Vie Réelle

Le papier présente trois exemples concrets où MoFA a sauvé la mise :

Cas 1 : Deviner ce que les clients aiment vraiment.
- Le défi : Prédire si un client aime vraiment un post ou s'il perd juste son temps.
- Le résultat de MoFA : Il a trouvé presque la même précision que les méthodes anciennes, mais en utilisant moins de fournisseurs (moins de groupes de données). C'est comme avoir un menu plus simple, moins cher à gérer, mais tout aussi délicieux.
Cas 2 : Créer des combinaisons magiques.
- Le défi : Dans un système de recommandation, parfois deux actions simples (comme "aimer" et "cliquer") ensemble valent plus que la somme des parties.
- Le résultat de MoFA : Il a inventé de nouvelles recettes en combinant des signaux (ex: "Partage externe" x "Clic sur profil"). Ces nouvelles combinaisons ont augmenté l'engagement des utilisateurs de manière significative. C'est comme découvrir que le sel et le caramel vont ensemble, alors que personne ne l'avait pensé avant.
Cas 3 : Les Notifications (Ne pas spammer).
- Le défi : Envoyer des notifications aux utilisateurs sans les ennuyer. Il y a des milliers de données à analyser.
- Le résultat de MoFA : Au lieu d'utiliser 7 500 données (ce qui est lourd et lent), MoFA a sélectionné les 4 000 meilleures. Résultat : le système est plus rapide, consomme moins d'énergie, et prédit mieux si l'utilisateur va cliquer ou supprimer la notification.

En Résumé

MoFA, c'est comme passer d'un calculateur à un chef étoilé.

L'ancien chef suivait des règles strictes et des statistiques.
MoFA, lui, comprend le contexte, raisonne sur les contraintes (budget, temps, fournisseurs), et choisit intelligemment les meilleurs ingrédients pour créer un plat (un modèle) qui est à la fois délicieux (précis) et facile à cuisiner (efficace et maintenable).

C'est une façon nouvelle d'utiliser l'IA non pas juste pour calculer, mais pour penser et organiser les données avant même de commencer à entraîner les modèles.

Titre : MoFA : Un Agent de Sélection de Caractéristiques Piloté par les LLM pour les Systèmes Industriels

1. Problématique

La sélection de caractéristiques (feature selection) est une étape critique dans les systèmes d'apprentissage automatique industriels à grande échelle (recommandation, notifications, etc.), influençant directement la précision, l'efficacité et la maintenabilité des modèles.
Cependant, les méthodes traditionnelles (filtres statistiques, wrappers, méthodes embarquées) présentent des limites majeures dans les environnements de production réels :

Dépendance aux données étiquetées : Elles nécessitent souvent de grandes quantités de données d'entraînement étiquetées, qui sont parfois rares ou coûteuses à obtenir.
Ignorance du contexte sémantique : Elles se basent principalement sur des corrélations numériques, ignorant la signification sémantique des caractéristiques et les métadonnées riches disponibles dans les systèmes.
Incapacité à gérer les contraintes opérationnelles : Elles peinent à satisfaire des contraintes complexes telles que les limites de capacité, les restrictions de groupes de caractéristiques (équipes propriétaires) ou les exigences de maintenance, ce qui est crucial pour la scalabilité industrielle.

L'objectif est de développer un cadre capable de sélectionner des caractéristiques en intégrant à la fois l'information quantitative (scores d'importance, corrélations) et l'information sémantique (définitions, métadonnées), tout en respectant des contraintes opérationnelles strictes.

2. Méthodologie : Le Framework MoFA

Les auteurs proposent MoFA (Model Feature Agent), un cadre basé sur les Grands Modèles de Langage (LLM) qui traite la sélection de caractéristiques comme un processus de raisonnement séquentiel.

A. Formulation du Problème
Le problème est défini comme la recherche d'un sous-ensemble optimal $S^*$ de caractéristiques $F$ qui maximise une fonction objectif $O$ (performance du modèle) tout en satisfaisant un ensemble de contraintes $C$ (limites de capacité, groupes, etc.). Chaque caractéristique $f_i$ est représentée par un tuple contenant son nom, sa description textuelle et ses métadonnées quantitatives.

B. Architecture et Flux de Travail
MoFA utilise un agent LLM (basé sur le modèle Llama4-Maverick) qui reçoit des prompts structurés contenant :

L'objectif de la tâche et la configuration du modèle.
La liste des caractéristiques déjà sélectionnées et leurs métadonnées.
La liste des caractéristiques candidates restantes avec leurs descriptions sémantiques et statistiques.
Les contraintes auxiliaires.

À chaque étape, l'LLM sélectionne la caractéristique la plus pertinente et fournit un raisonnement interprétable expliquant ce choix.

C. Stratégie d'Évolutivité : Diviser pour Régner (Divide-and-Conquer)
Pour gérer des espaces de caractéristiques massifs (plusieurs milliers) dépassant la fenêtre de contexte des LLM, MoFA utilise une approche en deux phases :

Phase 1 : Sélection Parallèle par "Buckets" : L'ensemble des caractéristiques est divisé en $B$ buckets disjoints. L'agent effectue une sélection séquentielle locale dans chaque bucket pour identifier des sous-ensembles candidats prometteurs.
Phase 2 : Synthèse et Raffinement Global : Les sous-ensembles candidats sont fusionnés. L'agent effectue une dernière passe de sélection séquentielle sur ce pool raffiné pour atteindre la taille cible finale. Cela permet de détecter les dépendances et les redondances à l'échelle globale, évitant les problèmes de colinéarité.

3. Contributions Clés

Nouveau Paradigme de Sélection : Passage d'une sélection purement statistique à une sélection basée sur le raisonnement sémantique et contextuel piloté par l'LLM.
Prise en Compte des Contraintes Opérationnelles : Intégration explicite de contraintes de maintenance (ex: réduction du nombre de groupes de caractéristiques) directement dans le processus de raisonnement de l'LLM.
Scalabilité Industrielle : Développement d'une stratégie "Diviser pour Régner" permettant d'appliquer des LLM à des espaces de caractéristiques de plusieurs milliers d'éléments.
Interprétabilité : Le processus génère des justifications naturelles pour chaque sélection, améliorant la transparence des décisions de modélisation.

4. Résultats Expérimentaux

L'évaluation a été menée sur trois cas d'usage industriels réels chez Meta :

Cas 1 : Prédiction de l'Intérêt Réel et de la Valeur Temporelle (True Interest & Time-Worthiness)

Objectif : Prédire si un contenu reflète l'intérêt réel de l'utilisateur et s'il vaut le temps investi.
Résultats : MoFA atteint une précision (AUC) comparable ou supérieure à la régression Lasso (méthode de référence statistique), surtout avec des budgets de caractéristiques faibles.
Gain Opérationnel Majeur : Réduction drastique du nombre de groupes de caractéristiques nécessaires. Pour $K=500$ , MoFA réduit le nombre de groupes de 187 à 85 (baisse de 54%) par rapport à Lasso, diminuant ainsi la complexité de maintenance et les dépendances inter-équipes.

Cas 2 : Amélioration du Modèle de Valeur (Value Model Enhancement)

Objectif : Identifier des termes d'interaction d'ordre supérieur (ex: $p_{like} \times p_{click}$ ) pour enrichir un modèle de valeur linéaire.
Résultats : MoFA a identifié 10 paires d'interactions prometteuses parmi 400 candidates. L'intégration de ces termes a entraîné des gains significatifs et statistiquement prouvés sur les sessions d'applications quotidiennes (+0,055%, +0,048%, +0,018%).

Cas 3 : Prédiction du Comportement de Notification

Objectif : Sélectionner un sous-ensemble compact de 4 000 caractéristiques parmi 8 169 pour un modèle multi-tâches de notifications.
Résultats : MoFA a surpassé à la fois le modèle de production actuel (utilisant >7 500 caractéristiques) et une sélection aléatoire.
- Gain de 0,065% sur la perte d'entropie normalisée (NE) pour la prédiction des clics.
- Gain de 0,198% pour la prédiction des fermetures de notifications.
- Amélioration de l'efficacité d'inférence grâce à la réduction du nombre de caractéristiques.

5. Signification et Conclusion

Ce travail démontre que les LLM peuvent être des outils pratiques et efficaces pour la sélection de caractéristiques dans des environnements de production complexes.

Pont entre théorie et pratique : MoFA comble le fossé entre l'interprétabilité, la flexibilité sémantique et la scalabilité industrielle.
Efficacité opérationnelle : En réduisant la complexité de maintenance (moins de groupes de caractéristiques) tout en maintenant ou améliorant la performance, MoFA répond directement aux besoins des ingénieurs ML en production.
Limitations et Perspectives : L'approche séquentielle est gourmande en temps de calcul (linéaire par rapport au nombre de caractéristiques sélectionnées) et repose sur une recherche gloutonne qui pourrait manquer de combinaisons synergiques optimales. Cependant, étant donné que la sélection est souvent une étape de prétraitement hors ligne, ces compromis sont jugés acceptables.

En résumé, MoFA représente une avancée significative vers l'automatisation intelligente de la conception de modèles industriels, exploitant la compréhension sémantique des LLM pour dépasser les limites des méthodes statistiques traditionnelles.