📊 statistics

Large Language Models for Imbalanced Classification: Diversity makes the difference

Cet article propose une nouvelle méthode de suréchantillonnage basée sur un grand modèle de langage qui améliore la diversité et le réalisme des échantillons minoritaires synthétiques grâce à une stratégie de génération conditionnelle, une nouvelle approche de réglage fin par permutation et l'interpolation, surpassant ainsi de manière significative les techniques de pointe existantes dans les tâches de classification déséquilibrées.

Auteurs originaux : Dang Nguyen, Sunil Gupta, Kien Do, Thin Nguyen, Taylor Braund, Alexis Whitton, Svetha Venkatesh

Publié 2026-06-09

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dang Nguyen, Sunil Gupta, Kien Do, Thin Nguyen, Taylor Braund, Alexis Whitton, Svetha Venkatesh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : La classe des « Maladies Rares »

Imaginez un enseignant essayant d'enseigner à une classe deux types d'élèves : les « Élèves Réguliers » (qui constituent 90 % de la classe) et les « Élèves Rares » (qui ne représentent que 10 %).

Si l'enseignant ne regarde que la majorité des 90 %, il apprendra tout sur les « Élèves Réguliers », mais il ne saura presque rien sur les « Élèves Rares ». Lors d'un examen, l'enseignant aura probablement tendance à deviner que tout le monde est un « Élève Régulier » parce que c'est ce qu'il a vu le plus souvent. Il échoue à reconnaître les traits uniques du groupe minoritaire.

En science des données, c'est ce qu'on appelle la classification déséquilibrée (Imbalanced Classification). L'objectif est d'apprendre à l'ordinateur à reconnaître le groupe rare aussi bien que le groupe commun.

L'Ancienne Solution : L'erreur du « Copier-Coller »

Pour corriger cela, les scientifiques des données essaient généralement de créer plus d'exemples d'« Élèves Rares » pour équilibrer la classe.

L'ancienne méthode (SMOTE) : Imaginez prendre deux vrais « Élèves Rares », les mesurer, et dessiner un nouvel élève pile au milieu d'eux. C'est comme faire une photocopie d'une photocopie.
Le problème : Si les données contiennent des catégories (comme « Titre de poste » ou « Niveau d'études »), vous ne pouvez pas simplement tracer une ligne entre « Docteur » et « Enseignant » pour obtenir un nouveau métier. Il faut d'abord transformer ces mots en nombres, ce qui fait souvent perdre des détails importants. C'est comme essayer de décrire un tableau en utilisant uniquement un tableur.

La Nouvelle Idée : L'« IA Conteur »

Récemment, des scientifiques ont commencé à utiliser des Modèles de Langage de Grande Taille (LLM) — le même type d'IA qui écrit des essais ou discute avec vous — pour générer ces « Élèves Rares » manquants. Au lieu de transformer les mots en nombres, l'IA lit les données comme une histoire (ex : « John est Docteur, travaille 40 heures et gagne 200k $ »).

Cependant, l'article a découvert une faille majeure dans la façon dont ces IA conteuses étaient utilisées :
Elles étaient trop répétitives. Si vous demandiez à l'IA : « Raconte-moi une histoire sur un Élève Rare », et qu'elle vous donnait exactement la même histoire 1 000 fois, cela n'aiderait pas l'enseignant à apprendre quoi que ce soit de nouveau. L'IA ne faisait que répéter les mêmes quelques schémas, créant un « effet de miroir » plutôt qu'une classe diversifiée.

La Solution : ImbLLM (Le « Conteur Diversifié »)

Les auteurs proposent une nouvelle méthode appelée ImbLLM. Ils ont corrigé les habitudes de narration de l'IA avec trois astuces ingénieuses pour garantir que les nouveaux « élèves » soient diversifiés et réalistes.

1. L'astuce du « Prompt Spécifique » (Échantillonnage)

Ancienne méthode : L'IA recevait l'ordre : « Raconte-moi une histoire sur un Élève Rare ». Elle choisissait les mots les plus probables et répétait la même histoire encore et encore.
Méthode ImbLLM : Les auteurs disent à l'IA : « Raconte-moi une histoire sur un Élève Rare qui possède aussi une caractéristique spécifique, comme un métier ou un revenu précis ».
L'analogie : Au lieu de demander à un chef : « Prépare-moi un dessert », et de recevoir le même gâteau au chocolat à chaque fois, vous dites : « Prépare-moi un dessert, mais celui-ci doit contenir des fraises ». Puis, la fois suivante, vous dites : « Prépare-moi un dessert, mais celui-ci doit contenir des citrons ». Cela force l'IA à explorer différentes saveurs (caractéristiques) plutôt que de s'en tenir à une recette sûre.

2. L'astuce du « Premier Rang » (Permutation)

Ancienne méthode : Lors de l'entraînement de l'IA, les chercheurs mélangeaient l'ordre de l'histoire. Parfois, l'étiquette de l'« Élève Rare » se trouvait à la fin de la phrase. À cause du fonctionnement de ces modèles d'IA (qui lisent de gauche à droite), l'IA oubliait l'étiquette « Rare » lorsqu'elle arrivait à la fin, perdant ainsi le lien entre l'étiquette et les caractéristiques.
Méthode ImbLLM : Ils gardent l'étiquette de l'« Élève Rare » au tout début de la phrase, comme un titre, et ne mélangent que le reste des détails.
L'analogie : Imaginez un détective essayant de résoudre une affaire. Si l'indice « Le suspect est un Docteur » est enfoui au bas d'un long rapport, le détective pourrait le manquer. ImbLLM place l'indice en gros et en gras en haut de la page pour que l'IA n'oublie jamais qui elle est censée décrire.

3. L'astuce de l'« Entraînement Pratique » (Fine-Tuning et Interpolation)

Ancienne méthode : L'IA était entraînée sur à la fois les élèves communs et les élèves rares. Cela confondait l'IA ; elle essayait constamment de faire ressembler les « Élèves Rares » aux « Élèves Communs ». De plus, certaines méthodes tentaient de vérifier si les nouvelles histoires étaient « réelles » via un test faible, qui échouait souvent.
Méthode ImbLLM : Ils ont entraîné l'IA uniquement sur les « Élèves Rares » (et sur des versions mathématiquement mélangées de ceux-ci).
L'analogie : Au lieu d'enseigner à un joueur de basket en lui montrant à la fois des stars de la NBA et des bambins, vous ne lui montrez que les stars de la NBA. Vous voulez qu'il apprenne les mouvements spécifiques des pros.
Le bonus de l'« Interpolation » : Comme il y a très peu d'« Élèves Rares » pour apprendre, l'IA peut ne pas connaître toutes les variations possibles. Les auteurs ont créé des « élèves d'entraînement » en prenant deux vrais élèves rares et en mélangeant mathématiquement leurs traits continus (comme l'âge ou le salaire) pour créer un nouvel élève légèrement différent. Cela comble les lacunes, garantissant que l'IA apprenne toute la gamme des possibilités, et pas seulement celles qu'elle a vues dans les données d'entraînement.

Les Résultats : Une Meilleure Classe

Les auteurs ont testé cette nouvelle méthode sur 10 jeux de données réels (comme des dossiers médicaux ou des données de cartes de crédit).

Performance : ImbLLM a battu 8 autres méthodes de pointe. Elle a été la meilleure dans 5 cas et la deuxième meilleure dans 3 autres.
Qualité : Les faux « Élèves Rares » créés par ImbLLM étaient non seulement réalistes (ils ressemblaient à de vraies données) mais aussi diversifiés (ils couvraient de nombreux types de scénarios rares différents).
Pourquoi c'est important : Parce que l'IA a appris à partir d'un ensemble diversifié d'exemples, le classificateur final (le « professeur ») est devenu bien meilleur pour repérer les cas rares qu'il ignorait auparavant.

Résumé

L'article soutient que le simple fait d'utiliser l'IA pour générer des données ne suffit pas ; il faut enseigner à l'IA comment être créative et concentrée. En forçant l'IA à regarder des caractéristiques spécifiques, en gardant l'objectif principal clairement en vue et en l'entraînant exclusivement sur les exemples rares, ils ont créé une méthode qui résout le problème des « données déséquilibrées » bien mieux que les tentatives précédentes.

Résumé Technique : Grands Modèles de Langage pour la Classification Déséquilibrée : La diversité fait la différence

Énoncé du Problème

La classification déséquilibrée reste un défi critique en apprentissage automatique, particulièrement lorsqu'il s'agit de données tabulaires où les classes minoritaires (par exemple, les maladies rares) possèdent significativement moins d'échantillons que les classes majoritaires. Les méthodes traditionnelles de suréchantillonnage, telles que SMOTE, traitent cela en générant des échantillons minoritaires synthétiques. Cependant, ces approches nécessitent souvent de convertir les variables catégorielles en vecteurs numériques (via un encodage ordinal ou one-hot), ce qui entraîne une perte d'information et l'introduction d'artefacts.

Bien que des méthodes récentes basées sur les Grands Modèles de Langage (LLM) aient émergé pour traiter les données tabulaires sous forme de texte — préservant ainsi le contexte des variables et évitant la conversion numérique — elles souffrent d'une limitation différente : une diversité limitée. Les approches actuelles basées sur les LLM génèrent généralement des échantillons minoritaires synthétiques trop similaires les uns aux autres. Ce manque de diversité réduit la robustesse et la capacité de généralisation des classifieurs en aval. De plus, les méthodes actuelles reposent souvent sur des étapes de vérification peu fiables (utilisant des classifieurs externes ou le LLM lui-même entraîné sur des données déséquilibrées) pour filtrer les échantillons synthétiques, ce qui peut conduire au rejet de données valides.

Méthodologie : ImbLLM

Les auteurs proposent ImbLLM, un nouveau cadre de suréchantillonnage basé sur les LLM conçu pour améliorer la diversité et la qualité des échantillons minoritaires synthétiques. La méthode introduit trois améliorations techniques spécifiques par rapport aux lignes de base existantes :

1. Échantillonnage conditionné par la diversité (`condition_yx`)

Les méthodes existantes construisent des prompts basés uniquement sur l'étiquette minoritaire (par exemple, « Revenu est ≥200K ») pour interroger le LLM. En raison de la fonction softmax utilisée dans la prédiction des tokens, des prompts identiques produisent souvent des sorties très similaires.

Innovation : ImbLLM construit des prompts conditionnés à la fois par l'étiquette minoritaire et une caractéristique échantillonnée aléatoirement.
Mécanisme : Pour chaque génération, le système échantillonne une caractéristique $X_i$ et sa valeur $v_i$ à partir de la distribution minoritaire, formant un prompt tel que « Revenu est ≥200K, Éducation est Baccalauréat ». Cette variation dans les entrées de conditionnement force le LLM à explorer différentes régions de l'espace des caractéristiques, générant des échantillons synthétiques plus diversifiés.

2. Permutation de caractéristiques avec étiquette fixe (`fix_y`)

Les méthodes standards basées sur les LLM permutent à la fois les caractéristiques ( $X$ ) et la variable cible ( $Y$ ) lors du fine-tuning pour éviter le biais de position. Cependant, dans les LLM de type "decoder-only", le mécanisme d'attention est masqué de telle sorte qu'un token ne peut porter attention qu'aux tokens précédents.

Problème : Si l'étiquette minoritaire $Y$ est déplacée vers le milieu ou la fin d'une séquence, elle ne peut pas prêter attention aux caractéristiques précédant le label, limitant la capacité du modèle à générer des caractéristiques diverses conditionnées par ce label.
Innovation : ImbLLM fixe l'étiquette minoritaire ( $Y$ ) au début de la phrase et ne permute que les caractéristiques ( $X$ ).
Mécanisme : En plaçant $Y$ en premier (par exemple, « Revenu est ≥200K, Éducation est Baccalauréat... »), le label peut prêter attention à toutes les caractéristiques suivantes via le mécanisme d'attention, garantissant que les caractéristiques générées sont pleinement conditionnées par la classe cible.

3. Fine-Tuning avec Interpolation (`minor+interpolate`)

Les méthodes existantes effectuent un fine-tuning des LLM sur les données majoritaires et minoritaires, puis tentent de vérifier les échantillons synthétiques pour s'assurer qu'ils appartiennent à la classe minoritaire. Cette vérification est souvent peu fiable car le vérificateur est entraîné sur des données déséquilibrées.

Innovation : ImbLLM effectue le fine-tuning du LLM uniquement sur les échantillons minoritaires et les échantillons interpolés, supprimant complètement la classe majoritaire de la phase de fine-tuning.
Mécanisme : Pour remédier à la rareté des données minoritaires (qui peuvent manquer d'une couverture suffisante des domaines de variables continues), les auteurs introduisent une étape d'interpolation. Ils génèrent des valeurs continues synthétiques en interpolant entre les échantillons minoritaires existants ( $x'_i = x^c_i + \epsilon(x^c_j - x^c_i)$ ). Le LLM est ensuite soumis à un fine-tuning sur l'union des échantillons minoritaires originaux et de ces échantillons interpolés. Cela élimine le besoin d'une étape de vérification post-génération et empêche le modèle d'être biaisé vers la classe majoritaire.

Contributions Clés

Cadre ImbLLM : Une nouvelle méthode de suréchantillonnage intégrant trois améliorations clés (échantillonnage, permutation et fine-tuning) pour générer des échantillons minoritaires diversifiés et robustes.
Analyse Théorique : Une analyse basée sur l'entropie prouvant que le processus de génération proposé encourage mathématiquement la diversité dans la sortie.
Évaluation Complète : Expérimentations approfondies sur 10 jeux de données tabulaires réels comparant ImbLLM à huit méthodes de pointe (incluant SMOTE, CTGAN, et d'autres méthodes basées sur les LLM comme Great, TapTap et Pred-LLM).
Métriques de Qualité et de Diversité : Démonstration que les échantillons générés sont non seulement plus efficaces pour la classification mais aussi supérieurs en termes de « Close Probability » (similitude avec les données réelles) et de « Coverage » (diversité de la variété des données générées).

Résultats Expérimentaux

Les auteurs ont évalué ImbLLM sur 10 jeux de données (ex: Adult, German, Credit Card) en utilisant le score F1 et l'AUC comme métriques principales pour la performance de classification en aval.

Performance de Classification : ImbLLM a obtenu le meilleur score F1 sur 5 des 10 jeux de données et le deuxième meilleur sur 3 autres. En moyenne, il surpasse le second meilleur (CTGAN) d'environ 3 % et le classifieur déséquilibré standard (sans suréchantillonnage) de 8 %. Notamment, la performance d'ImbLLM s'est rapprochée de celle d'un classifieur entraîné sur le jeu de données original équilibré, malgré l'utilisation de seulement 20 % des échantillons minoritaires originaux pour l'entraînement.
Diversité et Qualité :
- Close Probability : ImbLLM a obtenu un score de 0,8011 contre 0,7761 pour CTGAN, indiquant que les échantillons synthétiques sont plus proches des échantillons minoritaires réels.
- Coverage : ImbLLM a obtenu un score de 0,8933 contre 0,8482 pour CTGAN, indiquant une meilleure couverture de la variété des données réelles.
Études d'Ablation : L'étude a confirmé que chaque composant (échantillonnage diversifié, permutation à étiquette fixe et interpolation) contribue significativement à la performance. Le retrait de l'étape d'interpolation a entraîné une performance moindre, bien que toujours supérieure aux lignes de base.
Robustesse : Contra-irement à TapTap et Pred-LLM, qui reposent sur des étapes de vérification qui échouent lorsque le jeu de données déséquilibré est trop biaisé pour entraîner un vérificateur fiable, l'approche d'ImbLLM consistant à exclure les données majoritaires pendant le fine-tuning s'est avérée plus robuste à travers différents ratios de déséquilibre.

Signification et Revendications

L'article affirme que la diversité est le facteur critique distinguant un suréchantillonnage réussi basé sur les LLM d'un échec. Alors que les méthodes précédentes de LLM se concentraient sur la mécanique de génération ou de vérification, ImbLLM démontre que l'optimisation de la diversité du processus de génération — via un ingénierie de prompt spécifique, une permutation attentive à l'attention et un fine-tuning basé sur l'interpolation — se traduit directement par une performance de classification supérieure.

Les auteurs soutiennent que leur méthode offre une alternative plus fiable aux approches lourdes en vérification, car elle génère intrinsèquement des données minoritaires de haute qualité sans avoir besoin de filtrer les « mauvais » échantillons à l'aide de classifieurs potentiellement biaisés. Les résultats suggèrent qu'ImbLLM peut efficacement combler l'écart de performance entre les jeux de données sévèrement déséquilibrés et leurs homologues équilibrés, ce qui en fait une solution viable pour les applications réelles impliquant des événements rares dans les données tabulaires.