💻 computer science

Addressing Imbalance in Multi-Label Data via Label-Specific Distance-based Oversampling

Cet article propose le Label-Specific Distance-based Multi-Label Oversampling (LSDMLO), une nouvelle méthode qui génère des instances synthétiques en utilisant des distances pondérées spécifiques aux étiquettes pour identifier des voisins cohérents avec les étiquettes, surmontant ainsi les limites des approches existantes basées sur la distance euclidienne pour traiter le déséquilibre des données multi-étiquettes et améliorer la performance des classifieurs.

Auteurs originaux : Bin Liu, Jun Wu, Haoyu Peng, Ao Zhou, Jin Wang, QiaoSong Chen, Grigorios Tsoumakas

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Bin Liu, Jun Wu, Haoyu Peng, Ao Zhou, Jin Wang, QiaoSong Chen, Grigorios Tsoumakas

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : « La fête déséquilibrée »

Imaginez que vous organisiez une fête où les invités peuvent appartenir à plusieurs groupes à la fois (par exemple, un invité peut être un « Amoureux des chiens », un « Fan de musique » et un « Randonneur » en même temps). C'est la classification multi-étiquette.

Cependant, votre liste d'invités est déséquilibrée.

La Majorité : La plupart des gens sont de simples « Habitués » (ils n'ont pas de tags spéciaux).
La Minorité : Très peu de personnes sont de « Rares Randonneurs » ou d'« Obscurs Fans de Jazz ».

Si vous essayez d'apprendre à un nouveau videur (le classificateur IA) à reconnaître ces invités rares, il échouera. Pourquoi ? Parce que le videur voit des milliers d'« Habitués » et seulement une poignée de « Rares Randonneurs ». Le videur devient paresseux et suppose simplement que tout le monde est un Habitué. Il n'apprend jamais à quoi ressemble réellement un « Rare Randonneur ».

L'ancienne solution : « Le entremetteur aveugle »

Pour corriger cela, les scientifiques des données essaient généralement de créer des invités synthétiques (des données fictives) pour combler les lacunes. Ils utilisent une méthode appelée suréchantillonnage (Oversampling).

L'ancienne méthode est comparable à un entremetteur aveugle.

L'entremetteur regarde un « Rare Randonneur » et demande : « Qui se tient le plus près de lui ? »
Il utilise une règle simple (distance euclidienne) pour mesurer la proximité physique dans la pièce.
La faille : La règle ne se soucie pas des intérêts. Elle pourrait associer un « Rare Randonneur » à un « Habitué » qui se trouve simplement à côté de lui, même s'ils n'ont rien en commun.
Le résultat : Le nouvel invité synthétique créé par cet entremetteur est un mélange confus — un peu randonneur, un peu habitué. Cela confond encore plus le videur, entraînant des erreurs et du « surapprentissage » (mémoriser les mauvais schémas).

La nouvelle solution : LSDMLO (Le « Guide Spécialisé »)

Les auteurs proposent une nouvelle méthode appelée LSDMLO. Au lieu d'un entremetteur aveugle, ils utilisent un Guide Spécialisé qui sait exactement ce qui fait l'essence d'un « Rare Randonneur ».

Voici comment cela fonctionne en trois étapes :

1. La « Règle Spécialisée » (Distance spécifique à l'étiquette)

L'ancienne règle mesurait la distance en utilisant toutes les caractéristiques (taille, poids, pointure, couleur préférée).
Le Guide Spécialisé sait que pour un « Randonneur », la pointure et le poids du sac à dos comptent, mais la « couleur préférée » ne compte pas. Pour un « Fan de Jazz », le genre de musique qu'il écoute compte, mais sa pointure ne compte pas.

Comment ça marche : La méthode calcule une « distance » unique pour chaque étiquette. Elle ignore les caractéristiques non pertinentes et se concentre uniquement sur les caractéristiques qui définissent réellement ce groupe spécifique.
L'analogie : Si vous cherchez un « Randonneur », le guide ignore le « Fan de Jazz » debout à côté, car ils ne partagent pas les bonnes caractéristiques, même s'ils sont physiquement proches. Il trouve les vrais voisins qui partagent réellement l'esprit de la randonnée.

2. Choisir les meilleurs invités « Semences » (Pondération des instances)

Tous les « Rares Randonneurs » ne sont pas également importants à copier.

La Zone de Sécurité : Certains randonneurs sont profondément au milieu d'un groupe d'autres randonneurs. Ils sont faciles à reconnaître.
La Zone de Bordure : Certains randonneurs se tiennent juste sur la limite entre « Randonneurs » et « Habitués ». Ce sont les plus difficiles, ceux que le videur a le plus de mal à identifier.
La Stratégie : LSDMLO cible spécifiquement ces invités de la Zone de Bordure. Il recherche également les invités qui appartiennent à plusieurs groupes rares (par exemple, un « Randonneur » qui est aussi un « Fan de Jazz »). Ces invités portent les informations les plus précieuses sur la façon dont ces groupes se chevauchent.

3. Créer la « Copie Parfaite » (Génération synthétique)

Une fois que le guide a choisi un invité « Semence » (un cas limite) et un invité « Référence » (un voisin similaire), il crée un nouvel invité synthétique.

La Magie : Pour décider quels tags le nouvel invité recevra, le guide ne se contente pas de voter. Il utilise à nouveau la Règle Spécialisée.
Si la Semence est un Randonneur et la Référence est un Habitué, le guide vérifie : « Est-ce que le nouvel invité est physiment plus proche du Randonneur si nous ne regardons que les caractéristiques de la randonnée ? »
Si oui, le nouvel invité reçoit le tag « Randonneur ». Cela garantit que le nouvel invité fictif est cohérent et ne reçoit pas de tags confus.

Les Résultats : Un meilleur videur

Les auteurs ont testé cette méthode sur 13 ensembles de données différents (comme la musique, les images et le texte) et l'ont comparée à 9 autres méthodes de pointe.

Le Résultat : Le « Guide Spécialisé » (LSDMLO) a systématiquement aidé le videur (l'IA) à mieux performer que toutes les autres méthodes.
Pourquoi il a gagné : Il n'a pas seulement ajouté des données ; il a ajouté des données intelligentes. En se concentrant sur les caractéristiques spécifiques qui comptent pour chaque étiquette, il a évité de créer des invités synthétiques confus et incohérents.
Le Verdict : Que le videur soit un simple suiveur de règles ou un expert complexe en apprentissage profond, la méthode LSDMLO les a tous rendus plus intelligents pour repérer les invités rares.

Résumé

En bref, l'article soutient que lorsque vous avez des catégories rares dans vos données, vous ne pouvez pas simplement mesurer la « proximité » avec une règle générique. Vous avez besoin d'une règle personnalisée pour chaque catégorie. En faisant cela, vous pouvez créer des exemples fictifs de haute qualité qui enseignent à l'IA exactement à quoi ressemblent ces catégories rares, sans confondre le système.

Résumé Technique : Traiter le déséquilibre des données multi-labels via le suréchantillonnage basé sur la distance spécifique aux labels

Énoncé du Problème
La classification multi-labels (MLC) est confrontée à un défi critique dû au déséquilibre inhérent des distributions de labels. Ce déséquilibre se manifeste de deux manières : un déséquilibre intra-label (où les instances pertinentes pour un label spécifique sont bien moins nombreuses que les instances non pertinentes) et un déséquilibre inter-labels (où les fréquences des labels varient considérablement). De plus, un déséquilibre local existe au sein des voisinages des points de données, compliquant le processus d'apprentissage. La plupart des classifieurs multi-labels existants sont biaisés en faveur des classes majoritaires et des labels à haute fréquence. Bien que le suréchantillonnage soit une solution flexible pour équilibrer les ensembles de données d'entraînement, les méthodes actuelles reposent lourdement sur la distance euclidienne dans l'espace de caractéristiques global pour identifier les voisins. Cette approche ne parvient pas à rendre compte de la pertinence sémantique variable des caractéristiques pour différents labels. Par conséquent, les instances synthétiques générées par ces méthodes souffrent souvent d'une incohérence de labels parmi les voisins proches, ce qui entraîne une confusion de labels, un surapprentissage et une réduction de la diversité, particulièrement pour les combinaisons de labels rares.

Méthodologie : LSDMLO
Le document propose le LSDMLO (Label-Specific Distance-based Multi-Label Oversampling), un nouveau cadre conçu pour générer des instances synthétiques plus utiles et mieux étiquetées. La méthodologie se déroule en trois étapes principales :

Apprentissage des poids de caractéristiques spécifiques aux labels :
Au lieu d'utiliser un espace de caractéristiques global, le LSDMLO apprend des poids de caractéristiques parcimonieux pour chaque label. Ceci est réalisé en optimisant une fonction d'objectif convexe qui combine :
- La minimisation de la perte au carré entre les prédictions et les labels réels.
- Une régularisation de norme $\ell_1$ pour imposer la parcimonie, garantissant que seules les caractéristiques pertinentes contribuent à la prédiction de chaque label.
- Une régularisation par graphe basée sur les corrélations de labels (dérivées de la similitude cosinus des vecteurs de labels) pour extraire les relations complexes entre les caractéristiques et les labels.
  L'optimisation est résolue à l'aide de l'algorithme de gradient proximal accéléré (APG). Les poids résultants sont normalisés pour former une matrice de poids de caractéristiques spécifique aux labels ( $\Theta$ ).
Distance et pondération des instances spécifiques aux labels :
En utilisant $\Theta$ , la méthode définit une métrique de distance spécifique au label. Cette distance mesure la proximité entre les instances en se basant uniquement sur les caractéristiques les plus pertinentes pour un label spécifique, plutôt que sur l'ensemble des caractéristiques.
Sur la base de cette distance, le LSDMLO calcule un poids d'instance pour la sélection des graines (seeds). Le poids est la somme de deux composantes :
- Poids de déséquilibre local : Mesure la proximité d'une instance par rapport à une frontière de label en évaluant le désaccord de label local parmi ses $k$ -plus proches voisins (récupérés via la distance spécifique au label). Les instances proches des frontières de labels fortement déséquilibrés reçoivent des poids plus élevés.
- Poids de corrélation de labels : Évalue l'information de corrélation qu'une instance porte en considérant à la fois les dépendances globales des labels et la cohérence du voisinage local. Les instances situées dans des régions de frontières chevauchantes de labels minoritaires corrélés sont prioritaires.
Génération d'instances synthétiques :
Les instances synthétiques sont générées à l'aide d'une sélection par roulette de la roue basée sur les poids d'instance calculés. Pour chaque nouvelle instance :
- Une instance de graine est sélectionnée.
- Un label minoritaire pertinent pour la graine est choisi.
- Un voisin de référence est sélectionné sur la base de la distance spécifique au label pour ce label spécifique.
- Génération de caractéristiques : Les caractéristiques numériques sont interpolées linéairement ; les caractéristiques nominales prennent la valeur la plus commune entre la graine et ses voisins.
- Assignation de labels : Une stratégie induite par la distance spécifique au label est employée. Si la graine et le voisin sont d'accord sur un label, celui-ci est assigné. S'ils sont en désaccord, le label de l'instance (graine ou voisin) qui est le plus proche de l'instance synthétique dans l'espace de caractéristiques spécifique au label est assigné. Cela garantit la cohérence des labels dans l'espace de caractéristiques pertinent.

Contributions Clés

Distance Spécifique au Label : L'introduction d'une métrique de distance qui pondère dynamiquement les caractéristiques selon leur pertinence pour des labels spécifiques, surmontant les limites de la distance euclidienne globale dans les contextes multi-labels.
Sélection de Graines Sensible à la Sémantique : Un mécanisme de pondération qui priorise les instances proches des frontières de labels et celles portant une information riche de corrélation de labels, plutôt que de se fier à une simple proximité géométrique ou aléatoire.
Assignation de Labels Cohérente : Une stratégie de génération qui garantit que les instances synthétiques maintiennent une cohérence de labels au sein de l'espace de caractéristiques discriminantes, réduisant le risque de confusion de labels et de surapprentissage.

Résultats Expérimentaux
Les auteurs ont évalué le LSDMLO sur 13 jeux de données multi-labels issus de divers domaines (texte, image, musique, biologie) en utilisant quatre classifieurs de base (BR, MLkNN, RAkEL, CC), un classifieur sensible au déséquilibre (COCOA), et un modèle de deep learning (C2AE).

Performance : Le LSDMLO a obtenu les meilleurs rangs moyens sur les quatre métriques d'évaluation (Macro-F, Macro-AUC, Macro-AUPR et Ranking Loss) par rapport à neuf méthodes de suréchantillonnage de pointe (incluant MLSMOTE, MLSOL, MLBOTE, AEMLO et DR-SMOTE).
Signification Statistique : Des tests de rang signé de Wilcoxon ont confirmé que le LSDMLO surpasse significativement ses concurrents dans la majorité des cas sans subir de pertes significatives.
Réduction du Déséquilibre Local : L'étude a démontré que l'utilisation de distances spécifiques aux labels réduit considérablement la métrique de déséquilibre de label local (LImb) par rapport à la distance euclidienne, particulièrement dans les jeux de données présentant des distributions de labels locaux complexes.
Synergie avec les Classifieurs de Base : La méthode a montré une efficacité supérieure lorsqu'elle est couplée à des apprenants de base performants comme C2AE et COCOA.

Signification et Revendications
L'article affirme que la principale importance du LSDMLO réside dans sa capacité à traiter le problème de l'« incohérence de label » inhérent aux méthodes de suréchantillonnage existantes. En reconnaissant que différents labels dépendent de différents sous-ensembles de caractéristiques, le LSDMLO génère des données synthétiques plus réalistes et informatives. Les auteurs soutiennent que cette approche atténue efficacement le biais envers les classes majoritaires et améliore l'apprentissage des labels minoritaires, surtout dans des scénarios complexes où les distributions de labels locaux sont difficiles à apprendre. La méthode est présentée comme une solution flexible et agnostique vis-à-vis du classifieur, améliorant les performances de divers algorithmes d'apprentissage multi-label.

Travaux Futurs
Les auteurs notent que les recherches futures se concentreront sur le développement d'un cadre d'apprentissage de distance plus complet, spécifique aux labels. Cela inclut l'incorporation de l'importance globale des caractéristiques et des corrélations d'instances, ainsi que l'exploration de la modélisation non linéaire pour capturer les interactions complexes entre caractéristiques et labels au-delà de la formulation linéaire parcimonieuse actuelle. De plus, ils prévoient d'étudier des stratégies avancées de modélisation de la dépendance des labels pour capturer des relations d'ordre supérieur au-delà des corrélations par paires.