🤖 machine learning

An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

Auteurs originaux : Mustafa Cavus, Przemysław Biecek

Publié 2026-05-18

📖 7 min de lecture🧠 Analyse approfondie

Auteurs originaux : Mustafa Cavus, Przemysław Biecek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Le Problème des « Plusieurs Bonnes Réponses »

Imaginez que vous essayez de prédire qui va gagner une partie d'échecs. Vous disposez d'un ensemble de données de parties passées, mais il y a un problème : 90 % des parties ont été gagnées par les Blancs, et seulement 10 % par les Noirs. C'est ce qu'on appelle un jeu de données déséquilibré.

Si vous entraînez un modèle informatique sur ces données sans les corriger, l'ordinateur devient paresseux. Il apprend que « les Blancs gagnent toujours », alors il prédit « Blancs » pour chaque nouvelle partie. Il obtient 90 % de précision, mais échoue complètement à prédire les victoires des Noirs.

Pour corriger cela, les scientifiques des données utilisent des méthodes d'équilibrage. Ils agissent comme un chef ajoutant des ingrédients à une soupe :

Suréchantillonnage (Oversampling) : Ils copient les rares parties « victoire des Noirs » pour en avoir plus (comme ajouter plus de sel).
Sous-échantillonnage (Undersampling) : Ils jettent certaines des parties communes « victoire des Blancs » pour réduire la quantité de soupe (comme retirer l'excès d'eau).

L'objectif est de faire en sorte que l'ordinateur prête attention à la classe minoritaire. Mais ce document pose une question effrayante : La correction des données crée-t-elle un nouveau type de confusion ?

L'Effet Rashomon : Le Phénomène des « Plusieurs Vérités »

Le document utilise un concept appelé l'Effet Rashomon. Imaginez une scène de crime où cinq témoins différents racontent cinq histoires différentes. Les cinq histoires sont plausibles et correspondent aux faits tout aussi bien, mais elles se contredisent.

En apprentissage automatique, l'Ensemble de Rashomon est un groupe de différents modèles informatiques qui performe presque exactement de la même manière (ils sont tous « plausibles »), mais qui font des prédictions différentes pour la même personne ou la même situation.

Modèle A dit : « Ce demandeur de prêt est sûr. »
Modèle B dit : « Ce demandeur de prêt est risqué. »
Les deux modèles ont le même score de précision globale.

Si vous choisissez simplement un modèle au hasard (sélection aveugle), vous pourriez accidentellement choisir celui qui refuse un prêt à une personne de bonne foi, alors qu'un autre modèle tout aussi précis l'aurait approuvé. C'est ce qu'on appelle la Multiplicité Prédictive.

L'Expérience : Que se passe-t-il lorsque nous équilibrons les données ?

Les auteurs voulaient savoir : L'utilisation de méthodes d'équilibrage (suréchantillonnage/sous-échantillonnage) aggrave-t-elle ce problème des « Plusieurs Vérités » ?

Ils ont pris 21 jeux de données réels différents (comme la détection de spam, la fraude par carte de crédit et la qualité du vin) et les ont fait passer dans une « usine à modèles » (un outil appelé Forester) qui crée des centaines de modèles légèrement différents pour chaque jeu de données. Ils ont fait cela deux fois :

En utilisant les données originales, déséquilibrées.
En utilisant des données équilibrées (après application des méthodes d'équilibrage).

Ils ont ensuite mesuré trois choses pour voir à quel point les modèles étaient en désaccord les uns avec les autres :

Ambiguïté : Combien de personnes reçoivent des réponses contradictoires ? (par exemple, « 5 personnes sur 100 reçoivent des prédictions différentes. »)
Discrépance : Quel est le scénario du pire cas ? (par exemple, « Un modèle spécifique est en désaccord avec les autres sur 20 personnes. »)
Obscurité (Nouvelle Métrique) : C'est la nouvelle idée du document. Elle mesure la quantité moyenne de confusion. Au lieu de simplement demander « Y a-t-il un conflit ? », elle demande « À quel point le conflit est-il embrouillé en moyenne ? ». Pensez-y comme à la mesure du « brouillard » au-dessus des données.

Les Résultats : Le « Correctif » a Épaissi le Brouillard

Voici ce qu'ils ont découvert :

Les Méthodes d'Équilibrage Augmentent la Confusion : Lorsqu'ils ont utilisé des méthodes d'équilibrage (comme SMOTE ou le suréchantillonnage aléatoire), l'Obscurité et la Discrépance ont augmenté.
- L'Analogie : Imaginez que vous essayez de retrouver un chien perdu dans un parc. Dans le parc original (données déséquilibrées), tous les chiens de recherche s'accordent sur l'endroit où se trouve le chien. Mais lorsque vous ajoutez de l'« équilibrage » (comme ajouter plus de chiens de recherche ou modifier le terrain), les chiens de recherche se mettent à aboyer dans des directions différentes. Ce sont toujours tous de « bons » chiens, mais ils ne peuvent pas s'accorder sur l'emplacement.
Le Correctif « Partiel » N'a Pas Fonctionné : Certains experts ont suggéré d'utiliser un « rééchantillonnage partiel » (équilibrer les données seulement un peu, pas à 100 %) pour éviter ce désordre. Les auteurs l'ont testé, mais ont constaté que cela n'a pas aidé. La confusion est restée élevée, peu importe la quantité d'équilibrage appliquée aux données.
L'Importance des Variables a Changé : Ils ont également vérifié si les modèles regardaient des indices différents. Par exemple, un modèle pourrait penser que le « revenu » est le facteur le plus important, tandis qu'un autre pense que c'est l'« âge ». Ils ont constaté que, bien que l'ordre d'importance n'ait pas changé de manière drastique d'un point de vue statistique, les méthodes d'équilibrage ont tout de même fait que les modèles se comportaient différemment dans l'ensemble.

La Solution : Un Nouveau Tableau de Bord

Puisqu'ils ne pouvaient pas empêcher la confusion de se produire, les auteurs ont proposé un moyen de la surveiller.

Ils ont suggéré d'utiliser un Graphique Étendu de Gain de Performance.

Imaginez un tableau de bord avec deux cadrans.
Cadran 1 (Horizontal) : Montre à quel point le modèle s'améliore dans la prédiction correcte (Gain de Performance).
Cadran 2 (Vertical) : Montre à quel point les modèles sont en désaccord les uns avec les autres (Multiplicité/Obscurité).

La Leçon : Vous ne devriez pas regarder uniquement le Cadran 1. Vous pourriez trouver une méthode qui améliore légèrement la précision (le Cadran 1 monte), mais qui provoque une explosion massive de désaccords (le Cadran 2 monte beaucoup). Les auteurs disent qu'il faut regarder les deux cadrans pour prendre une décision responsable.

Résumé des Affirmations du Document

Équilibrer les données est nécessaire pour les problèmes déséquilibrés, mais cela a un coût caché.
Les méthodes d'équilibrage augmentent la « Multiplicité Prédictive ». Elles créent une situation où de nombreux modèles sont également précis mais donnent des réponses contradictoires aux mêmes personnes.
Nouvelle Métrique : Ils ont introduit l'« Obscurité » pour mesurer à quel point ces prédictions de modèles sont « brumeuses » ou contradictoires en moyenne.
Le Rééchantillonnage Partiel n'est pas une solution miracle. Il ne résout pas le problème de la confusion accrue.
IA Responsable : Lors du choix d'un modèle, vous devez vérifier non seulement s'il est précis, mais aussi s'il est stable. Si vous choisissez un modèle aveuglément dans un « Ensemble de Rashomon » créé par des méthodes d'équilibrage, vous risquez de prendre des décisions arbitraires qui nuisent aux individus.

Le document conclut que, bien que les méthodes d'équilibrage soient un « havre » pour résoudre les données déséquilibrées, les chercheurs doivent faire attention à ne pas marcher aveuglément dans un brouillard de prédictions contradictoires. Ils doivent utiliser le nouveau « tableau de bord » (le graphique étendu) pour voir le compromis entre précision et stabilité.

Résumé Technique : Une Étude Expérimentale sur l'Effet Rashomon des Méthodes d'Équilibrage dans la Classification Déséquilibrée

Énoncé du Problème
Dans l'IA centrée sur les données, le déséquilibre des classes est un défi prévalent où les modèles ont tendance à favoriser la classe majoritaire, entraînant une mauvaise performance sur la classe minoritaire. Bien que les méthodes d'équilibrage (par exemple, le suréchantillonnage, le sous-échantillonnage) soient des approches standard centrées sur les données pour atténuer ce problème, leur impact sur le comportement des modèles reste sous-exploré. Plus précisément, il existe un manque de compréhension concernant la manière dont ces méthodes influencent l'effet Rashomon — un phénomène où plusieurs modèles atteignent une précision prédictive approximativement égale mais peuvent produire des prédictions contradictoires pour les mêmes observations. Cela conduit à une multiplicité prédictive, où la sélection aveugle d'un modèle parmi un ensemble de modèles également précis peut entraîner des résultats contradictoires, posant des risques pour la validation, l'explication et l'équité des modèles. L'article examine si les méthodes d'équilibrage gonflent cette multiplicité prédictive et altèrent les ordres d'importance des variables.

Méthodologie
Les auteurs ont mené des expériences en utilisant un ensemble de 21 jeux de données de référence déséquilibrés, avec des ratios de déséquilibre allant de 1,54 à 129,53. L'étude a employé le cadre méthodologique suivant :

Méthodes d'Équilibrage : Quatre techniques ont été évaluées : le Suréchantillonnage Aléatoire, SMOTE (Synthetic Minority Over-sampling Technique), le Sous-échantillonnage Aléatoire et Near Miss.
Construction de l'Ensemble Rashomon : L'outil Forester (un outil AutoML basé sur les arbres) a été utilisé pour générer l'ensemble Rashomon. Cette approche permet de contrôler la taille de l'ensemble via des paramètres d'optimisation bayésienne, créant un espace d'hypothèses empirique de modèles dont les valeurs de perte se situent dans un seuil spécifique ( $\epsilon = 0,05$ ) par rapport au modèle de référence.
Mesures de la Multiplicité Prédictive :
- Mesures Existantes : Ambiguïté (ratio d'observations avec des prédictions contradictoires) et Discrétance (ratio maximal d'observations contradictoires entre le modèle de référence et n'importe quel modèle concurrent).
- Mesure Proposée : Obscurité, définie comme le ratio moyen de prédictions contradictoires pour les observations à travers tous les modèles de l'ensemble Rashomon. Cette mesure vise à capturer l'abondance des conflits d'observations de manière plus granulaire que l'ambiguïté binaire.
- Discrétance de l'Ordre d'Importance des Variables (VIOD) : Une nouvelle mesure proposée pour quantifier la dissimilarité dans les ordres d'importance des variables entre le modèle de référence et les autres modèles de l'ensemble, basée sur le coefficient de corrélation $\tau$ de Kendall.
Variables Expérimentales : L'étude a fait varier les ratios de rééchantillonnage (entraînant des ratios de déséquilibre de 1,0 à 1,25) pour tester le rééchantillonnage partiel en tant que stratégie d'atténuation potentielle.
Analyse Statistique : Les résultats ont été résumés à l'aide de graphiques statistiques et évalués via les tests de Kruskal-Wallis, Friedman et les tests appariés de Dunnett.

Résultats Clés
Les expériences ont abordé quatre questions de recherche spécifiques (QR) :

QR1 (Impact sur la Multiplicité Prédictive) : Il a été constaté que les méthodes d'équilibrage gonflent la multiplicité prédictive. L'analyse visuelle et les tests statistiques (Kruskal-Wallis, $p < 0,05$ ) ont démontré que les modèles entraînés sur des données équilibrées présentaient une obscurité et une discrétance significativement plus élevées que ceux entraînés sur les données originales déséquilibrées. Les zones des méthodes d'équilibrage sur l'axe de l'obscurité ne chevauchaient pas les zones du jeu de données original, indiquant une augmentation distincte des prédictions contradictoires.
QR2 (Impact sur l'Importance des Variables) : Concernant la Discrétance de l'Ordre d'Importance des Variables (VIOD), l'étude n'a trouvé aucune différence statistiquement significative dans les valeurs médianes de VIOD entre les modèles entraînés sur des données équilibrées et ceux entraînés sur des données originales. Cela contraste avec certaines conclusions antérieures sur des jeux de données plus petits, suggérant que, bien que les conflits de prédiction augmentent, le classement fondamental de l'importance des variables reste relativement stable à travers l'ensemble Rashomon dans ce contexte expérimental plus large.
QR3 (Rééchantillonnage Partiel) : L'hypothèse selon laquelle le rééchantillonnage partiel (par exemple, visant un ratio de déséquilibre de 1,25) pourrait atténuer les changements de comportement des modèles a été rejetée. Les tests statistiques (test de Friedman) n'ont montré aucune différence significative dans les métriques Rashomon à travers les différents ratios de rééchantillonnage, indiquant que le rééchantillonnage partiel ne résout pas le problème de multiplicité introduit par l'équilibrage.
QR4 (Surveillance des Compromis) : L'étude a validé l'utilité d'un graphique de gain de performance étendu. Cette visualisation cartographie le compromis entre le gain de performance (mesuré par l'amélioration de l'AUC) et la multiplicité (obscurité/discrétance). Les résultats ont mis en évidence que, si les méthodes de suréchantillonnage (Suréchantillonnage, SMOTE) amélioraient généralement la performance, elles augmentaient également la multiplicité. À l'inverse, les méthodes de sous-échantillonnage ont parfois échoué à améliorer la performance tout en augmentant toujours la multiplicité.

Signification et Revendications
L'article revendique d'être la première étude à examiner l'effet Rashomon spécifiquement dans le contexte des méthodes d'équilibrage pour la classification déséquilibrée. Ses contributions principales sont :

Preuve Empirique de l'Inflation : Il fournit des preuves que les méthodes d'équilibrage, bien que destinées à améliorer la précision, augmentent involontairement la multiplicité prédictive (prédictions contradictoires) au sein de l'ensemble Rashomon.
Nouvelle Mesure (Obscurité) : L'introduction de l'obscurité offre une vision plus nuancée de la multiplicité prédictive en mesurant le ratio moyen de conflits plutôt que simplement l'existence d'un conflit.
Réfutation du Rééchantillonnage Partiel : Il remet en question l'idée que le rééchantillonnage partiel est une solution suffisante pour les changements de comportement des modèles induits par l'équilibrage.
Cadre de Modélisation Responsable : Les auteurs proposent d'utiliser le graphique de gain de performance étendu comme outil pratique pour les praticiens de l'IA centrée sur les données. Cet outil permet de surveiller le compromis entre les gains de performance et les risques associés à la multiplicité prédictive, plaidant pour un processus de sélection de modèles plus responsable qui prend en compte non seulement la précision, mais aussi la stabilité et la cohérence des prédictions du modèle.

L'article conclut que, bien que les méthodes d'équilibrage soient un « havre » pour la classification déséquilibrée, les chercheurs doivent tenir compte du risque accru de multiplicité. La sélection aveugle au sein de l'ensemble Rashomon résultant est risquée ; par conséquent, le graphique de gain de performance étendu est essentiel pour mener des processus de modélisation de manière responsable.