Addressing Methodological Sensitivity in MCDM with a Systematic Pipeline Approach to Data Transformation Sensitivity Analysis

Cet article présente un pipeline systématique et automatisé exploitant Scikit-Criteria pour évaluer et quantifier la sensibilité des classements de prise de décision multicritère à différentes techniques de normalisation, répondant ainsi au manque actuel de robustesse dans le choix des méthodes.

L'essentiel

Imaginez que vous essayez de décider lequel de vos neuf amis est le « meilleur » dans une compétence spécifique, comme la cuisine. Vous avez une liste de critères : rapidité, goût, présentation et coût. Pour déterminer le gagnant, vous avez besoin d'un système de notation.

Dans le monde de la prise de décision complexe (appelée MCDM ou Aide à la Décision Multi-Critères), c'est exactement ce qui se produit, mais avec des éléments tels que les cryptomonnaies, les stratégies d'entreprise ou les politiques publiques plutôt que des amis.

Voici le problème que l'article aborde, expliqué simplement :

Le problème de la « Recette »

Lorsque vous calculez un score, vous devez « normaliser » les données. Pensez-y comme à la conversion de tous vos ingrédients dans la même unité. Mesurez-vous la farine en tasses ou en grammes ? Mesurez-vous le temps en minutes ou en secondes ?

L'article souligne que le choix de l'« unité » (méthode de normalisation) change le gagnant.

• Si vous utilisez la « Recette A », votre ami Bob pourrait arriver en 1re place.
• Si vous utilisez la « Recette B », Bob pourrait chuter à la 5e place.

Les auteurs ont constaté que, dans des scénarios réels, changer la recette peut inverser le classement de 20 % à 40 % des concurrents. La partie effrayante est que la plupart des gens choisissent simplement une recette parce que c'est leur préférée, parce que leur logiciel l'a par défaut, ou parce qu'ils l'ont déjà vue, sans vérifier si c'est la bonne.

La Solution : La Cuisine « Toutes les Recettes »

Les auteurs ont créé un nouvel outil appelé SKCCombinatorialPipeline.

Imaginez un robot de cuisine ultra-efficace. Au lieu que vous choisissiez une seule recette et cuisiniez un seul plat, ce robot :

1. Prend chaque façon possible de mesurer vos ingrédients (normalisation).
2. Prend chaque façon possible de combiner ces mesures (agrégation).
3. Cuit automatiquement chaque combinaison en même temps.

Si vous avez 3 façons de mesurer et 2 façons de combiner, le robot cuit instantanément 6 plats différents et vous les sert tous.

Comment cela fonctionne (Le Pipeline)

L'outil utilise une approche de « pipeline », qui ressemble à une chaîne de montage :

1. Le Filtre : Il nettoie les données (par exemple, en retirant les amis qui ne se sont pas présentés).
2. L'Échelle : Il convertit les données (par exemple, en transformant les « minutes » en « scores »).
3. Le Juge : Il calcule le classement final.

La magie opère parce que le robot teste chaque combinaison possible de ces étapes. Il ne se contente pas de deviner ; il explore l'ensemble du « menu » des possibilités.

L'Essai Routier : Les Cryptomonnaies

Pour prouver que cela fonctionne, les auteurs ont testé ce robot sur une liste de 9 cryptomonnaies (comme Bitcoin, Ethereum et Dogecoin). Ils ont demandé : « Laquelle est le meilleur investissement ? »

Ils ont fait fonctionner le robot avec 6 « recettes » différentes (combinaisons de méthodes de mesure et de notation). Voici ce qu'ils ont découvert :

• Les Stars : Bitcoin et Binance Coin ont toujours été dans les 2 premières places, quelle que soit la recette utilisée. Ils sont robustes.
• Les Perdants Constants : Deux autres monnaies ont toujours été en bas. Elles sont instables dans le mauvais sens.
• Les Caméléons : Certaines monnaies, comme Dogecoin, ont oscillé de manière sauvage. Selon la recette, Dogecoin pouvait être 4e ou 7e. Cela nous indique que le classement de Dogecoin est hautement sensible à la manière dont nous faisons les calculs.

Ce que cela nous apprend

L'outil ne vous donne pas une seule réponse ; il vous fournit une carte de confiance.

• Si le robot dit : « Peu importe comment nous tranchons, Bitcoin est n°1 », vous pouvez être très confiant.
• Si le robot dit : « Le gagnant change selon les mathématiques », vous savez que vous devez être très prudent. Vous ne pouvez pas simplement choisir une méthode et ignorer le reste.

La « Limite de Vitesse »

L'article note que faire tous ces calculs à la fois peut être lourd pour l'ordinateur, comme essayer de cuire 1 000 gâteaux à la fois. Cependant, parce que le robot peut utiliser plusieurs processeurs (comme avoir 1 000 boulangers travaillant en parallèle), il peut gérer cela rapidement pour la plupart des problèmes standards.

L'Essentiel

Cet article présente un moyen de cesser de deviner quelle « recette » est la meilleure pour vos décisions. Au lieu de choisir une méthode et d'espérer le meilleur, vous pouvez effectuer un test systématique qui vous montre :

1. Quels résultats sont stables (paris sûrs).
2. Quels résultats sont fragiles (zones de danger).
3. Exactement dans quelle mesure votre décision finale dépend des mathématiques que vous avez choisies.

Cela transforme la prise de décision d'un jeu de « faites-moi confiance » en un processus transparent et basé sur les données, où vous pouvez voir exactement dans quelle mesure vos résultats sont sensibles aux règles selon lesquelles vous jouez.

Résumé technique

Résumé technique : Traitement de la sensibilité méthodologique dans les méthodes d'aide multicritère à la décision (MCDM) par une approche de pipeline systématique

Énoncé du problème
Les méthodes d'aide multicritère à la décision (MCDM) souffrent d'une limitation fondamentale : les classements finaux des alternatives dépendent de manière critique des choix méthodologiques, en particulier de la sélection des techniques de normalisation (mise à l'échelle) des données. Les preuves empiriques indiquent que la variation des méthodes de normalisation peut modifier 20 à 40 % des classements finaux dans des applications réelles. Les pratiques actuelles se caractérisent par des sélections ad hoc basées sur des précédents, des préférences ou la disponibilité des logiciels, sans évaluation systématique de la robustesse. La littérature existante est fragmentée, souvent limitée à des comparaisons par paires, et ne parvient pas à fournir des cadres unifiés pour évaluer la sensibilité à travers le paysage méthodologique plus large. De plus, les outils logiciels standards exigent généralement que l'utilisateur spécifie une seule procédure de normalisation, empêchant l'exploration systématique de l'espace méthodologique et masquant la variabilité inhérente introduite par ces choix.

Méthodologie
Les auteurs proposent un cadre systématique pour l'exploration automatisée de l'espace de transformation des MCDM, construit sur l'infrastructure existante Scikit-Criteria. Le cœur de cette approche est le SKCCombinatorialPipeline, qui implémente une stratégie combinatoire inspirée des techniques de recherche par grille (Grid Search) en apprentissage automatique (par exemple, Scikit-Learn).

1. Génération combinatoire : Le cadre génère le produit cartésien de toutes les combinaisons méthodologiques possibles. Si un pipeline comprend $k$ étapes, où l'étape $i$ possède $|S_i|$ méthodes alternatives, le système construit automatiquement toutes les $\prod |S_i|$ configurations possibles.
2. Architecture du pipeline : Le système utilise des composants modulaires incluant :
   • Transformateurs : Étapes de prétraitement telles que la négation (pour les critères de minimisation), le filtrage (satisfaisant ou non dominé) et la mise à l'échelle (Somme, Vecteur, MinMax).
   • Agrégateurs : Méthodes d'évaluation finale telles que le modèle de somme pondérée (WSM) et TOPSIS.
3. Exécution parallèle : Pour répondre à la complexité computationnelle, l'évaluation des pipelines indépendants est exécutée en parallèle. La complexité temporelle est modélisée comme $T_{parallel} = O(\frac{S \cdot k \cdot c}{P})$, où $S$ est le nombre total de chemins, $c$ est le coût par alternative, et $P$ est le nombre de processeurs. Cela permet une exécution « embarrassamment parallèle » avec une accélération quasi linéaire.
4. Analyse de sensibilité : Le cadre exploite le module RanksComparator pour analyser les classements générés. Il calcule :
   • Corrélations : Corrélations de Spearman, Kendall et Pearson pour mesurer l'accord monotone.
   • Métriques de régression : Coefficient de détermination ($R^2$) pour évaluer la capacité prédictive entre les classements.
   • Métriques de distance : 20 mesures de distance par paires (incluant Hamming, Euclidienne et Manhattan) pour quantifier les différences géométriques.
   • Résumés statistiques : Médiane et déviation absolue médiane (MAD) pour catégoriser les alternatives en fonction de la stabilité du classement.

Contributions clés
L'article présente trois contributions principales :

1. Cadre algorithmique : Le SKCCombinatorialPipeline permet l'exploration automatisée et exhaustive de l'espace de transformation des MCDM par le produit cartésien de composants modulaires.
2. Analyse de sensibilité multi-métrique : Une approche complète fournissant des corrélations, des covariances, des scores $R^2$ et des mesures basées sur la distance entre les classements générés par différentes configurations méthodologiques, quantifiant explicitement les limites de sensibilité méthodologique.
3. Validation empirique : Application du cadre à un jeu de données réel sur les cryptomonnaies, démontrant la capacité à évaluer la robustesse des conclusions et à interpréter les limites de sensibilité.

Résultats : Étude de cas sur les cryptomonnaies
Le cadre a été appliqué à un jeu de données de neuf cryptomonnaies évaluées selon la capitalisation boursière, la volatilité et le volume de négociation. L'expérience a combiné trois méthodes de mise à l'échelle (Somme, Vecteur, MinMax) avec deux méthodes d'agrégation (WSM, TOPSIS), générant six scénarios méthodologiques.

• Alternatives robustes : BTC et BNB se sont classés de manière constante dans les deux premières positions sur toutes les configurations, tandis que ADA et XRP sont restés fixes en bas (rangs 8 et 9), montrant une déviation absolue médiane (MAD) nulle.
• Alternatives sensibles : DOGE a présenté la sensibilité la plus élevée, avec des classements fluctuant entre les positions 4 et 7 (MAD = 1,0). XLM et LINK ont montré une variabilité modérée (MAD = 0,5).
• Accord méthodologique : L'analyse de corrélation de Spearman a révélé un accord élevé (0,983–1,000) entre les méthodes de mise à l'échelle lorsqu'elles étaient associées au même agrégateur (par exemple, Somme-WSM vs Vecteur-WSM). Les corrélations les plus faibles (0,850) se sont produites entre WSM et TOPSIS lorsqu'elles étaient associées à la mise à l'échelle MinMax, identifiant cela comme la frontière de la sensibilité méthodologique. Cependant, toutes les corrélations ont dépassé 0,850, suggérant que la structure fondamentale du classement est restée relativement stable malgré les variations méthodologiques.

Portée et affirmations
Les auteurs affirment que ce travail comble le manque de cadres unifiés pour évaluer systématiquement la sensibilité aux transformations de mise à l'échelle. En matérialisant les principes théoriques de l'analyse de sensibilité en outils pratiques et automatisés, le cadre facilite l'exploration exhaustive de l'espace méthodologique sans intervention manuelle.

La portée de l'approche proposée réside dans :

• Transparence : Fournir une quantification explicite des limites de sensibilité méthodologique, ce qui est essentiel pour les contextes nécessitant une justification transparente (par exemple, investissements stratégiques, politiques publiques, audits).
• Évaluation de la robustesse : Permettre aux décideurs de distinguer les alternatives robustes aux choix méthodologiques (faible MAD) de celles qui sont hautement sensibles, évitant ainsi des sélections erronées près des frontières de décision.
• Normalisation : Potentiellement établir de nouvelles normes de transparence méthodologique pour la pratique contemporaine des MCDM en s'éloignant des sélections ad hoc vers une évaluation systématique et fondée sur les données.

Les auteurs notent que, bien que le cadre soit puissant, son application convient mieux à des scénarios à fort impact où la précision décisionnelle est critique et où les ressources computationnelles permettent la parallélisation. Ils mettent en garde contre son utilisation pour des décisions opérationnelles immédiates ou lorsque l'espace méthodologique devient excessivement grand sans échantillonnage intelligent. L'étude reconnaît que sa validation est actuellement limitée à un seul domaine d'application (cryptomonnaies) et que la généralisation à d'autres secteurs nécessite une validation empirique supplémentaire.