Addressing Methodological Sensitivity in MCDM with a Systematic Pipeline Approach to Data Transformation Sensitivity Analysis

Dieser Beitrag stellt eine systematische, automatisierte Pipeline vor, die Scikit-Criteria nutzt, um die Sensitivität von Multikriterien-Entscheidungsrankings gegenüber verschiedenen Normalisierungstechniken zu bewerten und zu quantifizieren und damit das derzeitige Fehlen von Robustheit bei der Methodenwahl anzugehen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen zu entscheiden, welcher Ihrer neun Freunde in einer bestimmten Fähigkeit, etwa beim Kochen, der „Beste" ist. Sie haben eine Liste von Kriterien: Geschwindigkeit, Geschmack, Präsentation und Kosten. Um den Gewinner zu ermitteln, benötigen Sie ein Bewertungssystem.

In der Welt komplexer Entscheidungsfindung (genannt MCDM oder Multi-Criteria Decision Making, Mehrkriterielle Entscheidungsfindung) passiert genau das, nur mit Dingen wie Kryptowährungen, Geschäftsstrategien oder öffentlichen Richtlinien anstelle von Freunden.

Hier ist das Problem, das die Arbeit behandelt, einfach erklärt:

Das „Rezept"-Problem

Wenn Sie eine Punktzahl berechnen, müssen Sie die Daten „normalisieren". Denken Sie daran, als würden Sie alle Ihre Zutaten in dieselbe Einheit umwandeln. Messen Sie Mehl in Tassen oder Gramm? Messen Sie Zeit in Minuten oder Sekunden?

Die Arbeit weist darauf hin, dass die Wahl der „Einheit" (Normalisierungsmethode) den Gewinner verändert.

• Wenn Sie „Rezept A" verwenden, landet Ihr Freund Bob vielleicht auf Platz 1.
• Wenn Sie „Rezept B" verwenden, rutscht Bob vielleicht auf Platz 5.

Die Autoren stellten fest, dass sich in realen Szenarien durch das Ändern des Rezepts die Rangfolge von 20 % bis 40 % der Konkurrenten umkehren kann. Der erschreckende Teil ist, dass die meisten Leute einfach ein Rezept wählen, weil es ihr Favorit ist, was ihre Software standardmäßig bietet oder was sie schon einmal gesehen haben, ohne zu prüfen, ob es das richtige ist.

Die Lösung: Die „Alle-Rezepte"-Küche

Die Autoren entwickelten ein neues Werkzeug namens SKCCombinatorialPipeline.

Stellen Sie sich einen super-effizienten Küchenroboter vor. Anstatt dass Sie ein Rezept auswählen und ein Gericht kochen, macht dieser Roboter Folgendes:

1. Er nimmt jede mögliche Art, Ihre Zutaten zu messen (Normalisierung).
2. Er nimmt jede mögliche Art, diese Messungen zu kombinieren (Aggregation).
3. Er kocht automatisch jede einzelne Kombination gleichzeitig.

Wenn Sie 3 Arten zum Messen und 2 Arten zum Kombinieren haben, kocht der Roboter sofort 6 verschiedene Gerichte und serviert sie alle Ihnen.

Wie es funktioniert (Die Pipeline)

Das Werkzeug verwendet einen „Pipeline"-Ansatz, der wie ein Fließband funktioniert:

1. Der Filter: Er bereinigt die Daten (z. B. Entfernen von Freunden, die nicht erschienen sind).
2. Die Skala: Er wandelt die Daten um (z. B. „Minuten" in „Punktzahlen" verwandeln).
3. Der Richter: Er berechnet die endgültige Rangliste.

Die Magie besteht darin, dass der Roboter jede mögliche Kombination dieser Schritte versucht. Er rät nicht einfach; er erkundet das gesamte „Speisekarte" der Möglichkeiten.

Die Testfahrt: Kryptowährungen

Um zu beweisen, dass es funktioniert, testeten die Autoren diesen Roboter an einer Liste von 9 Kryptowährungen (wie Bitcoin, Ethereum und Dogecoin). Sie fragten: „Welche ist die beste Investition?"

Sie ließen den Roboter mit 6 verschiedenen „Rezepten" (Kombinationen von Mess- und Bewertungsmethoden) laufen. Hier ist, was sie fanden:

• Die Rockstars: Bitcoin und Binance Coin waren immer in den Top 2, egal welches Rezept verwendet wurde. Sie sind robust.
• Die konstanten Verlierer: Zwei andere Münzen waren immer am Ende. Sie sind instabil im negativen Sinne.
• Die Chamäleons: Einige Münzen, wie Dogecoin, sprangen wild umher. Je nach Rezept konnte Dogecoin 4. oder 7. sein. Das zeigt uns, dass die Rangfolge von Dogecoin hochgradig sensitiv darauf reagiert, wie wir die Mathematik durchführen.

Was uns das sagt

Das Werkzeug gibt Ihnen nicht nur eine Antwort; es gibt Ihnen eine Vertrauenskarte.

• Wenn der Roboter sagt: „Egal wie wir es schneiden, Bitcoin ist Nummer 1", können Sie sehr zuversichtlich sein.
• Wenn der Roboter sagt: „Der Gewinner ändert sich je nach Mathematik", wissen Sie, dass Sie sehr vorsichtig sein müssen. Sie können nicht einfach eine Methode auswählen und den Rest ignorieren.

Die „Geschwindigkeitsbegrenzung"**

Die Arbeit stellt fest, dass das gleichzeitige Durchführen aller dieser Berechnungen den Computer stark belasten kann, wie wenn man versucht, 1.000 Kuchen gleichzeitig zu backen. Da der Roboter jedoch viele Prozessoren nutzen kann (wie wenn 1.000 Bäcker parallel arbeiten), kann er dies für die meisten Standardprobleme schnell bewältigen.

Das Fazit

Diese Arbeit stellt eine Möglichkeit vor, aufzuhören zu raten, welches „Rezept" für Ihre Entscheidungen am besten ist. Anstatt eine Methode auszuwählen und auf das Beste zu hoffen, können Sie einen systematischen Test durchführen, der Ihnen zeigt:

1. Welche Ergebnisse stabil sind (sichere Wetten).
2. Welche Ergebnisse wackelig sind (Gefahrenzonen).
3. Genau, wie stark Ihre endgültige Entscheidung von der gewählten Mathematik abhängt.

Es verwandelt die Entscheidungsfindung von einem Spiel des „Vertrau mir" in einen transparenten, datengesteuerten Prozess, bei dem Sie genau sehen können, wie empfindlich Ihre Ergebnisse auf die Regeln reagieren, nach denen Sie spielen.

Technische Zusammenfassung

Technisches Fazit: Adressierung methodischer Sensitivität in MCDM mit einem systematischen Pipeline-Ansatz

Problemstellung
Multikriterielle Entscheidungsfindung (MCDM) leiden unter einer grundlegenden Einschränkung: Die endgültigen Rangfolgen von Alternativen hängen kritisch von methodischen Entscheidungen ab, insbesondere von der Auswahl der Daten-Normalisierungsverfahren (Skalierung). Empirische Belege deuten darauf hin, dass unterschiedliche Normalisierungsmethoden in realen Anwendungen 20–40 % der endgültigen Rangfolgen verändern können. Die aktuellen Praktiken sind durch ad-hoc-Auswahl basierend auf Präzedenzfällen, Präferenzen oder Softwareverfügbarkeit gekennzeichnet und fehlen einer systematischen Robustheitsbewertung. Die bestehende Literatur ist fragmentiert, oft auf paarweise Vergleiche beschränkt und liefert keine einheitlichen Rahmenwerke zur Bewertung der Sensitivität über den gesamten methodischen Landschaftsbereich hinweg. Darüber hinaus erfordern Standard-Softwaretools typischerweise, dass Benutzer ein einzelnes Normalisierungsverfahren angeben, was die systematische Erkundung des methodischen Raums verhindert und die inhärente Variabilität verschleiert, die durch diese Wahl entsteht.

Methodik
Die Autoren schlagen einen systematischen Rahmen für die automatisierte Erkundung des MCDM-Transformationsraums vor, der auf der bestehenden Scikit-Criteria-Infrastruktur aufbaut. Der Kern dieses Ansatzes ist die SKCCombinatorialPipeline, die eine kombinatorische Strategie implementiert, die von Grid-Search-Techniken im maschinellen Lernen (z. B. Scikit-Learn) inspiriert ist.

1. Kombinatorische Generierung: Das Framework generiert das kartesische Produkt aller möglichen methodischen Kombinationen. Wenn eine Pipeline aus $k$ Schritten besteht, wobei Schritt $i$ über $|S_i|$ alternative Methoden verfügt, konstruiert das System automatisch alle $\prod |S_i|$ möglichen Konfigurationen.
2. Pipeline-Architektur: Das System nutzt modulare Komponenten, darunter:
   • Transformer: Vorverarbeitungsschritte wie Negation (für Minimierungskriterien), Filterung (Satisficing oder nicht-dominiert) und Skalierung (Summe, Vektor, MinMax).
   • Aggregatoren: Endbewertungsmethoden wie das Weighted Sum Model (WSM) und TOPSIS.
3. Parallele Ausführung: Zur Bewältigung der rechnerischen Komplexität wird die Auswertung unabhängiger Pipelines parallel ausgeführt. Die zeitliche Komplexität wird modelliert als $T_{parallel} = O(\frac{S \cdot k \cdot c}{P})$, wobei $S$ die Gesamtzahl der Pfade, $c$ die Kosten pro Alternative und $P$ die Anzahl der Prozessoren ist. Dies ermöglicht eine „embarrassingly parallel" Ausführung mit nahezu linearer Beschleunigung.
4. Sensitivitätsanalyse: Das Framework nutzt das Modul RanksComparator, um die generierten Rangfolgen zu analysieren. Es berechnet:
   • Korrelationen: Spearman-, Kendall- und Pearson-Korrelationen zur Messung der monotonen Übereinstimmung.
   • Regressionsmetriken: Bestimmungskoeffizient ($R^2$) zur Bewertung der Vorhersagefähigkeit zwischen Rangfolgen.
   • Distanzmetriken: 20 paarweise Distanzmaße (einschließlich Hamming, euklidisch und Manhattan) zur Quantifizierung geometrischer Unterschiede.
   • Statistische Zusammenfassungen: Median und Median Absolute Deviation (MAD) zur Kategorisierung von Alternativen basierend auf der Stabilität der Rangfolge.

Hauptbeiträge
Die Arbeit präsentiert drei primäre Beiträge:

1. Algorithmisches Framework: Die SKCCombinatorialPipeline ermöglicht die automatisierte, exhaustive Erkundung des MCDM-Transformationsraums durch das kartesische Produkt modularer Komponenten.
2. Multi-Metrik-Sensitivitätsanalyse: Ein umfassender Ansatz, der Korrelationen, Kovarianzen, $R^2$-Werte und distanzbasierte Maße zwischen Rangfolgen liefert, die durch verschiedene methodische Konfigurationen generiert wurden, und damit methodische Sensitivitätsgrenzen explizit quantifiziert.
3. Empirische Validierung: Anwendung des Frameworks auf einen realen Kryptowährungs-Datensatz, der die Fähigkeit demonstriert, die Robustheit von Schlussfolgerungen zu bewerten und Sensitivitätsgrenzen zu interpretieren.

Ergebnisse: Fallstudie Kryptowährungen
Das Framework wurde auf einen Datensatz von neun Kryptowährungen angewendet, die über Marktkapitalisierung, Volatilität und Handelsvolumen bewertet wurden. Das Experiment kombinierte drei Skalierungsmethoden (Summe, Vektor, MinMax) mit zwei Aggregationsmethoden (WSM, TOPSIS) und generierte sechs methodische Szenarien.

• Robuste Alternativen: BTC und BNB rangierten konsistent in den Top-2-Positionen über alle Konfigurationen hinweg, während ADA und XRP unten fixiert blieben (Ränge 8 und 9) und eine Median Absolute Deviation (MAD) von null aufwiesen.
• Sensitive Alternativen: DOGE zeigte die höchste Sensitivität, wobei die Rangfolgen zwischen den Positionen 4 und 7 schwankten (MAD = 1,0). XLM und LINK zeigten moderate Variabilität (MAD = 0,5).
• Methodische Übereinstimmung: Die Spearman-Korrelationsanalyse ergab eine hohe Übereinstimmung (0,983–1,000) zwischen Skalierungsmethoden, wenn sie mit demselben Aggregator gepaart wurden (z. B. Summe-WSM vs. Vektor-WSM). Die niedrigsten Korrelationen (0,850) traten zwischen WSM und TOPSIS auf, wenn sie mit MinMax-Skalierung gepaart wurden, was dies als Grenze der methodischen Sensitivität identifiziert. Allerdings überstiegen alle Korrelationen 0,850, was darauf hindeutet, dass die grundlegende Rangstruktur trotz methodischer Variationen relativ stabil blieb.

Bedeutung und Behauptungen
Die Autoren behaupten, dass diese Arbeit das Fehlen einheitlicher Rahmenwerke zur systematischen Bewertung der Sensitivität gegenüber Skalierungstransformationen adressiert. Durch die Umsetzung theoretischer Prinzipien der Sensitivitätsanalyse in praktische, automatisierte Tools erleichtert das Framework die exhaustive Erkundung des methodischen Raums ohne manuelle Intervention.

Die Bedeutung des vorgeschlagenen Ansatzes liegt in:

• Transparenz: Bereitstellung einer expliziten Quantifizierung methodischer Sensitivitätsgrenzen, die für Kontexte erforderlich ist, die eine transparente Begründung erfordern (z. B. strategische Investitionen, öffentliche Politik, Prüfungen).
• Robustheitsbewertung: Ermöglichung für Entscheidungsträger, zwischen Alternativen zu unterscheiden, die gegenüber methodischen Entscheidungen robust sind (niedrige MAD), und solchen, die hochsensibel sind, wodurch fehlerhafte Auswahlentscheidungen nahe an Entscheidungsgrenzen verhindert werden.
• Standardisierung: Potenzielle Etablierung neuer Standards für methodische Transparenz in der zeitgenössischen MCDM-Praxis durch den Übergang von ad-hoc-Auswahlen hin zu systematischen, datengesteuerten Bewertungen.

Die Autoren weisen darauf hin, dass das Framework zwar leistungsstark ist, seine Anwendung jedoch am besten für hochrelevante Szenarien geeignet ist, bei denen die Genauigkeit der Entscheidung kritisch ist und Rechenressourcen eine Parallelisierung ermöglichen. Sie warnen vor der Verwendung für unmittelbare operative Entscheidungen oder wenn der methodische Raum ohne intelligente Stichprobenentnahme übermäßig groß wird. Die Studie erkennt an, dass ihre Validierung derzeit auf einen einzigen Anwendungsbereich (Kryptowährungen) beschränkt ist und dass eine Verallgemeinerung auf andere Sektoren weiterer empirischer Validierung bedarf.