Addressing Methodological Sensitivity in MCDM with a Systematic Pipeline Approach to Data Transformation Sensitivity Analysis

Questo articolo introduce una pipeline sistematica e automatizzata che sfrutta Scikit-Criteria per valutare e quantificare la sensibilità delle classifiche derivanti da processi decisionali multicriterio rispetto a diverse tecniche di normalizzazione, affrontando l'attuale mancanza di robustezza nella selezione dei metodi.

L'essenziale

Immagina di dover decidere quale dei tuoi nove amici è il "migliore" in una specifica abilità, come la cucina. Hai una lista di criteri: velocità, gusto, presentazione e costo. Per determinare il vincitore, hai bisogno di un sistema di punteggio.

Nel mondo delle decisioni complesse (chiamato MCDM o Decision Making Multi-Criterio), è esattamente ciò che accade, ma con cose come criptovalute, strategie aziendali o politiche pubbliche invece degli amici.

Ecco il problema affrontato dal documento, spiegato semplicemente:

Il problema della "Ricetta"

Quando calcoli un punteggio, devi "normalizzare" i dati. Pensa a questo come convertire tutti gli ingredienti nella stessa unità. Misuri la farina in tazze o in grammi? Misuri il tempo in minuti o in secondi?

Il documento sottolinea che la scelta dell'"unità" (metodo di normalizzazione) cambia il vincitore.

• Se usi la "Ricetta A", il tuo amico Bob potrebbe arrivare al primo posto.
• Se usi la "Ricetta B", Bob potrebbe scendere al quinto posto.

Gli autori hanno scoperto che, in scenari reali, cambiare la ricetta può invertire la classifica del 20% al 40% dei concorrenti. La parte spaventosa è che la maggior parte delle persone sceglie semplicemente una ricetta perché è la loro preferita, quella impostata di default nel loro software o quella che hanno visto in precedenza, senza verificare se sia quella giusta.

La Soluzione: La Cucina "Tutte le Ricette"

Gli autori hanno creato un nuovo strumento chiamato SKCCombinatorialPipeline.

Immagina un robot da cucina super efficiente. Invece di scegliere una ricetta e cucinare un solo piatto, questo robot:

1. Prende ogni possibile modo per misurare gli ingredienti (normalizzazione).
2. Prende ogni possibile modo per combinare queste misurazioni (aggregazione).
3. Cuoce automaticamente ogni singola combinazione contemporaneamente.

Se hai 3 modi per misurare e 2 modi per combinare, il robot cuoce istantaneamente 6 piatti diversi e te li serve tutti.

Come Funziona (La Pipeline)

Lo strumento utilizza un approccio a "pipeline", simile a una catena di montaggio:

1. Il Filtro: Pulisce i dati (ad esempio, rimuovendo gli amici che non si sono presentati).
2. La Scala: Converte i dati (ad esempio, trasformando i "minuti" in "punteggi").
3. Il Giudice: Calcola la classifica finale.

La magia è che il robot prova ogni possibile combinazione di questi passaggi. Non si limita a indovinare; esplora l'intero "menù" delle possibilità.

La Prova su Strada: Criptovalute

Per dimostrare che funziona, gli autori hanno testato questo robot su una lista di 9 criptovalute (come Bitcoin, Ethereum e Dogecoin). Hanno chiesto: "Qual è il miglior investimento?"

Hanno fatto girare il robot con 6 diverse "ricette" (combinazioni di metodi di misurazione e di punteggio). Ecco cosa hanno scoperto:

• Le Stelle: Bitcoin e Binance Coin sono stati sempre nei primi 2 posti, indipendentemente dalla ricetta utilizzata. Sono robusti.
• I Perdenti Costanti: Altre due monete sono state sempre in fondo. Sono instabili in senso negativo.
• I Camaleonti: Alcune monete, come Dogecoin, sono saltate in modo selvaggio. A seconda della ricetta, Dogecoin poteva essere 4° o 7°. Questo ci dice che la classifica di Dogecoin è altamente sensibile a come facciamo i calcoli.

Cosa Ci Dice Questo

Lo strumento non ti dà solo una risposta; ti fornisce una mappa di confidenza.

• Se il robot dice: "Non importa come lo tagliamo, Bitcoin è al numero 1", puoi essere molto fiducioso.
• Se il robot dice: "Il vincitore cambia a seconda della matematica", sai che devi fare molta attenzione. Non puoi semplicemente scegliere un metodo e ignorare il resto.

Il "Limite di Velocità"

Il documento nota che eseguire tutti questi calcoli contemporaneamente può essere pesante per il computer, come cercare di cuocere 1.000 torte alla volta. Tuttavia, poiché il robot può utilizzare molti processori (come avere 1.000 pasticceri che lavorano in parallelo), può gestire questo compito rapidamente per la maggior parte dei problemi standard.

La Conclusione

Questo documento introduce un modo per smettere di indovinare quale "ricetta" sia migliore per le tue decisioni. Invece di scegliere un metodo e sperare nel meglio, puoi eseguire un test sistematico che ti mostra:

1. Quali risultati sono stabili (scommesse sicure).
2. Quali risultati sono instabili (zone di pericolo).
3. Esattamente quanto la tua decisione finale dipende dalla matematica che hai scelto.

Trasforma il processo decisionale da un gioco di "fidati di me" in un processo trasparente e guidato dai dati, dove puoi vedere esattamente quanto i tuoi risultati siano sensibili alle regole con cui giochi.

Sommario tecnico

Sintesi Tecnica: Affrontare la Sensibilità Metodologica nei MCDM con un Approccio a Pipeline Sistematica

Enunciato del Problema
I metodi di Supporto alle Decisioni Multicriterio (MCDM) soffrono di una limitazione fondamentale: le classifiche finali delle alternative dipendono criticamente dalle scelte metodologiche, in particolare dalla selezione delle tecniche di normalizzazione (scalatura) dei dati. Le evidenze empiriche indicano che variare i metodi di normalizzazione può alterare dal 20% al 40% delle classifiche finali nelle applicazioni del mondo reale. Le pratiche attuali sono caratterizzate da selezioni ad-hoc basate su precedenti, preferenze o disponibilità software, prive di una valutazione sistematica della robustezza. La letteratura esistente è frammentata, spesso limitata a confronti a coppie, e non fornisce quadri unificati per valutare la sensibilità nell'ampio panorama metodologico. Inoltre, gli strumenti software standard richiedono tipicamente all'utente di specificare un'unica procedura di normalizzazione, impedendo l'esplorazione sistematica dello spazio metodologico e oscurando la variabilità intrinseca introdotta da tali scelte.

Metodologia
Gli autori propongono un quadro sistematico per l'esplorazione automatizzata dello spazio di trasformazione MCDM, costruito sull'infrastruttura esistente Scikit-Criteria. Il cuore di questo approccio è la SKCCombinatorialPipeline, che implementa una strategia combinatoria ispirata alle tecniche di Grid Search nel machine learning (ad esempio, Scikit-Learn).

1. Generazione Combinatoria: Il quadro genera il prodotto cartesiano di tutte le possibili combinazioni metodologiche. Se una pipeline è composta da $k$ passaggi, dove il passaggio $i$ ha $|S_i|$ metodi alternativi, il sistema costruisce automaticamente tutte le $\prod |S_i|$ configurazioni possibili.
2. Architettura della Pipeline: Il sistema utilizza componenti modulari tra cui:
   • Trasformatori: Passaggi di pre-elaborazione come la negazione (per criteri di minimizzazione), il filtraggio (soddisfacimento o non dominanza) e la scalatura (Somma, Vettore, MinMax).
   • Aggregatori: Metodi di valutazione finale come il Modello a Somma Ponderata (WSM) e TOPSIS.
3. Esecuzione Parallela: Per affrontare la complessità computazionale, la valutazione di pipeline indipendenti viene eseguita in parallelo. La complessità temporale è modellata come $T_{parallel} = O(\frac{S \cdot k \cdot c}{P})$, dove $S$ è il numero totale di percorsi, $c$ è il costo per alternativa e $P$ è il numero di processori. Ciò consente un'esecuzione "imbarazzantemente parallela" con un aumento di velocità quasi lineare.
4. Analisi di Sensibilità: Il quadro sfrutta il modulo RanksComparator per analizzare le classifiche generate. Calcola:
   • Correlazioni: Correlazioni di Spearman, Kendall e Pearson per misurare l'accordo monotono.
   • Metriche di Regressione: Coefficiente di determinazione ($R^2$) per valutare la capacità predittiva tra le classifiche.
   • Metriche di Distanza: 20 misure di distanza a coppie (inclusi Hamming, Euclidea e Manhattan) per quantificare le differenze geometriche.
   • Sintesi Statistiche: Mediana e Deviazione Assoluta Mediana (MAD) per categorizzare le alternative in base alla stabilità della classifica.

Contributi Chiave
Il documento presenta tre contributi principali:

1. Quadro Algoritmico: La SKCCombinatorialPipeline consente l'esplorazione automatizzata ed esaustiva dello spazio di trasformazione MCDM attraverso il prodotto cartesiano di componenti modulari.
2. Analisi di Sensibilità Multi-metrica: Un approccio completo che fornisce correlazioni, covarianze, punteggi $R^2$ e misure basate sulla distanza tra le classifiche generate da diverse configurazioni metodologiche, quantificando esplicitamente i limiti di sensibilità metodologica.
3. Validazione Empirica: Applicazione del quadro a un dataset reale di criptovalute, dimostrando la capacità di valutare la robustezza delle conclusioni e interpretare i limiti di sensibilità.

Risultati: Caso di Studio sulle Criptovalute
Il quadro è stato applicato a un dataset di nove criptovalute valutate in base a capitalizzazione di mercato, volatilità e volume di scambi. L'esperimento ha combinato tre metodi di scalatura (Somma, Vettore, MinMax) con due metodi di aggregazione (WSM, TOPSIS), generando sei scenari metodologici.

• Alternative Robuste: BTC e BNB si sono classificate costantemente nelle prime due posizioni in tutte le configurazioni, mentre ADA e XRP sono rimaste fisse in fondo (classifiche 8 e 9), mostrando una Deviazione Assoluta Mediana (MAD) pari a zero.
• Alternative Sensibili: DOGE ha mostrato la massima sensibilità, con classifiche che oscillavano tra le posizioni 4 e 7 (MAD = 1.0). XLM e LINK hanno mostrato variabilità moderata (MAD = 0.5).
• Accordo Metodologico: L'analisi di correlazione di Spearman ha rivelato un alto accordo (0.983–1.000) tra i metodi di scalatura quando accoppiati con lo stesso aggregatore (ad esempio, Somma-WSM vs. Vettore-WSM). Le correlazioni più basse (0.850) si sono verificate tra WSM e TOPSIS quando accoppiati con la scalatura MinMax, identificando questo come la frontiera della sensibilità metodologica. Tuttavia, tutte le correlazioni hanno superato 0.850, suggerendo che la struttura fondamentale della classifica è rimasta relativamente stabile nonostante le variazioni metodologiche.

Significato e Affermazioni
Gli autori affermano che questo lavoro affronta la mancanza di quadri unificati per valutare sistematicamente la sensibilità alle trasformazioni di scalatura. Rendendo concreti i principi teorici dell'analisi di sensibilità in strumenti pratici e automatizzati, il quadro facilita l'esplorazione esaustiva dello spazio metodologico senza intervento manuale.

Il significato dell'approccio proposto risiede in:

• Trasparenza: Fornire una quantificazione esplicita dei limiti di sensibilità metodologica, essenziale per contesti che richiedono una giustificazione trasparente (ad esempio, investimenti strategici, politiche pubbliche, audit).
• Valutazione della Robustezza: Consentire ai decisori di distinguere tra alternative robuste rispetto alle scelte metodologiche (bassa MAD) e quelle altamente sensibili, prevenendo così selezioni errate vicino ai confini decisionali.
• Standardizzazione: Potenzialmente stabilire nuovi standard di trasparenza metodologica per la pratica MCDM contemporanea, spostandosi dalle selezioni ad-hoc verso una valutazione sistematica e basata sui dati.

Gli autori notano che, sebbene il quadro sia potente, la sua applicazione è più adatta a scenari ad alto impatto dove l'accuratezza decisionale è critica e le risorse computazionali consentono la parallelizzazione. Sconsigliano il suo utilizzo per decisioni operative immediate o quando lo spazio metodologico diventa eccessivamente ampio senza un campionamento intelligente. Lo studio riconosce che la sua validazione è attualmente limitata a un singolo dominio applicativo (criptovalute) e che la generalizzazione ad altri settori richiede ulteriore validazione empirica.