Addressing Methodological Sensitivity in MCDM with a Systematic Pipeline Approach to Data Transformation Sensitivity Analysis

Este artículo presenta una pipeline sistemática y automatizada que aprovecha Scikit-Criteria para evaluar y cuantificar la sensibilidad de las clasificaciones de la toma de decisiones multicriterio ante diferentes técnicas de normalización, abordando la falta actual de robustez en la selección de métodos.

Lo esencial

Imagina que estás intentando decidir cuál de tus nueve amigos es el "mejor" en una habilidad específica, como cocinar. Tienes una lista de criterios: velocidad, sabor, presentación y costo. Para determinar al ganador, necesitas un sistema de puntuación.

En el mundo de la toma de decisiones complejas (llamado MCDM o Toma de Decisiones Multicriterio), esto es exactamente lo que sucede, pero con cosas como criptomonedas, estrategias empresariales o políticas públicas en lugar de amigos.

Aquí está el problema que aborda el artículo, explicado de forma sencilla:

El problema de la "receta"

Cuando calculas una puntuación, debes "normalizar" los datos. Piensa en esto como convertir todos tus ingredientes a la misma unidad. ¿Mides la harina en tazas o en gramos? ¿Mides el tiempo en minutos o en segundos?

El artículo señala que la elección de la "unidad" (el método de normalización) cambia al ganador.

• Si usas la "Receta A", tu amigo Bob podría quedar en 1.º lugar.
• Si usas la "Receta B", Bob podría caer al 5.º lugar.

Los autores descubrieron que, en escenarios del mundo real, cambiar la receta puede invertir el ranking de del 20% al 40% de los competidores. La parte alarmante es que la mayoría de la gente simplemente elige una receta porque es su favorita, porque es la que tiene su software por defecto o porque la ha visto antes, sin verificar si es la correcta.

La solución: La cocina de "todas las recetas"

Los autores construyeron una nueva herramienta llamada SKCCombinatorialPipeline.

Imagina un robot de cocina súper eficiente. En lugar de que tú elijas una receta y cocines un solo plato, este robot:

1. Toma todas las formas posibles de medir tus ingredientes (normalización).
2. Toma todas las formas posibles de combinar esas mediciones (agregación).
3. Cocina automáticamente cada combinación al mismo tiempo.

Si tienes 3 formas de medir y 2 formas de combinar, el robot cocina instantáneamente 6 platos diferentes y te sirve todos.

Cómo funciona (el flujo de trabajo)

La herramienta utiliza un enfoque de "flujo de trabajo" (pipeline), que es como una línea de ensamblaje:

1. El filtro: Limpia los datos (por ejemplo, eliminando a los amigos que no se presentaron).
2. La escala: Convierte los datos (por ejemplo, transformando "minutos" en "puntuaciones").
3. El juez: Calcula el ranking final.

La magia es que el robot prueba cada combinación posible de estos pasos. No solo adivina; explora todo el "menú" de posibilidades.

La prueba de manejo: Criptomonedas

Para demostrar que funciona, los autores probaron este robot en una lista de 9 criptomonedas (como Bitcoin, Ethereum y Dogecoin). Preguntaron: "¿Cuál es la mejor inversión?".

Ejecutaron el robot con 6 "recetas" diferentes (combinaciones de métodos de medición y puntuación). Esto es lo que encontraron:

• Las estrellas: Bitcoin y Binance Coin estuvieron siempre en los 2 primeros lugares, sin importar qué receta se usara. Son robustas.
• Los perdedores consistentes: Dos otras monedas estuvieron siempre en la parte inferior. Son inestables en el mal sentido.
• Los camaleones: Algunas monedas, como Dogecoin, saltaron salvajemente. Dependiendo de la receta, Dogecoin podría quedar en 4.º o en 7.º lugar. Esto nos dice que el ranking de Dogecoin es altamente sensible a cómo hacemos las matemáticas.

Lo que esto nos dice

La herramienta no solo te da una respuesta; te ofrece un mapa de confianza.

• Si el robot dice: "No importa cómo lo cortemos, Bitcoin es el n.º 1", puedes estar muy seguro.
• Si el robot dice: "El ganador cambia dependiendo de las matemáticas", sabes que debes tener mucho cuidado. No puedes simplemente elegir un método e ignorar el resto.

El "límite de velocidad"

El artículo señala que hacer todos estos cálculos a la vez puede ser pesado para la computadora, como intentar hornear 1.000 pasteles a la vez. Sin embargo, dado que el robot puede usar muchos procesadores (como tener 1.000 panaderos trabajando en paralelo), puede manejar esto rápidamente para la mayoría de los problemas estándar.

La conclusión

Este artículo presenta una forma de dejar de adivinar qué "receta" es mejor para tus decisiones. En lugar de elegir un método y esperar lo mejor, puedes ejecutar una prueba sistemática que te muestra:

1. Qué resultados son estables (apuestas seguras).
2. Qué resultados son inestables (zonas de peligro).
3. Exactamente cuánto depende tu decisión final de las matemáticas que elegiste.

Convierte la toma de decisiones de un juego de "confía en mí" en un proceso transparente y basado en datos donde puedes ver exactamente qué tan sensibles son tus resultados a las reglas bajo las cuales juegas.

Resumen técnico

Resumen Técnico: Abordaje de la Sensibilidad Metodológica en la Toma de Decisiones Multicriterio con un Enfoque de Pipeline Sistemático

Planteamiento del Problema
Los métodos de Toma de Decisiones Multicriterio (MCDM) adolecen de una limitación fundamental: las clasificaciones finales de las alternativas dependen críticamente de las elecciones metodológicas, particularmente de la selección de técnicas de normalización (escalado) de datos. La evidencia empírica indica que variar los métodos de normalización puede alterar entre un 20 % y un 40 % de las clasificaciones finales en aplicaciones del mundo real. Las prácticas actuales se caracterizan por selecciones ad hoc basadas en precedentes, preferencias o disponibilidad de software, careciendo de una evaluación sistemática de la robustez. La literatura existente está fragmentada, a menudo limitada a comparaciones por pares, y no proporciona marcos unificados para evaluar la sensibilidad en todo el paisaje metodológico más amplio. Además, las herramientas de software estándar suelen requerir que los usuarios especifiquen un único procedimiento de normalización, lo que impide la exploración sistemática del espacio metodológico y oculta la variabilidad inherente introducida por estas elecciones.

Metodología
Los autores proponen un marco sistemático para la exploración automatizada del espacio de transformación MCDM, construido sobre la infraestructura existente de Scikit-Criteria. El núcleo de este enfoque es el SKCCombinatorialPipeline, que implementa una estrategia combinatoria inspirada en técnicas de Búsqueda en Rejilla (Grid Search) del aprendizaje automático (por ejemplo, Scikit-Learn).

1. Generación Combinatoria: El marco genera el producto cartesiano de todas las combinaciones metodológicas posibles. Si un pipeline consta de $k$ pasos, donde el paso $i$ tiene $|S_i|$ métodos alternativos, el sistema construye automáticamente todas las $\prod |S_i|$ configuraciones posibles.
2. Arquitectura del Pipeline: El sistema utiliza componentes modulares que incluyen:
   • Transformadores: Pasos de preprocesamiento como negación (para criterios de minimización), filtrado (satisficing o no dominado) y escalado (Suma, Vector, MinMax).
   • Agregadores: Métodos de evaluación final como el Modelo de Suma Ponderada (WSM) y TOPSIS.
3. Ejecución Paralela: Para abordar la complejidad computacional, la evaluación de pipelines independientes se ejecuta en paralelo. La complejidad temporal se modela como $T_{paralelo} = O(\frac{S \cdot k \cdot c}{P})$, donde $S$ es el número total de rutas, $c$ es el costo por alternativa y $P$ es el número de procesadores. Esto permite una ejecución "embarazosamente paralela" con una aceleración casi lineal.
4. Análisis de Sensibilidad: El marco aprovecha el módulo RanksComparator para analizar las clasificaciones generadas. Calcula:
   • Correlaciones: Correlaciones de Spearman, Kendall y Pearson para medir el acuerdo monótono.
   • Métricas de Regresión: Coeficiente de determinación ($R^2$) para evaluar la capacidad predictiva entre clasificaciones.
   • Métricas de Distancia: 20 medidas de distancia por pares (incluyendo Hamming, Euclídea y Manhattan) para cuantificar las diferencias geométricas.
   • Resúmenes Estadísticos: Mediana y Desviación Absoluta Mediana (MAD) para categorizar las alternativas basándose en la estabilidad de la clasificación.

Contribuciones Clave
El artículo presenta tres contribuciones principales:

1. Marco Algorítmico: El SKCCombinatorialPipeline permite la exploración automatizada y exhaustiva del espacio de transformación MCDM a través del producto cartesiano de componentes modulares.
2. Análisis de Sensibilidad Multimétrico: Un enfoque integral que proporciona correlaciones, covarianzas, puntuaciones $R^2$ y medidas basadas en distancia entre las clasificaciones generadas por diferentes configuraciones metodológicas, cuantificando explícitamente los límites de sensibilidad metodológica.
3. Validación Empírica: Aplicación del marco a un conjunto de datos real de criptomonedas, demostrando la capacidad de evaluar la robustez de las conclusiones e interpretar los límites de sensibilidad.

Resultados: Estudio de Caso de Criptomonedas
El marco se aplicó a un conjunto de datos de nueve criptomonedas evaluadas en capitalización de mercado, volatilidad y volumen de negociación. El experimento combinó tres métodos de escalado (Suma, Vector, MinMax) con dos métodos de agregación (WSM, TOPSIS), generando seis escenarios metodológicos.

• Alternativas Robustas: BTC y BNB se clasificaron consistentemente en las dos primeras posiciones en todas las configuraciones, mientras que ADA y XRP permanecieron fijos en la parte inferior (ranks 8 y 9), mostrando una Desviación Absoluta Mediana (MAD) de cero.
• Alternativas Sensibles: DOGE exhibió la mayor sensibilidad, con clasificaciones que fluctuaron entre las posiciones 4 y 7 (MAD = 1.0). XLM y LINK mostraron variabilidad moderada (MAD = 0.5).
• Acuerdo Metodológico: El análisis de correlación de Spearman reveló un alto acuerdo (0.983–1.000) entre los métodos de escalado cuando se emparejaban con el mismo agregador (por ejemplo, Suma-WSM vs. Vector-WSM). Las correlaciones más bajas (0.850) ocurrieron entre WSM y TOPSIS cuando se emparejaban con escalado MinMax, identificando esto como la frontera de la sensibilidad metodológica. Sin embargo, todas las correlaciones superaron 0.850, lo que sugiere que la estructura fundamental de la clasificación se mantuvo relativamente estable a pesar de las variaciones metodológicas.

Significado y Afirmaciones
Los autores afirman que este trabajo aborda la falta de marcos unificados para evaluar sistemáticamente la sensibilidad a las transformaciones de escalado. Al materializar los principios teóricos del análisis de sensibilidad en herramientas prácticas y automatizadas, el marco facilita la exploración exhaustiva del espacio metodológico sin intervención manual.

El significado del enfoque propuesto radica en:

• Transparencia: Proporcionar una cuantificación explícita de los límites de sensibilidad metodológica, lo cual es esencial para contextos que requieren justificación transparente (por ejemplo, inversiones estratégicas, políticas públicas, auditorías).
• Evaluación de Robustez: Permitir a los tomadores de decisiones distinguir entre alternativas que son robustas a las elecciones metodológicas (bajo MAD) y aquellas que son altamente sensibles, evitando así selecciones erróneas cerca de los límites de decisión.
• Estandarización: Potencialmente establecer nuevos estándares de transparencia metodológica para la práctica contemporánea de MCDM, alejándose de las selecciones ad hoc hacia una evaluación sistemática y basada en datos.

Los autores señalan que, aunque el marco es potente, su aplicación es más adecuada para escenarios de alto impacto donde la precisión de la decisión es crítica y los recursos computacionales permiten la paralelización. Advierten contra su uso para decisiones operativas inmediatas o cuando el espacio metodológico se vuelve excesivamente grande sin muestreo inteligente. El estudio reconoce que su validación se limita actualmente a un único dominio de aplicación (criptomonedas) y que la generalización a otros sectores requiere una validación empírica adicional.