Addressing Methodological Sensitivity in MCDM with a Systematic Pipeline Approach to Data Transformation Sensitivity Analysis

본 논문은 방법 선택의 현재 강건성 부재를 해결하기 위해 다양한 정규화 기법에 대한 다기준 의사결정 순위의 민감도를 평가하고 정량화하기 위해 Scikit-Criteria를 활용하는 체계적이고 자동화된 파이프라인을 제시한다.

핵심

9 명의 친구 중 특정 기술 (예: 요리) 에서 가장 뛰어난 친구를 결정하려 한다고 상상해 보세요. 속도, 맛, 외관, 비용과 같은 기준 목록이 있습니다. 승자를 가리기 위해서는 점수 체계가 필요합니다.

복잡한 의사결정 (MCDM 또는 다기준 의사결정이라고 함) 의 세계에서는 친구 대신 암호화폐, 비즈니스 전략, 또는 공공 정책과 같은 것들을 대상으로 정확히 같은 일이 발생합니다.

이 논문이 다루는 문제를 간단히 설명하면 다음과 같습니다:

"레시피" 문제

점수를 계산할 때 데이터를 "정규화"해야 합니다. 이는 모든 재료를 동일한 단위로 변환하는 것과 같습니다. 밀가루를 컵으로 재나요, 그램으로 재나요? 시간을 분으로 재나요, 초로 재나요?

이 논문은 "단위" (정규화 방법) 의 선택이 승자를 바꾼다고 지적합니다.

• "레시피 A"를 사용하면 친구 밥이 1 위를 차지할 수 있습니다.
• "레시피 B"를 사용하면 밥이 5 위로 떨어질 수 있습니다.

저자들은 실제 시나리오에서 레시피를 변경하면 경쟁자의 20% 에서 40% 순위가 뒤바뀔 수 있음을 발견했습니다. 무서운 점은 대부분의 사람들이 그것이 올바른 것인지 확인하지 않고 단순히 자신의 취향, 소프트웨어의 기본 설정, 또는 이전에 본 것을 이유로 레시피를 선택한다는 것입니다.

해결책: "모든 레시피" 주방

저자들은 SKCCombinatorialPipeline이라는 새로운 도구를 개발했습니다.

초효율적인 주방 로봇을 상상해 보세요. 당신이 하나의 레시피를 선택해 한 가지 요리를 하는 대신, 이 로봇은 다음과 같이 작동합니다:

1. 재료를 측정하는 모든 가능한 방법 (정규화) 을 취합니다.
2. 이러한 측정치를 결합하는 모든 가능한 방법 (집계) 을 취합니다.
3. 모든 단일 조합을 자동으로 동시에 요리합니다.

측정 방법이 3 가지이고 결합 방법이 2 가지라면, 로봇은 즉시 6 가지 다른 요리를 만들어 모두 당신에게 제공합니다.

작동 방식 (파이프라인)

이 도구는 조립 라인과 같은 "파이프라인" 방식을 사용합니다:

1. 필터: 데이터를 정제합니다 (예: 참석하지 않은 친구 제거).
2. 척도: 데이터를 변환합니다 (예: "분"을 "점수"로 변경).
3. 심판: 최종 순위를 계산합니다.

마법은 로봇이 이러한 단계들의 모든 가능한 조합을 시도한다는 점에 있습니다. 단순히 추측하는 것이 아니라 가능성의 전체 "메뉴"를 탐색합니다.

테스트 주행: 암호화폐

작동이 입증되도록 저자들은 비트코인, 이더리움, 도지코인 등 9 가지 암호화폐 목록으로 이 로봇을 테스트했습니다. 질문은 "어떤 것이 최고의 투자인가?"였습니다.

그들은 측정 및 점수 방법의 조합인 6 가지 다른 "레시피"로 로봇을 실행했습니다. 발견한 바는 다음과 같습니다:

• 록스타: 비트코인과 바이낸스 코인은 어떤 레시피를 사용하든 항상 상위 2 위 안에 들었습니다. 이들은 **강건 (robust)**합니다.
• 일관된 패자: 두 가지 다른 코인은 항상 최하위였습니다. 이들은 나쁜 의미에서 불안정합니다.
• 카멜레온: 도지코인과 같은 일부 코인은 급격히 움직였습니다. 레시피에 따라 도지코인은 4 위나 7 위가 될 수 있었습니다. 이는 도지코인의 순위가 수학적 계산 방식에 매우 민감함을 보여줍니다.

이것이 우리에게 알려주는 것

이 도구는 단순히 하나의 답을 주는 것이 아니라 신뢰도 지도를 제공합니다.

• 로봇이 "어떻게 썰어내도 비트코인이 1 위다"라고 말하면, 당신은 매우 확신할 수 있습니다.
• 로봇이 "승자는 수학에 따라 달라진다"라고 말하면, 매우 신중해야 함을 알 수 있습니다. 하나의 방법만 선택하고 나머지는 무시할 수 없습니다.

"속도 제한"

논문은 이러한 모든 계산을 한 번에 수행하는 것은 컴퓨터에 무거울 수 있다고 지적합니다. 마치 1,000 개의 케이크를 한 번에 굽는 것과 같습니다. 그러나 로봇은 많은 프로세서를 사용할 수 있으므로 (1,000 명의 제빵사가 병렬로 일하는 것과 같음), 대부분의 표준 문제에 대해 이를 빠르게 처리할 수 있습니다.

결론

이 논문은 의사결정에 어떤 "레시피"가 가장 좋은지 추측하는 것을 멈추게 하는 방법을 제시합니다. 하나의 방법을 선택하고 최선의 결과를 바라는 대신, 다음을 보여주는 체계적인 테스트를 실행할 수 있습니다:

1. 어떤 결과가 안정적인지 (안전한 베팅).
2. 어떤 결과가 흔들리는지 (위험 구역).
3. 최종 결정이 선택한 수학에 정확히 얼마나 의존하는지.

이는 의사결정을 "나를 믿어라"라는 게임에서, 당신이 따르는 규칙에 따라 결과가 얼마나 민감한지 정확히 볼 수 있는 투명하고 데이터 기반의 과정으로 바꿉니다.

기술 요약

기술적 요약: 체계적 파이프라인 접근법을 통한 MCDM 의 방법론적 민감성 대응

문제 제기
다기준 의사결정 (MCDM) 방법은 근본적인 한계를 겪고 있습니다: 대안의 최종 순위는 방법론적 선택, 특히 데이터 정규화 (스케일링) 기법의 선택에 결정적으로 의존합니다. 실증적 증거는 다양한 정규화 방법이 실제 응용 분야에서 최종 순위의 20~40% 를 변경할 수 있음을 보여줍니다. 현재의 관행은 선례, 선호도, 또는 소프트웨어 가용성에 기반한 임의 (ad-hoc) 선택으로 특징지어지며, 체계적인 견고성 평가를 결여하고 있습니다. 기존 문헌은 단편적이며, 종종 쌍별 비교에 국한되어 더 넓은 방법론적 지형 전반에 걸친 민감성을 평가하기 위한 통합된 프레임워크를 제공하지 못합니다. 또한, 표준 소프트웨어 도구는 일반적으로 사용자가 단일 정규화 절차를 지정하도록 요구하여 방법론적 공간의 체계적 탐색을 방해하고 이러한 선택으로 인해 발생하는 고유한 변이성을 가립니다.

방법론
저자들은 기존 Scikit-Criteria 인프라를 기반으로 MCDM 변환 공간의 자동화된 탐색을 위한 체계적 프레임워크를 제안합니다. 이 접근법의 핵심은 머신러닝 (예: Scikit-Learn) 의 그리드 서치 (Grid Search) 기법에서 영감을 받은 SKCCombinatorialPipeline입니다.

1. 조합 생성: 프레임워크는 모든 가능한 방법론적 조합의 데카르트 곱을 생성합니다. 파이프라인이 $k$단계로 구성되고, $i$단계에 $|S_i|$개의 대체 방법이 있는 경우, 시스템은 자동으로 모든 $\prod |S_i|$개의 가능한 구성을 구축합니다.
2. 파이프라인 아키텍처: 시스템은 다음과 같은 모듈식 구성 요소를 활용합니다:
   • 변환기 (Transformers): 최소화 기준을 위한 부호 반전 (negation), 만족 또는 비우세 필터링 (filtering), 그리고 합계 (Sum), 벡터 (Vector), MinMax 스케일링과 같은 전처리 단계.
   • 집계기 (Aggregators): 가중합 모델 (WSM) 과 TOPSIS 와 같은 최종 평가 방법.
3. 병렬 실행: 계산 복잡성을 해결하기 위해 독립적인 파이프라인의 평가는 병렬로 실행됩니다. 시간 복잡도는 $T_{parallel} = O(\frac{S \cdot k \cdot c}{P})$로 모델링되며, 여기서 $S$는 총 경로 수, $c$는 대안당 비용, $P$는 프로세서 수입니다. 이를 통해 거의 선형적인 속도 향상으로 "embarrassingly parallel" 실행이 가능해집니다.
4. 민감도 분석: 프레임워크는 생성된 순위를 분석하기 위해 RanksComparator 모듈을 활용합니다. 이는 다음을 계산합니다:
   • 상관관계: 단조적 합의를 측정하기 위한 스피어만 (Spearman), 켄달 (Kendall), 피어슨 (Pearson) 상관관계.
   • 회귀 지표: 순위 간의 예측 능력을 평가하기 위한 결정 계수 ($R^2$).
   • 거리 지표: 기하학적 차이를 정량화하기 위한 20 가지 쌍별 거리 측정치 (햄밍, 유클리드, 맨해튼 포함).
   • 통계적 요약: 순위 안정성에 기반한 대안 분류를 위한 중앙값 및 중앙값 절대 편차 (MAD).

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

1. 알고리즘적 프레임워크: SKCCombinatorialPipeline은 모듈식 구성 요소의 데카르트 곱을 통해 MCDM 변환 공간의 자동화된 포괄적 탐색을 가능하게 합니다.
2. 다중 지표 민감도 분석: 서로 다른 방법론적 구성에서 생성된 순위 간의 상관관계, 공분산, $R^2$ 점수, 그리고 거리 기반 측정을 제공하는 포괄적 접근법으로, 방법론적 민감성 한계를 명시적으로 정량화합니다.
3. 실증적 검증: 암호화폐 데이터셋에 대한 프레임워크 적용을 통해 결론의 견고성을 평가하고 민감도 한계를 해석하는 능력을 입증합니다.

결과: 암호화폐 사례 연구
프레임워크는 시가총액, 변동성, 거래량을 기준으로 평가된 9 개 암호화폐 데이터셋에 적용되었습니다. 실험은 세 가지 스케일링 방법 (합계, 벡터, MinMax) 과 두 가지 집계 방법 (WSM, TOPSIS) 을 결합하여 여섯 가지 방법론적 시나리오를 생성했습니다.

• 견고한 대안: BTC와 BNB는 모든 구성에서 일관되게 상위 두 자리로 순위 매겨졌으며, ADA와 XRP는 하단 (8 위와 9 위) 에 고정되어 중앙값 절대 편차 (MAD) 가 0 을 보였습니다.
• 민감한 대안: DOGE는 순위가 4 위와 7 위 사이에서 변동하며 (MAD = 1.0) 가장 높은 민감성을 보였습니다. XLM과 LINK는 중간 정도의 변이성 (MAD = 0.5) 을 나타냈습니다.
• 방법론적 합의: 스피어만 상관관계 분석은 동일한 집계기와 짝을 이룰 때 (예: 합계-WSM 대 벡터-WSM) 스케일링 방법 간에 높은 합의 (0.983~1.000) 를 보여주었습니다. 가장 낮은 상관관계 (0.850) 는 MinMax 스케일링과 짝을 이룬 WSM 과 TOPSIS 간에 발생하여 이를 방법론적 민감성의 전선으로 식별했습니다. 그러나 모든 상관관계가 0.850 을 초과하여 방법론적 변이에도 불구하고 근본적인 순위 구조가 상대적으로 안정적으로 유지되었음을 시사합니다.

의의 및 주장
저자들은 이 작업이 스케일링 변환에 대한 민감성을 체계적으로 평가하기 위한 통합 프레임워크의 부재를 해소한다고 주장합니다. 민감도 분석의 이론적 원칙을 실용적이고 자동화된 도구로 구체화함으로써, 이 프레임워크는 수동 개입 없이 방법론적 공간의 포괄적 탐색을 용이하게 합니다.

제안된 접근법의 의의는 다음과 같습니다:

• 투명성: 전략적 투자, 공공 정책, 감사 등 투명한 정당화가 필요한 맥락에 필수적인 방법론적 민감성 한계의 명시적 정량화를 제공합니다.
• 견고성 평가: 의사결정자가 방법론적 선택에 견고한 대안 (낮은 MAD) 과 매우 민감한 대안을 구분할 수 있게 하여, 의사결정 경계 근처의 오류 선택을 방지합니다.
• 표준화: 임의 (ad-hoc) 선택에서 체계적이고 데이터 기반의 평가로 전환함으로써 현대 MCDM 관행에 대한 방법론적 투명성의 새로운 표준을 확립할 잠재력을 가집니다.

저자들은 프레임워크가 강력하지만, 그 적용은 의사결정 정확도가 중요하고 병렬화를 위한 컴퓨팅 자원이 허용되는 고영향 시나리오에 가장 적합하다고 언급합니다. 즉각적인 운영 의사결정이나 지능형 샘플링 없이 방법론적 공간이 과도하게 커지는 경우에는 사용을 경계합니다. 본 연구는 검증이 현재 단일 응용 분야 (암호화폐) 로 제한되어 있으며, 다른 분야로의 일반화는 추가적인 실증적 검증을 필요로 한다고 인정합니다.