A totally non-compensatory multi-criteria method for evaluating and improving level of satisfaction (LoS): proposal and application on Airport Terminal of Passengers

학교 급식의 성적을 매긴다고 상상해 보세요. 예전 방식대로라면 수학적 평균을 낼 수도 있을 것입니다. 만약 피자는 10/10점인데 샐러드가 1/10점이라면, 최종 점수는 그 평균인 "5"가 됩니다. 이것을 보상적(compensatory) 방법이라고 부르는데, 아주 좋은 것이 아주 형편없는 것을 "보상"해 주는 방식입니다. 하지만 현실에서는 이것이 항상 옳게 느껴지지는 않습니다. 음식이 판지 맛이 난다면, 접시가 아무리 예뻐도 그 식사는 여전히 재앙일 것입니다. 이것이 바로 우리가 여러 가지 다양한 요소를 가중치 있게 고려하여 어려운 결정을 내리도록 돕는 과학의 한 분야인 **다기준 의사결정 분석(MCDA)**의 핵심입니다. 보통 이러한 도구들은 모든 사람이 동일한 요소 리스트(예: 맛, 가격, 속도)를 보고, 한 영역에서의 높은 점수가 다른 영역의 낮은 점수를 메울 수 있다고 가정합니다. 하지만 만약 사람마다 우선순위가 완전히 다르다면 어떻게 될까요? 어떤 사람은 매장의 음악에 신경을 쓰는 반면, 다른 사람은 오직 계산 속도에만 신경을 쓴다면 어떨까요? 그리고 만약 한 영역의 높은 점수가 다른 영역의 실패를 가려서는 안 된다면 어떻게 될까요? 이 논문은 바로 그 복잡하고 인간적인 현실을 다룹니다.

저자인 필리페 메데이로스 다 로차(Phelipe Medeiros da Rocha)와 헬데르 고메스 코스타(Helder Gomes Costa)는 거대하고 혼란스러운 퍼즐과 같은 문제에 도전하고 있습니다. 즉, 사람들이 서로 다른 규칙을 사용하고 있을 때, 서비스에 대한 만족도를 어떻게 측정할 것인가 하는 문제입니다. 그들은 이 새로운 방법을 브라질의 15개 주요 국제공항에 적용하여 19,240명의 승객으로부터 얻은 데이터를 분석했습니다. 모든 승객에게 "화장실 청결도"나 "보안 검색 속도"와 같은 똑같은 37가지 항목을 평가하도록 강요하는 대신, 각 승객이 자신이 중요하게 생각하는 특정 항목을 선택할 수 있도록 했습니다. 어떤 사람은 "와이파이"와 "음식 가격"을 평가할 수도 있고, 또 다른 사람은 "보안 요원의 친절함"과 "수하물 수취대 속도"만을 평가할 수도 있습니다.

여기서 핵심은, 연구진이 "완전 비보상적(totally non-compensatory)" 접근 방식을 사용했다는 점입니다. 클럽 앞의 엄격한 가드(bouncer)를 떠올려 보세요. 티켓이 없다면(한 기준에서 낮은 점수를 받았다면), 아주 멋진 모자를 쓰고 있다고 해서 입장을 허용하지 않습니다. 기존의 수학 모델에서는 멋진 모자가 없는 티켓을 "보상"할 수 있었습니다. 하지만 이 새로운 모델에서는, 공항이 승객의 특정 기준점에서 실패한다면, 다른 모든 것이 아무리 훌륭하더라도 그 승객의 경험은 '불량'으로 기록됩니다. 이는 평균치가 무언가 실제로 고장 났다는 사실을 가리는 것을 방지합니다.

연구팀은 이 방대하고 무질서한 데이터셋을 ELECTRE TRI ME라는 특별한 알고리즘에 입력했습니다. 이것은 단순한 계산기가 아니라, 공항이 서로 다른 만족도 범주(예: "매우 좋음", "좋음", "보통", "나쁨", "매우 나쁨")에 얼마나 잘 부합하는지에 대한 "신뢰성(credibility)"을 분석하는 분류 기계입니다. 승객들이 서로 다른 기준을 사용했기 때문에, 이 알고리즘은 가짜 "평균" 수치로 빈틈을 채우지 않고도 그 간극을 처리할 수 있을 만큼 똑똑해야 했습니다.

결과는 매우 흥-미로웠습니다. 15개의 공항은 단순히 하나의 점수를 받은 것이 아니라, 얼마나 일관되게 성과를 냈는지에 따라 네 개의 뚜렷한 그룹으로 분류되었습니다.

• A 그룹(최상위 계층)에는 비라코푸스(VCP) 및 아폰수 페나(CWB) 공항 등이 포함되었습니다. 이 공항들은 전반적으로 모든 면에서 "매우 좋음" 수준이었습니다.
• D 그룹(최하위 계층)에는 레시피(REC), 살바도르(SSA), 벨렝(BEL) 공항 등이 포함되었습니다. 이 공항들은 성과 면에서 상당한 격차를 보였습니다.

연구는 단순히 순위를 매기는 데 그치지 않고, 하위 그룹들이 왜 어려움을 겪고 있는지 알아내는 탐정 역할을 수행했습니다. 그들은 대부분의 공항이 "보안 요원의 친절함"이나 "대기 시간" 등에서는 훌륭한 성과를 내고 있는 반면, 거의 모든 공항이 공통적으로 두 가지 문제, 즉 음식 가격과 쇼핑 가격에서 어려움을 겪고 있다는 것을 발견했습니다. 모든 그룹에 걸쳐, 승객들은 식당과 상점의 "가격 대비 가치"를 "보통"(5점 만점에 3점)으로 평가했습니다.

하위 그룹(D 그룹)에 속한 공항들을 위해, 이 논문은 이들이 상위 단계로 올라가기 위해 집중해야 할 구체적인 "결정적 요소(deal-breakers)"를 제시합니다. 여기에는 방향 안내 및 표지판, 항공 정보 화면, 인터넷 접속, 주차 가능 여부 등이 포함되었습니다. 저자들은 만약 D 그룹 공항들이 이러한 특정 문제들을 해결한다면, 더 높은 만족도 단계로 도약할 수 있다고 주장합니다. 그러나 상위 계층 공항들의 경우, 이미 대부분의 영역에서 최고점을 기록하고 있으므로 현재의 높은 수준을 "유지"하는 것이 과제입니다.

이 논문은 이 방식이 새로운 관점이라는 점을 주의 깊게 명시하고 있습니다. 이 방식은 만족도를 파악하기 위해 단순히 점수를 평균 내는 것이 불가능하다는 점을 명시적으로 규정합니다. 또한, 이들이 사용한 데이터가 승객들에게 각 항목이 자신에게 얼마나 "중요한지" 묻지 않았다는 점(모든 승객의 기준이 동일하게 중요하게 취급됨)을 한계점으로 인정합니다. 그럼에도 불구하고, 저자들은 이 방법이 강력한 새로운 도구라고 제안합니다. 이 방법은 강한 연결 고리가 약한 연결 고치를 가리지 않도록 하면서, 서비스 체인의 "약한 고리"를 찾아내어 공항 운영자들이 승객 경험을 실제로 개선할 수 있는 더 명확한 경로를 제공합니다. 이는 "평균 점수가 얼마인가?"라고 묻는 것에서 "우리가 어디에서 실패했는가, 그리고 누가 그것을 인지했는가?"라고 묻는 것으로의 전환입니다.