When Reproducible Revenue-Management Simulations Are Still Invalid: Evidence From a Continuation-Value Policy Audit

모든 비행기 좌석이 상하기 쉬운 과일인 세상을 상상해 보십시오. 일단 비행기가 이륙하면, 팔리지 않은 좌석은 영원히 사라집니다. 공중에서 썩어버리는 것입니다. 항공사들은 끊임없이 고도의 긴장감이 흐르는 퍼즐에 직면합니다. 지금 낮은 가격으로 예산 여행객에게 티켓을 팔 것인가, 아니면 나중에 두 배의 가격을 지불할 비즈니스 여행객을 위해 그 좌석을 비워둘 것인가? 이것이 항공 수익 관리(revenue management)의 핵심입니다. 이를 해결하기 위해 항공사는 빈 좌석의 미래 가치를 예측하려는 컴퓨터 프로그램을 사용합니다. 이 프로그램들은 수천 번의 시뮬레이션을 실행하며, 가상의 승객과 가상의 수요를 만들어내어 어떤 전략이 가장 많은 돈을 벌어다 줄지 테스트합니다. 만약 새로운 컴퓨터 프로그램이 기존 것보다 훨씬 더 많은 수익을 낸다고 주장한다면, 항공사는 이를 구매하기 위해 수백만 달러를 쓸 수도 있습니다. 하지만 만약 그 테스트 자체가 악의적인 의도가 아니라, 컴퓨터가 가상의 세계를 생성하는 방식에서의 미묘한 실수로 인해 조작된 것이라면 어떨까요?

연구자 자오루이 주(Zhaorui Zhu)의 최근 연구는 바로 이 위험성을 조사합니다. 이 논문은 새로운 가격 책정 전략을 EMSR-b라고 불리는 표준적이고 잘 알려진 방법과 비교한 특정 실험을 검토합니다. 이 새로운 전략은 '연속 가치(continuation value)'라는 화려한 용어를 사용하는데, 이는 비행 중에 빈 좌석이 얼마만큼의 가치를 가질지에 대한 추측을 의미합니다. 원래의 연구는 이 새로운 방법이 표준 방식만큼이나 우수하며, 어떤 면에서는 매우 유망하다고 주장했습니다. 그러나 주(Zhu)의 팀은 단순히 코드가 다시 실행되는지를 보기 위해서가 아니라, 그 비교가 실제로 공정했는지를 확인하기 위해 기초부터 실험을 감사하기로 했습니다. 그들은 컴퓨터가 원래의 숫자를 완벽하게 재현할 수는 있었지만, 그 숫자 뒤에 숨겨진 논리는 네 가지 측면에서 결함이 있었다는 것을 발견했습니다.

첫 번째 주요 문제는 타이밍과 확률의 문제였습니다. 원래의 실험에서 컴퓨터는 승객이 언제 나타날지 또는 얼마를 지불할지와 같은 일련의 무작위 사건들을 생성했습니다. 그리고 첫 번째 전략을 실행한 다음, 두 번째, 세 번째를 실행했는데, 이때 동일한 수의 무작위 숫자 스트림을 사용했습니다. 하지만 전략들이 차례대로 실행되었기 때문에, 그들은 실제로 동일한 사건의 순열에 직면하지 못했습니다. 그것은 마치 첫 번째 주자는 순풍을 받고, 두 번째 주자는 역풍을 맞으며, 세 번째 주자는 잔잔한 미풍을 맞는 경주와 같았습니다. 주자들이 달리는 동안 바람이 변했기 때문입니다. 연구진이 모든 전략이 정확히 동일한 시점에 동일한 무작위 사건의 순열에 직면하도록 보장하는 엄격한 방법을 사용하여 결과를 재평가했을 때, 결과는 바뀌었습니다. 경쟁력이 있어 보였던 새로운 전략은 표준 방식에 비해 거의 16%나 뒤처졌습니다. 새로운 접근 방식의 외견상 이점은 잘못된 타이밍이 만들어낸 환상이었습니다.

두 번째 문제는 컴퓨터가 미래를 바라보는 방식과 관련되었습니다. 새로운 전략은 예상 수요를 미리 살펴봄으로써 좌석의 가치를 추정하려고 시도했습니다. 그러나 코드는 결정이 내려지고 승객이 탑승할 가능성이 있는 시점이 아닌, 잘못된 순간에 이 미래 가치를 평가하고 있었습니다. 즉, 결정이 내려진 후 좌석이 가질 가치를 계산하는 대신, 어떤 행동을 취하기 전의 현재 상태를 기준으로 가치를 계산했습니다. 이는 마치 운전자가 어느 방향으로 회전하든 상관없이 동일한 목적지를 보여주는 지도를 보고 항해하려는 것과 같았습니다. 이 항(term)은 의사 결정 과정에 실제로 영향을 미치지 않았기 때문에, 해당 전략은 자신이 주장하는 것처럼 미래 정보를 실제로 사용하고 있지 않았던 것입니다.

세 번째 실패는 거대한 오류를 숨긴 통계적 속임수였습니다. 연구진이 컴퓨터의 예측이 현실과 얼마나 잘 일치하는지 조사할 때, 비행기가 이미 만석인 수많은 시나리오를 포함했습니다. 이런 경우 추가 좌석의 가치는 0이므로 오차도 0입니다. 이러한 '빈 좌석' 케이스를 평균에 포함함으로써, 컴퓨터는 자신의 예측 정확도가 실제보다 훨씬 더 좋아 보이게 만들었습니다. 연구진이 이 '가치가 0인' 케이스들을 제거하고 실제로 결정이 중요했던 순간들만을 살펴보았을 때, 오차율은 훨씬 높았습니다. 모델은 결정적인 순간에 좌석의 가치를 지속적으로 과소평가하고 있었으며, 원래의 보고서는 쉬운 '빈 좌석' 케이스들을 포함함으로써 이 결함을 은폐했습니다.

가장 치명적인 발견은 일반화 능력, 즉 한 상황에서 배운 교훈을 완전히 새로운 상황에 적용하는 능력에 대한 테스트에서 나왔습니다. 원래의 연구는 특정 비행 시나리오 세트에 대해 컴퓨터 모델을 학습시킨 다음, 그와 약간 다른 동일한 시나리오 세트에서 테스트했습니다. 모델은 잘 작동했습니다. 하지만 주(Zs)의 팀은 테스트를 완전히 바꾸었습니다. 모델을 한 그룹의 비행에 대해 학습시킨 다음, 모델이 한 번도 본 적 없는 완전히 다른 그룹의 비행에 대해 테스트했습니다. 결과는 완전한 붕괴였습니다. 모델의 예측은 단순히 평균값을 추측하는 것보다 더 나빠졌습니다. 모델은 수요가 어떻게 작동하는지에 대한 실질적인 규칙을 전혀 배우지 못했습니다. 단지 훈련된 비행들의 특정 패턴을 암기했을 뿐이었습니다. 심지어 연구진이 이 고장 난 모델을 사용하여 가격 결정을 내리려고 시도했을 때도, 모델은 표준 방식보다 성능이 떨어져 잠재적 수익의 약 3%를 손실했습니다.

이 연구는 컴퓨터 프로그램이 동일하고 재현 가능한 숫자를 생성할 수 있음에도 불구하고 완전히 무효할 수 있다는 결론을 내립니다. 원래의 실험은 기계적으로는 재현 가능했습니다. 코드는 실행되었고 동일한 답을 내놓았지만, 그 비교는 과학적으로 타당하지 않았습니다. 새로운 전략은 기존의 전략을 이기지 못했습니다. 사실, 무작위성이 올바르게 정렬되었을 때 새로운 전략은 현저히 더 나빴습니다. 연구진은 이것이 단 하나의 코드에 대한 문제가 아니라, 업계 전체에 대한 경고라고 주장합니다. 항공사나 소프트웨어 업체가 새로운 시스템의 성능을 증명하기 위해 시뮬레이션 결과를 제시할 때, 그들은 반드시 모든 전략이 정확히 동일한 무작위 사건에 직면하도록 해야 하며, 미래 예측이 올바른 순간에 계산되는지, 그리고 시스템이 한 번도 본 적 없는 새로운 시나리오에서도 작동하는지에 대한 증명을 해야 합니다.

이러한 종류의 실수를 방지하기 위해, 이 논문은 이러한 시스템을 평가하는 모든 이들을 위한 10단계 체크리스트를 제안합니다. 이 프로토콜은 연구자들이 무작위 사건을 고정하여 모든 테스트에서 동일하게 만들 것과, 코드가 실제로 올바른 정보에 기반하여 결정을 내리고 있는지 확인할 것, 그리고 기존 데이터를 단순히 재테스트하는 것이 아니라 완전히 새로운 데이터 세트에서 결과를 보고할 것을 요구합니다. 또한 항공사가 새로운 가격 엔진에 돈을 쓰기 전에, 그들이 실제 세상에서 어떻게 작동하는지에 대한 증거와 함께 가공되지 않은 원시 코드와 데이터를 요구해야 한다고 제안합니다. 목표는 단순히 컴퓨터가 결과를 반복할 수 있는지 확인하는 것을 넘어, 그 결과가 실제 세상에서 시스템이 어떻게 작동할지에 대한 진실을 말하고 있는지 확인하는 것입니다. 모든 팔리지 않은 좌석이 영원히 사라지는 고도의 긴장감이 흐르는 항공 수익의 게임에서, 좋은 시뮬레이션과 나쁜 시뮬레이션의 차이는 단순한 숫자가 아니라, 이익과 손실의 차이입니다.