When Reproducible Revenue-Management Simulations Are Still Invalid: Evidence From a Continuation-Value Policy Audit

एक ऐसी दुनिया की कल्पना करें जहाँ हवाई जहाज की हर सीट एक नाशवान फल है। एक बार जब विमान उड़ान भर लेता है, तो बिका हुआ न होने वाला कोई भी स्थान हमेशा के लिए चला जाता है, जो हवा में ही सड़ जाता है। एयरलाइंस के सामने एक निरंतर, उच्च-दांव वाली पहेली होती है: क्या उन्हें बजट यात्री के लिए कम कीमत पर अभी एक टिकट बेचना चाहिए, या इस उम्मीद में एक सीट खाली रखनी चाहिए कि बाद में एक बिजनेस यात्री दोगुने दाम पर भुगतान करेगा? यह एयरलाइन रेवेन्यू मैनेजमेंट (राजस्व प्रबंधन) का मूल है। इसे हल करने के लिए, एयरलाइंस ऐसे कंप्यूटर प्रोग्रामों का उपयोग करती हैं जो एक खाली सीट के भविष्य के मूल्य की भविष्यवाणी करने की कोशिश करते हैं। ये प्रोग्राम हजारों सिमुलेशन चलाते हैं, नकली यात्रियों और नकली मांग का निर्माण करते हैं ताकि यह परीक्षण किया जा सके कि कौन सी रणनीति सबसे अधिक पैसा कमाती है। यदि कोई नया कंप्यूटर प्रोग्राम पुराने वाले की तुलना में काफी अधिक कमाने का दावा करता है, तो एक एयरलाइन उसे खरीदने के लिए लाखों खर्च कर सकती है। लेकिन क्या होगा अगर वह परीक्षण ही गलत था, दुर्भावना से नहीं, बल्कि उस तरीके में एक सूक्ष्म गलती के कारण जिससे कंप्यूटर ने अपना नकली संसार बनाया था?

शोधकर्ता झाओरुई झू द्वारा किया गया एक हालिया अध्ययन ठीक इसी खतरे की जांच करता है। यह शोध पत्र एक विशिष्ट प्रयोग का परीक्षण करता है जहाँ एक नई मूल्य निर्धारण रणनीति की तुलना EMSR-b नामक एक मानक, सुस्थापित पद्धति से की गई थी। नई रणनीति ने एक "कंटिन्यूएशन वैल्यू" (निरंतरता मूल्य) का उपयोग किया, जो एक फैंसी शब्द है जिसका अर्थ है एक अनुमान कि उड़ान के दौरान एक खाली सीट की कीमत कितनी होगी। मूल अध्ययन ने दावा किया कि नई विधि मानक विधि के लगभग बराबर थी, और कुछ मायनों में, बहुत आशाजनक थी। हालाँकि, झू की टीम ने प्रयोग का ज़मीनी स्तर से ऑडिट करने का निर्णय लिया, यह देखने के लिए नहीं कि क्या कोड फिर से चल सकता है, बल्कि यह देखने के लिए कि क्या तुलना वास्तव में निष्पक्ष थी। उन्होंने पाया कि हालांकि कंप्यूटर मूल संख्याओं को पूरी तरह से पुन: उत्पन्न कर सकता था, लेकिन उन संख्याओं के पीछे का तर्क चार अलग-अलग तरीकों से त्रुटिपूर्ण था।

पहला बड़ा मुद्दा समय और संयोग की समस्या थी। मूल प्रयोग में, कंप्यूटर ने यादृच्छिक घटनाओं (random events) की एक धारा उत्पन्न की—जैसे कि कब कोई यात्री आ सकता है या वे कितना भुगतान कर सकते हैं। इसने पहली रणनीति चलाई, फिर दूसरी, फिर तीसरी, सभी के लिए संख्याओं की एक ही धारा का उपयोग करते हुए। लेकिन क्योंकि रणनीतियाँ एक के बाद एक चलीं, वे वास्तव में घटनाओं के एक ही क्रम का सामना नहीं कर पा रही थीं। यह एक दौड़ चलाने जैसा था जहाँ पहले धावक को अनुकूल हवा (tailwind) मिलती है, दूसरे को प्रतिकूल हवा (headwind), और तीसरे को शांत हवा मिलती है, केवल इसलिए क्योंकि दौड़ते समय हवा बदल गई। जब शोधकर्ताओं ने परिणामों का पुनर्मूल्यांकन एक सख्त पद्धति का उपयोग करके किया, जिसने यह सुनिश्चित किया कि प्रत्येक रणनीति बिल्कुल एक ही समय में यादृच्छिक घटनाओं के समान क्रम का सामना करे, तो परिणाम बदल गए। नई रणनीति, जो प्रतिस्पर्धी लग रही थी, अचानक मानक विधि से लगभग सोलह प्रतिशत पीछे रह गई। नई पद्धति का स्पष्ट लाभ एक खराब टाइमिंग से पैदा हुआ भ्रम था।

दूसरी समस्या यह थी कि कंप्यूटर भविष्य को कैसे देखता था। नई रणनीति ने अपेक्षित मांग को देखकर एक सीट के मूल्य का अनुमान लगाने की कोशिश की। हालाँकि, कोड इस भविष्य के मूल्य का मूल्यांकन गलत समय पर कर रहा था। किसी निर्णय लेने और यात्री के संभावित रूप से सवार होने के बाद सीट का मूल्य क्या होगा, इसकी गणना करने के बजाय, इसने किसी भी कार्रवाई से पहले की वर्तमान स्थिति के आधार पर भविष्य के मूल्य की गणना की। इसका मतलब था कि गणना का "भविष्य का मूल्य" वाला हिस्सा अनिवार्य रूप से एक स्थिर संख्या थी जो किए जा रहे विशिष्ट निर्णय के आधार पर नहीं बदलती थी। यह एक ड्राइवर की तरह था जो मानचित्र देखकर रास्ता खोजने की कोशिश कर रहा हो, जो किसी भी मोड़ को लेने के बावजूद एक ही गंतव्य दिखाता है। क्योंकि इस शब्द ने निर्णय लेने की प्रक्रिया को वास्तव में प्रभावित नहीं किया, इसलिए रणनीति वास्तव में उस भविष्य की जानकारी का उपयोग नहीं कर रही थी जिसका वह दावा करती थी।

तीसरी विफलता एक सांख्यिकीय चाल थी जिसने एक बड़ी त्रुटि को छिपा दिया था। जब शोधकर्ताओं ने देखा कि कंप्यूटर के अनुमान वास्तविकता से कितने मेल खाते हैं, तो उन्होंने उन कई परिदृश्यों को भी शामिल किया जहाँ विमान पहले से ही भरा हुआ था। इन मामलों में, एक अतिरिक्त सीट का मूल्य शून्य होता है, इसलिए त्रुटि भी शून्य होती है। इन "शून्य-मूल्य" वाले मामलों को औसत में गिनकर, कंप्यूटर ने अपनी भविष्यवाणी की सटीकता को वास्तव la वास्तविक होने की तुलना में बहुत बेहतर दिखाया। जब शोधकर्ताओं ने इन "शून्य-मूल्य" वाले मामलों को हटा दिया और केवल उन क्षणों को देखा जब वास्तव में निर्णय लेना महत्वपूर्ण था, तो त्रुटि दर बहुत अधिक थी। मॉडल लगातार उन सीटों के मूल्य को कम आंक रहा था जब यह सबसे अधिक महत्वपूर्ण था, एक ऐसी खामी जिसे मूल रिपोर्ट ने आसान, खाली-सीट वाले मामलों को शामिल करके छिपा दिया था।

सबसे हानिकारक निष्कर्ष सामान्यीकरण (generalization) के परीक्षण से आया, जो एक स्थिति में सीखे गए सबक को पूरी तरह से नई स्थिति में लागू करने की क्षमता है। मूल अध्ययन ने अपने कंप्यूटर मॉडल को उड़ानों के एक विशिष्ट सेट पर प्रशिक्षित किया और फिर उसी के समान उड़ानों के थोड़े अलग सेट पर इसका परीक्षण किया। इसने अच्छा प्रदर्शन किया। लेकिन झू की टीम ने परीक्षण को पूरी तरह से बदल दिया: उन्होंने मॉडल को उड़ानों के एक समूह पर प्रशिक्षित किया और फिर इसे उड़ानों के एक पूरी तरह से अलग समूह पर परीक्षण किया जिसे मॉडल ने पहले कभी नहीं देखा था। परिणाम एक पूर्ण पतन था। मॉडल की भविष्यवाणियाँ औसत का अनुमान लगाने से भी बदतर हो गईं। इसने मांग के बारे में वास्तविक नियम सीखने में विफल रहा; इसने केवल प्रशिक्षण उड़ानों के विशिष्ट पैटर्न को याद कर लिया था। यहाँ तक कि जब शोधकर्ताओं ने इस टूटे हुए मॉडल का उपयोग मूल्य निर्धारण निर्णय लेने के लिए करने की कोशिश की, तब भी यह मानक विधि से खराब प्रदर्शन करता रहा, जिससे संभावित राजस्व का लगभग तीन प्रतिशत नुकसान हुआ।

अध्ययन यह निष्कर्ष निकालता है कि एक कंप्यूटर प्रोग्राम समान, पुनरुत्पादित (reproducible) संख्याएँ तो उत्पन्न कर सकता है लेकिन फिर भी पूरी तरह से अमान्य हो सकता है। मूल प्रयोग यांत्रिक रूप से पुनरुत्पादित था—कोड चला और समान उत्तर दिए—लेकिन तुलना वैज्ञानिक रूप से दोषपूर्ण थी। नई रणनीति ने पुरानी रणनीति को नहीं हराया था; वास्तव में, जब यादृच्छिक संयोग को सही ढंग से संरेखित किया गया, तो यह काफी खराब साबित हुई। शोधकर्ता तर्क देते हैं कि यह केवल एक कोड की समस्या नहीं है, बल्कि पूरे उद्योग के लिए एक चेतावनी है। जब एयरलाइंस या सॉफ्टवेयर विक्रेता यह सिद्ध करने के लिए सिमुलेशन परिणाम प्रस्तुत करते हैं कि एक नया सिस्टम काम करता है, तो उन्हें यह सुनिश्चित करना चाहिए कि प्रत्येक रणनीति समान यादृच्छिक घटनाओं का सामना करे, भविष्य की भविष्यवाणियों की गणना सही समय पर की जाए, और सिस्टम का परीक्षण पूरी तरह से नए, अनदेखे परिदृश्यों पर किया जाए।

इस प्रकार की गलतियों को रोकने के लिए, यह शोध पत्र उन लोगों के लिए एक दस-चरणीय चेकलिस्ट प्रस्तावित करता है जो इन प्रणालियों का मूल्यांकन कर रहे हैं। यह प्रोटोकॉल मांग करता है कि शोधकर्ता यादृच्छिक घटनाओं को फ्रीज कर दें ताकि वे सभी परीक्षणों के लिए समान हों, यह सत्यापित करें कि कोड वास्तव में सही जानकारी के आधार पर निर्णय ले रहा है, और परिणामों को केवल पुराने डेटा के पुन: परीक्षण के बजाय पूरी तरह से नए डेटा सेटों पर रिपोर्ट करें। यह सुझाव देता है कि इससे पहले कि कोई एयरलाइन अपने नए प्राइसिंग इंजन पर पैसा खर्च करे, उन्हें कच्चे कोड, अपरिवर्तित डेटा और इस बात का प्रमाण देखने की मांग करनी चाहिए कि सिस्टम उन उड़ानों पर कैसे काम करता है जिन्हें उसने पहले कभी नहीं देखा है। लक्ष्य केवल यह जांचना नहीं है कि क्या एक कंप्यूटर परिणाम को दोहरा सकता है, बल्कि यह सुनिश्चित करना है कि परिणाम वास्तव में यह बताता है कि वह वास्तविक दुनिया में कैसा प्रदर्शन करेगा। एयरलाइन राजस्व के उच्च-दांव वाले खेल में, जहाँ प्रत्येक बिना बिका हुआ सीट हमेशा के लिए खो जाता है, एक अच्छे सिमुलेशन और एक बुरे सिमुलेशन के बीच का अंतर केवल एक संख्या नहीं है; यह लाभ और हानि के बीच का अंतर है।