When Reproducible Revenue-Management Simulations Are Still Invalid: Evidence From a Continuation-Value Policy Audit

تخيل عالماً حيث كل مقعد على متن طائرة هو فاكهة قابلة للتلف. بمجرد إقلاع الطائرة، يضيع أي مقعد غير مباع للأبد، حيث يتعرض للتعفن في الجو. تواجه شركات الطيران لغزاً مستمراً وعالي المخاطر: هل تبيع التذكرة الآن بسعر منخفض لمسافر يبحث عن التوفير، أم تحتفظ بالمقعد فارغاً على أمل أن يدفع مسافر من رجال الأعمال ضعف السعر لاحقاً؟ هذا هو جوهر إدارة إيرادات شركات الطيران. ولحل هذه المعضلة، تستخدم شركات الطيران برامج حاسوبية تحاول التنبؤ بالقيمة المستقبلية للمقعد الفارغ. تقوم هذه البرامج بتشغيل آلاف عمليات المحاكاة، وإنشاء ركاب وهميين وطلب وهمي لاختبار أي استراتيجية ستحقق أكبر قدر من المال. وإذا ادعى برنامج حاسوبي جديد أنه يحقق أرباحاً أكثر بكثير من البرنامج القديم، فقد تنفق شركة الطيران الملايين لشرائه. ولكن ماذا لو كانت التجربة نفسها قد تم التلاعب بها، ليس بدافع سوء النية، بل بسبب خطأ دقيق في كيفية توليد الحاسوب لعالمه الوهمي؟

تبحث دراسة حديثة أجراها الباحث تشاوروي جو (Zhaorui Zhu) في هذا الخطر تحديداً. تفحص الورقة تجربة محددة تمت فيها مقارنة استراتيجية تسعير جديدة بطريقة قياسية ومعروفة تسمى EMSR-b. استخدمت الاستراتيجية الجديدة "قيمة الاستمرار" (continuation value)، وهو مصطلح معقد يعني تخميناً حول القيمة التي سيحملها المقعد الفارغ لاحقاً خلال الرحلة. ادعت الدراسة الأصلية أن الطريقة الجديدة كانت جيدة جداً تقريباً مثل الطريقة القياسية، وفي بعض الجوانب، واعدة للغاية. ومع ذلك، قرر فريق "جو" تدقيق التجربة من الصفر، ليس ليروا ما إذا كان بإمكان الكود العمل مرة أخرى، بل ليروا ما إذا كانت المقارنة عادلة حقاً. وجدوا أنه بينما يمكن للحاسوب إعادة إنشاء الأرقام الأصلية بدقة، فإن المنطق الكامن وراء تلك الأرقام كان معيباً في أربع طرق متميزة.

كانت المشكلة الرئيسية الأولى تتعلق بالتوقيت والصدفة. في التجربة الأصلية، قام الحاسوب بتوليد تدفق من الأحداث العشوائية — مثل متى قد يظهر المسافر أو كم سيدفع. قام بتشغيل الاستراتيجية الأولى، ثم الثانية، ثم الثالثة، باستخدام نفس تدفق الأرقام لجميع هذه الاستراتيجيات. ولكن نظرًا لأن الاستراتيجيات عملت واحدة تلو الأخرى، فإنها لم تواجه في الواقع نفس تسلسل الأحداث. كان الأمر يشبه إجراء سباق يحصل فيه العداء الأول على رياح خلفية تدفعه، والثاني على رياح أمامية تعيقه، والثالث على نسيم هادئ، وذلك ببساطة لأن الرياح تغيرت أثناء ركضهم. عندما أعاد الباحثون تقييم النتائج باستخدام طريقة صارمة تضمن مواجهة كل استراتيجية لنفس تسلسل الأحداث العشوائية في نفس الوقت تماماً، تغيرت النتائج. الاستراتيجية الجديدة، التي بدت تنافسية، تراجعت فجأة خلف الطريقة القياسية بنسبة تقارب ستة عشر بالمائة. لقد كان التفوق الظاهري للنهج الجديد وهماً خلقته سوء التوقيت.

المشكلة الثانية كانت تتعلق بكيفية نظر الحاسوب إلى المستقبل. حاولت الاستراتيجية الجديدة تقدير قيمة المقعد من خلال النظر مسبقاً إلى الطلب المتوقع. ومع ذلك، كان الكود يقيم هذه القيمة المستقبلية في اللحظة الخاطئة. فبدلاً من حساب ما ستكون عليه قيمة المقعد بعد اتخاذ القرار وصعود مسافر محتمل على متن الطائرة، قام بحساب القيمة بناءً على الحالة الراهنة قبل اتخاذ أي إجراء. وهذا يعني أن جزء "القيمة المستقبلية" في الحساب كان في الأساس رقماً ثابتاً لا يتغير بناءً على القرار الذي يتم اتخاذه. كان الأمر أشبه بسائق يحاول الملاحة بالنظر إلى خريطة تظهر نفس الوجهة بغض النظر عن المنعطف الذي يسلكه. ولأن هذا الجزء لم يؤثر فعلياً في عملية اتخاذ القرار، فإن الاستراتيجية لم تكن تستخدم حقاً المعلومات المستقبلية التي زعمت استخدامها.

الفشل الثالث كان خدعة إحصائية أخفت خطأً جسيماً. عندما نظر الباحثون في مدى مطابقة تنبؤات الحاسوب للواقع، قاموا بتضمين العديد من السيناريوهات حيث تكون الطائرة ممتلئة بالفعل. في هذه الحالات، تكون قيمة المقعد الإضافي صفراً، وبالتالي يكون الخطأ صفراً. ومن خلال احتساب هذه المقاعد الفارغة في المتوسط، جعل الحاسوب دقة تنبؤاته تبدو أفضل بكما هي في الواقع. وعندما أزال الباحثون حالات "القيمة الصفرية" هذه ونظروا فقط إلى اللحظات التي يهم فيها اتخاذ القرار، كان معدل الخطأ أعلى بكثير. كان النموذج يقلل باستمرار من تقدير قيمة المقاعد في أكثر اللحظات أهمية، وهو خلل أخفته التقرير الأصلي عبر تضمين حالات المقاعد الفارغة السهلة.

أما النتيجة الأكثر ضرراً فقد جاءت من اختبار التعميم، وهو القدرة على تطبيق درس مستفاد من موقف ما على موقف جديد تماماً. قامت الدراسة الأصلية بتدريب نموذج الحاسوب الخاص بها على مجموعة محددة من سيناريوهات الرحلات، ثم اختبرته على مجموعة أخرى مشابهة من نفس السيناريوهات، وقد حقق أداءً جيداً. لكن فريق "جو" غير الاختبار تماماً: قاموا بتدريب النموذج على مجموعة من الرحلات، ثم اختبروه على مجموعة مختلفة تماماً من الرحلات التي لم يرها النموذج من قبل. وكانت النتيجة انهياراً تاماً. أصبحت تنبؤات النموذج أسوأ من مجرد التخمين بناء من المتوسط. لقد فشل في تعلم أي قواعد حقيقية حول كيفية عمل الطلب؛ لقد قام فقط بحفظ الأنماط المحددة لرحلات التدريب. وحتى عندما حاول الباحثون استخدام هذا النموذج المعيب لاتخاذ قرارات التسعير، فإنه ظل يؤدي بشكل أسوأ من الطريقة القياسية، حيث خسر حوالي ثلاثة بالمائة من الإيرادات المحتملة.

تخلص الدراسة إلى أن برنامجاً حاسوبياً يمكن أن ينتج أرقاماً متطابقة وقابلة للتكرار، ومع ذلك يكون غير صالح تماماً. كانت التجربة الأصلية قابلة للتكرر ميكانيكياً — أي أن الكود عمل وأعطى نفس الإجابات — لكن المقارنة لم تكن سليمة علمياً. الاستراتيجية الجديدة لم تهزم القديمة؛ بل في الواقع، كانت أسوأ بكثير بمجرد ضبط الصدفة العشوائية بشكل صحيح. ويجادل الباحثون بأن هذه ليست مجرد مشكلة في كود واحد، بل هي تحذير للصناعة بأكملها. فعندما تعرض شركات الطيران أو بائعو البرمجيات نتائج المحاكاة لإثبات نجاح نظام جديد، يجب عليهم التأكد من أن كل استراتيجية تواجه نفس الأحداث العشوائية تماماً، وأن تنبؤات المستقبل تُحسب في اللحظة الصحيحة، وأن يتم اختبار النظام على سيناريوهات جديدة تماماً لم يسبق له رؤيتها.

ولمنع مثل هذه الأخطاء، تقترح الورقة قائمة مراجعة مكونة من عشر خطوات لأي شخص يقوم بتقييم هذه الأنظمة. يطالب هذا البروتوكول الباحثين بتجميد الأحداث العشوائية بحيث تكون متطابقة لجميع الاختبارات، والتحقق من أن الكود يتخذ القرارات بالفعل بناءً على المعلومات الصحيحة، والإبلاغ عن النتائج بناءً على مجموعات بيانات جديدة تماماً بدلاً من مجرد إعادة اختبار البيانات القديمة. كما تقترح أنه قبل أن تنفق شركة طيران أموالها على محرك تسعير جديد، يجب أن تطلب رؤية الكود الخام، والبيانات غير المعدلة، والدليل على أن النظام يعمل على رحلات لم يسبق له رؤيتها من قبل. الهدف هو الانتقال من مجرد التحقق مما إذا كان بإمكان الحاسوب تكرار نتيجة ما، إلى ضمان أن النتيجة تقول الحقيقة حول كيفية أداء النظام في العالم الحقيقي. في لعبة إدارة إيرادات الطيران عالية المخاطر، حيث يُفقد كل مقعد غير مباع للأبد، فإن الفرق بين محاكاة جيدة ومحاكاة سيئة ليس مجرد رقم؛ بل هو الفرق بين الربح والخسارة.