When accuracy does not improve decisions: a decision-outcome validation framework for cross-regional box office forecasting
यह शोध पत्र एक निर्णय-परिणाम सत्यापन ढांचे (decision-outcome validation framework) को प्रस्तुत करता है जो यह प्रदर्शित करता है कि क्रॉस-रीजनल बॉक्स ऑफिस पूर्वानुमान में भविष्य कहनेवाला त्रुटि (predictive error) को न्यूनतम करना इष्टतम बाजार चयन निर्णयों की गारंटी नहीं देता है, क्योंकि निर्णय परिणामों के लिए अनुकूलित मॉडल राजस्व उत्पन्न करने में सटीकता-केंद्रित मॉडलों की तुलना में बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
फिल्म वितरण की दुनिया में, एक वितरक (डिस्ट्रीब्यूटर) का काम संसाधनों के आवंटन का एक उच्च-दांव वाला खेल है। उन्हें यह निर्णय लेना होता है कि किस विदेशी देशों में फिल्म दिखाई जाए, कितनी प्रतियां छापी जाएं, और अपने सीमित विज्ञापन बजट को कहां खर्च किया जाए। इन विकल्पों को चुनने के लिए, वे पूर्वानुमानों (फॉरेकास्ट्स) पर निर्भर करते हैं—जो इस बात का अनुमान लगाते हैं कि एक फिल्म प्रत्येक क्षेत्र में कितना पैसा कमाएगी। दशकों से, यह जांचने का एक सरल तरीका रहा है कि कोई पूर्वानुमान मॉडल कितना अच्छा है कि उसके नंबर वास्तविक बॉक्स ऑफिस परिणामों के कितने करीब हैं। यदि किसी मॉडल के अनुमान, औसतन, वास्तविक कमाई के बहुत करीब हैं, तो उसे सटीक और विश्वसनीय माना जाता है। यह दृष्टिकोण यह मान लेता है कि गणितीय रूप से सटीक होना ही व्यावसायिक निर्णय लेने के लिए उपयोगी होने के समान है। हालांकि, यह धारणा एक महत्वपूर्ण विवरण की अनदेखी करती है: एक वितरक को हर एक देश के औसत अंतर (एरर) की परवाह नहीं होती है। उन्हें उन कुछ सही देशों को चुनने की परवाह होती है जो सबसे अधिक राजस्व उत्पन्न करेंगे। एक मॉडल औसतन बहुत सटीक हो सकता है लेकिन फिर भी शीर्ष बाजारों की पहचान करने में विफल हो सकता है, जिससे वितरक गलत जगहों पर निवेश करता है और पैसा गंवा देता है।
यह वह केंद्रीय पहेली है जिसे शोधकर्ता लू चाओ, जू आनकी और जिआओक्सी मा ने क्रॉस-रीजनल बॉक्स ऑफिस पूर्वानुमान पर अपने अध्ययन में सुलझाया है। उन्होंने जांचा कि क्या वे मॉडल जो सटीक संख्याओं की भविष्यवाणी करने में सर्वश्रेष्ठ हैं, वे भी वास्तव में उन मॉडलों के समान हैं जो वितरकों को सर्वोत्तम निर्णय लेने में मदद करते हैं। यह पता लगाने के लिए, उन्होंने पूर्वानुमानों को परखने का एक नया तरीका बनाया जो केवल भविष्यवाणी की सटीकता के बजाय निर्णय के अंतिम परिणाम पर ध्यान केंद्रित करता है। उन्होंने 2023 और 2025 के बीच रिलीज़ हुई चौदह चीनी फिल्मों के डेटा एकत्र किए, और अठारह विभिन्न विदेशी क्षेत्रों में उनकी साप्ताहिक कमाई को ट्रैक किया। इस डेटासेट में फिल्मों और देशों के सतहहत्तर विशिष्ट संयोजन शामिल थे, जिसमें बड़ी हिट्स से लेकर मामूली रिलीज तक की विस्तृत रेंज शामिल थी। शोधकर्ताओं ने फिर पांच अलग-अलग पूर्वानुमान विधियों की तुलना की, जो सरल सांख्यिकीय औसत से लेकर जटिल मशीन लर्निंग एल्गोरिदम तक फैली हुई थीं, ताकि यह देखा जा सके कि कौन सा वास्तव में एक वितरक को अपना राजस्व अधिकतम करने में मदद करेगा।
शोधकर्ताओं ने एक वास्तविक दुनिया के निर्णय की नकल करने के लिए एक विशिष्ट परीक्षण परिदृश्य तैयार किया। उन्होंने एक ऐसे वितरक की कल्पना की जिसके पास एक सीमित बजट है और जो केवल कुछ चुनि चुनिद देशों में, शायद शीर्ष तीन या पांच में, फिल्म का प्रचार कर सकता है। लक्ष्य यह देखना था कि कौन सा मॉडल उन विशिष्ट उच्च-कमाई वाले बाजारों की सही पहचान करता है। उन्होंने अपने परीक्षणों को विभिन्न तरीकों से चलाया ताकि परिणाम मजबूत रहें, जिसमें भविष्य के वर्षों में रिलीज़ होने वाली फिल्मों पर परीक्षण करना शामिल था ताकि यह देखा जा सके कि वे नए उत्पादों की भविष्यवाणी कर सकते हैं या नहीं, और पूरी तरह से अलग क्षेत्रों पर परीक्षण करना ताकि यह देखा जा सके कि वे नई जगहों पर सामान्यीकरण (जनरलाइज) कर सकते हैं या नहीं। उन्होंने इन निर्णय-आधारित परीक्षणों के परिणामों की तुलना पारंपरिक पद्धति से की, जो केवल यह जांचती है कि किस मॉडल का औसत अंतर सबसे कम है।
निष्कर्षों ने एक आश्चर्यजनक विसंगति को उजागर किया। अधिकांश परीक्षण मामलों में, वह मॉडल जो सटीक डॉलर राशि की भविष्यवाणी करने में सबसे अच्छा था, वह मॉडल नहीं था जो सही देश चुनने में सबसे अच्छा था। 2025 में रिलीज़ हुई फिल्मों से जुड़े एक महत्वपूर्ण परीक्षण में, शोधकर्ताओं के नए ढांचे द्वारा सबसे अच्छे निर्णय-निर्माण वाले मॉडल के रूप में पहचाने गए मॉडल ने कुल संभावित राजस्व हिस्सेदारी का लगभग 89.3 प्रतिशत हिस्सा हासिल किया। इसके विपरीत, वह मॉडल जो तकनीकी रूप से संख्याओं की भविष्यवाणी करने में सबसे सटीक था, उसने केवल 88.7 प्रतिशत हिस्सा प्राप्त किया। हालांकि यह अंतर छोटा लग सकता है, लेकिन यह वितरक के लिए $152,000 से अधिक के राजस्व नुकसान के रूप में एक मूर्त अंतर में बदल गया। अध्ययन ने दिखाया कि पारंपरिक सटीकता मेट्रिक्स द्वारा समर्थित मॉडल अक्सर उन विशिष्ट बाजारों में गलतियाँ करता है जो सबसे अधिक महत्वपूर्ण होते हैं, जबकि वह मॉडल जो बाजारों की सही रैंकिंग को प्राथमिकता देता है, बेहतर प्रदर्शन करता है, भले ही उसके कच्चे नंबर थोड़े कम सटीक हों।
शोधकर्ताओं ने इस समस्या का मूल कारण फिल्म बाजार की प्रकृति को बताया। बॉक्स ऑफिस की कमाई अत्यधिक असमान होती है; कुछ देश ही अधिकांश पैसा पैदा करते हैं, जबकि कई अन्य बहुत कम योगदान देते हैं। पारंपरिक सटीकता मेट्रिक्स हर देश को समान मानते हैं, इसलिए एक मॉडल "सटीक" हो सकता है यदि वह छोटे बाजारों को सही बताता है, जबकि वह बड़े बाजारों को पूरी तरह से मिस कर देता है। क्योंकि किसी बाजार में प्रवेश करने का निर्णय बड़े बाजारों को सही ढंग से पहचानने पर निर्भर करता है, इसलिए एक मॉडल जो औसत अंतर को कम करता है, वह अभी भी खराब व्यावसायिक निर्णय ले सकता है। अध्ययन ने प्रदर्शित किया कि सटीकता और निर्णय की गुणवत्ता के बीच यह अंतर कोई इत्तेफाक या खराब डेटा का परिणाम नहीं है, बल्कि एक व्यवस्थित मुद्दा है जो तब दिखाई देता है जब बाजार का आकार काफी भिन्न होता है। शोधकर्ताओं ने कंप्यूटर सिमुलेशन का उपयोग यह पुष्टि करने के लिए किया कि जब दो मॉडलों में समग्र सटीकता समान होती है लेकिन त्रुटि के पैटर्न अलग होते हैं, तो जो कागज पर बेहतर दिखता है वह वास्तव में व्यवहार में खराब प्रदर्शन करता है।
यह कार्य सुझाव देता है कि हमें पूर्वानुमान मॉडलों को मान्य करने के तरीके को बदलने की आवश्यकता है। केवल त्रुटि सांख्यिकी पर भरोसा करना एक नाविक को केवल इस आधार पर आंकने जैसा है कि उसका नक्शा इलाके के कितने करीब है, बिना यह जांचे कि क्या उसने वास्तव में गंतव्य तक पहुँचने के लिए सही रास्ता चुना है। शोधकर्ताओं का तर्क है कि किसी भी पूर्वानुमान प्रणाली के लिए जिसका उपयोग निर्णय लेने के लिए किया जाता है, मूल्यांकन में उन निर्णयों के परिणाम शामिल होने चाहिए। वे प्रस्ताव देते हैं कि शोधकर्ताओं और उद्योग पेशेवरों को न केवल यह रिपोर्ट करना चाहिए कि एक भविष्यवाणी कितनी सटीक थी, बल्कि यह भी कि उस भविष्यवाणी ने बाजारों के चयन के दौरान वास्तव में कितना मूल्य उत्पन्न किया। इस निर्णय-केंद्रित दृष्टिकोण को अपनाकर, वितरक उन मॉडलों को चुनने के जाल से बच सकते हैं जो स्प्रेडशीट पर तो अच्छे दिखते हैं लेकिन राजस्व देने में विफल रहते हैं, जिससे यह सुनिश्चित होता है कि उनके सीमित संसाधनों को वास्तव में महत्वपूर्ण बाजारों में निवेश किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।