Designing Time Series Experiments in A/B Testing with Transformer Reinforcement Learning

तकनीकी सारांश: ट्रांसफॉर्मर सुदृढीकरण शिक्षण (Transformer Reinforcement Learning) के साथ टाइम सीरीज़ प्रयोगों को डिजाइन करना

समस्या विवरण
यह शोध पत्र टाइम सीरीज़ डेटा के लिए A/B परीक्षणों को डिजाइन करने की चुनौती को संबोधित करता है, जो आधुनिक तकनीकी प्लेटफार्मों (जैसे राइडशेयरिंग, ई-कॉमर्स) में एक सामान्य परिदृश्य है जहाँ नीतियां समय के साथ क्रमिक रूप से (sequentially) सौंपी जाती हैं। स्वतंत्र इकाइयों वाले मानक A/B परीक्षणों के विपरीत, टाइम सीरीज़ प्रयोगों में कैरियोवर प्रभाव (carryover effects) होते हैं: समय $t$ पर लागू की गई नीति न केवल $t$ पर बल्कि भविष्य के समय चरणों पर भी परिणामों को प्रभावित करती है, जो स्टेबल यूनिट ट्रीटमेंट वैल्यू धारणा (SUTVA) का उल्लंघन करती है।

ऐसे परिवेश के लिए मौजूदा प्रयोगात्मक डिजाइन दो प्राथमिक सीमाओं का सामना करते हैं:

1. अपूर्ण इतिहास का उपयोग (Incomplete History Utilization): अधिकांश वर्तमान रणनीतियाँ (जैसे मार्कोव डिज़ाइन, स्टैटिक डिज़ाइन, शॉर्ट-मेमोरी डिज़ाइन, या स्विचबैक डिज़ाइन) उपचार आवंटन को केवल वर्तमान अवलोकन, प्रारंभिक क्रिया, सीमित इतिहास, या समय सूचकांक पर आधारित करती हैं। वे पूर्ण ऐतिहासिक संदर्भ का लाभ उठाने में विफल रहती हैं।
2. प्रतिबंधात्मक धारणाएं (Restrictive Assumptions): डिज़ाइन को अनुकूलित करने के लिए (विशेष रूप से औसत उपचार प्रभाव (ATE) के अनुमानक के माध्य वर्ग त्रुटि (MSE) को कम करने के लिए), मौजूदा विधियाँ अक्सर डेटा जनरेटिंग प्रक्रिया के बारे में मजबूत धारणाओं पर निर्भर करती हैं, जैसे कि मार्कोवियन गतिकी (Markovian dynamics), विशिष्ट पैरामीट्रिक टाइम सीरीज़ मॉडल (जैसे ARMA), या कैरियर ओवर प्रभावों की अवधि के संबंध में बाधाएं।

यह शोध पत्र तर्क देता है कि पूर्ण इतिहास पर आधारित न होने के कारण डिज़ाइन उप-इष्टतम (suboptimal) हो जाते हैं, क्योंकि टाइम सीरीज़ प्रयोगों में अंतर्निहित गतिशील निर्भरताएं होती हैं।

कार्यप्रणाली (Methodology)
लेखक इतिहास उपयोग और मॉडलिंग धारणाओं की सीमाओं को एक साथ संबोधित करने के लिए एक ट्रांसफॉर्मर सुदृढीकरण शिक्षण (TRL) ढांचे का प्रस्ताव करते हैं। यह कार्यप्रणाली दो मुख्य घटकों से बनी है:

1. सैद्धांतिक आधार (असंभवता प्रमेय - Impossibility Theorem):
   पेपर एक असंभवता प्रमेय स्थापित करता है जो यह सिद्ध करता है कि डबली रोबस्ट अनुमानकों (doubly robust estimators) के वर्ग के लिए, कोई भी उपचार आवंटन रणनीति जो संपूर्ण पिछले इतिहास (अवलोकन, क्रियाएं और परिणाम) पर निर्भर नहीं करती है, इष्टतम नहीं हो सकती है। यह सैद्धांतिक रूप से एक ऐसे मॉडल की आवश्यकता को न्यायसंगत ठहराता है जो डेटा के पूर्ण अनुक्रम (sequence) को प्रोसेस करता है।

2. ट्रांसफॉर्मर सुदृढीकरण शिक्षण एल्गोरिदम:

   • स्टेट परिभाषा (State Definition): समय $t$ पर स्टेट $S_t$ को पूर्ण इतिहास $\{O_1, A_1, Y_1, \dots, O_t\}$ के रूप में परिभाषित किया गया है, जो सभी टेम्पोरल डिपेंडेंसीज को कैप्चर करता है।
   • क्रिया (Action): क्रिया $A_t \in \{-1, 1\}$ यह निर्धारित करती है कि कंट्रोल या ट्रीटमेंट पॉलिसी को लागू किया जाए।
   • पुरस्कार (Reward): पुरस्कार $R_t$ को सीधे ATE अनुमानक के MSE को कम करने के लिए डिज़ाइन किया गया है। इसे वर्तमान ATE अनुमानक (जो समय $t$ तक के डेटा से गणना किया गया है) और एक मोंटे कार्लो "ग्राउंड ट्रुथ" अनुमानक ($\widehat{ATE}_{mc}$) के बीच के नेगेटिव स्क्वेर्ड डेविएशन के रूप में परिभाषित किया गया है, जिसे $\alpha^{T-t}$ कारक द्वारा डिस्काउंट किया गया है।
   • आर्किटेक्चर (Architecture): लेखक पूर्ण ऐतिहासिक संदर्भ को स्टेट रिप्रजेंटेशन में संक्षेप करने के लिए एक ट्रांसफॉर्मर एनकोडर का उपयोग करते हैं। इन स्टेट्स को एक डबल डीप Q-नेटवर्क (DDQN) एजेंट में फीड किया जाता है। ट्रांसफॉर्मर को विशेष रूप से इसके विविध-लंबाई वाले इनपुट को संभालने और दीर्घकालिक निर्भरताओं (long-term dependencies) को कैप्चर करने की क्षमता के लिए चुना गया है, जहाँ रिकरेंट न्यूरल नेटवर्क (RNNs) संघर्ष कर सकते हैं।
   • अनुकूलन (Optimization): RL एजेंट एक सिमुलेशन वातावरण के साथ इंटरैक्ट करके अपेक्षित संचयी पुरस्कार (जो MSE को कम करने के अनुरूप है) को कम करने के लिए इष्टतम नीति $\pi$ सीखता है। इस दृष्टिकोण के लिए यह आवश्यक नहीं है कि डेटा मार्कोव धारणाओं या विशिष्ट पैरामीट्रिक संरचनाओं को पूरा करे।

प्रमुख योगदान

1. सैद्धांतिक असंभवता परिणाम: पेपर एक औपचारिक प्रमाण प्रदान करता है कि टाइम सीरीज़ प्रयोगों में इष्टतम उपचार आवंटन (डबली रोबस्ट अनुमान के तहत) के लिए पूर्ण इतिहास पर आधारित होना आवश्यक है, जिससे यह सिद्ध होता है कि आंशिक इतिहास पर निर्भर मौजूदा डिज़ाइन सैद्धांतिक रूप से उप-इष्टतम हैं।
2. नया एल्गोरिदम (TRL): लेखक एक ट्रांसफॉर्मर-आधारित RL दृष्टिकोण पेश करते हैं जो:
   • पूरे डेटा इतिहास पर आवंटन को आधारित करता है।
   • बिना किसी प्रतिबंधात्मक मॉडलिंग धारणाओं (जैसे MDPs या ARMA मॉडल) के सीधे ATE के MSE को अनुकूलित करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): प्रस्ताव का मूल्यांकन तीन अलग-अलग परिवेशों में किया गया है:
   • विभिन्न वेरिएंस और ट्रांजिशन स्ट्रक्चर के साथ सिंथेटिक डेटा।
   • वाइल्ड बूटस्ट्रैप का उपयोग करके एक राइडशेयरिंग कंपनी के A/A डेटासेट से निर्मित वास्तविक-डेटा आधारित सिम्युलेटर।
   • राइडशेयरिंग के लिए एक सार्वजनिक रूप से उपलब्ध फिजिकल डिस्पैच सिम्युलेटर।

परिणाम
400 सिमुलेशन पुनरावृत्तियों (replications) के माध्यम से किए गए अनुभवजन्य मूल्यांकन से पता चलता है कि प्रस्तावित TRL डिज़ाइन मौजूदा बेसलाइन का लगातार मुकाबला करता है, जिसमें शामिल हैं:

• मार्कोव/नॉन-मार्कोव डिज़ाइन (TMDP/NMDP): वे डिज़ाइन जो दैनिक आधार पर उपचार बदलते हैं।
• स्विचबैक डिज़ाइन: हु एवं वेगर (HW), बोजिनोव एट अल (BSZ), जियोंग एट अल (XCT), और वेन एट अल (WSY) द्वारा प्रस्तावित वेरिएंट।

मुख्य निष्कर्ष:

• TRL अधिकांश सेटिंग्स में सबसे कम मीन स्क्वेर्ड एरर (MSE) और सबसे छोटे कॉन्फिडेंस इंटरवल प्राप्त करता है।
• उन परिवेशों में जहाँ परिणामों में पॉजिटिव कोरिलेशन है (रियल-डेटा सिम्युलेटर), जहाँ दैनिक रूप से उपचार बदलने वाले डिज़ाइन (TMDP/NMDP) काफी खराब प्रदर्शन करते हैं, वहीं TRL प्रभावी ढंग से अनुकूलित होता है।
• जबकि स्विचबैक डिज़ाइन डेली स्विचिंग की तुलना में बायस (bias) को कम करते हैं, फिर भी TRL आवंटन रणनीति को अनुकूलित करने के लिए ऐतिहासिक जानकारी का बेहतर लाभ उठाकर कम MSE प्राप्त करता है।

महत्व और दावे
यह पेपर दावा करता है कि इसका प्रस्ताव टाइम सीरीज़ डेटा के लिए प्रयोगात्मक डिज़ाइन में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है क्योंकि यह:

• कैरियोवर प्रभाव को संभालता है: निश्चित अवधि के बाद समाप्त होने वाली निर्भरताओं की धारणा के बिना टेम्पोरल डिपेंडेंसीज और विलंबित प्रभावों को प्रभावी ढंग से प्रबंधित करता है।
• धारणाओं को न्यूनतम करता है: पिछले अनुकूलन विधियों द्वारा आवश्यक विशिष्ट डेटा जनरेटिंग प्रोसेस धारणाओं (जैसे मार्कोवियनिटी या लीनियरिटी) को हटा देता है।
• अनुभवजन्य लाभ: ATE के लिए अनुमान सटीकता (MSE) में पर्याप्त सुधार प्राप्त करता है, जो राइडशेयरिंग जैसे उद्योगों में सीमित प्रयोगात्मक अवधि के भीतर छोटे उपचार प्रभावों (अक्सर 0.5%–2%) का पता लगाने के लिए महत्वपूर्ण है।

लेखक इस कार्य को आधुनिक डीप लर्निंग आर्किटेक्चर (ट्रांसफॉर्मर) और कॉज़ल इन्फरेंस (causal inference) के बीच एक सेतु के रूप में प्रस्तुत करते हैं, जो जटिल डिज़ाइन समस्याओं को हल करने के लिए कम्प्यूटेशनल शक्ति का उपयोग करते हैं जिन्हें पहले प्रतिबंधात्मक सांख्यिकीय धारणाओं के तहत हल करना कठिन था।