तकनीकी सारांश: अज्ञात विलंब और प्रतिकूल भ्रष्टाचार के तहत पोस्ट-सर्विंग संदर्भ के साथ सुदृढ़ रैखिक द्वंद्व बैंडिट (Robust Linear Dueling Bandits with Post-serving Context under Unknown Delays and Adversarial Corruptions)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र रैखिक संदर्भ द्वंद्व बैंडिट (Linear Contextual Dueling Bandits - CDB) ढांचे के भीतर एक जटिल निर्णय लेने की समस्या को संबोधित करता है, जो विशेष रूप से तीन साथ मिलकर आने वाली चुनौतियों वाले अस्थिर वातावरण को लक्षित करता है:

1. पोस्ट-सर्विंग संदर्भ (Post-serving Contexts): मानक संदर्भत्मक बैंडिट के विपरीत, जहाँ उपयोगिता केवल पूर्व-क्रिया विशेषताओं (जैसे उपयोगकर्ता जनसांख्यिकी) द्वारा निर्धारित होती है, यहाँ वास्तविक उपयोगिता उन गुप्त विशेषताओं पर निर्भर करती है जो क्रिया लेने के बाद प्रकट होती हैं (जैसे डिलीवरी का समय, भोजन का तापमान)। शिक्षार्थी को पूर्व-सर्विंग संदर्भों $x_t$ से पोस्ट-सर्विंग संदर्भों $y_t$ तक एक मैपिंग $\phi^*$ का अनुमान लगाना होगा।
2. अज्ञात फीडबैक विलंब (Unknown Feedback Delays): फीडबैक $\tau_t$ के साथ विलंब से आता है जो या तो स्टोकेस्टिक (sub-Gaussian) या प्रतिकूल (adversarial) होता है। शिक्षार्थी को यह ज्ञात नहीं है कि कौन सा शासन (regime) सक्रिय है, न ही उसे विशिष्ट विलंब अनुक्रम का पता है।
3. प्रतिकूल भ्रष्टाचार (Adversarial Corruption): एक विरोधी (adversary) देखे गए प्राथमिकता परिणामों को भ्रष्ट कर सकता है (0 को 1 में या इसके विपरीत बदलना) जो एक संचयी बजट $C$ के अधीन है।

मुख्य कठिनाई इन कारकों का गुणात्मक परस्पर प्रभाव (multiplicative interplay) है। विलंब प्रभावी नमूना आकार को कम कर देता है, जिससे भ्रष्ट संकेतों का सांख्यिकीय प्रभाव बढ़ जाता है। इसके अलावा, शिक्षार्थी को $\phi^*$ मैपिंग का अनुमान लगाने के लिए फीडबैक का उपयोग करना होगा जो पहले से ही विलंब और भ्रष्टाचार से प्रभावित है, जिससे अनुमान त्रुटि का एक दुष्चक्र बन जाता है।

उद्देश्य संचयी रिग्रेट (cumulative regret) $R_T$ को कम करना है, जिसे इष्टतम आर्म पेयर और चयनित पेयर के बीच उपयोगिता अंतर के रूप में परिभाषित किया गया है, जबकि विशिष्ट विलंब शासन और भ्रष्टाचार की उपस्थिति के प्रति उदासीन (agnostic) रहना है।

2. कार्यप्रणाली: RCDP-UCB

लेखक RCDP-UCB (Robust to Corruption, Delay, and Post-serving UCB) प्रस्तावित करते हैं, जो एक एल्गोरिद्मिक ढांचा है जिसे इन परस्पर जुड़े हुए चुनौतियों को संभालने के लिए डिज़ाइन किया गया है।

मुख्य घटक:

• संदर्भ भविष्यवाणी (Context Prediction): एल्गोरिदम एक सीखा हुआ अनुमानक $\hat{\phi}_t$ (जैसे, एक न्यूरल नेटवर्क) का उपयोग करता है ताकि क्रिया चयन से पहले पूर्व-सर्विंग संदर्भों $x_t$ से पोस्ट-सर्विंग संदर्भों $y_t$ की भविष्यवाणी की जा सके। फीचर वेक्टर को $\hat{z}_t = (x, \hat{\phi}_t(x))$ के रूप में बनाया गया है।
• दोहरी डिज़ाइन मैट्रिसेस (Dual Design Matrices): एल्गोरिदम चयन को अनुमान से अलग करने के लिए दो अलग-अलग मैट्रिसेस बनाए रखता है:
  • $\tilde{V}_t$: पूर्ण इतिहास मैट्रिक्स (Full History Matrix), जिसे सभी कालानुक्रमिक संदर्भों (आए हुए और लंबित दोनों) का उपयोग करके बनाया गया है। इसका उपयोग आशावाद और स्थिरता सुनिश्चित करने के लिए आर्म चयन और भार गणना के लिए किया जाता है।
  • $\hat{W}_t$: प्रेक्षित इतिहास मैट्रिक्स (Observed History Matrix), जिसे केवल समय $t$ तक वास्तव में प्राप्त फीडबैक से बनाया गया है। इसका उपयोग विशेष रूप से पैरामीटर अनुमान ($\Theta_t$) के लिए किया जाता है ताकि सांख्यिकीय वैधता सुनिश्चित की जा सके।
• अनुकूली वेटिंग रणनीति (Adaptive Weighting Strategy): भ्रष्टाचार और विलंब-प्रेरित पूर्वाग्रह दोनों को कम करने के लिए एक एकीकृत वेटिंग तंत्र पेश किया गया है। एक नमूने $s$ के लिए, भार $\omega_s$ को इस प्रकार परिभाषित किया गया है:
  $$\omega_s = \min\left(1, \frac{\alpha}{\|\Delta z_s\|_{\tilde{V}_{s-1}^{-1}}}\right)$$
  जहाँ $\alpha$ एक सुदृढ़ता (robustness) पैरामीटर है। यह "क्लिपिंग" रणनीति उच्च सांख्यिकीय उत्तोलन (high statistical leverage) वाले नमूनों को कम भार देती है, जो प्रभावी रूप से भ्रष्ट अवलोकनों और सूचना ज्यामिति को बिगाड़ने वाले विलंबित फीडबैक के प्रभाव को सीमित करती है।
• रिग्रेट मिनिमाइजेशन (Regret Minimization): एल्गोरिदम $\tilde{V}_t$ और अनुमानित फीचर्स के आधार पर एक अपर कॉन्फिडेंस बाउंड (UCB) रणनीति का उपयोग करके आर्म पेयर्स $(a_t, b_t)$ का चयन करता है, जो प्राथमिकता पैरामीटर $\Theta^*$ और पोस्ट-सर्विंग मैपिंग $\phi^*$ दोनों की अनिश्चितता को ध्यान में रखते हुए अन्वेषण (exploration) और दोहन (exploitation) के बीच संतुलन बनाता है।

3. मुख्य योगदान

1. एकीकृत विश्लेषणात्मक ढांचा: यह पेपर पहले रैखिक द्वंद्व बैंडित सेटिंग को औपचारिक रूप देता है जो पोस्ट-सर्विंग संदर्भों, अज्ञात विलंब (स्टोकेस्टिक या प्रतिकूल) और प्रतिकूल भ्रष्टाचार को एक साथ शामिल करता है।
2. एल्गोरिदम डिज़ाइन (RCDP-UCB): यह एक नया एल्गोरिदम पेश करता है जो संदर्भ मैपिंग अनुमान के साथ एक अनुकूलित क्लिपिंग तंत्र को एकीकृत करता है। महत्वपूर्ण रूप से, वेटिंग योजना विलंब-शासन-अज्ञेय (delay-regime-agnostic) है, जिसका अर्थ है कि इसे कार्य करने के लिए यह जानने की आवश्यकता नहीं है कि विलंब स्टोकेस्टिक है या प्रतिकूल।
3. सैद्धांतिक गारंटी:
   • ऊपरी सीमा (Upper Bound): मानक नियमितता शर्तों के तहत, एल्गोरिदम $\tilde{O}(d(\sqrt{T} + C + D))$ का रिग्रेट ऊपरी बाउंड प्राप्त करता है, जहाँ $d$ फीचर डायमेंशन है, $T$ समय क्षितिज है, $C$ भ्रष्टाचार बजट है, और $D$ विलंब जटिलता ($D = \max(\sqrt{\Lambda}, \mu_\tau)$) का प्रतिनिधित्व करता है।
   • निचली सीमा (Lower Bound): लेखक पोस्ट-सर्विंग संदर्भों की अनुपस्थिति में $\Omega(\sqrt{dT} + dC + D')$ ($\text{जहाँ } D' = \max(\sqrt{d\Lambda}, d\mu_\tau)$) का मिनिमैक्स निचली सीमा प्राप्त करते हैं। यह पुष्टि करता है कि विलंब और भ्रष्टाचार द्वारा उत्पन्न ओवरहेड सूचनात्मक रूप से अपरिहार्य है।
   • इष्टतमता (Optimality): ऊपरी सीमा प्रतिकूल विलंब के लिए $\sqrt{d}$ कारक तक निचली सीमा से मेल खाती है, जो लगभग इष्टतम दक्षता प्रदर्शित करती है।

4. प्रयोगात्मक परिणाम

लेखक विभिन्न स्थितियों के तहत सिंथेटिक वातावरण और वास्तविक दुनिया के डेटासेट (UCI और OpenML) पर RCDP-UCB का मूल्यांकन करते हैं:

• सिंथेटिक सेटिंग्स: प्रयोग रैखिक और गैर-रैखिक पोस्ट-सर्विंग मैपिंग (पॉलीनोमियल, साइनुसोइडल, एब्सोल्यूट) के साथ विभिन्न भ्रष्टाचार बजट ($C$) और विलंब शासन (रणनीतिक/प्रतिकूल और स्टोकेस्टिक) को कवर करते हैं।
• बेसलाइन्स: एल्गोरिदम की तुलना RCDB (भ्रष्टाचार के प्रति सुदृढ़), ColSTIM, MaxInP, और MaxPairUCB सहित अत्याधुनिक विधियों से की जाती है।
• निष्कर्ष:
  • RCDP-UCB सभी विलंब शासन और भ्रष्टाचार स्तरों में संचयी रिग्रेट में बेसलाइन्स से लगातार बेहतर प्रदर्शन करता है।
  • एल्गोरिदम "लेटेंट" (latent) वातावरण में उत्कृष्ट सुदृढ़ता प्रदर्शित करता है जहाँ पोस्ट-सर्विंग संदर्भ महत्वपूर्ण हैं; वे बेसलाइन जो इन संदर्भों को मॉडल करने में विफल रहते हैं या जिनमें सुदृढ़ वेटिंग की कमी है, वे काफी अधिक रिग्रेट का सामना करते हैं।
  • अनुकूलित वेटिंग तंत्र भ्रष्टाचार और विलंब के संयुक्त शोर को प्रभावी ढंग से बेअसर करता है, जिससे संदर्भ आयामीता ($d$) और आर्म्स की संख्या ($K$) बढ़ने पर भी स्थिर प्रदर्शन बना रहता है।
  • वास्तविक दुनिया के डेटासेट प्रयोग पुष्टि करते हैं कि एल्गोरिदम की स्केलेबिलिटी और सुदृढ़ता बनी रहती है, भले ही रैखिक प्राथमिकता धारणा केवल एक अनुमान हो।

5. महत्व और दावे

यह पेपर दावा करता है कि यह पहला कार्य है जो संदर्भत्मक द्वंद्व बैंडित ढांचे के भीतर प्रतिकूल भ्रष्टाचार, अज्ञात फीडबैक विलंब और पोस्ट-सर्विंग संदर्भों की संयुक्त चुनौतियों को एक साथ संबोधित करता है।

• सैद्धांतिक प्रभाव: यह स्थापित करता है कि इन कारकों का संयुक्त प्रभाव मौलिक रूप से गुणात्मक है लेकिन इसे पूर्ण सूचना ज्यामिति ($\tilde{V}_t$) पर आधारित एक एकीकृत वेटिंग रणनीति के माध्यम से प्रबंधित किया जा सकता है। परिणाम "सर्वश्रेष्ठ-दोनों-दुनिया" (best-of-both-worlds) गारंटी प्रदान करते हैं, जो स्पष्ट पहचान के बिना स्टोकेस्टिक और प्रतिकूल दोनों सेटिंग्स के अनुकूल होते हैं।
• व्यावहारिक प्रासंगिकता: यह कार्य आधुनिक इंटरैक्टिव सिस्टम, विशेष रूप रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) द्वारा प्रेरित है। ऐसे सिस्टम में, उपयोगकर्ता की प्राथमिकताएं अक्सर सापेक्ष (द्वंद्व) होती हैं, फीडबैक विलंबित होता है, और डेटा शोरपूर्ण या हेरफेर किया गया हो सकता है। प्रस्तावित ढांचा पोस्ट-एक्शन कारकों और डेटा अनियमितताओं को ध्यान में रखतेकर, मानव इरादे के साथ AI सिस्टम के अधिक विश्वसनीय, सुदृढ़ और सटीक संरेखण (alignment) के लिए एक मार्ग प्रदान करता है।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि प्रतिकूल विलंब निचली सीमा में $\sqrt{d}$ का अंतर एक खुला प्रश्न बना हुआ है, और विलंबित पोस्ट-सर्विंग संदर्भों को संभालने के लिए ढांचे का विस्तार करना भविष्य के अनुसंधान की दिशा है।