तकनीकी सारांश: स्थिर पूर्वाग्रह से परे: सुधारने वाले प्रॉक्सी के साथ अनुकूली बहु-निष्ठा बैंडिट्स (Adaptive Multi-Fidelity Bandits with Improving Proxies)

समस्या की परिभाषा

यह कार्य स्टोकेस्टिक मल्टी-आर्म्ड बैंडिट (MAB) समस्या के एक विशिष्ट विस्तार को संबोधित करता है जिसे मल्टी-फिडेलिटी मल्टी-आर्म्ड बैंडिट्स (MF-MAB) कहा जाता है। मानक MF-MAB सेटिंग्स में, भुजाओं (arms) का मूल्यांकन कई फीडबैक स्रोतों (निष्ठा/fidelities) का उपयोग करके किया जा सकता है जो सटीकता के विरुद्ध लागत का व्यापार करते हैं। पारंपरिक ढांचे कम-निष्ठा (सस्ते) और उच्च-निष्ठा (महंगे) स्रोतों के बीच एक स्थिर पूर्वाग्रह (static bias) मानते हैं; यानी विसंगति उस संख्या के बावजूद स्थिर रहती है जितनी बार कम-निष्ठा स्रोत को क्वेरी किया गया है।

आधुनिक अनुप्रयोग, जिनमें लर्निंग-आधारित सिम्युलेटर और मूल्यांकनकर्ता के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) शामिल हैं, एक अलग तरह की गतिशीलता प्रदर्शित करते हैं: कम-निष्ठा प्रॉक्सी स्रोत अतिरिक्त अंशांकन (calibration) या बार-बार उपयोग के माध्यम से सुधर (improve) सकता है। यह शोध एक बजट-बाधित MF-MAB सेटिंग की जांच करता है जहाँ:

1. $K$ भुजाएं हैं जिनका एक स्थिर उच्च-निष्ठा लक्ष्य माध्य $\mu^{(H)}_k$ है।
2. एक कम-निष्ठा स्रोत अवलोकन $Y^{(L)}_{k,\tau}$ प्रदान करता है जो उस विशिष्ट भुजा के लिए किए गए प्रश्नों की संख्या $\tau$ के आधार पर विकसित होता है।
3. कम-निष्ठा स्रोत उच्च-निष्ठा लक्ष्य के सापेक्ष एक बेमेल (mismatch) के साथ शुरू होता है, लेकिन यह बेमेल तब कम हो जाता है जब स्रोत को अधिक बार क्वेरी किया जाता है (जैसे, अंशांकन के माध्यम से)।
4. उद्देश्य लागत-भारित छद्म-पछतावा (cost-weighted pseudo-regret) को कम करना है, जो केवल पलों (pulls) की संख्या के बजाय चुने गए उप-इष्टतम भुजाओं द्वारा होने वाली संचयी लागत को परिभाषित करता है।

मुख्य चुनौती यह निर्धारित करना है कि कब बढ़ते हुए कम-निष्ठा स्रोत को क्वेरी करना बंद करें और महंगे उच्च-निष्ठा स्रोत की ओर बढ़ें (escalate करें)। एक स्थिर थ्रेशोल्ड नियम बहुत जल्दी एस्केलेट कर सकता है, जिससे कम-निष्ठा स्रोत को निरंतर सस्ते नमूनाकरण के माध्यम से पर्याप्त रूप से सटीक बनाने के अवसर को खो दिया जाता है।

कार्यप्रणाली (Methodology)

सुधारने वाले प्रॉक्सी का मॉडलिंग

लेखक विकसित होने वाली विसंगति को पकड़ने के लिए एक चयनित-औसत बेमेल सीमा (selected-average mismatch bound) पेश करते हैं। यह मानने के बजाय कि एक निश्चित पूर्वाग्रह $|\mu^{(L)}_k - \mu^{(H)}_k| \le \zeta$ है, वे एक विकसित होते प्रमाण पत्र $U_k(n)$ को मानते हैं ताकि संचयी बेमेल को सीमित किया जा सके:
$$\sum_{\tau=1}^n |\mu^{(L)}_k(\tau) - \mu^{(H)}_k| \le U_k(n)$$
इससे एक चयनित-औसत बेमेल सीमा $B_k(n) = \sup_{s \ge n} U_k(s)/s$ प्राप्त होती है, जो अनुभवजन्य कम-निष्ठा माध्य और वास्तविक उच्च-निष्ठा लक्ष्य के बीच विसंगति को सीमित करती है। जैसे-जैसे $n$ बढ़ता है, $B_k(n)$ घटता है, जो प्रॉक्सी की बढ़ती विश्वसनीयता को दर्शाता है।

TACC एल्गोरिदम

पेपर थ्रेशोल्ड-आधारित एडेप्टिव कंटीन्यूएशन कंपेनियन (TACC) एल्गोरिदम का प्रस्ताव करता है। TACC एक कॉन्फिडेंस-आधारित टेम्पलेट पर काम करता है लेकिन कम-निष्ठा स्रोत के लिए एक नवीन बाउंडेड कंटीन्यूएशन नियम (bounded continuation rule) पेश करता है।

1. कॉन्फिडेंस बाउंड्स: TACC दोनों निस्थाओं का उपयोग करके उच्च-निष्ठा लक्ष्य $\mu^{(H)}_k$ के लिए अपर कॉन्फिडेंस बाउंड्स (UCB) का निर्माण करता है।
   • उच्च-निष्ठा UCB: मानक सांख्यिकीय अंतराल।
   • कम-निष्ठा UCB: मानक सांख्यिकीय अंतराल प्लस मिसमैच सुधार $B_k(n)$।
2. आर्म चयन (Arm Selection): एल्गोरिदम उच्चतम आशावादी स्कोर वाली भुजा का चयन करता है, जो कम-निष्ठा और उच्च-निष्ठा UCBों में से न्यूनतम होता है।
3. फिडेलिटी चयन (मुख्य नवाचार):
   • प्री-थ्रेशोल्ड: यदि कम-निष्ठा सांख्यिकीय अनिश्चितता (त्रिज्या) एक थ्रेशोल्ड $\gamma$ से ऊपर है, तो एल्गोरिदम कम-निष्ठा का नमूना लेना जारी रखता है।
   • पोस्ट-थ्रेशोल्ड: एक बार जब सांख्यिकीय त्रिज्या $\gamma$ से नीचे गिर जाती है, तो एक स्थिर नियम तुरंत उच्च-निष्ठा की ओर बढ़ जाएगा। हालाँकि, TACC यह जाँचता है कि क्या एक बाउंडेड कंटीन्यूएशन (सीमित निरंतरता) लागत प्रभावी है।
   • कंटीन्यूएशन नियम: एल्गोरिदम यह गणना करता है कि यदि $s$ अतिरिक्त कम-निष्ठा क्वेरी की जाती हैं, तो मिसमैच सुधार $V_{k,t}(s)$ में अपेक्षित कमी क्या होगी। यदि मिसमैच में कमी इतनी पर्याप्त है कि वह उच्च-निष्ठा पुष्टि के बिना भुजा की उप-इष्टतमता को प्रमाणित कर सके, और अतिरिक्त क्वेरी की लागत सीमित है (विशेष रूप से, $S_0 \lambda^{(L)} \le \lambda^{(H)}$), तो TACC कम-निष्ठा का नमूना लेना जारी रखता है। अन्यथा, यह उच्च-निष्ठा की ओर बढ़ जाता है।

मुख्य योगदान

1. समस्या का औपचारिककरण: पेपर सुधरने वाले प्रॉक्सी स्रोतों के साथ MF-MAB सेटिंग को औपचारिक रूप देता है, जो पूर्व साहित्य में प्रचलित स्थिर पूर्वाग्रह धारणा से आगे बढ़ता है। यह गतिशील विसंगति के ह्रास को मॉडल करने के लिए चयनित-औसत बेमेल सीमा पेश करता है।
2. एल्गोरिदम डिज़ाइन: TACC एक आशावादी एल्गोरिदम के रूप में प्रस्तावित है जो मानक आर्म चयन को बाउंडेड पोस्ट-थ्रेशोल्ड कंटीन्यूशन नियम के साथ जोड़ता है। यह नियम स्पष्ट रूप से निर्णय लेता है कि क्या कम-निष्ठा स्रोत के "सुधार" के कारण महंगे उच्च-निष्ठा क्वेरी को टालना उचित है।
3. सैद्धांतिक विश्लेषण: लेखक एक इंस्टेंस-डिपेंडेंट रेगेट बाउंड प्राप्त करते हैं। विश्लेषण उप-इष्टतम भुजाओं को तीन वर्गों में विभाजित करता है:
   • ईजी आर्म्स ($A_\gamma$): थ्रेशोल्ड से पहले कम-निष्ठा द्वारा प्रमाणित।
   • इंटरमीडिएट आर्म्स ($C_\gamma$): स्थिर थ्रेशोल्ड पर प्रमाणित नहीं होतीं लेकिन बाउंडेड लो-फिडेलिटी कंटीन्यूएशन के बाद प्रमाणित हो जाती हैं।
   • हार्ड आर्म्स ($H_\gamma$): उच्च-निष्ठा पुष्टि की आवश्यकता होती है।
     बाउंड यह दर्शाता है कि पहचाने गए इंटरमीडिएट आर्म्स के लिए, TACC लॉग-रिटर्न उच्च-निष्ठा पुष्टि लागत को एक बाउंडेड लो-फिडेलिटी कंटीन्यूशन लागत से बदल देता है।
4. अनुभवजन्य सत्यापन: सिंथेटिक बैंडिट्स और एक नियंत्रित LLM-as-a-judge पॉलिसी इवैल्यूएशन टास्क पर प्रयोगों से पता चलता है कि TACC, स्टैटिक मल्टी-फिडेलिटी नियमों (MF-UCB) और उच्च-निष्ठा-ओनली बेसलाइन्स (UCB) की तुलना में लागत-भारित पछतावे (regret) को कम करता है।

परिणाम

सिंथेटिक प्रयोग

200 और 500 भुजाओं वाले सिंथेटिक सेटिंग्स में, TACC ने लगातार UCB, MF-UCB और स्टैटिक टू-फिडेलिटी नियमों की तुलना में कम लागत-भारित पछतावा हासिल किया। लाभ सबसे अधिक उन परिदृश्यों में देखा गया जहाँ उच्च-निष्ठा लागत अधिक थी (जैसे, $\lambda^{(H)} = 50$), जहाँ बाउंडेड कंटीन्यूशन के माध्यम से अनावश्यक उच्च-निष्ठा पुष्टि को टालने से महत्वपूर्ण बचत हुई।

LLM-as-a-Judge प्रयोग

लेखकों ने TACC का मूल्यांकन एक पॉलिसी-इवैल्यूएशन पाइपलाइन में किया जहाँ भुजाएं नेचुरल लैंग्वेज इंफरेंस (NLI) के लिए प्रॉम्प्ट-पॉलिसीज़ थीं।

• सेटअप: कम-निष्ठा एक "कमजोर जज" (एक छोटा LLM) था जो अंशांकन के साथ सुधरता था; उच्च-निष्ठा एक "वेरिफायर" (ग्राउंड ट्रुथ) था।
• निष्कर्ष: TACC ने सभी बेसलाइन्स को पीछे छोड़ दिया, जिसमें एक प्रत्यक्ष एब्लेशन (DNC) भी शामिल है जिसने समान मिसमैच बाउंड्स का उपयोग किया लेकिन कंटीन्यूशन लॉजिक की कमी थी। TACC ने सर्वश्रेष्ठ स्टैटिक बेसलाइन्स की तुलना में अंतिम लागत-भारित पछतावे को लगभग 10-20% कम कर दिया, जिससे पुष्टि होती है कि बाउंडेड कंटीन्यूशन तंत्र कमजोर जज के सुधरने वाले स्वभाव का प्रभावी ढंग से लाभ उठाता है ताकि समय से पहले एस्केलेशन से बचा जा सके।

महत्व और दावे

यह पेपर दावा करता है कि इस कार्य का प्राथमिक महत्व इस बात को पहचानने में निहित है कि आधुनिक AI सिस्टम में प्रॉक्सी स्रोत स्थिर नहीं होते हैं। यह मानते हुए कि कम-निष्ठा स्रोत एक सुधरने वाली इकाई है, लेखक दिखाते हैं कि इष्टतम रणनीति केवल अनिश्चितता के आधार पर निष्ठा बदलना नहीं है, बल्कि कम-निष्ठा नमूनाकरण को अनुकूल रूप से जारी रखना है यदि यह उम्मीद की जाती है कि यह अस्पष्टता को हल करने के लिए पर्याप्त रूप से सुधरेगा।

लेखक अपने योगदान को एक कैनोनिकल टू-फिडेलिटी मॉडल के रूप में विनम्रतापूर्वक प्रस्तुत करते हैं। वे सीमाओं को स्वीकार करते हुए नोट करते हैं कि वर्तमान कार्य एक ज्ञात मिसमैच बाउंड मानता है और आर्म-लोकल इवोल्यूशन (जहाँ सुधार केवल तभी होता है जब एक विशिष्ट भुजा को क्वेरी किया जाता है) पर केंद्रित है, न कि वैश्विक मॉडल फाइन-ट्यूनिंग पर जो सभी भुजाओं को एक साथ प्रभावित करती है। यह कार्य LLMs और लर्निंग-आधारित सिम्युलेटर्स से जुड़े सेटिंग्स में अधिक जटिल, गतिशील फिडेलिटी एलोकेशन रणनीतियों की ओर एक आधारभूत कदम के रूप में कार्य करता है।