📊 statistics

Online Learning-to-Defer with Varying Experts

यह शोध पत्र मल्टीक्लास क्लासिफिकेशन के लिए बैंडिट फीडबैक के साथ पहला ऑनलाइन लर्निंग-टू-डिफर (Learning-to-Defer) एल्गोरिदम प्रस्तुत करता है जो गतिशील रूप से बदलते विशेषज्ञ समूहों और उपलब्धता को संभालता है, जो प्रमाणित रिग्रेट गारंटी प्राप्त करता है और सिंथेटिक एवं वास्तविक दुनिया के डेटासेट दोनों पर प्रभावशीलता प्रदर्शित करता है।

मूल लेखक: Dang Hoang Duy, Yannis Montreuil, Maxime Meyer, Axel Carlier, Lai Xing Ng, Wei Tsang Ooi

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dang Hoang Duy, Yannis Montreuil, Maxime Meyer, Axel Carlier, Lai Xing Ng, Wei Tsang Ooi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक धुंध भरे समुद्र में एक जहाज के कप्तान हैं जो नेविगेशन कर रहे हैं। आपके पास एक शक्तिशाली रडार (आपका AI मॉडल) है जो अधिकांश द्वीपों और चट्टानों को देख सकता है। हालांकि, कभी-कभी धुंध बहुत घनी हो जाती है, या रडार भ्रमित हो जाता है। उन क्षणों में, आपको एक लाइटहाउस कीपर (प्रकाश स्तंभ रक्षक) या एक स्थानीय मछुआरे (विशेषज्ञों) से मदद मांगनी पड़ती है।

यह लर्निंग-टू-डिफर (L2D) का मूल विचार है: कंप्यूटर को यह सिखाना कि उसे अपने स्वयं के मस्तिष्क पर कब भरोसा करना चाहिए और कब किसी इंसान (या अन्य मशीन) से मदद मांगनी चाहिए।

पुराने मानचित्रों के साथ समस्या

इस तकनीक के पिछले संस्करण एक स्थिर प्रशिक्षण नियमावली (static training manual) की तरह काम करते थे। उन्होंने माना था कि:

आपके पास हमेशा वही तीन लाइटहाउस कीपर उपलब्ध होते हैं।
आपको ट्रेनिंग मैनुअल के प्रत्येक जहाज के लिए उनके उत्तर देखने को मिलते हैं, इससे पहले कि आप यात्रा शुरू करें।
कीपर कभी थकते नहीं, बीमार नहीं पड़ते, या अपना मन नहीं बदलते।

लेकिन वास्तविक दुनिया में, चीजें अव्यवस्थित होती हैं।

उपलब्धता (Availability): कभी-कभी एक लाइटहाउस कीपर ब्रेक पर होता है, या कोई विशिष्ट विशेषज्ञ प्रणाली रखरखाव (maintenance) के लिए बंद होती है।
बदलते कौशल (Drifting Skills): एक डॉक्टर सुबह बहुत तेज हो सकता है लेकिन दोपहर तक थक सकता है। एक विशेषज्ञ प्रणाली आज "टाइप A" त्रुटियों को पहचानने में बेहतरीन हो सकती है, लेकिन कल अपनी पकड़ खो सकती है।
स्ट्रीमिंग डेटा (Streaming Data): जहाज आपके अध्ययन के लिए एक व्यवस्थित ढेर के रूप में नहीं आते; वे एक-एक करके आते हैं, और आपको अभी निर्णय लेना होता है।

नया समाधान: अनुकूलनशील कप्तान (The Adaptive Captain)

यह पेपर पहले ऑनलाइन लर्निंग-टू-डिफर सिस्टम को पेश करता है। इसे एक ऐसे कप्तान के रूप में सोचें जो केवल पहले से नक्शा पढ़ने के बजाय, यात्रा करते हुए सीखता है।

यह इस प्रकार काम करता है, सरल रूपकों का उपयोग करते हुए:

1. "बैंडिट" फीडबैक (अंधा अनुमान/The Blind Guess)
पुराने तरीके में, कप्तान निर्णय लेने से पहले सभी कीपर्स के उत्तर देख सकता था। इस नए "ऑनलाइन" तरीके में, कप्तान को केवल उसी व्यक्ति पर फीडबैक मिलता है जिसे उसने वास्तव में पूछा था।

रूपक: कल्पना करें कि आप एक बुफे (buffet) में हैं। पुराने तरीके में, आप चुनने से पहले हर व्यंजन चख सकते थे। इस नए तरीके में, आप एक व्यंजन चुनते हैं, उसे खाते हैं, और उसके बाद ही आपको पता चलता है कि वह स्वादिष्ट था या बेकार। आपको उन व्यंजनों का स्वाद कभी नहीं मिलता जिन्हें आपने नहीं चुना। इस पेपर का एल्गोरिदम इतना स्मार्ट है कि वह इस सीमित स्वाद के साथ भी यह सीख सके कि कौन से व्यंजन अच्छे हैं।

2. विशेषज्ञों का बदलता समूह (The Shifting Pool of Experts)
सिस्टम यह नहीं मानता कि विशेषज्ञ हमेशा मौजूद रहते हैं।

रूपक: कल्पना करें कि आप एक कार्ड गेम खेल रहे हैं। पुराने संस्करण में, आप हमेशा उन्हीं तीन विरोधियों के खिलाफ खेलते हैं। इस नए संस्करण में, विरोधी हर राउंड में बदलते हैं। कभी आप एक प्रो के खिलाफ खेलते हैं, कभी एक नौसिखिए के खिलाफ, और कभी मेज खाली होती है। एल्गोरिदम यह पहचानना सीख जाता है कि वर्तमान में मेज पर कौन है और तुरंत अपनी रणनीति को समायोजित करता है।

3. "ड्रिफ्टिंग" कौशल स्तर (The "Drifting" Skill Level)
विशेषज्ञ स्थिर नहीं हैं; उनके कौशल समय के साथ बदलते हैं।

रूपक: आपका एक विशेषज्ञ कीपर सोमवार को चट्टानों को पहचानने में माहिर है, लेकिन शुक्रवार तक, वह केवल द्वीपों को पहचानने में अच्छा रह जाता है। एल्गोरिदम इस बदलाव को नोटिस करता है। वह कीपर से चट्टानों के बारे में पूछना बंद कर देता है और द्वीपों के बारे में पूछना शुरू कर देता है, प्रभावी रूप से विशेषज्ञ की वर्तमान ताकत की "खोज" (hunting) करता है।

परिणाम: यह कितनी अच्छी तरह चलता है?

लेखकों ने गणितीय रूप से सिद्ध किया कि उनका तरीका कुशलता से काम करता है।

गारंटी (The Guarantee): उन्होंने दिखाया कि जैसे-जैसे समय बीतता है, "रिग्रेट" (आपके प्रदर्शन और सर्वोत्तम संभव रणनीति के बीच का अंतर) कम होता जाता है। सरल शब्दों में, कप्तान यह जानने में बेहतर होता जाता है कि कब अकेले दिशा तय करनी है और कब मदद मांगनी है, जिससे अंततः वह निर्णय लेने में लगभग कोई गलती नहीं करता।
गति (The Speed): उन्होंने नकली डेटा (सिम्युलेटेड तूफान) और वास्तविक दुनिया के डेटा (समाचार लेख और इमेज रिकग्निशन) दोनों पर इसका परीक्षण किया। हर मामले में, एल्गोरिदम ने बदलते विशेषज्ञों और बदलती उपलब्धता के अनुकूल खुद को ढाला, और उन तरीकों से बेहतर प्रदर्शन किया जिन्होंने विशेषज्ञों को स्थिर और अपरिवर्तनीय माना था।

सारांश

यह पेपर एक स्मार्ट, अधिक लचीले AI सहायक का निर्माण करता है। एक कठोर प्रणाली के बजाय जो मानती है कि विशेषज्ञ हमेशा उपलब्ध हैं और हमेशा पूर्ण हैं, यह नया सिस्टम एक अनुभवी नाविक की तरह है जो मौसम, चालक दल के बदलते ऊर्जा स्तरों और इस तथ्य के अनुकूल ढल जाता है कि वह केवल उसी व्यक्ति से सलाह ले सकता है जिसे उसने वास्तव में पुकारा है। यह वास्तविक समय (real-time) में सीखता है, यह सुनिश्चित करता है कि AI सटीक बना रहे, भले ही उसके आसपास की दुनिया लगातार बदल रही हो।

समस्या का निरूपण (Problem Formulation)
लर्निंग-टू-डिफर (L2D) एक ऐसा ढांचा है जिसे भविष्य कहने वाले मॉडलों (predictive models) को बाहरी विशेषज्ञों (मानव या स्वचालित) के साथ एकीकृत करने के लिए डिज़ाइन किया गया है ताकि अनिश्चित या उच्च-जोखिम वाले इनपुट को अधिक सक्षम एजेंटों तक भेजकर सिस्टम की विश्वसनीयता बढ़ाई जा सके। जबकि मौजूदा L2D अनुसंधान मुख्य रूप से बैच सेटिंग्स में संचालित होता है जहाँ विशेषज्ञों के निश्चित पूल और पूर्ण पर्यवेक्षण (प्रशिक्षण के दौरान सभी विशेषज्ञ भविष्यवाणियों का अवलोकन) होते हैं, वास्तविक दुनिया के परिनियोजन (deployments) महत्वपूर्ण चुनौतियों का सामना करते हैं: डेटा क्रमिक रूप से आता है, विशेषज्ञों की उपलब्धता घटती-बढ़ती रहती है (जैसे कि शिफ्ट या संसाधन संबंधी बाधाओं के कारण), और विशेषज्ञों की विश्वसनीयता समय के साथ बदल सकती है। इसके अलावा, व्यावहारिक सिस्टम अक्सर बैंडिट फीडबैक (bandit feedback) के तहत काम करते हैं, जहाँ शिक्षार्थी केवल चुने गए कार्य (भविदन या विशिष्ट विशेषज्ञ क्वेरी) के परिणाम को देखता है, न कि ग्राउंड ट्रुथ या उपलब्ध सभी विशेषज्ञों के प्रदर्शन को। यह शोध शास्त्रीय L2D धारणाओं और इन गतिशील, ऑनलाइन वास्तविकताओं के बीच के अंतर को संबोधित करने के लिए मल्टीक्लास क्लासिफिकेशन के साथ बैंडिट फीडबैक और विशेषज्ञों के गतिशील रूप से बदलते पूल के लिए पहला ऑनलाइन L2D ढांचा पेश करता है।

कार्यप्रणाली (Methodology)
लेखक एक सामान्य ढांचे का प्रस्ताव करते हैं जहाँ, प्रत्येक दौर $t$ पर, एक संवर्धित इनपुट $(x_t, A_t)$ प्रकट किया जाता है, जिसमें एक फीचर वेक्टर $x_t$ और उपलब्ध विशेषज्ञों का एक सेट $A_t$ शामिल है। शिक्षार्थी को यह निर्णय लेना होता है कि क्या एक क्लास लेबल की भविष्यवाणी करनी है या $A_t$ में उपलब्ध विशेषज्ञों में से किसी एक को कार्य सौंपना (defer) है। यह इंटरैक्शन एक अर्ध-प्रतिपक्षी (semi-adversarial) सेटिंग का अनुसरण करता है: इनपुट को प्रतिपक्षी (adversarially) रूप से चुना जा सकता है, लेकिन लेबल इनपुट पर आधारित एक निश्चित (यद्यपि अज्ञात) वितरण से लिए जाते हैं।

मुख्य पद्धतिगत योगदानों में शामिल हैं:

सत्य डिफ़रल लॉस और सरोगेट (True Deferral Loss and Surrogate): लेखक एक सत्य डिफ़रल लॉस $\ell_{def}$ को परिभाषित करते हैं जो गलत वर्गीकरण लागत और विशेषज्ञ क्वेरी लागत को ध्यान में रखता है। चूंकि यह लॉस नॉन-डिफरेंशिएबल है, वे एक कॉनवेक्स सरोगेट लॉस $\Phi_{def}$ पेश करते हैं जो मानक स्कोर-आधारित सरोगेट्स (जैसे कंस्ट्रेंड हिंज लॉस) को ऑनलाइन, परिवर्तनशील-विशेषज्ञ सेटिंग में विस्तारित करता है। यह सरोगेट इस तरह डिज़ाइन किया गया है कि यह अनुपलब्ध विशेषज्ञों के स्कोर से अप्रभावित रहता है।
ऑनलाइन लर्निंग के लिए H-कंसिस्टेंसी बाउंड्स (H-Consistency Bounds for Online Learning): एक महत्वपूर्ण सैद्धांतिक कदम बैच लर्निंग से ऑनलाइन सेटिंग में $H$ -कंसिस्टेंसी बाउंड्स का विस्तार करना है। लेखक यह सिद्ध करते हैं कि ऑनलाइन ढांचे में सरोगेट डिफ़रल रिग्रेट को कम करने से सत्य डिफ़रल रिग्रेट सुनिश्चित होता है, बशर्ते कि अंतर्निहित सरोगेट जीरो-वन लॉस के संबंध में एक $H$ -कंसिस्टेंसी बाउंड को स्वीकार करता हो।
एल्गोरिदम डिज़ाइन (Algorithm Design): प्रस्तावित एल्गोरिदम (एल्गोरिदम 1) प्रोजेक्टेड ग्रेडिएंट्स के साथ ऑनलाइन ग्रेडिएंट डिसेंट (OGD) का उपयोग करता है। इस बाधा को संभालने के लिए कि उपलब्ध लेबल के स्कोर का योग शून्य होना चाहिए (जो कंस्ट्रेंड हिंज लॉस के लिए आवश्यक है), एल्गोरिदम वेट मैट्रिक्स को वर्तमान उपलब्ध विशेषज्ञों के विशिष्ट एक व्यवहार्य सबस्पेस $K_{A_t}$ पर प्रोजेक्ट करता है। यह प्रोजेक्शन उपलब्ध लेबल सेट पर हाइपोथीसिस की भविष्यवाणियों को सुरक्षित रखता है। एल्गोरिदम बैंडिट फीडबैक को संभालने के लिए एक एक्सप्लोरेशन रेट $\gamma_t$ को शामिल करता है, जो नमूना लिए गए कार्य के देखे गए परिणाम के आधार पर लॉस फंक्शन का अनुमान लगाता है।

प्रमुख योगदान (Key Contributions)
पेपर चार प्राथमिक दावों का उल्लेख करता है:

प्रथम ऑनलाइन L2D ढांचा: यह बैंडिट फीडबैक के तहत ऑनलाइन लर्निंग-टू-डिफर के लिए पहला ढांचा पेश करता है जहाँ डेटा वितरण और विशेषज्ञों का पूल दोनों समय के साथ बदल सकते हैं।
सैद्धांतिक विस्तार: यह $H$ -कंसिस्टेंसी बाउंड्स की अवधारणा को ऑनलाइन सेटिंग में विस्तारित करता है, जो एक ऐसी विशेषता है जो पहले बैच लर्निंग विश्लेषण तक सीमित थी।
रिग्रेट गारंटी (Regret Guarantees): प्रस्तावित एल्गोरिदम सामान्य मामले में $O((n + n_e)T^{2/3})$ का रिग्रेट बाउंड प्राप्त करता है, जहाँ $n$ क्लास की संख्या है और $n_e$ देखे गए विशिष्ट विशेषज्ञों की संख्या है। लो-नॉइज़ (नियर-रियलाइजेबल) धारणा के तहत, यह $O((n + n_e)\sqrt{T})$ में सुधर जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): दृष्टिकोण को सिंथेटिक और वास्तविक दुनिया के डेटासेट (Reuters4 और CIFAR10H) दोनों पर मान्य किया गया है, जो परिवर्तनशील विशेषज्ञ उपलब्धता और ड्रिफ्टिंग विशेषज्ञता के प्रति इसकी अनुकूलन क्षमता को प्रदर्शित करता है।

परिणाम (Results)
प्रयोग बढ़ती जटिलता वाले तीन व्यवस्थाओं (regimes) के तहत आयोजित किए गए थे: (1) स्थिर उपलब्धता और विशेषज्ञता, (2) स्थिर विशेषज्ञता के साथ ड्रिफ्टिंग उपलब्धता, और (3) ड्रिफ्टिंग उपलब्धता और ड्रिफ्टिंग विशेषज्ञता दोनों के साथ पूरी तरह से गतिशील सेटिंग्स।

सिंथेटिक डेटा: एल्गोरिदम ने भविष्यवाणी करने और कार्य सौंपने (defer) के बीच के इष्टतम सीमा को सफलतापूर्वक सीखा, और लगातार सबसे सक्षम उपलब्ध विशेषज्ञों को इनपुट भेजा। इसने कम डिफ़रल लॉस और उच्च सटीकता बनाए रखी, भले ही समय के साथ विशेषज्ञ दक्षता क्षेत्र स्थानांतरित हुए हों।
वास्तविक दुनिया का डेटा (Reuters4): सबसे चुनौतीपूर्ण सेटिंग (ड्रिफ्टिंग उपलब्धता और विशेषज्ञता) में, विधि ने चलते हुए विशेषज्ञ दक्षता क्षेत्रों को प्रभावी ढंग से ट्रैक किया। इसने वर्तमान में सक्षम विशेषज्ञों को उच्च आवृत्ति के साथ कार्य सौंपा, जिससे स्थिर कैलिब्रेशन बना रहा और स्थिर-विशेषता बेसलाइन के समान कार्य सटीकता प्राप्त हुई।
CIFAR10H: वाइडरेज़नेट (WideResNet) प्रेडिक्टर और मानव-एनोटेटेड विशेषज्ञों का उपयोग करते हुए, विधि ने एक कॉन्फिडेंस-आधारित बेसलाइन से बेहतर प्रदर्शन किया जो समान रूप से यादृच्छिक (random) रूप से डिफर करती है। सीखी गई पॉलिसी ने कम डिफ़रल लॉस और उच्च सटीकता प्राप्त की, जो इंगित करता है कि इसने उदाहरणों को बिना सोचे-समझे भेजने के बजाय सबसे उपयुक्त विशेषज्ञों को भेजने के लिए सीखा।

महत्व (Significance)
यह पेपर लर्निंग-टू-डिफर सिस्टम को वास्तविक दुनिया के गैर-स्थिर वातावरण के लिए व्यवहार्य बनाने की दिशा में एक मौलिक कदम के रूप में खुद को स्थापित करता है। स्थिर विशेषज्ञ पूल और पूर्ण पर्यवेक्षण की धारणा से आगे बढ़कर, लेखक प्रदर्शित करते हैं कि सुसंगत सरोगेट-आधारित विधियों को प्रतिपक्षी वातावरण और परिवर्तनशील विशेषज्ञ विश्वसनीयता के प्रति मजबूत बनाया जा सकता है। ऑनलाइन सेटिंग में $H$ -कंसिस्टेंसी की सैद्धांतिक स्थापना यह गारंटी देती है कि सरोगेट लॉस को कम करने से सत्य डिफ़रल रिग्रेट को कम करने में मदद मिलती है, जो सैद्धांतिक L2D गारंटी और स्ट्रीमिंग डेटा एवं गतिशील विशेषज्ञ प्रणालियों की व्यावहारिक आवश्यकताओं के बीच के महत्वपूर्ण अंतर को पाटता है।

पुराने मानचित्रों के साथ समस्या

नया समाधान: अनुकूलनशील कप्तान (The Adaptive Captain)

परिणाम: यह कितनी अच्छी तरह चलता है?

सारांश

इसी तरह के और पेपर