⚡ electrical engineering

Corruption-Tolerant Asynchronous Q-Learning with Near-Optimal Rates

यह शोध पत्र एक नवीन भ्रष्टाचार-सहिष्णु (corruption-tolerant) एसिंक्रोनस Q-लर्निंग एल्गोरिदम प्रस्तुत करता है जो प्रतिकूल रूप से भ्रष्ट रिवॉर्ड्स और समय-सहसंबंधित डेटा के तहत निकट-इष्टतम परिमित-समय अभिसरण दर प्राप्त करता है, जो एसिंक्रोनस Q-लर्निंग के लिए ऐसे पहले गारंटी और एक मिलान सूचना-सैद्धांतिक निचली सीमा (information-theoretic lower bound) स्थापित करता है।

मूल लेखक: Sreejeet Maity, Aritra Mitra

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sreejeet Maity, Aritra Mitra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजने के लिए सिखाने की कोशिश कर रहे हैं ताकि वह खजाने तक सबसे अच्छा रास्ता खोज सके। रोबोट अलग-अलग चालें चलकर सीखता है, वातावरण से फीडबैक (इनाम/रिवॉर्ड्स) प्राप्त करता है, और "क्या सबसे अच्छा काम करता है" के अपने आंतरिक मानचित्र (map) को अपडेट करता है। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) का सार है।

हालाँकि, वास्तविक दुनिया में, रोबोट को मिलने वाला फीडबैक हमेशा ईमानदार नहीं होता है। कभी-कभी, एक शरारती हैकर (एक विरोधी/adversary) रोबोट के सेंसर के साथ छेड़छाड़ कर सकता है, जिससे उसे गलत संकेत मिलते हैं जैसे कि "बहुत बढ़िया!" जब वह वास्तव में गड्ढे में गिर गया हो, या "बहुत खराब चाल!" जब उसने खजाना ढूंढ लिया हो। इसे करप्टेड डेटा (corrupted data) कहा जाता है।

यह पेपर इस रोबोट के सीखने के एल्गोरिदम का एक नया, अधिक कठिन संस्करण पेश करता है, जिसे Robust Async-Q कहा जाता है, जिसे तब भी सही रास्ता सीखने के लिए डिज़ाइन किया गया है जब कुछ फीडबैक झूठ बोल रहा हो या बहुत अधिक बढ़ा-चढ़ाकर बताया जा रहा हो।

यहाँ इस पेपर के विचारों का रोजमर्रा के उदाहरणों का उपयोग करके विवरण दिया गया है:

1. समस्या: बाग में "खराब सेब"

कल्पना कीजिए कि आप एक किसान हैं जो अपने बाग के सेबों के औसत वजन का पता लगाने की कोशिश कर रहे हैं। आप अपने एक सहायक से सेबों को तौलने के लिए कहते हैं।

मानक दृष्टिकोण (The Standard Approach): आप सहायक द्वारा लाए गए हर सेब को लेते हैं, उन्हें तौलते हैं, और औसत निकालते हैं। यदि सहायक चुपके से कुछ भारी सेबों को छोटे कंकड़ों से बदल देता है (करप्शन), तो आपका औसत वजन पूरी तरह से गलत होगा।
वास्तविक दुनिया की अव्यवस्था: इस पेपर में, सेब केवल थोड़े से अलग नहीं हैं; कुछ को विशाल चट्टानों (extreme outliers) से बदल दिया गया है या अदृश्य भूतों (heavy-tailed noise) से बदल दिया गया है। इसके अलावा, सहायक आपको सेब एक-एक करके एक सीधी रेखा में नहीं लाता; वे एक अराजक, यादृच्छिक (random) क्रम में लाते हैं जहाँ आपको उत्तर के पेड़ से तीन सेब मिल सकते हैं, फिर लंबे समय तक दक्षिण के पेड़ से एक भी नहीं मिलता। यह एसिंक्रोनस (Asynchronous) वाला हिस्सा है।

2. समाधान: "स्मार्ट फ़िल्टर" रोबोट

लेखकों ने एक नया सीखने वाला रोबोट बनाया है जो झूठ बोलने वालों को अनदेखा करने के लिए दो मुख्य तरकीबों का उपयोग करता है:

तरकीब A: "ट्रिम्ड मीन" (चरम सीमाओं को काटना)
हर एक फीडबैक पर भरोसा करने के बजाय, रोबोट एक विशिष्ट क्रिया के लिए प्राप्त सभी रिवॉर्ड्स का इतिहास रखता है। जब इसे अपने मानचित्र को अपडेट करने की आवश्यकता होती है, तो यह उस इतिहास को देखता है और सबसे चरम आउटलेयर्स (outliers)—सबसे बड़े "चट्टानों" और सबसे छोटे "कंकड़ों"—को हटा देता है। फिर यह शेष, "सामान्य" सेबों का औसत निकालता है। यह एक सांख्यिकीय तकनीक पर आधारित है जिसे ट्रिम्ड मीन (trimmed mean) कहा जाता है।

तरकीब B: "अनुकूली सुरक्षा जाल" (Adaptive Safety Net)
रोबोट जानता है कि कभी-कभी, चरम सीमाओं को काटने के बाद भी, एक दुर्लभ, अजीब घटना अभी भी निकल सकती है। इसे संभालने के लिए, रोबोट के पास एक "सुरक्षा जाल" (एक अनुकूली थ्रेशोल्ड) होता है।

इसे एक क्लब के बाउंसर की तरह समझें। यदि कोई अतिथि (डेटा पॉइंट) टक्सीडो (एक सामान्य रिवॉर्ड) पहने हुए है, तो उसे अंदर जाने दिया जाता है। यदि कोई जोकर की पोशाक (एक थोड़ा अजीब रिवॉर्ड) पहने हुए है, तो बाउंसर एक सूची चेक करता है। यदि कोई ड्रैगन की पोशाक (एक अत्यधिक, असंभव रिवॉर्ड) पहने हुए है, तो बाउंसर उसे तुरंत बाहर निकाल देता है।
महत्वपूर्ण बात यह है कि "जोकर की पोशाक" बनाम "ड्रैगन की पोशाक" का आकार जैसे-जैसे रोबोट अधिक सीखता है, वैसे-वैसे बदलता रहता है। जैसे-जैसे रोबोट अधिक डेटा एकत्र करता है, वह स्मार्ट होता जाता है कि क्या "सामान्य" है और क्या "पागलपन भरा" है, और समय के साथ सुरक्षा जाल को और कड़ा करता जाता है।

3. "एसिंक्रोनस" चुनौती

अधिकांश लर्निंग थ्योरी मानती है कि आपको डेटा एक आदर्श, व्यवस्थित क्रम में मिलता है (जैसे एक कन्वेयर बेल्ट)। लेकिन वास्तविकता में, रोबोट चलते हुए सीखता है। वह लगातार 10 बार "किचन" जा सकता है, फिर कुछ समय के लिए "बेडरूम" में शून्य बार जा सकता है।
यह पेपर सिद्ध करता है कि उनका नया रोबक इस अव्यवस्थित, असमान शेड्यूल को संभाल सकता है। इसे सीखने के लिए एक आदर्श शेड्यूल की प्रतीक्षा करने की आवश्यकता नहीं है; यह घटनाओं के अराजक प्रवाह से जैसे-जैसे वे होती हैं, सीख सकता है, भले ही डेटा "सह-संबंधित" (correlated) हो (जो कल हुआ था वह आज क्या होता है, उससे प्रभावित होता है)।

4. परिणाम: "लगभग-पूर्ण" सीखना

लेखकों ने यह देखने के लिए गणित चलाया कि यह नया रोबोट कितनी अच्छी तरह प्रदर्शन करता है।

अच्छी खबर: भले ही हैकर रोबोट को बाधित करने की कोशिश कर रहा हो, नया एल्गोरिदम लगभग उतनी ही तेज़ी से सीखता है जितनी तेज़ी से एक मानक रोबोट सीखता यदि वहां कोई हैकर नहीं होता। एकमात्र धीमापन है जो हैकर द्वारा डाले गए खराब सेबों की संख्या के आनुपातिक है।
"असंभव" प्रमाण: लेखकों ने यह भी सिद्ध किया कि एक मौलिक सीमा है: आप इससे बेहतर नहीं कर सकते। यदि हैकर 10% डेटा को भ्रष्ट करता है, तो रोबोट की त्रुटि अनिवार्य रूप से एक निश्चित मात्रा के बराबर होगी। उनका एल्गोरिदम इस सैद्धांतिक "सीलिंग" (छत) तक पहुँच जाता है, जिसका अर्थ है कि यह गणितीय रूप से संभव रूप से जितना अच्छा हो सकता है, उतना ही अच्छा है।

5. "नो-नॉलेज" अपग्रेड

उनके रोबोट के पहले संस्करण में, उन्होंने माना था कि रोबोट को मोटे तौर पर पता है कि सेब आमतौर पर कितने भारी होते हैं (वेरिएंस)। दूसरे, स्मार्ट संस्करण (Robust Async-RAQ) में, रोबोट को यह पहले से जानने की आवश्यकता नहीं है। यह एक बहुत ही ढीले सुरक्षा जाल के साथ शुरू होता है और जैसे-जैसे यह अधिक अनुभव प्राप्त करता है, यह धीरे-धीरे इसे कड़ा करता जाता है, और चलते-चलते खेल के नियमों को सीखता है।

सारांश

यह पेपर AI के लिए एक शत्रुतापूर्ण वातावरण में सीखने का एक नया तरीका प्रस्तुत करता है। यह एक बच्चे को शहर में सड़क पार करना सिखाने जैसा है जहाँ कुछ लोग ट्रैफिक लाइट के बारे में झूठ बोल रहे हैं।

पुराना तरीका: आप जो भी आवाज़ सुनें उस पर भरोसा करें। (परिणाम: आपको कार से टक्कर लग जाती है)।
नया तरीका: भीड़ की बात सुनें, उन लोगों को अनदेखा करें जो सबसे ज़ोर से चिल्ला रहे हैं या सबसे धीरे फुसफुसा रहे हैं, और केवल उस सहमति (consensus) पर भरोसा करें जो एक उचित सीमा के भीतर आती है।
निष्कर्ष: नया तरीका गणितीय रूप से सिद्ध है कि इन परिस्थितियों में सीखने का सबसे अच्छा संभव तरीका है, यह सुनिश्चित करता है कि AI "खजाना" ढूंढ सकता है, भले ही दुनिया उसे धोखा देने की कोशिश करे।

तकनीकी सारांश: निकट-इष्टतम दरों के साथ भ्रष्टाचार-सहिष्णु अतुल्यकालिक (Asynchronous) Q-लर्निंग

समस्या का निरूपण

यह शोध पत्र प्रतिकूल रूप से दूषित पुरस्कारों (rewards) की उपस्थिति में, एक डिस्काउंटेड, अनंत-क्षितिज वाले मार्कोव निर्णय प्रक्रिया (MDP) में इष्टतम नीति सीखने की समस्या को संबोधित करता है। इस सेटिंग में एक एजेंट एक वातावरण के साथ अंतःक्रिया करता है जो एक MDP $(S, A, P, R, \gamma)$ द्वारा मॉडल किया गया है, जहाँ डेटा एक व्यवहार नीति $\mu$ के माध्यम से ऑनलाइन एकत्र किया जाता है जो एक मार्कोव श्रृंखला प्रेरित करती है।

मुख्य चुनौती पुरस्कारों पर लागू हुबर कंटैमिनेशन मॉडल (Huber contamination model) है। प्रत्येक समय चरण $t$ पर, $1-\epsilon$ प्रायिकता के साथ, एजेंट वास्तविक वितरण $R(s_t, a_t)$ से नमूना लिया गया पुरस्कार देखता है, जिसे भारी-पूंछ वाला (heavy-tailed) होने की अनुमति है (केवल एक परिमित द्वितीय क्षण/finite second moment स्वीकार्य है)। $\epsilon$ प्रायिकता के साथ, पुरस्कार एक मनमानी, संभावित रूप से असीमित प्रतिकूल वितरण $Q$ से लिया जाता है जो इतिहास पर निर्भर हो सकता है। लक्ष्य एक परिमित-समय त्रुटि सीमा (finite-time error bound) के साथ इष्टतम स्टेट-एक्शन वैल्यू फंक्शन $Q^*$ का अनुमान लगाना है, जो भ्रष्टाचार और डेटा की समय-सहसंबंधित प्रकृति (अतुल्यकालिक, एकल-ट्रैजेक्टरी सैंपलिंग) के बावजूद उच्च प्रायिकता के साथ बना रहे।

कार्यप्रणाली (Methodology)

लेखक Robust Async-Q का प्रस्ताव करते हैं, जो प्रतिकूल भ्रष्टाचार और भारी-पूंछ वाले शोर के तहत अतुल्यकालिक सैंपलिंग को संभालने के लिए डिज़ाइन किया गया एक नवीन Q-लर्निंग एल्गोरिदम संस्करण है। एल्गोरिदम दो प्राथमिक तंत्रों को एकीकृत करता है:

ट्रिम्ड मीन्स (Trimmed Means) के माध्यम से सुदृढ़ पुरस्कार अनुमान:
साधारण नमूना माध्य (sample means) के बजाय, एल्गोरिदम प्रत्येक स्टेट-एक्शन पेयर $(s, a)$ के लिए पुरस्कारों का एक इतिहास बनाए रखता है। यह अपेक्षित पुरस्कार का अनुमान लगाने के लिए एक यूनिवेरिएट ट्रिम्ड मीन एस्टिमेटर (Lugosi & Mendelson, 2021 पर आधारित) का उपयोग करता है। यह एस्टिमेटर डेटा को दो हिस्सों में विभाजित करता है, एक हिस्से का उपयोग फिल्टरिंग के लिए अनुभवजन्य क्वांटाइल्स (empirical quantiles) की गणना करने के लिए करता है, और दूसरे हिस्से में शेष नमूनों का औसत निकालता है जो इन क्वांटाइल्स के भीतर आते हैं। यह दृष्टिकोण भारी-पूंछ वाले वितरणों और आउटलेर्स के अंश के विरुद्ध सुदृढ़ता प्रदान करता है।
अनुकूली थ्रेशोल्डिंग (Adaptive Thresholding):
सुदृढ़ माध्य अनुमान की संभाव्यता संबंधी गारंटियों (जो दुर्लभ चरम घटनाओं पर विफल हो सकती हैं) और कुछ सेटिंग्स में पुरस्कार सांख्यिकी के ज्ञान की कमी को संबोधित करने के लिए, एल्गोरिदम एक अनुकूली थ्रेशोल्डिंग तंत्र का उपयोग करता है।
- ज्ञात सांख्यिकी (Known Statistics): यदि पुरस्कार माध्य और विचरण ( $\bar{R}, \bar{\sigma}$ ) की सीमाएं ज्ञात हैं, तो एक अनुकूली थ्रेशोल्ड $G_t$ निर्मित किया जाता है। यदि सुदृढ़ अनुमान इस थ्रेशोल्ड से अधिक हो जाता है, तो अनुमान को त्याग दिया जाता है (शून्य पर सेट कर दिया जाता है)। जैसे-जैसे अधिक नमूने एकत्र किए जाते हैं, थ्रेशोल्ड समय के साथ सिकुड़ता जाता है।
- पुरस्कार-अज्ञेय (Reward-Agnostic/Unknown Statistics): जब पुरस्कार सांख्यिकी अज्ञात होती है, तो एल्गोरिदम अज्ञात सीमाओं के प्रॉक्सी के रूप में समय के "धीमे बढ़ते" फलन $m(t) = t^p$ का उपयोग करता है। यह सुनिश्चित करता है कि थ्रेशोल्ड अंततः पुरस्कार वितरण के किसी भी वास्तविक स्थिरांक (constant) सीमा पर हावी हो जाए, जिससे एल्गोरिदम बिना किसी पूर्व ज्ञान के कार्य कर सके।

एल्गोरिदम मानक अतुल्यकालिक Q-लर्निंग अपडेट नियम के भीतर इन फिल्टर्ड और थ्रेशोल्ड किए गए पुरस्कार प्रॉक्सीज़ का उपयोग करके Q-वैल्यू को अपडेट करता है। एकल-ट्रैजेक्टरी मार्कोवियन सेटिंग के लिए, लेखक एक सब-सैंपलिंग रणनीति प्रस्तावित करते हैं (प्रत्येक $\tau$ -वें नमूने का उपयोग करना, जहाँ $\tau$ मिक्सिंग टाइम से संबंधित है) ताकि टेम्पोरल डिपेंडेंसी को कम किया जा सके, जिससे समस्या को i.i.d.-जैसे विश्लेषण में बदला जा सके।

मुख्य योगदान

नवीन एल्गोरिदम: यह शोध पत्र Robust Async-Q और इसका पुरस्कार-अज्ञेय संस्करण Robust Async-RAQ प्रस्तुत करता है। ये प्रतिकूल भ्रष्टाचार और भारी-पूंछ वाले शोर के तहत अतुल्यकालिक Q-लर्निंग के लिए परिमित-समय सुदृढ़ता गारंटी प्रदान करने वाले पहले एल्गोरिदम हैं।
परिमित-समय ऊपरी सीमाएँ (Finite-Time Upper Bounds):
- i.i.d. सैंपलिंग के तहत, लेखक सिद्ध करते हैं कि एल्गोरिदम $\tilde{O}(1/\sqrt{T})$ की दर से $Q^*$ की ओर अभिसरित होता है, जो एक अतिरिक्त पद (additive term) के साथ स्केल करता है जो $\sqrt{\epsilon}$ के समान है। यह वेनिला Q-लर्निंग के इष्टतम दर से मेल खाता है।
- मार्कोवियन (एकल-ट्रैजेक्टरी) सैंपलिंग के तहत, सीमाएँ अंडरलाइंग चेन के मिक्सिंग टाइम से संबंधित एक इन्फ्लेशन फैक्टर तक सुरक्षित रहती हैं, जो गैर-सुदृढ़ अतुल्यकालिक परिणामों के अनुरूप है।
सूचना-सैद्धांतिक निचली सीमा (Information-Theoretic Lower Bound): लेखक $Q^*$ के अनुमान त्रुटि पर $\Omega(\sqrt{\epsilon})$ की एक मौलिक निचली सीमा स्थापित करते हैं। यह सिद्ध करता है कि उनके ऊपरी बाउंड में मौजूद अतिरिक्त भ्रष्टाचार पद अपरिहार्य है, यहाँ तक कि एक सिंक्रोनस सेटिंग में भी जहाँ सभी स्टेट-एक्शन पेयर्स को एक साथ देखा जाता है।
नवीन प्रमाण तकनीकें:
- परिष्कृत अज़ुमा-होफ़डिंग असमानता (Refined Azuma-Hoeffding Inequality): एक महत्वपूर्ण तकनीकी योगदान 'परिष्कृत अज़ुमा-होफ़डिंग असमानता' (Shamir & Spencer, 1987) का अनुप्रयोग है। इस उपकरण की आवश्यकता इसलिए है क्योंकि पुरस्कार-अज्ञेय सेटिंग में मार्टिंगेल डिफरेंस एक मोटे नियतात्मक (deterministic) बाउंड (समय के साथ स्केल होता है) को स्वीकार करते हैं, लेकिन एक सूक्ष्म उच्च-प्रायिकता बाउंड को भी। मानक एकाग्रता असमानताएं (concentration inequalities) इस संदर्भ में गैर-रिक्त परिणाम देने में विफल रहती हैं।
- मार्कोव डेटा के लिए कपलिंग (Coupling): विश्लेषण एकल-ट्रैजेक्टरी डेटा के लिए कपलिंग तकनीक का उपयोग करता है ताकि सब-सैंपल की गई मार्कोव श्रृंखला को i.i.d. अनुक्रम से जोड़ा जा सके।

परिणाम

अभिसरण दरें (Convergence Rates): प्रस्तावित एल्गोरिदम निकट-इष्टतम परिमित-समय दर प्राप्त करते हैं। विशेष रूप से, त्रुटि बाउंड इस रूप में है:
$\|Q_T - Q^*\|_\infty \leq \tilde{O}\left(\frac{1}{\sqrt{T}}\right) + O(\sqrt{\epsilon})$
$O(\sqrt{\epsilon})$ पद भ्रष्टाचार के अंश और शोर के विचरण पर निर्भर करता है, लेकिन प्रतिकूल हमलों के परिमाण से स्वतंत्र है।
भारी-पूंछ (Heavy Tails) के प्रति सुदृढ़ता: एल्गोरिदम सही ढंग से कार्य करते हैं भले ही वास्तविक पुरस्कार वितरण भारी-पूंछ वाले हों (केवल परिमित द्वितीय क्षण), एक ऐसी स्थिति जहाँ मानक Q-लर्निंग अक्सर विफल हो जाता है या इसके लिए सब-गॉसियन धारणाओं की आवश्यकता होती है।
अज्ञेय प्रदर्शन (Agnostic Performance): पुरस्कार-अज्ञेय संस्करण (Robust Async-RAQ) अज्ञात स्केल पैरामीटर पर केवल मामूली बहुपद (polynomial) वृद्धि के साथ ज्ञात-सांख्यिकी संस्करण के समान दर प्राप्त करता है।
सिमुलेशन: ग्रिड-वर्ल्ड, फ्रोजनलेक, क्लिफवॉकिंग और टैक्सी वातावरण में अनुभवजन्य परिणाम दर्शाते हैं कि वेनिला Q-लर्निंग भ्रष्टाचार के तहत महत्वपूर्ण त्रुटियों से ग्रस्त होता है, जबकि प्रस्तावित सुदृढ़ संस्करण इष्टतम वैल्यू फंक्शन के एक पड़ोस (neighborhood) में अभिसरित होते हैं।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह अतुल्यकालिक, मार्कोवियन डेटा के साथ अनंत-क्षितिज, डिस्काउंटेड RL सेटिंग में प्रतिकूल सुदृढ़ता का प्रथम सिद्धांत आधारित और व्यापक अध्ययन प्रदान करता है।

सैद्धांतिक पूर्णता: ऊपरी और निचली सीमाओं (भ्रष्टाचार पद तक) को प्रदान करके, यह कार्य प्रतिकूल वातावरणों में सीखने की मौलिक सीमाओं की एक "काफी पूर्ण तस्वीर" पेश करता है।
अंतराल को भरना: यह सुदृढ़ सांख्यिकी (विशेष रूप से हुबर मॉडल और ट्रिम्ड मीन्स) और अतुल्यकालिक स्टोकेस्टिक एप्रोक्सिमेशन के गैर-एसिम्प्टोटिक विश्लेषण के बीच के अंतर को पाटता है।
व्यावहारिक प्रासंगिकता: यह कार्य वास्तविक दुनिया की चिंताओं को संबोधित करता है जहाँ फीडबैक डेटा (पुरस्कार) शोर युक्त, पक्षपाती या दुर्भावनापूर्ण रूप से दूषित हो सकता है, जैसे कि बड़े भाषा मॉडलों के लिए मानव फीडबैक या स्वायत्त प्रणालियों के लिए सेंसर डेटा।
पद्धतिगत प्रगति: "मोटे नियतात्मक लेकिन सूक्ष्म संभाव्यतात्मक" बाउंड को संभालने के लिए परिष्कृत अज़ुमा-होफ़डिंग असमानता का परिचय इस विशिष्ट समस्या से परे RL एल्गोरिदम के अध्ययन में व्यापक अनुप्रयोग की क्षमता वाले उपकरण के रूप में रेखांकित किया गया है।

लेखक नोट करते हैं कि जबकि उनका कार्य मजबूत सैद्धांतिक गारंटी स्थापित करता है, भविष्य की दिशाओं में पूर्ण फीडबैक स्ट्रीम (ट्रांज़िशन और रिवॉर्ड्स) और फंक्शन एप्रोक्सिमेशन सेटिंग्स में भ्रष्टाचार का विस्तार करना शामिल है।