Near-Optimal Sample Complexity Bounds for Constrained Average-Reward MDPs

आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनें एक वातावरण के साथ अंतःक्रिया करके निर्णय लेना सीखती हैं, ठीक वैसे ही जैसे एक बच्चा कमरे में रास्ता बनाना सीखता है। उन्हें अच्छे कार्यों के लिए पुरस्कार और बुरे कार्यों के लिए दंड मिलता है, जिससे वे दीर्घकालिक सफलता को अधिकतम करने के लिए धीरे-धीरे एक रणनीति विकसित करते हैं। यह प्रक्रिया, जिसे 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) कहा जाता है, जटिल खेल खेलने से लेकर रोबोटिक भुजाओं को नियंत्रित करने तक, हर चीज़ में क्रांतिकारी बदलाव लेकर आई है। हालाँकि, वास्तविक दुनिया के अनुप्रयोगों के लिए केवल उच्च स्कोर से अधिक की आवश्यकता होती; उन्हें सुरक्षा और निष्पक्षता की भी आवश्यकता होती है। एक डिलीवरी ड्रोन को न केवल अपने गंतव्य तक तेज़ी से पहुँचना चाहिए, बल्कि एक विशिष्ट बैटरी बजट के भीतर भी रहना चाहिए। एक मेडिकल एआई को ऐसे उपचारों की सिफारिश करनी चाहिए जो प्रभावी हों, लेकिन रोगी की जोखिम सहनशीलता से अधिक न हों। इन परिदृश्यों को 'कन्स्ट्रेंड डिसीजन-मेकिंग' (constrained decision-making) समस्याओं के रूप में मॉडल किया जाता है, जहाँ एक एजेंट को संसाधनों, जोखिम या समय के बारे में नियमों का सख्ती से पालन करते हुए सर्वोत्तम संभव मार्ग खोजना होता है।

दशकों से, शोधकर्ता मशीनों को इन सुरक्षित रणनीतियों को कुशलतापूर्वक सीखना सिखाने के लिए संघर्ष कर रहे हैं, विशेष रूप से जब वातावरण जटिल हो और नियम केवल अगले कुछ चरणों के बजाय लंबे समय के लिए लागू होते हों। चुनौती उच्च पुरस्कारों की इच्छा और सख्त सीमाओं के भीतर रहने की आवश्यकता के बीच संतुलन बनाने में निहित है, और वह भी तब, जब मशीन के पास दुनिया का कोई पूर्व मानचित्र नहीं होता और उसे परीक्षण और त्रुटि (trial and error) द्वारा सीखना होता है। फुदान यूनिवर्सिटी और कैलिफोर्निया विश्वविद्यालय, लॉस एंजिल्स के शोधकर्ताओं द्वारा किया गया एक नया अध्ययन इस समस्या का सीधे तौर पर समाधान करता है, जिसमें यह निर्धारित किया गया है कि एक सुरक्षित, इष्टतम रणनीति सीखने के लिए मशीन को कितनी जानकारी की आवश्यकता होती है। उन्होंने इन समस्याओं को हल करने के लिए आवश्यक डेटा की सटीक मात्रा निर्धारित की है, और यह सिद्ध किया है कि इसकी कठिनाई दो विशिष्ट विशेषताओं पर निर्भर करती है: सिस्टम को एक स्थिर पैटर्न में सेटल होने में कितना समय लगता है और दीर्घकालिक पुरस्कार रणनीति में छोटे बदलावों के प्रति कितने संवेदनशील हैं।

शोधकर्ताओं ने एक ऐसी सेटिंग पर ध्यान केंद्रित किया जहाँ सीखने वाला एजेंट (learning agent) एक सिम्युलेटर तक पहुँच रखता है, जो एक ऐसा उपकरण है जो उसे पूछने की अनुमति देता है, "यदि मैं इस स्थिति में यह कार्रवाई करता हूँ, तो आगे क्या होगा?" और बिना किसी वास्तविक दुनिया की घटना की प्रतीक्षा किए तुरंत उत्तर प्राप्त करता है। यह सेटअप, जिसे 'जेनरेटिव मॉडल' (generative model) कहा जाता है, वास्तविक दुनिया में जोखिम भरी खोज की आवश्यकता को समाप्त करता है और शोधकर्ताओं को शुद्ध रूप से सीखने की प्रक्रिया की गणितीय दक्षता पर ध्यान केंद्रित करने देता है। उन्होंने एक विशिष्ट प्रकार की समस्या की जांच की जहाँ लक्ष्य एक सीमित अवधि के बजाय अनंत भविष्य में औसत पुरस्कार को अधिकतम करना है। यह बिजली ग्रिड या वाहनों के बेड़े के प्रबंधन जैसे अनुप्रयोगों के लिए महत्वपूर्ण है, जहाँ लक्ष्य त्वरित, एक बार की जीत के बजाय निरंतर, दीर्घकालिक प्रदर्शन है।

टीम ने एक नया एल्गोरिदम विकसित किया है जो सीखने वाले एजेंट के लिए एक मार्गदर्शक के रूप में कार्य करता है। यह एल्गोरिदम पुरस्कार की इच्छा और बाधाओं का पालन करने की आवश्यकता के बीच संतुलन को लगातार समायोजित करके काम करता है। यह समस्या के कई सरलीकृत, 'डिस्काउंटेड' (discounted) संस्करणों को हल करके ऐसा करता है, जहाँ भविष्य के पुरस्कार तत्काल वाले की तुलना में थोड़े कम मूल्यवान होते हैं, और फिर उन समाधानों को दीर्घकालिक औसत में वापस अनुवादित करता है। उनके कार्य में एक प्रमुख नवाचार उस सांख्यिकीय शोर (statistical noise) को नियंत्रित करने की विधि है जो डेटा के सीमित नमूनों से सीखने के दौरान अनिवार्य रूप से उत्पन्न होता है। उन्होंने सिद्ध किया कि किन रणनीतियों का परीक्षण करना है और उन्हें कैसे संयोजित करना है, इसे सावधानीपूर्वक चुनकर, एल्गोरिदम डेटा के यादृच्छिक उतार-चढ़ाव के प्रति 'ओवरफिटिंग' (overfitting) के जाल से बच सकता है।

अध्ययन का सबसे महत्वपूर्ण निष्कर्ष 'सैंपल कॉम्प्लेक्सिटी' (sample complexity) की सटीक गणना है, जो वह डेटा पॉइंट्स की संख्या है जो एक निकट-पूर्ण समाधान की गारंटी देने के लिए आवश्यक हैं। शोधकर्ताओं ने पाया कि आवश्यक डेटा सीधे तौर पर स्टेट और एक्शन स्पेस के आकार से जुड़ा है, जो सिस्टम के व्यवहार के "स्पैन" (span) और एक स्थिर अवस्था तक पहुँचने के समय द्वारा प्रतिनिधित्व किए गए एक कारक से गुणा होता है। उन्होंने दो परिदृश्यों के बीच अंतर किया: एक जहाँ एजेंट को नियमों का थोड़ा उल्लंघन करने की अनुमति है, और दूसरा जहाँ उसे उनका सटीक पालन करना ही होगा। शिथिल (relaxed) परिदृश्य में, डेटा की आवश्यकता वांछित सटीकता के वर्ग के साथ बढ़ती है। हालाँकि, सख्त परिदृश्य में, जहाँ एजेंट कभी भी नियमों को नहीं तोड़ सकता, डेटा की आवश्यकता काफी बढ़ जाती है, जो इस बात पर निर्भर करती है कि व्यवहार्य क्षेत्र (feasible region) में कितना "विगल रूम" (wiggle room) मौजूद है।

यह सिद्ध करने के लिए कि उनका एल्गोरिदम जितना संभव हो सके उतना कुशल है, शोधकर्ताओं ने कठिन, काल्पनिक वातावरणों की एक श्रृंखला बनाई जिसे किसी भी लर्निंग एल्गोरिदम को चकमा देने के लिए डिज़ाइन किया गया था। इन कठिन मामलों ने दिखाया कि कोई भी विधि उनके एल्गोरिदम से तेज़ नहीं सीख सकती है बिना कुछ समस्याओं पर विफल हुए। उन्होंने प्रदर्शित किया कि सख्त सुरक्षा के लिए आवश्यक अतिरिक्त डेटा केवल उनके तरीके की खामी नहीं है, बल्कि बाधाओं के तहत सीखने का एक मौलिक नियम है। परिणाम एक स्पष्ट सीमा स्थापित करते हैं: यदि किसी एजेंट को पूरी तरह से सुरक्षित होना है, तो उसे डेटा संग्रह के रूप में एक उच्च कीमत चुकानी होगी, और यह लागत अपरिहार्य है।

यह कार्य सुरक्षित, दीर्घकालिक रणनीतियों को सीखने के लिए सांख्यिकीय सीमाओं की पहली पूर्ण तस्वीर प्रदान करता है। यह पुष्टि करता है कि जबकि इन जटिल व्यवहारों को कुशलतापूर्वक सीखना संभव है, सख्त सुरक्षा की कीमत वास्तविक और मापने योग्य है। ये निष्कर्ष उच्च-दांव वाले वातावरणों के लिए एआई सिस्टम बनाने वाले डेवलपर्स को एक रोडमैप प्रदान करते हैं, जिससे उन्हें पता चलता है कि यह सुनिश्चित करने के लिए उन्हें कितना डेटा एकत्र करने की आवश्यकता है कि उनके एजेंट प्रभावी और सुरक्षित दोनों हों। इन सीमाओं को परिभाषित करके, यह अध्ययन क्षेत्र को व्यवहार्यता के बारे में अनुमान लगाने से हटाकर सफलता के सटीक आवश्यकताओं को जानने की ओर ले जाता है, जिससे यह सुनिश्चित होता है कि भविष्य की बुद्धिमान प्रणालियों को वास्तविक दुनिया में विश्वास के साथ तैनात किया जा सके।