It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning

आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनों को अक्सर एक एकल लक्ष्य का पीछा करके निर्णय लेना सिखाया जाता है, जैसे कि एक रोबोट वैक्यूम क्लीनर द्वारा फर्श साफ करना या एक प्रोग्राम द्वारा शतरंज का खेल जीतना। लेकिन वास्तविक दुनिया शायद ही कभी इतनी सरल होती है। अक्सर, एक एजेंट को एक साथ कई प्रतिस्पर्धी लक्ष्यों को संतुलित करना पड़ता है, जैसे कि एक स्वायत्त कार जो गंतव्य तक जल्दी पहुँचने के प्रयास के साथ-साथ सुरक्षित रहने और ऊर्जा बचाने की भी कोशिश कर रही हो। जब ये लक्ष्य आपस में टकराते हैं, तो मशीन को यह तय करने की आवश्यकता होती है कि कौन सा अधिक महत्वपूर्ण है। इसके अलावा, निर्णयों के परिणाम अलग-अलग समय सीमाओं पर सामने आ सकते हैं। एक छोटी सी गलती तत्काल समस्या पैदा कर सकती है, जबकि छोटी गलतियों की एक श्रृंखला महीनों बाद एक बड़ी आपदा का रूप ले सकती है। वर्षों से, शोधकर्ताओं ने इन स्थितियों को संभालने के लिए विभिन्न गणितीय उपकरण विकसित किए हैं, लेकिन उन्होंने आम तौर पर प्रत्येक समय सीमा को एक अलग समस्या के रूप में माना है, जिसमें तात्कालिक जोखिमों के लिए एक विधि और दीर्घकालिक औसत के लिए दूसरी विधि चुनी जाती है।

एक नया अध्ययन इस अलगाव को चुनौती देता है, यह तर्क देते हुए कि वास्तविक दुनिया के निर्णयों के लिए अक्सर एक एजेंट को तात्कालिक, मध्यम-अवधि और दीर्घकालिक परिणामों की चिंता एक साथ करनी पड़ती है। बेल्जियम, ब्राजील और ऑस्ट्रेलिया के संस्थानों में काम करने वाले शोधकर्ताओं ने प्रदर्शित किया है कि केवल इनमें से किसी एक पारंपरिक पद्धति पर निर्भर रहना, जब कई समय पैमाने शामिल हों, खतरनाक या अक्षम परिणामों की ओर ले जा सकता है। जहरीले पदार्थों के संपर्क में आने वाले श्रमिकों से जुड़े परिदृश्य का अनुकरण (सिमुलेशन) करते हुए, वे दिखाते हैं कि दीर्घकालिक औसत जोखिम से सुरक्षा करने के लिए डिज़ाइन की गई रणनीति अनजाने में किसी कार्यकर्ता को अल्पकालिक खतरे के शिखर (स्पाइक) के प्रति असुरक्षित छोड़ सकती है, जबकि तत्काल सुरक्षा पर केंद्रित रणनीति एक धीरे-धीरे बढ़ते स्वास्थ्य संकट को अनदेखा कर सकती है। उनका कार्य सुझाव देता है कि वास्तव में सुरक्षित और प्रभावी आर्टिफिशियल इंटेलिजेंस बनाने के लिए, हमें नए तरीकों की आवश्यकता है जो इन विभिन्न घड़ियों को एक साथ संतुलित कर सकें।

समस्या का मूल आधार यह है कि हम एजेंट के लिए "खुशी" या "उपयोगिता" (यूटिलिटी) को कैसे मापते हैं। कई मानक एआई प्रणालियों में, मशीन उस औसत इनाम की गणना करती है जिसकी वह एक लंबी अवधि में अपेक्षा करती है और उस संख्या को अधिकतम करने का प्रयास करती है। यह एक ऐसे कारखाने के लिए अच्छा काम करता है जो प्रतिदिन हजारों वीडियो फ़ाइलें प्रोसेस करता है; यदि औसत बिजली का उपयोग और गति अच्छी है, तो सिस्टम को सफल माना जाता है, भले ही एक विशिष्ट फ़ाइल को प्रोसेस करने में बहुत अधिक समय लगा हो। हालांकि, यह दृष्टिकोण तब विफल हो जाता है जब एक बुरा परिणाम विनाशकारी हो सकता है। एक चिकित्सा उपचार प्राप्त कर रहे रोगी पर विचार करें। वह रोगी अन्य हजारों रोगियों के औसत परिणाम की परवाह नहीं करेगा; उसे अपने स्वयं के विशिष्ट परिणाम की परवाह है। यदि उपचार में गैर-रेखीय (नॉन-लीनियर) जोखिम है—अर्थात खुराक में थोड़ी सी वृद्धि भी खतरे में भारी उछाल लाती है—तो औसत गणना वास्तविक जोखिम को छिपा देती है। रोगी को एक ऐसी प्रणाली की आवश्यकता है जो उसकी अपनी एकल यात्रा के विशिष्ट परिणाम का मूल्यांकन करे, न कि कई यात्राओं के औसत का।

समय को देखने का एक तीसरा तरीका है, जो बिल्कुल अगले कदम पर ध्यान केंद्रित करता है। कल्पना कीजिए कि एक कार दीवार से टकराती है। चोट लगने का खतरा प्रभाव के बल पर गैर-रेखीय रूप से निर्भर करता है। एक ज़ोरदार टक्कर बहुत अधिक खतरनाक होती है और जोखिम समय के साथ केवल जुड़ता नहीं जाता; सौ हल्के झटके एक ज़ोरदार टक्कर के बराबर नहीं होते। इस दृष्टिकोण में, सिस्टम को हर एक क्षण के जोखिम का मूल्यांकन करना चाहिए जैसा कि वह घटित होता है, और यदि कारकों का कोई खतरनाक संयोजन होता है, तो तुरंत दंड (पेनल्टी) लागू करना चाहिए। दशकों से, शोधकर्ताओं ने इन तीन दृष्टिकोणों—दीर्घकालिक औसत, एकल-यात्रा परिणाम, और तत्काल चरण-दर-चरण जोखिम—को अलग-अलग कार्यों के लिए अलग-अलग उपकरणों के रूप में माना है। इस नए पेपर के लेखक तर्क देते हैं कि यह अलगाव एक दोष है। वे प्रस्ताव देते हैं कि कई जटिल समस्याओं के लिए एक एजेंट को एक ही समय में तीनों समय पैमानों की परवाह करने की आवश्यकता होती है।

इस बात को सिद्ध करने के लिए, शोधकर्ताओं ने तीन कर्मचारियों और तीन अलग-अलग कार्यों वाला एक सरलीकृत सिमुलेशन बनाया, जिनमें से प्रत्येक का विषाक्तता का स्तर अलग था। लक्ष्य एक महीने की अवधि के दौरान इन श्रमिकों को कार्यों पर नियुक्त करना था जबकि उन्हें सुरक्षित रखा जाए। काम की विषाक्तता केवल एक साधारण संख्या नहीं थी; इसके प्रभाव इस बात पर निर्भर करते थे कि इसे कब मापा गया। इसमें एक दिन के भीतर उच्च खुराक का तत्काल जोखिम, महीने के दौरान कुल जोखिम का मध्यम-अवधि का जोखिम, और कई महीनों में संचयी क्षति का दीर्घकालिक जोखिम शामिल था। टीम ने इन तीनों पारंपरिक विधियों का अलग-अलग उपयोग करके सिमुलेशन चलाया, और फिर उन्हें संयोजित करने का प्रयास किया।

जब सिस्टम ने केवल दीर्घकालिक औसत पर ध्यान केंद्रित किया, तो उसने दो अनुभवी श्रमिकों को लगातार बदलकर सुरक्षित रखने की रणनीति खोजी, लेकिन इसने प्रभावी रूप से तीसरे, कम अनुभवी कार्यकर्ता का बलिदान दे दिया, उसे बार-बार सबसे खतरनाक कार्यों पर लगाया। तर्क यह था कि समूह के लिए औसत जोखिम कम था, इसलिए सिस्टम ने इस तथ्य को अनदेखा कर दिया कि एक व्यक्ति पर अत्यधिक बोझ डाला जा रहा था। जब सिस्टम ने केवल एकल-यात्रा परिणाम पर ध्यान केंद्रित किया, तो इसने श्रमिकों को बार-बार बदलने के बारे में सीखा ताकि कोई भी व्यक्ति उस विशिष्ट महीने के लिए खतरनाक रूप से उच्च कुल खुराक का सामना न करे। इसने सभी को अपेक्षाकृत सुरक्षित रखा लेकिन इससे बहुत अधिक बदलाव (स्विचिंग) हुआ जो शायद कुशल नहीं था। जब सिस्टम ने केवल तत्काल चरण-दर-चरण जोखिम पर ध्यान केंद्रित किया, तो इसने श्रमिकों को बदलना पूरी तरह से टाल दिया, और उन्हें उनके कौशल स्तर के अनुरूप कार्यों पर रखना पसंद किया, जो एक सुरक्षित लेकिन कठोर दृष्टिकोण था।

सबसे महत्वपूर्ण परिणाम तब आया जब शोधकर्ताओं ने तीनों समय पैमानों को एक साथ अनुकूलित (ऑप्टिमाइज़) करने का प्रयास किया। उन्होंने एक ऐसा तरीका इस्तेमाल किया जिसने तत्काल, मासिक और दीर्घकालिक जोखिमों को एक एकल लक्ष्य में मिला दिया। परिणामी रणनीति अन्यों का मिश्रण थी, लेकिन इसने एक नए ढांचे के बिना इन प्रतिस्पर्धी घड़ियों को संतुलित करने के प्रयास में एक गंभीर खामी को उजागर किया। सिस्टम ने फिर से सबसे कम अनुभवी कार्यकर्ता का बलिदान दिया, अन्य लोगों को तात्कालिक स्पाइक्स और दीर्घकालिक संचय दोनों से बचाने के लिए उन्हें कठिन कार्यों पर लगाया। सिमुलेशन ने दिखाया कि विभिन्न समय पैमानों को केवल औसत निकालना काम नहीं करता है; जोखिमों की गैर-रेखीय प्रकृति का अर्थ है कि एक समय पैमाने की सुरक्षा करना अनजाने में दूसरे को खतरे में डाल सकता है। शोधकर्ताओं ने पाया कि जो नीतियां एक समय पैमाने के लिए अच्छी तरह से काम करती थीं, वे अक्सर तब सबसे खराब विकल्प साबित हुईं जब सभी पैमानों पर एक साथ विचार किया गया।

यह निष्कर्ष वर्तमान आर्टिफिशियल इंटेलिजेंस अनुसंधान में एक महत्वपूर्ण अंतर को उजागर करता है। जबकि हमारे पास दीर्घकालिक औसत या तत्काल जोखिमों को संभालने के लिए शक्तिशाली उपकरण हैं, हमारे पास उन्हें एक साथ संभालने के लिए एक व्यापक विधि का अभाव है। लेखक सुझाव देते हैं कि भविष्य के सिस्टम को संभावित परिणामों के वितरण (डिस्ट्रीब्यूशन) को सीखना होगा, न केवल औसत परिणाम को बल्कि विभिन्न समय खिड़कियों में क्या हो सकता है उसके पूर्ण विस्तार को समझना होगा। वे स्वीकार करते हैं कि यह एक कठिन चुनौती है, क्योंकि एक समय पैमाने पर सुरक्षा में सुधार करने के लिए नीति को बदलना दूसरे पर इसे बदतर बना सकता है, जिससे ट्रेड-ऑफ का एक जटिल परिदृश्य बनता है। हालांकि, उनका मानना है कि इन संयुक्त दृष्टिकोणों को विकसित करना वास्तविक दुनिया के अनुप्रयोगों के लिए आवश्यक है, जैसे कि चिकित्सा में रेडिएशन थेरेपी का प्रबंधन करना या व्यवसाय में ग्राहक सेवा को अनुकूलित करना, जहाँ व्यक्तियों की सुरक्षा और संतुष्टि को पूरे के दक्षता के विरुद्ध संतुलित किया जाना चाहिए।

अध्ययन इस निष्कर्ष पर पहुँचता है कि हम वर्तमान में मशीनों को निर्णय लेना जिस तरह से सिखाते हैं वह बहुत संकीर्ण है। समय को एक एकल आयाम के रूप में मानकर या अन्यों में से किसी एक दृष्टिकोण को चुनकर, हम ऐसे सिस्टम बनाने का जोखिम उठाते हैं जो सिद्धांत में सुरक्षित हैं लेकिन व्यवहार में खतरनाक हैं। आगे का रास्ता ऐसे नए एल्गोरिदम की मांग करता है जो एक साथ कई समय पैमानों को ध्यान में रख सकें, यह सुनिश्चित करते हुए कि एक एजेंट केवल एक औसत को अधिकतम न करे या एक बुरे दिन से न बचे, बल्कि अपने अस्तित्व के पूरे कालखंड में अपने कार्यों के पूर्ण भार को वास्तव में समझ सके। यह केवल एक तकनीकी समायोजन नहीं है बल्कि यह सुनिश्चित करने के लिए एक आवश्यक विकास है कि आर्टिफिशियल इंटेलिजेंस मानव जीवन की जटिल और बहुस्तरीय वास्तविकता के बीच सफलतापूर्वक नेविगेट कर सके।