A Transdiagnostic Space of Disorder Like Phenotypes in Reinforcement Learning Agents
यह शोध पत्र संज्ञानात्मक मूल्यांकन संकेतों (cognitive appraisal signals) में हेरफेर करके सुदृढीकरण सीखने वाले एजेंटों (reinforcement learning agents) में सात मनोवैज्ञानिक विकारों को मॉडल करने के लिए एक ट्रांसडायग्नोस्टिक ढांचे का परिचय देता है, जो यह प्रदर्शित करता है कि ये प्रेरित फेनोटाइप एक नियंत्रणीय, खुराक-निर्भर भावनात्मक स्थान (dose-dependent affective space) बनाते हैं जो न केवल विकार के लक्षणों की नकल करता है बल्कि विभिन्न वातावरणों में उपचार प्रतिक्रियाओं और सहवर्ती अंतःक्रियाओं (comorbid interactions) की भी भविष्यवाणी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक रोबोट दोस्त है जो भूलभुलैया (maze) में रास्ता बनाना सीख रहा है। आमतौर पर, हम रोबोट को पूर्ण होने के लिए सिखाते हैं: लक्ष्य खोजो, लावा से बचो, उच्च स्कोर प्राप्त करो। लेकिन क्या होगा अगर हम यह समझना चाहें कि इंसान कभी-कभी चिंता के चक्रों, लापरवाह व्यवहार या गहरे दुख में क्यों फंस जाते हैं? केवल लोगों को देखने के बजाय, यह शोध पत्र एक रोबोट के मस्तिष्क के भीतर एक "विकार सिम्युलेटर" (disorder simulator) बनाता है।
शोधकर्ताओं ने केवल रोबोट के कोड में बदलाव करके उसे अजीब व्यवहार करने के लिए नहीं बनाया। इसके बजाय, उन्होंने एक विशेष "इमोशनल डैशबोर्ड" बनाया जिसे Appraisal कहा जाता है। इस डैशबोर्ड को छह डायल वाले सेट के रूप में सोचें जो लगातार यह मापते हैं कि रोबोट अपनी स्थिति के बारे में कैसा महसूस कर रहा है: क्या यह महत्वपूर्ण है? क्या यह सुरक्षित है? क्या मैं समझ पा रहा हूँ कि क्या हो रहा है? क्या मैं इसे संभाल सकता हूँ?
बड़ी खोज क्या थी? इस डैशबोर्ड पर केवल एक एकल नॉब (knob) को घुमाकर, वे रोबोट को एक विशिष्ट "विकार-समान" व्यवहार विकसित करने में सक्षम हुए। उन्होंने रोबोट को चिंतित या व्यसनी (addicted) होने के लिए प्रोग्राम नहीं किया; उन्होंने बस एक संख्या को समायोजित किया, और रोबोट के मस्तिष्क ने अपने आप वह बुरा व्यवहार सीख लिया।
परेशानी के सात "नॉब्स" (Knobs)
टीम ने सात अलग-अलग "नॉब्स" बनाए, जो वास्तविक मनोवैज्ञानिक सिद्धांतों पर आधारित हैं। यहाँ बताया गया है कि जब आप उन्हें घुमाते हैं तो क्या होता है:
- द एंग्जायटी नॉब (The Anxiety Knob): यह रोबोट को खतरों के प्रति अति-जागरूक बनाता है। यह जोखिम लेना बंद कर देता है और हर चीज़ से बचने लगता है, भले ही इसका मतलब बड़े इनाम को खोना ही क्यों न हो। यह उस व्यक्ति की तरह है जो घर से बाहर निकलने से मना कर देता है क्योंकि सड़क पर शायद कोई कुत्ता हो सकता है।
- द मेनिया नॉब (The Mania Knob): यह चिंता का बिल्कुल विपरीत है। रोबोट लापरवाह हो जाता है, खतरे और लावे की तलाश में रहता है। यह चिंता का दर्पण प्रतिबिंब है, जो इस भावना से प्रेरित है कि सब कुछ सुरक्षित और रोमांचक है, भले ही वह न हो।
- द ओसीडी नॉब (The OCD Knob): यह रोबोट को चीजों को बार-बार चेक करने के लिए मजबूर करता है। कल्पना कीजिए कि एक रोबोट बार-बार दरवाजे के पास वापस जाता है यह सुनिश्चित करने के लिए कि वह लॉक है, भले ही उसने अभी-अभी चेक किया हो। वह जितना अधिक चेक करता है, उतनी ही कम तसल्ली उसे मिलती है, इसलिए वह फिर से चेक करता है।
- द डिप्रेशन नॉब (The Depression Knob): यह रोबोट के हर कदम में एक "लागत" (cost) जोड़ देता है। चलना थकाऊ हो जाता है। रोबोट लक्ष्य तक पहुँचने की कोशिश करना छोड़ देता है क्योंकि प्रयास बहुत भारी महसूस होता है, भले ही वह इसे अभी भी कर सकता हो।
- द इम्पल्सिविटी नॉब (The Impulsivity Knob): यह रोबोट को केवल अभी की परवाह करने के लिए बनाता है। वह एक बड़े इनाम के इंतजार के बजाय अपने सामने मौजूद एक छोटे से इनाम को झपट लेता है।
- द एडिक्शन नॉब (The Addiction Knob): यह एक "ड्रग टाइल" पेश करता है जो एक विशाल, कभी न खत्म होने वाला इनाम देता है। रोबोट वास्तविक लक्ष्य को छोड़कर इस टाइल के पीछे भागता है, और अंततः मिशन को पूरी तरह भूल जाता है।
- द पीटीएसडी नॉब (The PTSD Knob): यह लक्ष्य के सबसे छोटे रास्ते पर एक "झटका" (shock) रखता है। रोबोट उस एक स्थान से बचने के लिए एक लंबा, घुमावदार रास्ता चुनने के लिए सीख जाता है, भले ही वह घुमावदार रास्ता बहुत खराब हो।
"डोज़" (Dose) का जादू
सबसे दिलचस्प बात यह है कि ये केवल "ऑन" या "ऑफ" स्विच नहीं हैं। शोधकर्ता इन नॉब्स को वॉल्यूम डायल की तरह ऊपर-नीचे घुमा सकते थे। उन्होंने अलग-अलग सेटिंग्स के साथ सिमुलेशन को 1,375 बार चलाया। उन्होंने पाया कि जैसे-जैसे वे नॉब को ऊपर घुमाते गए, बुरा व्यवहार एक सुचारू, अनुमानित रेखा में बदतर होता गया। यदि वे इसे नीचे घुमाते, तो रोबोट बेहतर हो जाता। यह साबित करता है कि व्यवहार कोई ग्लिच (glitch) नहीं था; यह भावनात्मक संकेत के "डोज़" के प्रति एक सीधा जवाब था।
आश्चर्य: रोबोट का मस्तिष्क खुद को व्यवस्थित करता है
यहाँ शोध पत्र वास्तव में दिलचस्प हो जाता है। शोधकर्ताओं ने रोबोट को इन व्यवहारों को व्यवस्थित करने के लिए नहीं बताया। उन्होंने बस नॉब्स घुमाए। लेकिन जब उन्होंने परिणामों को प्लॉट किया, तो विकार एक व्यवस्थित मानचित्र में व्यवस्थित हो गए:
- चिंता (Anxiety) और मेनिया (Mania) एक दूसरे के पूर्ण विपरीत थे, जो मानचित्र के विपरीत दिशाओं में स्थित थे।
- एडिक्शन (Addiction) और इम्पल्सिविटी (Impulsivity) दोनों ने रोबोट को चीजों के "अति-पीछा" (over-pursuing) करने की ओर धकेला।
- डिप्रेशन (Depression) ने रोबोट को "निकासी" (withdrawal) की ओर खींचा।
यह ऐसा है जैसे रोबोट के मस्तिष्क ने संकेतों से सीखकर इन बिखरे हुए व्यवहारों को स्वाभाविक रूप से एक तार्किक संरचना में वर्गीकृत कर दिया।
"इलाज" का प्रयोग
टीम ने नॉब्स को वापस बंद करके रोबोट को "ठीक" करने की कोशिश भी की। परिणाम आश्चर्यजनक थे और वास्तविक मानव चिकित्सा तर्क से मेल खाते थे:
- आसान समाधान: "रिवॉर्ड डिस्टॉर्शन" विकारों (जैसे मेनिया, ओसीडी और एडिक्शन) के लिए, केवल नॉब को बंद करने से रोबोट तुरंत सामान्य स्थिति में वापस आ गया। बुरी आदत गहराई से जमी हुई नहीं थी।
- कठिन समाधान: "बचाव" (avoidance) विकारों (जैसे चिंता और पीटीएसडी) के लिए, केवल नॉब को बंद करना काम नहीं आया। रोबोट ने डरावने रास्ते से बचने की आदत बना ली थी। उसे "ग्रेडेड एक्सपोजर" (graded exposure) थेरेपी की आवश्यकता थी: शोधकर्ताओं को रोबro को धीरे-धीरे उस डरावने रास्ते का सामना करने के लिए मजबूर करना पड़ा, कदम-दर-कदम, जब तक कि उसे यह एहसास नहीं हुआ कि वह सुरक्षित है। यह इस बात की नकल करता है कि चिंता वाले मनुष्यों के लिए वास्तविक चिकित्सा कैसे काम करती है।
यह क्या नहीं है
यह जानना महत्वपूर्ण है कि यह शोध पत्र क्या नहीं कहता है।
- ये रोबोट मनुष्य नहीं हैं। उनमें मानवीय अर्थों में भावनाएं, यादें या आघात (trauma) नहीं हैं। वे गणितीय मॉडल हैं।
- शोधकर्ताओं ने रोबोट को "चिंतित होने" के लिए प्रोग्राम नहीं किया। उन्होंने एक संकेत प्रोग्राम किया, और चिंता एक दुष्प्रभाव के रूप में उभरी।
- उन्होंने यह साबित नहीं किया कि ये वास्तविक लोगों में इन विकारों के एकमात्र कारण हैं। उन्होंने केवल यह दिखाया कि ये विशिष्ट तंत्र एक सिमुलेशन में ऐसे व्यवहार बनाने के लिए पर्याप्त हैं।
अंतिम परीक्षण: क्या यह 3D में काम करता है?
यह सुनिश्चित करने के लिए कि यह केवल साधारण 2D भूलभुलैया का भ्रम नहीं है, उन्होंने एक कैमरे वाले रोबोट पर तीन विकारों (डिप्रेशन, एडिक्शन, चिंता) का परीक्षण किया, जो एक 3D पिक्सेल दुनिया (जैसे एक वीडियो गेम) में नेविगेट कर रहा था। वही नॉब्स बिल्कुल उसी तरह काम करते हैं। रोबोट उदास, आदी या चिंतित हो गया, भले ही उसके पास वह विशेष "डैशबोर्ड" न हो जिसका उपयोग शोधकर्ताओं ने पहले परीक्षण में किया था। यह बताता है कि समस्या रोबोट की आँखों या मस्तिष्क में नहीं है; यह इस बात में है कि "रिवॉर्ड सिग्नल" कैसे संरचित हैं।
निचोड़
यह शोध पत्र सुझाव देता है कि हम एक लर्निंग एजेंट में सरल गणितीय संकेतों को बदलकर चिंता या लत जैसे जटिल मानवीय संघर्षों को मॉडल कर सकते हैं। यह दिखाता है कि ये विकार रिवॉर्ड और खतरों को प्रोसेस करने के एक साझा मानचित्र के विभिन्न बिंदु हो सकते हैं। सबसे महत्वपूर्ण बात यह है कि यह सुझाव देता है कि इन समस्याओं को ठीक करने के लिए अलग-अलग रणनीतियों की आवश्यकता हो सकती है: कभी-कभी आपको बस बुरे संकेत को हटाने की आवश्यकता होती है, लेकिन अन्य बार, आपको सक्रिय रूप से आदत को फिर से प्रशिक्षित करने की आवश्यकता होती है। यह मानसिक स्वास्थ्य के अध्ययन को केवल यह देखने से बदलकर कि क्या गलत हो रहा है, एक ऐसे खेल के मैदान में बदल देता है जहाँ हम ठीक यह परीक्षण कर सकते हैं कि इसे कैसे ठीक किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।