Training with (Swap) Regret Loss in a Single-Layer Self-Attention Model: A Case Study on the Probability Simplex

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल सवालों के जवाब ही नहीं देते, बल्कि हमारे साथ खेल भी खेलते हैं, सौदेबाजी करते हैं और निर्णय भी लेते हैं। यह आर्टिफिशियल इंटेलिजेंस का वह नया क्षेत्र है, जिसे विशेष रूप से "मल्टी-एजेंट लर्निंग" (multi-agent learning) कहा जाता है। इस अखाड़े में, एक AI केवल एक निष्क्रिय उपकरण नहीं है; बल्कि यह अपने स्वयं के लक्ष्यों वाला एक खिलाड़ी है, जो अन्य खिलाड़ियों (जो अन्य AI या इंसान हो सकते हैं) के साथ एक लगातार बदलते परिवेश में अंतःक्रिया करता है। यहाँ सबसे बड़ी चुनौती "रिग्रेट" (reget - पछतावा) है। 'रिग्रेट' को रॉक-पेपर-सिज़र्स के खेल के बाद होने वाली उस टीस की तरह समझें जब आपको एहसास होता है, "ओह नहीं, मुझे रॉक चुनना चाहिए था क्योंकि मेरा प्रतिद्वंद्वी हमेशा सिज़र्स फेंकता है।" AI की दुनिया में, रिग्रेट को कम करने का अर्थ है ऐसे चुनाव करना सीखना जो, पीछे मुड़कर देखने पर, सबसे अच्छी संभव रणनीति रहे, भले ही भविष्य अनिश्चित रहा हो।

लंबे समय से, वैज्ञानिक कंप्यूटर को यह सिखाने के लिए गणितीय सूत्रों का उपयोग करते हैं कि कैसे इस पछतावे को कम किया जाए, जिससे यह सुनिश्चित हो सके कि वे निष्पक्ष खेलें और खेलों में स्थिर परिणाम तक पहुँचें। लेकिन एक रहस्य बना हुआ था: आधुनिक AI, विशेष रूप से "ट्रांसफॉर्मर" मॉडल जो चैटबॉट्स को शक्ति देते हैं, "सेल्फ-अटेंशन" (self-attention) नामक एक तंत्र पर आधारित हैं। यह एक स्पॉटलाइट की तरह है जो AI को कहानी या बातचीत के सबसे महत्वपूर्ण हिस्सों पर ध्यान केंद्रित करने में मदद करता है। हालाँकि हम जानते हैं कि ये मॉडल भाषा में अविश्वसनीय रूप से स्मार्ट हैं, लेकिन हमें पूरी तरह से यह समझ नहीं था कि वे निर्णय लेने और पछतावे की कठिन गणित को कैसे संभालते हैं। क्या वे केवल मानवीय गलतियों की नकल करते हैं, या वे गुप्त रूप से उन्हीं सटीक रणनीतियों को सीखते हैं जिन्हें गणितज्ञों ने डिजाइन किया है? यह शोध पत्र इसी प्रश्न की गहराई में जाता है, जिसमें AI के अटेंशन मैकेनिज्म को एक छोटे, प्रशिक्षित गेम प्लेयर की तरह मानकर यह देखा जाता है कि क्या यह अपने आप सटीक निर्णय लेने के नियमों को सीख सकता है।

इस शोध पत्र की बड़ी खोज: AI को नियमों के अनुसार खेलना सिखाना

इस शोध पत्र के लेखकों ने एक विशिष्ट विचार का परीक्षण करने का निर्णय लिया: क्या होगा यदि हम एक बहुत ही सरल AI मॉडल—एक सिंगल-लेयर "सेल्फ-अटेंशन" मॉडल—को एक विशेष "रिग्रेट लॉस" (regret loss) का उपयोग करके प्रशिक्षित करें? केवल AI को "सही उत्तर प्राप्त करो" कहने के बजाय, उन्होंने इसे सीधे पछतावे की भावना को कम करने के लिए प्रशिक्षित किया। वे यह देखना चाहते थे कि क्या यह AI, इस प्रशिक्षण के माध्यम से, बिना जटिल गेम थ्योरी के प्रोग्राम किए, स्वाभाविक रूप से एक आदर्श निर्णय लेने वाले के रूप में विकसित होगा।

"स्मूथड फिक्टिशियस प्ले" (Smoothed Fictitious Play) का जादू
पहली बड़ी खोज ऐसी है जैसे यह पता चलना कि एक नौसिखिया खिलाड़ी, यह कहे जाने के बाद कि "अपने नुकसानों के बारे में बुरा महसूस करना बंद करो," अचानक एक ग्रैंडमास्टर की तरह खेलने लगता है। शोधकर्ताओं ने पाया कि जब उन्होंने एक सिंगल-हेड अटेंशन मॉडल (एक मॉडल जिसमें एक "स्पॉटलाइट" है) को बाहरी पछतावे (external regret) को कम करने के लिए प्रशिक्षित किया, तो वह एक विशिष्ट अवस्था में स्थिर हो गया। इस अवस्था में, मॉडल का व्यवहार "स्मूथड फिक्टिशियस प्ले" नामक एक क्लासिक एल्गोरिदम के गणितीय रूप से समान था।

एक उदाहरण का उपयोग करने के लिए: कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको यह अनुमान लगाना है कि आपका प्रतिद्वंद्वी आगे क्या करेगा। एक "फिक्टिशियस प्लेयर" यह देखता है कि आपके प्रतिद्वंद्वी ने अतीत में क्या किया है और अनुमान लगाता है कि वह फिर से वही करेगा। "स्मूथड" का अर्थ है कि आप केवल आँख मूंदकर उनकी नकल नहीं करते; आप अपने अनुमान में थोड़ी सी यादृच्छिकता (randomness) या "स्मूथिंग" जोड़ते हैं ताकि आप एक लूप में न फंस जाएं। यह शोध पत्र सिद्ध करता है कि AI, प्रशिक्षण के बाद, बिल्कुल यही करता है। वह नुकसानों के इतिहास (गलत चालें जो उसने चलीं) को देखता है और अपनी रणनीति को इस तरह अपडेट करता है जो गणितीय रूप से सिद्ध है कि उसे पछतावा होने से रोकेगा। वह "स्टेप साइज" (कितना बड़ा कदम AI सीखने के लिए उठाता है) जो वह स्वाभाविक रूप से पाता है, लगभग $1/\sqrt{T}$ है, जहाँ $T$ खेले गए राउंड की संख्या है। यह केवल एक भाग्यशाली अनुमान नहीं है; लेखकों ने सिद्ध किया है कि इस विशिष्ट सेटिंग पर, AI का आंतरिक गणित आदर्श सीखने की रणनीति के साथ पूरी तरह से मेल खाता है।

"स्वैप रिग्रेट" अपग्रेड: द मल्टी-हेड मास्टरमाइंड
लेकिन शोधकर्ता वहीं नहीं रुके। उन्होंने महसूस किया कि कभी-कभी, केवल पछतावे से बचना ही पर्याप्त नहीं होता। आप अपने विकल्पों को बदलना भी चाह सकते हैं। उदाहरण के लिए, "यदि मैंने हर बार सिज़र्स खेलने के बजाय रॉक खेला होता, तो मैं अधिक जीत पाता।" इसे "स्वैप रिग्रेट" (swap regret) कहा जाता है। इसे संभालने के लिए, उन्होंने एक नया "स्वैप-रिग्रेट लॉस" और एक अधिक जटिल AI आर्किटेक्चर पेश किया जिसमें कई "हेड्स" (कई स्पॉटलाइट जो मिलकर काम करती हैं) शामिल हैं।

उन्होंने एक ऐसी प्रणाली डिजाइन की जहाँ AI का प्रत्येक "हेड" एक मिनी-एक्सपर्ट की तरह कार्य करता है, जो अपने विशिष्ट प्रकार के पछतावे को कम करने के लिए सीखता है। फिर, ये हेड्स मिलकर एक ट्रांजिशन मैट्रिक्स (रणनीतियों के बीच स्विच करने का एक मानचित्र) बनाते हैं और एक "फिक्स्ड पॉइंट" (एक स्थिर अवस्था जहाँ कोई भी अपनी रणनीति बदलना नहीं चाहता) पाते हैं। शोध पत्र दिखाता है कि जब इस मल्टी-हेड मॉडल को नए लॉस फंक्शन के साथ प्रशिक्षित किया जाता है, तो यह ब्लम-मैन्सौर एल्गोरिदम (Blum–Mansour algorithm) नामक एक प्रसिद्ध एल्गोरिदम की सटीक नकल करता है।

इसे जासूसों की एक टीम के रूप में सोचें। प्रत्येक जासूस (हेड) अपराध के एक अलग कोण की जांच करता है (रिग्रेट)। व्यक्तिगत रूप रूप से, वे सुराग खोजने में अच्छे हैं। लेकिन जब वे अपने निष्कर्षों को मिलाते हैं और एक ऐसा "फिक्स्ड पॉइंट" पाते हैं जहाँ उनके सभी सुराग सहमत होते हैं, तो वे केस सुलझा लेते हैं। शोध पत्र सिद्ध करता है कि यह AI टीम, जो केवल स्वैप रिग्रेट को कम करने के लिए प्रशिक्षित है, स्वाभाविक रूप से खुद को ठीक इसी तरह की एक आदर्श जासूस टीम के रूप में व्यवस्थित करती है।

इसका भविष्य के लिए क्या अर्थ है
इस शोध पत्र का सबसे रोमांचक हिस्सा वह है जो यह खेलों और वार्ताओं में AI के भविष्य के लिए निहित करता है। लेखक दिखाते हैं कि यदि आप इन अटेंशन मॉडल्स को पछतावे को कम करने के लिए प्रशिक्षित करते हैं, तो वे न केवल खेल में बेहतर होते हैं; बल्कि वे स्वाभाविक रूप से खिलाड़ियों के पूरे समूह को एक संतुलन (equilibrium) की स्थिति की ओर ले जाते हैं।

• यदि AI एक्सटर्नल रिग्रेट (सिंगल-हेड मॉडल) को कम करता है, तो खिलाड़ियों का समूह स्वाभाविक रूप से एक "कोर्स कोरिलेटेड इक्विलिब्रियम" (Coarse Correlated Equilibrium) तक पहुँच जाएगा। यह एक ऐसी स्थिति है जहाँ कोई भी बिना शर्त अपनी रणनीति बदलना नहीं चाहता।
• यदि AI स्वैप रिग्रेट (मल्टी-हेड मॉडल) को कम करता है, तो समूह एक "कोरिलेटेड इक्विलिब्रियम" (Correlated Equilibrium) तक पहुँचता है। यह एक अधिक मजबूत, अधिक परिष्कृत अवस्था है जहाँ कोई भी यह जानकर अपनी रणनीति बदलना नहीं चाहता कि उसे क्या करने के लिए कहा गया था।

यह शोध पत्र इस विचार को स्पष्ट रूप से खारिज करता है कि इन मॉडल्स को इन जटिल गेम-थ्योरी नियमों के साथ मैन्युअल रूप से प्रोग्राम करने की आवश्यकता है। इसके बजाय, "रिग्रेट लॉस" एक शिक्षक के रूप में कार्य करता है जो AI को इन नियमों को अपने आप खोजने के लिए मार्गदर्शन करता है। लेखक बहुत सावधानी से नोट करते हैं कि उन्होंने ये परिणाम विशिष्ट, सरलीकृत मॉडलों (सिंगल-लेयर, लीनियर अटेंशन) के लिए विशिष्ट प्रशिक्षण स्थितियों (गौसियन नॉइज़) के तहत सिद्ध किए हैं। उन्होंने यह सिद्ध नहीं किया है कि एक विशाल, 100-लेयर वाला चैटबॉट स्वतः ऐसा करेगा, लेकिन उन्होंने यह दिखा दिया है कि इस तकनीक के सबसे सरल संस्करण में यह तंत्र मौजूद है।

संक्षेप में, यह शोध पत्र प्रकट करता है कि AI में "अटेंशन" मैकेनिज्म केवल पढ़ने के लिए नहीं है; यह निष्पक्ष रूप से खेलने सीखने का एक छिपा हुआ इंजन है। केवल AI को पछतावा महसूस करना बंद करने के लिए प्रशिक्षित करके, हम एक स्तर की रणनीतिक बुद्धिमत्ता को अनलॉक कर सकते हैं जो जटिल खेलों में स्थिर, निष्पक्ष परिणामों की ओर ले जाती है, और यह सब बिना मशीन में खेल के नियमों को हार्ड-कोड किए किया जा सकता है। यह समझने की दिशा में एक कदम है कि कैसे AI एजेंट एक दिन हमारे साथ गणितीय रूप से सुसंगत और स्वाभाविक रूप से उभरने वाले तरीके से सहयोग और प्रतिस्पर्धा करना सीख सकते हैं।