Transformers Linearly Represent Highly Structured World Models
सुडोकू समाधान के ट्रेसेस (traces) पर एक ट्रांसफार्मर को प्रशिक्षित करके, यह अध्ययन प्रकट करता है कि मॉडल आंतरिक रूप से डोमेन के बाधा बीजगणित (constraint algebra) के अनुरूप एक संरचित विश्व मॉडल (world model) का निर्माण करता है न कि सतही विशेषताओं का, और कार्य को हल करने के लिए "नेकेड-सिंगल" (naked-single) डिटेक्टर जैसे विरल, व्याख्या योग्य सर्किटों का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने सुडोकू पहेलियाँ हल करना सीखने के लिए एक प्रतिभाशाली लेकिन रहस्यमय प्रशिक्षु (apprentice) को काम पर रखा है। आप उन्हें सीधे नियम नहीं सिखाते; इसके बजाय, आप बस उन्हें किसी और के द्वारा पहेलियों को चरण-दर-चरण हल करने के हजारों उदाहरण दिखाते हैं। कुछ समय बाद, प्रशिक्षु इसमें बहुत कुशल हो जाता है।
लेकिन यहाँ बड़ा सवाल यह है: प्रशिक्षु का मस्तिष्क वास्तव में कैसे काम करता है? क्या वह पहेली को 81 अलग-अलग खाली खानों के रूप में देखता है, या वह परस्पर जुड़े नियमों के एक समूह के रूप में देखता है?
यह शोध पत्र एक कंप्यूटर मॉडल (एक ट्रांसफार्मर) को "खोलकर" इस बात की जांच करता है जिसे सुडोकू पर प्रशिक्षित किया गया है। शोधकर्ताओं ने पाया कि यह मॉडल कैसे सोचता है, इसके बारे में तीन आश्चर्यजनक बातें सामने आईं।
1. "टीम कैप्टन" बनाम "व्यक्तिगत कार्यकर्ता"
अधिकांश लोग मानते हैं कि यदि आप एक मॉडल को सुडोकू ग्रिड दिखाते हैं, तो वह प्रत्येक सेल (छोटे बॉक्स) को व्यक्तिगत रूप से ट्रैक करना सीख जाएगा, जैसे कि कोई कार्यकर्ता 81 अलग-अलग वस्तुओं की सूची में टिक लगा रहा हो।
शोध पत्र का निष्कर्ष: मॉडल ऐसा नहीं करता है। इसके बजाय, यह अपनी सोच को समूहों के इर्द-गिर्द व्यवस्थित करता है।
सुडोकू पहेली को 81 बॉक्स के रूप में नहीं, बल्कि तीन प्रकार की टीमों के रूप में सोचें:
- रो टीम (Row Team) (9 क्षैतिज रेखाएं)
- कॉलम टीम (Column Team) (9 ऊर्ध्वाधर रेखाएं)
- बॉक्स टीम (Box Team) (9 छोटे 3x3 वर्ग)
मॉडल एक "विश्व मॉडल" (world model) बनाता है जहाँ वह इन टीमों में मौजूद संख्याओं को ट्रैक करता है, न कि केवल व्यक्तिगत बॉक्सों को। यह ऐसा है जैसे प्रशिक्षु ने व्यक्तिगत ईंटों को देखना बंद कर दिया हो और दीवारों, फर्शों और छतों को देखना शुरू कर दिया हो। शोधकर्ताओं ने पाया कि मॉडल इस सवाल का जवाब देने में सटीक है कि, "क्या पहली पंक्ति में संख्या 5 है?" लेकिन यह अनुमान लगाने में केवल 80% सटीक है कि, "इस विशिष्ट बॉक्स में क्या संख्या है?"
क्यों? क्योंकि सुडोकू में, किसी संख्या की वैधता उस समूह पर निर्भर करती है जिसका वह हिस्सा है, न कि बॉक्स पर। मॉडल ने नियमों (बीजगणित) के संदर्भ में सोचना सीखा, न कि सतही दिखावट (ग्रिड) के संदर्भ में।
2. बीच में "ट्रैफिक नियंत्रक" (Traffic Controllers)
मॉडल के पास सोचने के 8 स्तर (layers) हैं। शोधकर्ताओं ने यह देखने के लिए बीच की परतों का अध्ययन किया कि सूचना कैसे प्रवाहित होती है।
शोध का निष्कर्ष: उन्होंने विशिष्ट "ट्रैफिक नियंत्रक" (जिन्हें 'अटेंशन हेड्स' कहा जाता है) की खोज की जो प्रत्येक टीम के लिए विशेष प्रबंधकों के रूप में कार्य करते हैं।
- एक प्रबंधक केवल रो 4 (Row 4) को देखता है।
- दूसरा केवल बॉक्स 5 (Box 5) को देखता है।
- तीसरा केवल कॉलम 2 (Column 2) को देखता है।
इन प्रबंधकों का काम बहुत सरल है: "नो-गो" (No-Go) सिग्नल।
यदि कोई संख्या (मान लीजिए 7) पहले से ही रो 4 में है, तो यह प्रबंधक तुरंत उस रो के प्रत्येक खाली स्थान के लिए संख्या 7 पर "उपयोग न करें" का संकेत लगा देता है। वे इसे केवल अनदेखा नहीं करते; वे इसे उपयोग करने के विचार को सक्रिय रूप से दबा देते (suppress)। यह सभी पंक्तियों, कॉलमों और बॉक्सों के लिए एक साथ होता है, जिससे यह स्पष्ट सूची बन जाती है कि क्या इस्तेमाल किया जा सकता है।
3. "लाइटबल्ब मोमेंट" न्यूरॉन्स
अंत में, शोधकर्ताओं ने मॉडल के अंतिम कदम को देखा जिससे पहले वह एक चाल चलता है। यहीं पर मॉडल तय करता है, "ठीक है, मैं यहाँ 7 रखूँगा।"
शोध का निष्कर्ष: उन्होंने न्यूरॉन्स के एक छोटे, विशिष्ट समूह (केवल 91) को पाया जो बल्ब (Lightbulbs) की तरह काम करते हैं।
- ये बल्ब केवल तभी जलते हैं जब किसी विशिष्ट सेल में ठीक एक संभावित संख्या बची होती है (एक ऐसी स्थिति जिसे "नेकेड सिंगल" कहा जाता है)।
- जब बल्ब जलता है, तो वह केवल यह नहीं कहता कि "7 अच्छा है।" वह चिल्लाकर कहता है, "अरे, यह पूरा सेल हल हो गया है!" और उस सेल के सभी नंबरों के आत्मविश्वास को समान रूप से बढ़ाता है।
- क्योंकि बीच की परतों ने गलत नंबरों को हटाने का कठिन काम पहले ही कर दिया था, इसलिए "सही" नंबर पहले से ही शीर्ष विकल्प था। बल्ब बस उसे सुनिश्चित करने के लिए एक अंतिम, बड़ा धक्का देता है कि मॉडल उस उत्तर के प्रति प्रतिबद्ध हो जाए।
बड़ी तस्वीर (The Big Picture)
शोध पत्र निष्कर्ष निकालता है कि इस AI ने केवल पैटर्न को याद नहीं किया; इसने एक आंतरिक मानचित्र बनाया जो पहेली के तर्क (logic) से पूरी तरह मेल खाता है।
- यह ग्रिड नहीं देखता; यह प्रतिबंधों (constraints) को देखता है।
- यह अंदाज़ा नहीं लगाता; यह नियमों को लागू करने के लिए विशेष प्रबंधकों का उपयोग करता है।
- यह हिचकिचाता नहीं है; इसके पास समर्पित स्विच हैं जो तर्क स्पष्ट होने पर उत्तर को लॉक कर देते हैं।
शोधकर्ताओं ने मॉडल को "तोड़कर" इसे साबित किया: जब उन्होंने "रो मैनेजर्स" को बंद कर दिया, तो मॉडल उन नंबरों का सुझाव देने लगा जो उस रो में पहले से मौजूद थे। जब उन्होंने "लाइटबल्ब न्यूरॉन्स" को बंद कर दिया, तो मॉडल भ्रमित हो गया कि कौन सा नंबर चुनना है, भले ही वह जानता था कि उत्तर वहीं है।
संक्षेप में, AI ने सुडोकू को उसी तरह हल करना सीखा जैसे एक मानव विशेषज्ञ करता है: खेल के नियमों को समझकर, न कि केवल खाली खानों को देखकर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।