Induction in Both Directions: A Mechanistic Analysis of In-Context Learning in Masked Diffusion Language Models
यह शोध पत्र मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स (DLMs) का एक यांत्रिक विश्लेषण प्रदान करता है, जो यह प्रकट करता है कि वे इन-कॉन्टेक्स्ट लर्निंग के लिए एक दिशा-सममित द्विदिश इंडक्शन सर्किट को लागू करते हैं और टाइमस्टेप्स के रूप में वैश्विक मास्किंग अंशों की गणना स्पष्ट रूप से करते हैं, हालांकि वे केवल तभी ऑटोरिग्रेसिव मॉडल्स से बेहतर प्रदर्शन करते हैं जब वे पूर्ण द्विदिश संदर्भ का लाभ उठाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को वाक्य पूरा करना सिखाने की कोशिश कर रहे हैं। वर्षों तक, यह करने का सबसे अच्छा तरीका यह था कि रोबोट को एक कहानी बाएं से दाएं, शब्द दर शब्द पढ़ने के लिए बनाया जाए, और जो कुछ भी उसने पहले देखा है उसके आधार पर अगले शब्द का अनुमान लगाया जाए। आधुनिक एआई लेखक इसी तरह काम करते हैं; वे एक ऐसे व्यक्ति की तरह हैं जो एक किताब पढ़ रहा है जो केवल उन्हीं पन्नों को देख सकता है जिन्हें वह पहले ही पलट चुका है। लेकिन हाल ही में, वैज्ञानिकों ने एक अलग तरह का रोबोट बनाना शुरू किया है। बाएं-से-दाएं पढ़ने के बजाय, यह नया रोबोट टेक्स्ट का एक पूरा पन्ना देखता है जहाँ कुछ शब्द काले बक्सों के पीछे छिपे होते हैं। यह बाएं और दाएं दोनों ओर के दिखाई देने वाले शब्दों को देखता है, अंदाज़ा लगाता है कि बॉक्स के अंदर क्या है, उसे भरता है, और फिर पूरे पन्ने के साफ होने तक इस प्रक्रिया को दोहराता है। इसे "डिफ्यूजन" (diffusion) मॉडल कहा जाता है।
बड़ा सवाल यह है कि यह नया रोबोट कैसे सीखता है? जब आप रोबोट को एक पैटर्न दिखाते हैं, जैसे कि "बिल्ली चटाई पर बैठी थी। बिल्ली चटाई पर [खाली स्थान] बैठी थी," और वह समझ जाता है कि खाली स्थान में "बैठी थी" होना चाहिए, तो हम इसे "इंडक्शन" (induction) कहते हैं। यह रोबोट का अपना तरीका है यह कहने का, "मैंने यह पहले भी देखा है, इसलिए मुझे पता है कि आगे क्या होगा।" हम जानते हैं कि पुराने, बाएं-से-दाएं वाले रोबोट यह ट्रिक कैसे करते हैं, लेकिन हमें पता नहीं है कि नए, "सब-कुछ-देखने वाले" रोबोट यह सब कैसे कर लेते हैं। क्या वे उन्हीं मस्तिष्क सर्किटों का उपयोग करते हैं? क्या उनके पास एक गुप्त सुपरपावर है क्योंकि वे गायब शब्द के दोनों ओर देख सकते हैं? इन अलग-अलग मशीनों को बेहतर एआई बनाने के लिए यह समझना महत्वपूर्ण है कि वे वास्तव में कैसे सोचती हैं, न कि केवल वे क्या कहती हैं।
इस शोध पत्र में, शोधकर्ताओं ने दो बहुत समान रोबोट्स के साथ जासूसी करने का निर्णय लिया ताकि यह देखा जा सके कि वे एक ही पहेली को कैसे सुलझाते हैं। उन्होंने एक मानक "बाएं-से-दाएं" वाला रोबकट और एक नया "सब-कुछ-देखने" वाला रोबोट बनाया, यह सुनिश्चित करते हुए कि वे पढ़ने के तरीके के अलावा हर तरह से जुड़वां हों। उन्होंने उन्हें एक सरल खेल दिया: यादृच्छिक अक्षरों की एक लंबी श्रृंखला में एक दोहराए जाने वाले पैटर्न को खोजें और मिलान वाले स्थान से छूटे हुए अक्षर की नकल करें।
टीम ने पाया कि नया रोबोट केवल पुराने रोबोट की तरकीबों की नकल नहीं करता है; वह एक बिल्कुल नई, दो-तरफा सुपरपावर सीखता है। जबकि पुराना रोबोट अपना उत्तर खोजने के लिए केवल पीछे की ओर देख सकता है, नया रोबोट एक विशेष "इंडक्शन सर्किट" बनाता है जो दोनों दिशाओं में काम करता है। यह ऐसा है जैसे रोबोट के पास दो छोटे सहायक हैं: एक जो गायब शब्द के ठीक बाईं ओर क्या था उसे फुसफुसाता है, और दूसरा जो ठीक दाईं ओर क्या था उसे फुसफुसाता है। ये सहायक इन सुरागों को रोबोट की स्मृति में लिख देते हैं। फिर रोबोट का एक तीसरा "जासूसी" हिस्सा उन सुरागों का उपयोग करता है और पूरे टेक्स्ट को—अतीत और भविष्य दोनों को—स्कैन करने के लिए करता है—ताकि मिलान वाले पैटर्न को ढूंढ सके और उत्तर की नकल कर सके।
यहाँ एक मोड़ है: नया रोबोट केवल तभी बेहतर होता है जब उसे गायब शब्द के दोनों ओर झांकने की अनुमति दी जाती है। यदि आप उसका भविष्य देखने का दृश्य रोक देते हैं और उसे केवल अतीत को देखने के लिए मजबूर करते हैं (ठीक पुराने रोबोट की तरह), तो वह बिल्कुल वैसा ही प्रदर्शन करता है। यह साबित करता है कि नया रोबोट केवल पुराने वाले का "स्मार्टर" संस्करण नहीं है; उसकी बढ़त पूरी तरह से एक ही समय में अंतराल के दोनों ओर देखने की उसकी क्षमता से आती है।
शोधकर्ताओं ने यह भी पाया कि रोबोट को यह कैसे पता चलता है कि कब अनुमान लगाना है। आमतौर पर, इन रोबोटों को ठीक से बताया जाता है कि वे अनुमान लगाने के खेल के किस चरण पर हैं (जैसे "100 में से चरण 1")। लेकिन इन रोबोटों को यह जानकारी नहीं दी गई थी। इसके बजाय, शोध पत्र दिखाता है कि रोबोट गुप्त रूप से गिनता है कि पन्ने पर कितने काले बक्से अभी भी बचे हैं। वह इस गिनती को एक छिपे हुए टाइमर के रूप में उपयोग करता है। यदि कई बक्से बचे हैं, तो वह एक तरह से कार्य करता है; यदि कुछ ही बचे हैं, तो वह दूसरी तरह से कार्य करता है। वैज्ञानिकों ने रोबोट के दिमाग को छेड़कर और यह दिखाकर इसे साबित किया कि इस "बक्सा गिनती" को बदलने से रोबोट के अनुमानों में उसका आत्मविश्वास सीधे तौर पर बदल जाता है।
संक्षेप में, यह शोध पत्र प्रकट करता है कि ये नए डिफ्यूजन रोबोट केवल अलग तरह से नहीं सोचते; वे एक सममित, दो-तरफा सड़क की तरह सोचते हैं। वे दोनों ओर से सुराग इकट्ठा करते हैं, उन्हें मिलाते हैं, और यहाँ तक कि एक गुप्त मानसिक गणना भी रखते हैं कि कितना काम बाकी है, और यह सब बिना यह बताए कि उन्हें यह कैसे करना है। यह हमें एक स्पष्ट मानचित्र देता है कि ये शक्तिशाली नए उपकरण दुनिया को समझने के लिए कैसे सीख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।