Architecture-Dependent Causal Transfer of Activation States Across Large Language Models
यह शोध पत्र यह प्रदर्शित करता है कि जहाँ आंतरिक सक्रियण अवस्थाओं (internal activation states) को मापने योग्य प्रतिनिधित्व संरेखण (representational alignment) के साथ विभिन्न लार्ज लैंग्वेज मॉडल आर्किटेक्चर के बीच प्रक्षेपित किया जा सकता है, वहीं जनरेशन के दौरान इन अवस्थाओं का सफल एंड-टू-एंड कारणत्मक हस्तांतरण (causal transfer) कड़ाई से आर्किटेक्चर-निर्भर है, जो एक सार्वभौमिक तंत्र के रूप में कार्य करने के बजाय केवल विशिष्ट डिकोडर-ओनली जोड़ियों के लिए ही विश्वसनीय रूप से कार्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि दो लोग एक-दूसरे से बात करने की कोशिश कर रहे हैं, लेकिन उन्हें एक तीसरे भाषा बोलने वाले अनुवादक के माध्यम से बोलने के लिए मजबूर किया गया है। पहला व्यक्ति एक विचार फुसफुसाता है, अनुवादक उसे लिख लेता है, दूसरा व्यक्ति उसे पढ़ता है, और फिर अनुवादक एक उत्तर लिखता है। इस प्रक्रिया में समय लगता है, पैसा खर्च होता है, और मूल अर्थ खो जाने का जोखिम रहता है। आज, आर्टिफिशियल इंटेलिजेंस सिस्टम ठीक इसी तरह संवाद करते हैं। जब एक कंप्यूटर प्रोग्राम को दूसरे प्रोग्राम को जानकारी भेजनी होती है, तो वह अपने आंतरिक विचारों को मानव-पठनीय टेक्स्ट में बदल देता है, उस टेक्स्ट को भेजता है, और प्राप्त करने वाला प्रोग्राम उस टेक्स्ट को पढ़ता है और उसे अपने स्वयं के आंतरिक विचारों में वापस बदल देता है। टेक्स्ट की यह मध्य परत ही एकमात्र तरीका है जिससे वे वर्तमान में बात करना जानते हैं। लेकिन क्या होगा अगर वे टेक्स्ट को पूरी तरह से छोड़ सकें? क्या होगा अगर एक मशीन सीधे अपनी आंतरिक स्थिति (internal state) दूसरी मशीन को सौंप सके, जैसे कि बिना लिखे ही कोई नोट पास कर देना? यही वह प्रश्न है जिसका उत्तर खोजने के लिए शोधकर्ताओं ने प्रयास किया: क्या अलग-अलग कंपनियों द्वारा बनाई गई और अलग-अलग डेटा पर प्रशिक्षित विभिन्न प्रकार की आर्टिफिशियल इंटेलिजेंस, शब्दों में अनुवाद करने की आवश्यकता के बिना एक-दूसरे के आंतरिक संकेतों को समझ सकती हैं?
प्रयोग को समझने के लिए, यह जानना सहायक है कि ये प्रोग्राम, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) के रूप में जाना जाता है, मनुष्यों की तरह शब्दों में नहीं सोचते हैं। इसके बजाय, वे सूचना को संख्याओं के विशाल, बदलते पैटर्न के रूप में संसाधित करते हैं जिन्हें 'एक्टिवेशन स्टेट्स' कहा जाता है। आप इन पैटर्न्स को एक क्षण में मस्तिष्क की विशिष्ट विद्युत फायरिंग के रूप में सोच सकते हैं। जब कोई मॉडल एक प्रश्न पढ़ता है, तो उसके भीतर गतिविधि का एक अनूठा पैटर्न चमक उठता है। शोधकर्ता यह जानना चाहते थे कि क्या एक मॉडल में किसी विशिष्ट विचार का पैटर्न दूसरे मॉडल में उसी विचार के पैटर्न के समान है, ताकि उनके बीच एक सेतु बनाया जा सके। यदि पैटर्न पर्याप्त रूप से समान थे, तो एक कंप्यूटर एक मॉडल के आंतरिक संकेत को सीधे दूसरे मॉडल के आंतरिक संकेत में बदलने के लिए सीख सकता था, जिससे शब्दों की आवश्यकता के बिना ही काम चल जाता।
एक शोधकर्ता ने चार अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल्स का उपयोग करके इस विचार का परीक्षण करने का निर्णय लिया। इन मॉडल्स को सावधानीपूर्वक चुना गया था ताकि वे तकनीक के विभिन्न परिवारों और विभिन्न प्रशिक्षण इतिहासों का प्रतिनिधित्व कर सकें। उनमें से तीन को एक बार में एक शब्द बनाकर टेक्स्ट उत्पन्न करने के लिए बनाया गया था, जबकि चौथा टेक्स्ट को दोनों दिशाओं से एक साथ समझने के लिए बनाया गया था। शोधकर्ता ने पहले यह जांचा कि क्या इन मॉडल्स के आंतरिक पैटर्न इतने समान हैं कि उनकी तुलना की जा सके। उन्होंने देखा कि मॉडल्स ने संबंधित अवधारणाओं (जैसे पर्यायवाची शब्द या ऐसे शब्द जो किताबों में अक्सर एक साथ पाए जाते हैं) के प्रति कैसी प्रतिक्रिया दी। उन्होंने पाया कि एक ही तरह से बनाए गए तीन मॉडल्स के लिए, आंतरिक पैटर्न वास्तव में समान थे। हालांकि, अलग तरह से बनाए गए मॉडल में ऐसी कोई समानता नहीं दिखी। इससे पता चला कि मॉडल को बनाने का तरीका, इसे बनाने वाले या इसे किस डेटा पर प्रशिक्षित किया गया है, उससे अधिक महत्वपूर्ण है।
इसके बाद, शोधकर्ता ने एक सेतु बनाने का प्रयास किया। उन्होंने एक छोटा, सरल कंप्यूटर प्रोग्राम प्रशिक्षित किया जो एक अनुवादक के रूप में कार्य कर सके, यह सीखने के लिए कि एक मॉडल के आंतरिक संकेत को दूसरे मॉडल के आंतरिक संकेत में कैसे बदला जाए। उन्होंने इस सेतु का परीक्षण एक प्रश्न दिखाकर किया, पहले मॉडल की उस प्रश्न के प्रति प्रतिक्रिया को परिवर्तित किया, और देखा कि क्या दूसरा मॉडल बीस संभावनाओं की सूची में से सही उत्तर को पहचान पाता है। एक ही तरह से बनाए गए तीन मॉडल्स के लिए, यह सेतु आश्चर्यजनक रूप से अच्छा काम करता था। दूसरे मॉडल ने संकेत के स्रोत को लगभग आधे समय सही पहचाना, जो कि रैंडम अनुमान लगाने से कहीं बेहतर है। लेकिन अलग तरह से बनाए गए मॉडल के लिए, यह सेतु पूरी तरह विफल रहा; दूसरा मॉडल संकेत को बिल्कुल भी पहचान नहीं सका। इसने पुष्टि की कि हालांकि एक ट्रांसलेशन लेयर संभव है, लेकिन यह केवल उन्हीं मॉडल्स के बीच काम करती है जो एक विशिष्ट आर्किटेक्चरल परिवार साझा करते हैं।
अंतिम और सबसे कठिन परीक्षण यह देखना था कि क्या यह अनुवाद वास्तविक समय में प्राप्त करने वाले मॉडल के व्यवहार को बदल सकता है। शोधकर्ता ने पहले मॉडल के अनुवादित संकेत को दूसरे मॉडल में सीधे इंजेक्ट किया, जबकि वह एक नया उत्तर लिख रहा था। वे यह देखना चाहते थे कि क्या यह इंजेक्शन दूसरे मॉडल के आउटपुट को मूल प्रश्न के विषय की ओर मोड़ देगा। परिणाम मिले-जुले थे और एक महत्वपूर्ण सीमा को प्रकट करते हैं। जब उन्होंने दो विशिष्ट मॉडल्स के बीच यह प्रयास किया, तो इंजेक्शन सफल रहा। दूसरे मॉडल का आउटपुट मूल प्रश्न के विषय की ओर स्पष्ट रूप से स्थानांतरित हो गया, जिससे सिद्ध हुआ कि संकेत प्राप्त कर लिया गया था और इसका एक कारण संबंधी प्रभाव (causal effect) पड़ा। हालांकि, जब उन्होंने तीसरे मॉडल के साथ यही प्रयोग किया, तो यह पूरी तरह विफल रहा। भले ही कागज़ पर आंतरिक पैटर्न समान दिख रहे थे, लेकिन संकेत को इंजेक्ट करने से आउटपुट में कोई बदलाव नहीं आया।
शोधकर्ता ने निष्कर्ष निकाला कि हालांकि किसी विचार के भौतिक वाहक (physical carrier)—अर्थात विद्युत गतिविधि के विशिष्ट पैटर्न—को एक मशीन से दूसरी मशीन में स्थानांतरित करना संभव है, लेकिन इसका मतलब यह नहीं है कि मशीनें गहरा बोध या एक सामान्य अर्थ साझा कर रही हैं। सफल मामलों में, दूसरे मॉडल ने आवश्यक रूप से मूल प्रश्न का सही उत्तर नहीं दिया। इसके बजाय, उसने विषय से संबंधित टेक्स्ट तैयार किया, जैसे कि मूल प्रश्न वर्गों (squares) के बारे में होने पर त्रिभुजों (triangles) के बारे में बात करना। संकेत स्थानांतरित हो गया था, लेकिन अर्थ पूरी तरह से संरक्षित नहीं था। अध्ययन से पता चलता है कि आर्टिफिशियल इंटेलिजेंस के बीच सीधा संचार तकनीकी रूप से संभव है, लेकिन यह कोई सार्वभौमिक भाषा नहीं है। यह पूरी तरह से शामिल मशीनों के विशिष्ट डिज़ाइन पर निर्भर करता है। यदि डिज़ाइन मेल नहीं खाते हैं, तो संकेत को समझा नहीं जा सकता है और स्थानांतरण विफल हो जाता है। इसका अर्थ यह है कि भविष्य में, यदि हम चाहते हैं कि विभिन्न AI सिस्टम सीधे एक-दूसरे से बात करें, तो हम यह मान नहीं सकते कि वे बस काम कर जाएंगे; हमें यह सुनिश्चित करना होगा कि वे संगत तरीकों से बनाए गए हैं, अन्यथा हमें उन प्रत्येक जोड़ी के लिए एक विशिष्ट अनुवादक बनाना होगा जिन्हें हम जोड़ना चाहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।