Quantifying Logical Consistency in Transformers via Query-Key Alignment

लार्ज लैंग्वेज मॉडल्स (LLMs) मानवीय बातचीत की नकल करने, कविता लिखने और जटिल पाठों का सारांश निकालने में उल्लेखनीय रूप से कुशल हो गए हैं। वे प्रशिक्षण डेटा की विशाल मात्रा के आधार पर वाक्य में अगले शब्द की भविष्यवाणी करके यह उपलब्धि हासिल करते हैं। हालाँकि, जब उन्हें एक बहु-चरणीय तर्क पहेली (multi-step logic puzzle) हल करने के लिए कहा जाता है, तो ये सिस्टम अक्सर लड़खड़ा जाते हैं। वे एक विश्वसनीय लगने वाली तर्क श्रृंखला उत्पन्न कर सकते हैं जो पूरी तरह से गलत निष्कर्ष की ओर ले जाती है, या वे प्रॉम्प्ट में दी गई अप्रासंगिक जानकारियों से विचलित हो सकते हैं। हालाँकि शोधकर्ताओं ने इन मॉडल्स को "कदम-दर-कदम सोचने" (think step-by-step) के लिए कहकर बेहतर प्रदर्शन करने के तरीके खोजे हैं, लेकिन एक मौलिक समस्या बनी हुई है: मॉडल्स के पास स्वयं यह जाँचने का कोई अंतर्निहित तरीका नहीं है कि उनका अपना तर्क वास्तव में सुसंगत है या नहीं। वे एक तार्किक दिखने वाला मार्ग तो बना सकते हैं, लेकिन वे वास्तव में यह नहीं समझ पाते कि क्या चरण सही ढंग से जुड़े हुए हैं।

यह अनिश्चितता आर्टिफिशियल इंटेलिजेंस में एक ब्लाइंड स्पॉट (blind spot) पैदा करती है। हम मॉडल द्वारा दिए गए अंतिम उत्तर को देख सकते हैं, लेकिन हम उन आंतरिक संकेतों को आसानी से नहीं देख सकते जो यह दर्शाते हैं कि मॉडल वास्तव में तर्क के नियमों का पालन कर रहा है या केवल अनुमान लगा रहा है। इसे संबोधित करने के लिए, स्कोल्कोवो इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी और अन्य संस्थानों के शोधकर्ताओं की एक टीम ने मॉडल के सोचने की प्रक्रिया के दौरान उसके "मन" के भीतर झाँकने का एक नया तरीका विकसित किया है। मॉडल के उत्तर समाप्त करने और यह जाँचने का इंतज़ार करने के बजाय कि वह सही है या नहीं, वे उन विशिष्ट आंतरिक कनेक्शनों को देखते हैं जिन्हें मॉडल अपने सोचने के दौरान बनाता है। उन्होंने पाया कि मॉडल के आर्किटेक्चर के कुछ हिस्से विश्वसनीय चेकपॉइंट्स (checkpoints) के रूप में कार्य करते हैं, जो अंतिम उत्तर बोलने से बहुत पहले ही संकेत दे देते हैं कि क्या कोई तार्किक चरण वैध है।

शोधकर्ताओं ने इस बात पर ध्यान केंद्रित किया कि ये मॉडल्स आंतरिक रूप से सूचना को कैसे संसाधित करते हैं। एक लार्ज लैंग्वेज मॉडल के भीतर, सूचना गणितीय ऑपरेशन्स की परतों के माध्यम से प्रवाहित होती है। इस प्रक्रिया के केंद्र में "अटेंशन हेड्स" (attention heads) होते हैं, जो छोटे स्विच की तरह कार्य करते हैं जो यह तय करते हैं कि किसी भी क्षण इनपुट के किन हिस्सों पर ध्यान केंद्रित करना महत्वपूर्ण है। टीम ने पाया कि वे इन हेड्स के भीतर दो विशिष्ट संकेतों के बीच संरेखण (alignment) को माप सकते हैं: वह संकेत जो परीक्षण किए जा रहे कथन का प्रतिनिधित्व करता है और वह संकेत जो संभावित उत्तर का प्रतिनिधित्व करता है। इन दोनों संकेतों के बीच के तालमेल के आधार पर एक सरल स्कोर की गणना करके, वे यह निर्धारित कर सकते थे कि क्या मॉडल ने एक आधार (premise) और एक निष्कर्ष के बीच के तार्किक संबंध को पहचाना है।

इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने विभिन्न प्रकार के तार्किक तर्क कार्यों (logical reasoning tasks) पर प्रयोग चलाए। उन्होंने सिंथेटिक डेटासेट्स का उपयोग किया जहाँ नियम स्पष्ट थे और उत्तर निश्चित रूप से सत्य या असत्य थे, जैसे कि 'रम्पस' (rompus) और 'जोम्पस' (jompus) के बारे में काल्पनिक नियमों के आधार पर यह निर्धारित करना कि क्या पॉली नामक पात्र अपारदर्शी (opaque) है। उन्होंने इस पद्धति को वास्तविक दुनिया की भाषा और बहु-चरणीय कटौती (deduction) वाले अधिक जटिल डेटासेट्स पर भी परखा। इन परीक्षणों में, उन्होंने अपने नए आंतरिक स्कोरिंग पद्धति की तुलना मॉडल के मानक तरीके से की, जो केवल उच्चतम संभाव्यता (probability) वाले विकल्प को चुनना है।

परिणामों ने दिखाया कि आंतरिक स्कोरिंग पद्धति मॉडल के अपने अंतिम अनुमान की तुलना में काफी अधिक विश्वसनीय थी। उन परिदृश्यों में जहाँ मॉडल को भटकाने वाली, अप्रासंगिक जानकारी दी गई थी, मानक मॉडल अक्सर भ्रमित हो गया और गलत उत्तर दिया। हालाँकि, शोधकर्ताओं द्वारा ट्रैक किए जा रहे विशिष्ट आंतरिक संकेत स्थिर रहे, और उन्होंने वैध तार्किक पथ की सही पहचान की, भले ही मॉडल का अंतिम आउटपुट गलत था। यह सुझाव देता है कि मॉडल के भीतर वास्तव में सही तर्क करने की क्षमता मौजूद है, लेकिन यह क्षमता प्रसंस्करण के बाद के चरणों या भटकाने वाले संदर्भ के शोर (noise) द्वारा बाधित हो सकती है।

टीम ने 1.5 बिलियन पैरामीटर्स वाले बहुत छोटे मॉडल्स से लेकर 70 बिलियन पैरामीटर्स वाले विशाल मॉडल्स तक, विभिन्न मॉडल्स पर इस दृष्टिकोण का परीक्षण किया। सभी स्तरों पर, उन्होंने पाया कि विशिष्ट अटेंशन हेड्स लगातार "वेरिफिकेशन एंकर्स" (verification anchors) के रूप में कार्य करते हैं। ये हेड्स उच्च सटीकता के साथ वैध और अमान्य निष्कर्षों के बीच अंतर कर सकते थे, चाहे तर्क में कितने भी चरण क्यों न हों या कितने भी भटकाव मौजूद हों। कुछ मामलों में, आंतरिक स्कोर 90 प्रतिशत से अधिक बार सही था, जबकि मॉडल का अंतिम उत्तर 60 प्रतिशत से कम बार सही था। यह इंगित करता है कि मॉडल अक्सर आंतरिक रूप से सही उत्तर "जानता" है लेकिन उसे अपने अंतिम आउटपुट में सही ढंग से व्यक्त करने में विफल रहता है।

उनकी एक सबसे महत्वपूर्ण खोज यह थी कि इस पद्धति के लिए मॉडल को बदलने या उसे फिर से प्रशिक्षित (retraining) करने की आवश्यकता नहीं है। शोधकर्ता बस मॉडल को एक बार चला सकते हैं, आंतरिक संकेतों को देख सकते हैं, और एक ऐसा स्कोर प्राप्त कर सकते हैं जो अक्सर मॉडल के अपने पूर्वानुमान से अधिक सटीक होता है। यह तार्किक निरंतरता का मूल्यांकन करने का एक हल्का और कुशल तरीका प्रदान करता है, जिसमें पिछले तरीकों की तरह मॉडल के हिस्सों को अक्षम (disable) करने की भारी कम्प्यूटेशनल लागत शामिल नहीं है। अध्ययन बताता है कि इन विशिष्ट आंतरिक घटकों की पहचान करके, हम यह देख सकते हैं कि आर्टिफिशियल इंटेलिजेंस जटिल संबंधों को कैसे संसाधित करता है, जो हमें ऐसे सिस्टम के करीब ले जाता है जो न केवल भाषा में प्रवाह रखते हैं, बल्कि अपने तर्क में भी विश्वसनीय हैं।

शोधकर्ताओं ने नोट किया कि उनकी पद्धति तब सबसे अच्छा काम करती है जब किसी दिए गए कार्य के लिए यह निर्धारित करने के लिए पर्याप्त डेटा उपलब्ध हो कि किन विशिष्ट आंतरिक संकेतों पर भरोसा किया जाए। उन्होंने यह भी स्वीकार किया कि यह दृष्टिकोण यह नहीं मानता कि ये विशिष्ट भाग ही तर्क के लिए जिम्मेदार एकमात्र भाग हैं, न ही यह आर्टिफिशियल इंटेलिजेंस में तर्क की हर समस्या को हल करता है। हालाँकि, यह कार्य एक ठोस, मापने योग्य तरीका प्रदान करता है जिससे यह देखा जा सके कि तर्क कहाँ टिकता है और कहाँ टूट जाता है, जो अधिक पारदर्शी और भरोसेमंद लैंग्वेज मॉडल्स बनाने के लिए एक नया उपकरण प्रदान करता है। केवल अंतिम आउटपुट के बजाय आंतरिक संकेतों के संरेखण पर ध्यान केंद्रित करके, अध्ययन यह प्रकट करता है कि सुदृढ़ तर्क करने की क्षमता अक्सर मॉडल के भीतर मौजूद होती है, जो सही ढंग से पढ़े जाने की प्रतीक्षा कर रही होती है।