Do Language Models Encode Knowledge of Linguistic Constraint Violations?
यह शोध पत्र इस बात की जांच करता है कि क्या लार्ज लैंग्वेज मॉडल्स (Large Language Models) स्पार्स ऑटोएनकोडर्स (sparse autoencoders) और एक कंजंक्टिव फाल्सिफिकेशन फ्रेमवर्क (conjunctive falsification framework) का उपयोग करके भाषाई बाधा उल्लंघन (linguistic constraint violations) के लिए विशिष्ट निरूपणों को एनकोड करते हैं, और अंततः विभिन्न व्याकरणिक घटनाओं में उल्लंघन डिटेक्टरों के एक एकीकृत सेट के लिए सीमित साक्ष्य पाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) अविश्वसनीय रूप से प्रतिभाशाली शेफ हैं जो ऐसे वाक्य पका सकते हैं जो हमारे कानों को एकदम सटीक लगते हैं। वे जानते हैं कि "The cat sat on the mat" और "The cat sat on the table" के बीच क्या अंतर है (जो कि ठीक है) बनाम "The cat sat on the table" (जो कि ठीक है) और "The cat sat on the table" (रुको, यह भी ठीक है)। चलिए कोशिश करते हैं: "The cat sat on the mat" बनाम "The cat sat on the mat" (ठीक है) बनाम "The cat sat on the mat" (ठीक है)। ठीक है, चलिए एक वास्तविक व्याकरण संबंधी त्रुटि (grammar error) आजमाते हैं: "The cat sit on the mat."
हम जानते हैं कि ये AI शेफ इनके बीच अंतर बता सकते हैं, लेकिन वे कैसे जानते हैं? क्या उनके दिमाग के अंदर कोई विशिष्ट, छोटा सा "ग्रामर पुलिस" (व्याकरण पुलिस) स्विच है जो केवल गलती होने पर ही चालू होता है? या यह उससे कहीं अधिक जटिल है?
यह पेपर एक टीम जासूसों की तरह है जो AI के मस्तिष्क के भीतर उस विशिष्ट "ग्रामर पुलिस" स्विच को खोजने की कोशिश कर रहे हैं।
जांच: "एरर अलार्म" की तलाश
शोधकर्ताओं के पास एक परिकल्पना (hypothesis) थी: उन्हें लगा कि AI के पास विशिष्ट आंतरिक "फीचर्स" (जैसे छोटे स्विच या अलार्म) हैं जो डिटेक्टर के रूप में कार्य करते हैं। जब AI व्याकरण के उल्लंघन वाला वाक्य सुनता है (जैसे "The cat sit"), तो ये विशिष्ट स्विच चमकने चाहिए। जब AI एक सटीक वाक्य सुनता है, तो ये स्विच बंद रहने चाहिए।
इन स्विचों को खोजने के लिए, उन्होंने एक विशेष उपकरण का उपयोग किया जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है।
- उपमा: कल्पना कीजिए कि AI का मस्तिष्क एक विशाल, अराजक ऑर्केस्ट्रा है जहाँ हर वाद्य यंत्र एक साथ थोड़ा-थो sedikit सब कुछ बजा रहा है (पॉलीसेमेंटिक/polysemantic)। "उल्लंघन" के संकेत को सुनना कठिन है क्योंकि यह "अर्थ" के संकेत के साथ मिला हुआ है। SAE एक अत्यंत उन्नत साउंड इंजीनियर की तरह है जो ऑर्केस्ट्रा को अलग-अलग, शुद्ध वाद्य यंत्रों में विभाजित कर देता है। अब, ध्वनि की एक अव्यवतर दीवार के बजाय, हम एक विशिष्ट वायलिन को देख सकते हैं और कह सकते हैं, "आह, यह वायलिन केवल तभी बजता है जब व्याकरण की गलती होती है।"
परीक्षण: "थ्री-स्ट्राइक" नियम
शोधकर्ता केवल एक ऐसा स्विच नहीं ढूंढना चाहते थे जो खराब वाक्यों के लिए जल उठे। वे यह साबित करना चाहते थे कि यह एक समर्पित व्याकरण डिटेक्टर है। इसलिए, उन्होंने एक सख्त थ्री-स्ट्राइक नियम (एक कंजंक्टिव फाल्सीफिकेशन फ्रेमवर्क) बनाया जिसे एक सच्चे "ग्रामर पुलिस" डिटेक्टर कहलाने के लिए पास करना आवश्यक था:
- स्ट्राइक 1 (अलार्म): यदि हम इस स्विच को बंद कर देते हैं, तो AI को अचानक एक खराब वाक्य बेहतर लगना चाहिए (क्योंकि हमने उस अलार्म को हटा दिया है जो उसे बता रहा था कि "यह गलत है")।
- स्ट्राइक 2 (स्थिरता): यदि हम इस स्विच को बंद कर देते हैं, तो अच्छे वाक्यों पर AI की राय में बिल्कुल भी बदलाव नहीं होना चाहिए। स्विच इतना विशिष्ट होना चाहिए कि वह सटीक वाक्यों को प्रभावित न करे।
- स्ट्राइक 3 (वरीयता): स्विच को अच्छे वाक्यों की तुलना में खराब वाक्यों को बहुत अधिक प्रभावित करना चाहिए। इसे एक विशेषज्ञ होना चाहिए, न कि एक सामान्यज्ञ (generalist)।
परिणाम: खोज खाली हाथ रही
टीम ने इस परीक्षण को 13 अलग-अलग प्रकार के व्याकरण नियमों (जैसे सब्जेक्ट-वर्ब एग्रीमेंट, प्रोनाउन आदि) और 6 अलग-अलग AI मॉडल्स पर किया।
बुरी खबर (परिकल्पना के लिए):
जिस "ग्रामर पुलिस" स्विच की वे तलाश कर रहे थे, वह उनकी उम्मीद के अनुसार मौजूद नहीं है।
- स्ट्राइक 1 अक्सर पास हो गया: उन्होंने पाया कि कुछ स्विच ऐसे थे जिन्हें बंद करने पर, AI को खराब वाक्य "कम गलत" लगने लगे (क्योंकि हमने वह अलार्म हटा दिया था जो उसे बता रहा था कि "यह गलत है")। इसका मतलब है कि AI के पास त्रुटियों के लिए कुछ आंतरिक संकेत हैं।
- लेकिन स्ट्राइक 2 और 3 विफल रहे: समस्या यह थी कि ये स्विच विशिष्ट नहीं थे। जब उन्होंने एक स्विच को बंद किया जो त्रुटियों पर प्रतिक्रिया करता था, तो उसने AI की सटीक वाक्यों की समझ को भी बिगाड़ दिया।
- रूपक: यह एक ऐसे स्मोक डिटेक्टर (धुआं पहचानने वाला यंत्र) को खोजने जैसा है जो टोस्ट जलने पर बज उठता है। बहुत अच्छा! लेकिन यदि आप इसे अनप्लग कर देते हैं, तो घर अपनी गर्मी भी खो देता है और लाइटें भी बंद हो जाती हैं। वह "डिटेक्टर" केवल एक स्मोक अलार्म नहीं था; वह पूरे हीटिंग सिस्टम का हिस्सा था। AI के "त्रुटि संकेत" उसके वाक्य के प्रवाह को समझने की सामान्य क्षमता के साथ उलझे हुए हैं।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI मॉडल व्याकरण के उल्लंघन के बारे में निश्चित रूप से जानते हैं, लेकिन वे इस ज्ञान को व्यवस्थित, अलग "उल्लंघन डिटेक्टरों" के रूप में संग्रहीत नहीं करते हैं जो केवल गलतियों के लिए सक्रिय होते हैं।
इसके बजाय, यह ज्ञान उलझा हुआ (entangled) है। AI की गलती पकड़ने की क्षमता उसके वाक्य के प्रवाह को समझने की सामान्य क्षमता के साथ मिली हुई है। त्रुटियों के सभी प्रकारों के लिए साझा किया जाने वाला कोई एक एकल, एकीकृत "ग्रामर पुलिस" फीचर नहीं है। AI के पास कोई समर्पित "एरर बटन" नहीं है; इसके बजाय, उसके पास संकेतों का एक जटिल, अव्यवस्थित जाल है जहाँ "त्रुटि" वाले हिस्से को "अर्थ" वाले हिस्से से अलग करना कठिन है।
संक्षेप में: AI जानता है कि वह गलत है, लेकिन उसके पास कोई विशिष्ट, अलग "मैं गलत हूँ" स्विच नहीं है। यह स्वाद के अपने समग्र बोध के साथ भ्रमित होने वाली एक सहज भावना (gut feeling) की तरह है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।