The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models
337 अध्ययनों का यह व्यवस्थित पुनरावलोकन निष्कर्ष निकालता है कि ट्रांसफॉर्मर-आधारित भाषा मॉडल महत्वपूर्ण वाक्यात्मक ज्ञान को समाहित करते हैं, विशेष रूप से औपचारिक परिघटनाओं और अंग्रेजी में, फिर भी वे क्रॉस-लिंगुअल सामान्यीकरण और वाक्य-अर्थ इंटरफेस में सीमाओं का सामना करते हैं, जबकि यह उनकी अंतर्निहित कम्प्यूटेशनल प्रक्रियाओं को पूरी तरह से समझने के लिए अधिक यांत्रिक और विविध अनुसंधान की महत्वपूर्ण आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट है जिसने इंटरनेट की लगभग हर किताब पढ़ ली है। आप उससे एक सवाल पूछते हैं, और वह उसका सटीक उत्तर देता है। लेकिन यहाँ एक बड़ा रहस्य है: क्या यह रोबोट वास्तव में व्याकरण के नियमों को समझता है, या यह केवल देखे गए पैटर्न के आधार पर अगले शब्द का अनुमान लगाने में माहिर है?
यह शोध पत्र, जिसका शीर्षक "द ग्रामर ऑफ ट्रांसफॉर्मर्स" (The Grammar of Transformers) है, एक विशाल जासूसी रिपोर्ट की तरह है। लेखकों ने केवल एक या दो अध्ययन नहीं पढ़े; उन्होंने 337 अलग-अलग शोध पत्र एकत्र किए और 3,000 से अधिक सूक्ष्म साक्ष्यों (जैसे टेस्ट स्कोर और प्रयोग) को देखा ताकि उस प्रश्न का उत्तर दिया जा सके।
यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें सरल भाषा में समझाया गया है:
1. रोबोट को व्याकरण आता है (लेकिन यह पूर्ण नहीं है)
रोबोट के मस्तिष्क को एक पुस्तकालय की तरह समझें। शोधकर्ताओं ने पाया कि रोबोट ने निश्चित रूप से व्याकरण के एक विशाल हिस्से को सीखा है।
- "आसान" चीजें: रोबोट औपचारिक नियमों में माहिर है, जैसे यह सुनिश्चित करना कि एक क्रिया (verb) कर्ता (subject) के साथ मेल खाती हो (उदाहरण के लिए, "The cat runs" बनाम "The cat run")। यह एक ऐसे छात्र की तरह है जिसने पहाड़े (multiplication tables) पूरी तरह से याद कर लिए हैं।
- "कठिन" चीजें: जब व्याकरण अर्थ (meaning) के साथ मिश्रित हो जाता है, तो रोबोट संघर्ष करता है। उदाहरण के लिए, एक जटिल वाक्य में "वह" (he) का संदर्भ किसे है, या पेचीदा संदर्भों में नकारात्मकता (negation) कैसे काम करती है। यह उस छात्र की तरह है जो गणित तो कर सकता है लेकिन यदि शब्द-समस्या (word problem) किसी पहेली के रूप में लिखी हो, तो भ्रमित हो जाता है।
2. "केवल अंग्रेजी" का पूर्वाग्रह
शोधकर्ताओं ने एकत्र किए गए साक्ष्यों में एक बड़ी समस्या देखी।
- "केवल अंग्रेजी" क्लब: कल्पना कीजिए कि एक कुकिंग प्रतियोगिता है जहाँ 10 में से 9 जज केवल अंग्रेजी बोलते हैं और केवल एक विशिष्ट देश के व्यंजनों का स्वाद लेते हैं। यह क्षेत्र बिल्कुल वैसा ही दिखता है। लगभग सभी अध्ययनों ने रोबोट का परीक्षण अंग्रेजी पर किया।
- "अमीर बनाम गरीब" भाषा का अंतर: रोबोट उन भाषाओं पर बहुत बेहतर प्रदर्शन करता है जिनके पास बहुत सारे डिजिटल उपकरण और डेटा उपलब्ध हैं (जैसे अंग्रेजी, स्पेनिश या फ्रेंच)। उन भाषाओं के लिए जिनमें कम डिजिटल सहायता है, रोबोट का व्याकरण कौशल काफी गिर जाता है। यह एक ऐसे पर्यटक की तरह है जो शहर को अच्छी तरह जानता है क्योंकि उसके पास एक बेहतरीन नक्शा है, लेकिन वह ग्रामीण इलाकों में खो जाता है जहाँ नक्शा गायब है।
3. हम रोबोट का परीक्षण कैसे करते हैं (तीन उपकरण)
यह पत्र बताता है कि वैज्ञानिक यह जाँचने के लिए कि क्या रोबोट व्याकरण जानता है, तीन मुख्य तरीकों का उपयोग करते हैं:
- "व्यवहारात्मक" (Behavioral) परीक्षण: यह एक अंतिम परीक्षा की तरह है। आप रोबत को एक वाक्य देते हैं और पूछते हैं, "क्या यह सही है?" यदि वह सही वाक्यों के लिए "हाँ" और गलत वाक्यों के लिए "नहीं" कहता है, तो वह पास हो जाता है।
- "प्रोबिंग" (Probing) परीक्षण: यह एक एक्स-रे की तरह है। वैज्ञानिक रोबोट के मस्तिष्क (इसके आंतरिक स्तरों) के अंदर देखते हैं कि क्या वहां कोई विशिष्ट "व्याकरण फ़ाइल" संग्रहीत है। उन्होंने पाया कि रोबोट का "मध्यम स्तर" (middle layers) आमतौर पर वही स्थान है जहाँ व्याकरण का ज्ञान रहता है।
- "मैकेनिस्टिक" (Mechanistic) परीक्षण: यह सबसे उन्नत उपकरण है। यह रोबोट को पुर्जों में अलग करने जैसा है ताकि यह देखा जा सके कि जब वह एक वाक्य को प्रोसेस करता है तो वास्तव में कौन से गियर (न्यूरॉन्स) घूम रहे हैं। समस्या क्या है? अधिकांश अध्ययन केवल गियरों को घूमते हुए देखते हैं (अवलोकन संबंधी), बजाय इसके कि वे वास्तव में एक गियर को बाहर निकाल कर देखें कि क्या रोबोट टूट जाता है (हस्तक्षेप संबंधी)। हम जानते हैं कि व्याकरण कहाँ है, लेकिन हम अभी तक पूरी तरह से नहीं समझते कि यह कैसे काम करता है।
4. रोबोट की "सुपरपावर" और उसका "अकिलीज़ हील" (कमजोरी)
- सुपरपावर: रोबोट में एक सामान्य "व्याकरण बोध" प्रतीत होता है। यदि वह व्याकरण के एक प्रकार के नियम में अच्छा है, तो वह अन्य प्रकारों में भी अच्छा होता है। यह केवल विशिष्ट वाक्यों को रटना नहीं है; ऐसा लगता है कि उसने एक सामान्य प्रणाली सीखी है।
- अकिलीज़ हील: रोबोट उस डेटा पर अत्यधिक निर्भर है जिसे उसे खिलाया गया था। यदि डेटा अव्यवस्थित है या भाषा दुर्लभ है, तो रोबोट का प्रदर्शन ढह जाता है। साथ ही, पत्र नोट करता है कि जबकि रोबोट अंग्रेजी व्याकरण में महान है, हमें नहीं पता कि क्या वह व्याकरण को उसी तरह समझता है जैसे इंसान समझते हैं, या वह केवल चतुर शॉर्टकट का उपयोग कर रहा है।
निचोड़
पत्र इस निष्कर्ष पर पहुँचता है कि हाँ, इन AI मॉडलों ने व्याकरण की एक गैर-तुच्छ (वास्तविक) मात्रा सीखी है। वे केवल रैंडम अंदाज़े लगाने वाले नहीं हैं। हालाँकि, हमारी समझ कि वे यह कैसे करते हैं, अभी भी थोड़ी धुंधली है क्योंकि:
- हम ज्यादातर उनका परीक्षण अंग्रेजी पर करते हैं।
- हम ज्यादातर "क्या" (परिणाम) देखते हैं, न कि "कैसे" (आंतरिक तंत्र) देखते हैं।
- हमने विभिन्न भाषाओं की निष्पक्ष तुलना करने के लिए अपने परीक्षणों को पर्याप्त रूप से मानकीकृत नहीं किया है।
लेखक मूल रूप से कह रहे हैं: "हमने पुष्टि की है कि रोबोट व्याकरण की भाषा बोल सकता है, लेकिन हमें केवल अंग्रेजी पर परीक्षण करना बंद करने, इसके मस्तिष्क के काम करने के तरीके में गहराई से देखने और उन भाषाओं के लिए बेहतर मानचित्र बनाने की आवश्यकता है जिनका हमने अभी तक अन्वेषण नहीं किया है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।