Measuring Form and Function in Language Models
यह शोध पत्र अंग्रेजी के निर्धारक (determiners) के औपचारिक वाक्यात्मक और कार्यात्मक विमर्श गुणों पर भाषा मॉडलों का मात्रात्मक मूल्यांकन करने के लिए कॉन्टेक्स्टुअल अल्टरनेटिव चॉइस (CAC) मीट्रिक प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि कुछ अत्यंत बड़े मॉडल दोनों बेंचमार्क पर मानव बच्चों के प्रदर्शन के बराबर हो सकते हैं, तुलनात्मक डेटा पर प्रशिक्षित कोई भी वर्तमान मॉडल एक साथ इसे प्राप्त नहीं कर पाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को इंसान की तरह बोलना सिखाने की कोशिश कर रहे हैं। आपके पास यह जांचने के दो तरीके हैं कि क्या यह काम कर रहा है:
- व्याकरण परीक्षण (The Grammar Test): क्या वह "The cat" कहता है बजाय "Cat the" के? (सही रूप)
- बातचीत परीक्षण (The Conversation Test): क्या उसे पता है कि दूसरे व्यक्ति की बात के आधार पर "The cat" कहना है या "A cat"? (सही कार्य/फंक्शन)
यह शोध पत्र भाषा मॉडल (LLMs) के लिए एक बेहतर परीक्षण बनाने के बारे में है, जो इस बात पर आधारित है कि वास्तविक बच्चे कैसे बोलना सीखते हैं। पेंसिल्वेनिया विश्वविद्यालय के शोधकर्ता तर्क देते हैं कि हम AI का परीक्षण बहुत अधिक व्याकरण क्विज़ की तरह कर रहे हैं और वास्तविक बातचीत की तरह पर्याप्त नहीं।
यहाँ उनके काम का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. समस्या: "बहुविकल्पीय" जाल (The "Multiple Choice" Trap)
आज के अधिकांश AI परीक्षण बहुविकल्पीय परीक्षाओं की तरह हैं। आप AI को दो वाक्य दिखाते हैं:
- "The dog barked."
- "Dog the barked."
और पूछते हैं, "इनमें से कौन सा सही है?"
AI आमतौर पर इसे सही कर लेता है। लेकिन लेखकों का कहना है कि यह एक बच्चे का परीक्षण करने जैसा है जिसमें उनसे पूछा जाए कि कुत्ते या बिल्ली की तस्वीर में से किसे चुनना है। यह यह साबित नहीं करता कि वे एक वास्तविक कहानी में शब्द का उपयोग कैसे करते हैं। वास्तविक बच्चे बहुविकल्पीय परीक्षण नहीं देते; वे बस बात करते हैं। यह वास्तव में जानने के लिए कि क्या कोई AI इंसान की तरह "सीख" रहा है, हमें यह देखना होगा कि वह वास्तविक बातचीत के उतार-चढ़ाव को कैसे संभालता है।
2. नया उपकरण: "संदर्भगत वैकल्पिक चयन" (Contextual Alternative Choice - CAC)
लेखकों ने AI को टेस्ट करने का एक नया तरीका बनाया जिसे CAC कहा जाता है। इसे एक "रिक्त स्थान भरें" (fill-in-the-blank) खेल की तरह समझें, लेकिन एक ट्विस्ट के साथ।
- सेटअप: वे एक माँ द्वारा अपने 2 साल के बच्चे से बात करने की वास्तविक रिकॉर्डिंग लेते हैं।
- खेल: वे उस शब्द को छिपा देते हैं जिसका बच्चे ने उपयोग किया था (आमतौर पर "the" या "a" जैसा छोटा शब्द) और AI से पूछते हैं: "माँ ने जो अभी कहा, उसे देखते हुए, यहाँ कौन सा शब्द आना चाहिए?"
- लक्ष्य: वे केवल यह नहीं चाहते कि AI सही शब्द चुने। वे यह देखना चाहते हैं कि क्या AI के चुनाव का पैटर्न बच्चे के पैटर्न से मेल खाता है।
3. दो बेंचमार्क (स्कोरकार्ड)
लेखकों ने यह देखने के लिए दो विशिष्ट स्कोरकार्ड बनाए कि क्या AI एक मानव बच्चे की तरह व्यवहार कर रहा है।
स्कोरकार्ड A: "मिक्स-एंड-मैच" टेस्ट (औपचारिक उत्पादकता - Formal Productivity)
- अवधारणा: एक समझदार बच्चा जानता है कि "the" और "a" लगभग किसी भी संज्ञा (noun) के साथ जा सकते हैं। वे केवल "the dog" और "a cat" को रटते नहीं हैं। वे नियम जानते हैं।
- परीक्षण: शोधकर्ता देखते हैं कि AI कितने अलग-अलग संज्ञाओं के साथ "the" और "a" का उपयोग करता है। यदि AI केवल उन विशिष्ट शब्दों के साथ "the" का उपयोग करता है जिन्हें उसने याद किया है, तो वह विफल हो जाता है। यदि वह उन्हें कई अलग-अलग शब्दों के साथ स्वतंत्र रूप से मिलाता है, तो वह सफल होता है।
- परिणाम: कई AI मॉडलों ने इसे पास कर लिया। उन्होंने "मिक्स-एंड-मैच" नियम सीख लिया।
स्कोरकार्ड B: "बातचीत का प्रवाह" टेस्ट (डिस्कोर्स फंक्शन - Discourse Function)
- अवधारणा: यह कठिन हिस्सा है। एक वास्तविक बातचीत में, यदि माँ कहती है, "Look at the dog," तो बच्चा आमतौर पर कहता है, "The dog is big." लेकिन अगर माँ कहती है, "I see a dog," तो बच्चा शायद कहेगा, "A dog is running."
- कभी-कभी आप वही शब्द रखते हैं ("the" -> "the")।
- कभी-कभी आप बदलते हैं ("a" -> "the")।
- यह बदलाव पूरी तरह से कहानी के संदर्भ पर निर्भर करता है।
- परीक्षण: शोधकर्ताओं ने मापा कि AI कितनी बार शब्दों को बदलता है बनाम वास्तविक मनुष्य कितनी बार शब्द बदलते हैं।
- परिणाम: यहीं पर अधिकांश AI विफल रहे। बड़े, स्मार्ट मॉडल भी शब्दों को बदलने में सिक्के के उछाल (coin flip) की तरह यादृच्छिक (random) थे। वे शब्दों के पीछे की कहानी को समझने में सक्षम नहीं दिखे। वे व्याकरण तो जानते थे, लेकिन वे बातचीत के सामाजिक नियमों को नहीं जानते थे।
4. बड़ी हैरानी
लेखकों ने 45 अलग-अलग AI मॉडलों का परीक्षण किया।
- "छोटे" मॉडल: वे मॉडल जो एक 2 साल के बच्चे के बराबर डेटा (10-20 मिलियन शब्द) पर प्रशिक्षित किए गए थे, वे दोनों परीक्षणों में विफल रहे। उन्होंने पर्याप्त नहीं सीखा था।
- "बड़े" मॉडल: अरबों शब्दों (जैसे पूरे इंटरनेट के आकार) पर प्रशिक्षित विशाल मॉडल बहुत बेहतर थे।
- दो मॉडल दोनों परीक्षणों में पास हुए। वे व्याकरण और बातचीत के प्रवाह दोनों में इंसानों की तरह लगे।
- एक मॉडल बातचीत परीक्षण में पास हुआ लेकिन व्याकरण परीक्षण में विफल रहा।
- कई अन्य व्याकरण परीक्षण में पास हुए लेकिन बातचीत परीक्षण में विफल रहे।
5. मुख्य निष्कर्ष (The Takeaway)
लेख का निष्कर्ष है कि आकार मायने रखता है, लेकिन यह सब कुछ नहीं है।
सिर्फ इसलिए कि एक AI व्याकरण क्विज़ को सही कर सकता है, इसका मतलब यह नहीं है कि वह भाषा को वैसे ही समझता है जैसे एक इंसान समझता है। यह केवल पैटर्न को याद कर रहा हो सकता है। वास्तव में एक "संज्ञानात्मक मॉडल" (cognitive model) होने के लिए, एक AI को "बातचीत के प्रवाह" (Conversation Flow) परीक्षण को पास करना होगा, जो यह दिखाए कि वह यह समझता है कि हम कुछ शब्दों को क्यों चुनते हैं जो हम अपनी कहानी सुना रहे हैं।
वर्तमान में, केवल सबसे बड़े मॉडल ही इस मानव-समान समझ को दिखाना शुरू कर रहे हैं, लेकिन वे भी मिश्रित परिणाम देते हैं। लेखक सुझाव देते हैं कि यदि हम बेहतर AI बनाना चाहते हैं, तो हमें उन्हें टेस्ट देने वाले छात्र की तरह नहीं, बल्कि बातचीत में शामिल छोटे बच्चों की तरह देखना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।