Language Models Generalize to Human-like Word Order Preferences

कल्पना कीजिए कि आप एक रोबोट को एक नई भाषा बोलना सिखाने की कोशिश कर रहे हैं, लेकिन आप उसके साथ एक शरारत करने का निर्णय लेते हैं। आप रोबोट को किताबों का एक विशाल पुस्तकालय देते हैं, लेकिन आप सावधानीपूर्वक हर उस पन्ने को फाड़ देते हैं जिसमें किसी संज्ञा (noun) के लिए एक से अधिक विशेषण (description) वाला वाक्य होता है। इसलिए रोबोट सीखता है कि आप "the red ball" या "the big ball" कह सकते हैं, लेकिन वह कभी भी "the big red ball" या "the red big ball" जैसे वाक्यों को नहीं देख पाता। उसके पास कई विशेषणों को एक साथ जोड़ने के तरीके का कोई सीधा प्रमाण नहीं है। अब, बड़ा सवाल यह है: यदि आप रोबोट से "the big red ball" जैसे नए वाक्य के लिए क्रम का अनुमान लगाने को कहते हैं, तो क्या वह केवल रैंडमली अंदाज़ा लगाएगा? या वह भाषा के छिपे हुए तर्क को समझ जाएगा और सही क्रम चुनेगा, ठीक वैसे ही जैसे एक मानव बच्चा करता है?

यह इस तरह का पहेली है जो भाषा विज्ञान और कृत्रिम बुद्धिमत्ता (AI) के केंद्र में स्थित है। वैज्ञानिक लंबे समय से आश्चर्य करते रहे हैं कि क्या मनुष्यों के मस्तिष्क में एक विशेष "भाषा चिप" होती है जो हमें शब्दों को क्रमबद्ध करने के बारे में बताती है, या हम सब कुछ केवल उन पैटर्न को देखकर सीखते हैं जो हम सुनते हैं। इसे परखने के लिए, शोधकर्ता "आर्टिफिशियल लैंग्वेज लर्निंग" का उपयोग करते हैं। यह एक नियंत्रित प्रयोग की तरह है जहाँ वे लोगों या मशीनों को एक छोटा, बनावटी बनाया गया भाषा का हिस्सा सिखाते हैं ताकि वे खाली जगहों को भर सकें। यदि कोई शिक्षार्थी एक विशिष्ट पैटर्न चुनता है जिसे उसने पहले कभी नहीं देखा है, तो यह सुझाव देता है कि उनके पास एक अंतर्निहित पूर्वाग्रह (bias) है या दुनिया की संरचना के आधार पर एक चतुर अनुमान लगाने का तरीका है, न कि केवल शब्दों की आवृत्ति (frequency) के आधार पर। यह शोध पत्र आधुनिक AI भाषा मॉडलों को अपने परीक्षण विषयों के रूप में उपयोग करते हुए इसी रहस्य की गहराई में जाता है।

---

महान शब्द-क्रम का रहस्य

इस अध्ययन में, शोधकर्ताओं अमांडा पोपाडिच और शेन स्टाइनर्ट-थ्रेलकेल्ड ने यह देखने का निर्णय लिया कि क्या कंप्यूटर प्रोग्राम, जिन्हें भाषा मॉडल (language models) कहा जाता है, वही जादू दिखा सकते हैं जो मानव शिक्षार्थी करते हैं। वे जानना चाहते थे: क्या एक मशीन विशेषणों और संख्याओं को जोड़ने के "नियमों" को सीख सकती है, बिना एक भी उदाहरण देखे कि उन्हें कैसे जोड़ा जाता है?

वह विशिष्ट नियम जिसकी वे तलाश कर रहे थे, उसे स्कोप-होमोमोर्फिज्म (scope-homomorphism) कहा जाता है। यह कहने का एक भारी-भरकम तरीका है कि किसी वाक्यांश में शब्दों का क्रम उनके अर्थ के क्रम से मेल खाना चाहिए। इसे रूसी नेस्टिंग डॉल्स (nesting dolls) की तरह समझें। यदि आपके पास "big red ball" है, तो "red" सीधे बॉल का वर्णन करता है, और "big" उस "red ball" का वर्णन करता है। अंग्रेजी में, हम स्वाभाविक रूप से बड़े, बाहरी वर्णन ("big") को पहले, और विशिष्ट, आंतरिक वर्णन ("red") को संज्ञा के करीब रखते हैं। शोधकर्ता यह देखना चाहते थे कि क्या उनके AI मॉडल स्वाभाविक रूप से इस "नेस्टिंग डॉल" क्रम को पसंद करेंगे, भले ही उन्हें केवल एकल-विशेषण वाले वाक्यांशों के आहार पर प्रशिक्षित किया गया हो।

प्रयोग: एक भाषा का आहार

इसे परखने के लिए, टीम ने एक बहुत ही सख्त प्रशिक्षण वातावरण बनाया। उन्होंने इंटरनेट का एक बड़ा हिस्सा (विशेष रूप से 2023 का विकिपीडिया डंप) लिया और उसे फ़िल्टर किया। उन्होंने एक कंप्यूटर प्रोग्राम का उपयोग करके हर उस वाक्य को खोजा जिसमें एक संज्ञा के दो या अधिक संशोधक (modifiers) थे (जैसे "those two fluffy dogs") और उन्हें अलग कर दिया। उन्होंने "those two fluffy dogs" को अलग-अलग उदाहरणों जैसे "those dogs," "two dogs," और "fluffy dogs" से बदल दिया।

परिणाम एक "पॉवर्टी ऑफ द स्टिमुलस" (stimulus की कमी) वाला आहार था। मॉडलों को 10 करोड़ शब्द खिलाए गए, लेकिन उन्होंने कभी भी दो संशोधकों वाले एक भी संज्ञा का उदाहरण नहीं देखा। उन्होंने व्यक्तिगत सामग्रियों को सीखा लेकिन वे कभी अंतिम केक को नहीं देख पाए। फिर, शोधकर्ताओं ने मॉडलों का परीक्षण करने के लिए उन्हें एक वाक्य के दो संस्करणों के बीच चयन करने के लिए कहा: एक जो "नेस्टिंग डॉल" तर्क का पालन करता था (स्कोप-होमोमोर्फिक) और दूसरा जो इसका पालन नहीं करता था।

उन्होंने तीन अलग-अलग आकार के AI मॉडलों का परीक्षण किया: एक छोटा (52 मिलियन पैरामीटर), एक मध्यम (110 मिलियन), और एक बड़ा (350 मिलियन)।

परिणाम: AI समझ गया

निष्कर्ष आश्चर्यजनक रूप से सुसंगत थे। भले ही मॉडलों ने अपने प्रशिक्षण के दौरान कई संशोधकों वाले एक भी वाक्यांश नहीं देखा था, तीनों मॉडलों ने लगातार "नेस्टिंग डॉल" क्रम को प्राथमिकता दी।

जब शोधकर्ताओं ने मॉडलों से "those two dogs" (तार्किक क्रम) और "two those dogs" (बिखरा हुआ क्रम) के बीच चुनने के लिए कहा, तो मॉडलों ने भारी बहुमत से तार्किक वाले को चुना।

• छोटे मॉडल ने लगभग 76% बार सही चुनाव किया।
• मध्यम मॉडल ने लगभग 73% बार सही चुनाव किया।
• बड़े मॉडल ने लगभग 70% बार सही चुनाव किया।

यह सुझाव देता है कि मॉडलों ने केवल प्रशिक्षण डेटा को याद नहीं किया; उन्होंने एक नियम को सामान्यीकृत (generalize) किया। उन्होंने समझ लिया कि जब आपके पास कई विवरण होते हैं, तो उन्हें व्यवस्थित करने का एक विशिष्ट, तार्किक तरीका होता है, भले ही उन्हें उत्तर दिखाए बिना ही छोड़ दिया गया हो। दिलचस्प बात यह है कि मॉडल के आकार ने परिणाम को बहुत अधिक नहीं बदला; छोटे, मध्यम और बड़े मॉडलों ने यह पूर्वाग्रह दिखाया, जिससे पता चलता है कि यह इन प्रणालियों के सीखने के तरीके की एक मजबूत विशेषता है।

मोड़: यह केवल शब्द युग्मों के बारे में नहीं है

शोधकर्ताओं ने फिर एक अनुवर्ती प्रश्न पूछा: मॉडल ने यह कैसे समझा? एक लोकप्रिय सिद्धांत यह है कि शिक्षार्थी केवल यह देखते हैं कि शब्द कितनी बार एक साथ आते हैं। उदाहरण के लिए, शायद "red" आमतौर पर "ball" के ठीक बगल में पाया जाता है, इसलिए इसे "big" की तुलना में संज्ञा के अधिक करीब होना चाहिए। इसे पॉइंटवाइज म्यूटुअल इंफॉर्मेशन (PMI) द्वारा मापा जाता है, जो मूल रूप से दो शब्दों के बीच जुड़ाव का एक स्कोर है।

टीम ने गणित की जांच की। उन्होंने अपने प्रशिक्षण डेटा में जुड़ाव स्कोर की गणना की। उन्होंने पाया कि, हाँ, विशेषण संज्ञाओं के साथ मजबूती से जुड़े हुए हैं, और संख्याएं तथा संकेतवाचक शब्द (जैसे "those") कम जुड़े हुए हैं। यदि मॉडल केवल इन जुड़ाव स्कोर का पालन कर रहे होते, तो वे शब्द क्रम की सटीक भविष्यवाणी करने में सक्षम होने चाहिए थे।

लेकिन यहाँ एक मोड़ है: जुड़ाव स्कोर मॉडलों के चुनाव की भविष्यवाणी करने में विफल रहे।

जब शोधकर्ताओं ने मॉडलों के वास्तविक विकल्पों की तुलना उस गणित से की जो उनका अनुमान लगा रहा था, तो सहसंबंध (correlation) लगभग शून्य था। मॉडल सही क्रम चुन रहे थे, लेकिन वे ऐसा इसलिए नहीं कर रहे थे क्योंकि वे यह गिन रहे थे कि शब्द कितनी बार एक साथ दिखाई देते हैं। यह सुझाव देता है कि मॉडल कुछ गहरे स्तर पर पकड़ रहे हैं—शायद भाषा के काम करने के एक संरचनात्मक बोध को—जो सरल शब्द-युग्म सांख्यिकी से परे है।

इसका क्या अर्थ है

यह अध्ययन दिखाता है कि भाषा मॉडल "अपूर्ण" इनपुट से मानव-समान भाषाई सामान्यीकरण प्राप्त कर सकते हैं। ठीक उसी तरह जैसे एक मानव बच्चा जो एक नई भाषा में सही शब्द क्रम का अनुमान लगा सकता है बिना हर संभावित संयोजन को देखे, इन AI मॉडलों ने एक पैटर्न खोज लिया जो उनके प्रशिक्षण डेटा में स्पष्ट रूप से मौजूद नहीं था।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह साबित नहीं करता कि AI बिल्कुल उसी तरह सीखता है जैसे मनुष्य। मॉडल सचेत बच्चे नहीं हैं; वे जटिल सांख्यिकीय इंजन हैं। लेकिन तथ्य यह है कि उन्होंने बिना बताए इस पूर्वाग्रह को विकसित किया, यह सुझाव देता है कि इन नियमों को सीखने के लिए आपको पहले से प्रोग्राम की गई "भाषा चिप" की आवश्यकता नहीं है। कभी-कभी, भाषा के नियम सीखने के अनुभव से स्वाभाविक रूप से उभर सकते हैं, भले ही साक्ष्य अधूरे हों।

शोधकर्ताओं ने AI और मनुष्यों के बीच एक छोटा अंतर भी नोट किया: जबकि मनुष्य आमतौर पर संकेतवाचक और विशेषणों (जैसे "that big dog") के बीच सबसे मजबूत प्राथमिकता दिखाते हैं, AI मॉडलों ने संकेतवाचक और संख्याओं (जैसे "those two dogs") के बीच सबसे मजबूत प्राथमिकता दिखाई। यह संकेत देता है कि हालांकि सामान्य रूप से सामान्यीकरण करने की क्षमता मौजूद है, लेकिन पूर्वाग्रह के विशिष्ट स्वरूप प्रशिक्षण डेटा के विवरण पर निर्भर कर सकते हैं।

अंत में, यह शोध पत्र हमें भाषा को समझने के लिए एक नया उपकरण प्रदान करता है। AI मॉडलों को अधूरी जानकारी के आहार से खिलाकर, हम देख सकते हैं कि वे अपने आप क्या "अनुमान" लगाते हैं, जिससे हमें यह समझने में मदद मिलती है कि भाषा के नियम जन्मजात हैं या दुनिया के पैटर्न से सीखे गए हैं।