Differences in Typological Alignment in Language Models' Treatment of Differential Argument Marking
यह शोध पत्र यह प्रदर्शित करता है कि जबकि सिंथेटिक कॉर्पोरा पर प्रशिक्षित GPT-2 मॉडल विभेदक तर्क अंकन प्रणालियों (differential argument marking systems) में अर्थ संबंधी असामान्य तर्कों को चिह्नित करने के लिए मानव-समान प्राथमिकता को सफलतापूर्वक दोहराते हैं, वे विषयों की तुलना में वस्तुओं को प्राथमिकता से चिह्नित करने की क्रॉस-भाषाई प्रवृत्ति को पुनरुत्पादित करने में विफल रहते हैं, जो यह सुझाव देता है कि ये टाइपोलॉजिकल पैटर्न विशिष्ट अंतर्निहित स्रोतों से उत्पन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक नई भाषा बोलना सिखा रहे हैं। लेकिन एक वास्तविक मानव भाषा जैसे स्पेनिश या जापानी के बजाय, आप 18 अलग-अलग "नकली" भाषाएँ आविष्कार करते हैं। प्रत्येक नकली भाषा में, आपके पास एक विशिष्ट नियम है कि वाक्य में एक शब्द पर विशेष "स्टैम्प" (एक मार्कर) कब जोड़ना है।
यह शोध पत्र इस बारे में है कि कैसे शोधकर्ताओं की एक टीम ने AI मॉडल्स (विशेष रूप से GPT-2 के एक संस्करण) को ये 18 नकली भाषाएँ सिखाईं ताकि यह देखा जा सके कि क्या AI स्वाभाविक रूप से उन नियमों को उसी तरह सीख पाता है जैसे मनुष्य करते हैं, या क्या वह भ्रमित हो जाता है।
यहाँ बताया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, रोजमर्रा के उदाहरणों का उपयोग करते हुए।
खेल: "द स्टैम्प रूल" (स्टैम्प का नियम)
वास्तविक दुनिया में, भाषाओं में अक्सर एक प्रणाली होती है जिसे डिफरेंशियल आर्गुमेंट मार्किंग (DAM) कहा जाता है। यह कहने का एक फैंसी तरीका है: "हम किसी शब्द पर विशेष स्टैम्प तभी लगाते हैं जब वह कुछ असामान्य कर रहा हो।"
शोधकर्ताओं ने अंग्रेजी के 18 संस्करण बनाए जहाँ हमने चार नियमों के आधार पर वाक्यों में एक विशेष प्रतीक (जैसे कि 🅿️ या 🅰️) जोड़ा:
- ट्रिगर (Trigger): क्या चीज़ को विशेष बनाता है? (क्या वह जीवित है? क्या वह विशिष्ट है? क्या वह एक सर्वनाम है?)
- टारगेट (Target): क्या हम करने वाले (Subject) पर स्टैम्प लगाते हैं या प्राप्त करने वाले (Object) पर?
- डायरेक्शन (Direction): क्या हम "अजीब" मामलों पर स्टैम्प लगाते हैं या "सामान्य" मामलों पर?
- कॉम्प्लेक्सिटी (Complexity): क्या हम केवल एक शब्द को देखते हैं, या दो शब्दों की आपस में तुलना करते हैं?
उदाहरण:
- सामान्य अंग्रेजी: "The dog chased the cat." (कोई स्टैम्प नहीं)।
- नकली नियम: "यदि पीछा की जाने वाली चीज़ जीवित है, तो उस पर 🅿️ स्टैम्प लगाएँ।"
- परिणाम: "The dog chased the cat 🅿️।" (क्योंकि बिल्ली जीवित है)।
- परिणाम: "The dog chased the rock।" (कोई स्टैम्प नहीं, क्योंकि पत्थर निर्जीव है)।
दो बड़े प्रश्न
शोधकर्ता यह देखना चाहते थे कि क्या AI उन दो पैटर्न को सीख पाएगा जिनका मानव स्वाभाविक रूप से वास्तविक भाषाओं में पालन करते हैं:
- "अजीब होने का" नियम (Markedness): मनुष्य अक्सर असामान्य चीजों पर स्टैम्प लगाते हैं। यदि 90% समय आप एक पत्थर का पीछा करते हैं, लेकिन 10% समय आप एक बिल्ली का पीछा करते हैं, तो आप बिल्ली पर स्टैम्प लगा सकते हैं ताकि यह कह सकें: "हे, यह विशेष वाला है!"
- "प्राप्तकर्ता का" नियम (Object Preference): मानव भाषाओं में, हम लगभग हमेशा क्रिया के प्राप्तकर्ता (Object) पर स्टैम्प लगाते हैं, और करने वाले (Subject) पर बहुत कम लगाते हैं।
AI ने क्या किया (परिणाम)
1. AI ने "अजीब होने का" नियम सही समझा 🎯
AI मार्केडनेस (Markedness) नियम सीखने में उत्कृष्ट था।
- उपमा: कल्पना कीजिए कि आप एक यूनिफॉर्म पहने हुए हैं। आमतौर पर, सभी नीली शर्ट पहनते हैं। लेकिन यदि आप अकेले लाल शर्ट पहने हुए हैं, तो आपको एक विशेष बैज मिलता है।
- परिणाम: AI ने सीखा कि यदि नियम कहता है "असामान्य चीज़ पर स्टैम्प लगाओ," तो इसने इसे पूरी तरह से किया। इसने समझ लिया कि यदि "असामान्य" कॉन्फ़िगरेशन कम बार होता है, तो इसे अलग दिखने के लिए एक स्टैम्प की आवश्यकता होती है। यह मानव भाषा के पैटर्न से पूरी तरह मेल खाता था।
2. AI "प्राप्तकर्ता के नियम" में विफल रहा ❌
AI ने ऑब्जेक्ट प्रेफरेंस (Object Preference) नियम नहीं सीखा।
- उपमा: मानव भाषाओं में, यह एक नियम की तरह है जो कहता है, "हम बैज केवल उस व्यक्ति पर लगाएंगे जो उपहार प्राप्त कर रहा है, देने वाले पर कभी नहीं।"
- परिणाम: AI को इस बात से कोई फर्क नहीं पड़ा कि कौन दे रहा था या कौन प्राप्त कर रहा था। यदि नियम कहता था "देने वाले पर स्टैम्प लगाओ," तो AI ने उसे ठीक से सीखा। यदि नियम कहता था "प्राप्त करने वाले पर स्टैम्प लगाओ," तो उसने उसे भी सीख लिया। उसने प्राप्तकर्ता को प्राथमिकता देने जैसा कोई मजबूत झुकाव नहीं दिखाया जैसा कि मनुष्य दिखाते हैं।
ऐसा क्यों हुआ? ("क्या" के पीछे का "क्यों")
लेखकों का सुझाव है कि ये दो नियम हमारे मस्तिष्क के अंदर (या इस मामले में, AI के प्रशिक्षण के अंदर) दो अलग-अलग "इंजनों" से आते हैं।
- "अजीब होने का" इंजन स्थानीय (Local) है: AI को अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। यह यह नोटिस करने में बहुत अच्छा है कि, "हे, यह शब्द यहाँ दुर्लभ है, इसलिए मुझे अगले शब्द की भविष्यवाणी करने में मदद करने के लिए एक स्टैम्प की उम्मीद करनी चाहिए।" यह एक स्थानीय, यांत्रिक कौशल है जिसमें AI बहुत अच्छा है।
- "प्राप्तकर्ता का" इंजन वैश्विक (Global) है: मानव भाषाओं में प्राप्तकर्ता को स्टैम्प करने की प्राथमिकता के पीछे कहानी सुनाने और बातचीत का कारण है। आमतौर पर, "करने वाला" मुख्य पात्र (विषय) होता है, इसलिए हमें उन्हें चिह्नित करने की आवश्यकता नहीं होती है। "प्राप्त करने वाला" अक्सर नई जानकारी होती है, इसलिए हम उन्हें चिह्नित करते हैं। हालाँकि, AI केवल अगले शब्द को देख रहा है; वह वास्तव में एक कहानी के "बड़े चित्र" या "मुख्य पात्र" को नहीं समझता है। क्योंकि इसमें यह "कहानी सुनाने वाला" संदर्भ नहीं है, इसलिए इसने प्राप्तकर्ता को स्टैम्प करने की मानवीय प्राथमिकता विकसित नहीं की।
निष्कर्ष
यह शोध पत्र दिखाता है कि AI मॉडल उन छात्रों की तरह हैं जो पैटर्न और सांख्यिकी (जैसे "असामान्य चीजों पर स्टैम्प लगता है") को पहचानने में बहुत अच्छे हैं, लेकिन वे सामाजिक और कहानी सुनाने के दबावों (जैसे "हम आमतौर पर क्रिया करने वाले व्यक्ति पर ध्यान केंद्रित करते हैं") के साथ संघर्ष करते हैं।
यह सुझाव देता है कि मानव भाषा के नियम सभी एक ही चीज़ से नहीं बने हैं। कुछ नियम केवल गणित और दक्षता के बारे में हैं (जिसे AI आसानी से सीख लेता है), जबकि अन्य इस बारे में हैं कि हम कहानियाँ कैसे सुनाते हैं और ध्यान कैसे केंद्रित करते हैं (जिसे AI, कम से कम इस सेटअप में, अभी तक पूरी तरह नहीं समझ पाया है)।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।