Variation is the Norm: Embracing Sociolinguistics in NLP
यह शोधपत्र एक ऐसे ढांचे का प्रस्ताव करता है जो भाषाई भिन्नता को शोर के बजाय एक सार्थक विशेषता के रूप में मानने के लिए प्राकृतिक भाषा प्रसंस्करण (Natural Language Processing) में समाजभाषावैज्ञानिक सिद्धांतों को एकीकृत करता है, और एक लक्ज़मबर्ग अध्ययन के माध्यम से यह प्रदर्शित करता है कि फाइन-ट्यूनिंग के दौरान वर्तनी संबंधी भिन्नता को स्पष्ट रूप से ध्यान में रखने से मॉडल की मजबूती और प्रदर्शन में उल्लेखनीय सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानव भाषा समझने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। कंप्यूटर विज्ञान (NLP) की दुनिया में, इंजीनियर पारंपरिक रूप से भाषा को एक फैक्ट्री असेंबली लाइन की तरह मानते रहे हैं। वे चाहते हैं कि सब कुछ एक समान, स्वच्छ और पूर्वानुमानित हो। यदि कोई मनुष्य एक वाक्य में टाइपिंग की गलती (typo), स्लैंग शब्द या क्षेत्रीय बोली का उपयोग करता है, तो रोबोट उसे "शोर" (noise) या "दोष" (defect) के रूप में देखता है। मानक प्रक्रिया उस वाक्य को साफ करने और उसे एक "मानक" सांचे में ढालने की होती है, इससे पहले कि रोबोट उसे समझने की कोशिश करे।
यह शोध पत्र तर्क देता है कि यह दृष्टिकोण मौलिक रूप से त्रुटिपूर्ण है।
लेखक, जो भाषाविदों और कंप्यूटर वैज्ञानिकों की एक टीम है, सोचने का एक नया तरीका प्रस्तावित करते हैं: विविधता कोई बग (bug) नहीं है; यह एक विशेषता (feature) है। जिस तरह एक मानवीय आवाज इस बात पर बदल जाती है कि आप किससे बात कर रहे हैं (अपने बॉस बनाम अपने सबसे अच्छे दोस्त), भाषा स्वाभाविक रूप से बदलती रहती है। सब कुछ को "सामान्य" (normalize) करने की कोशिश करके, हम वास्तव में उन सामाजिक संकेतों को मिटा देते हैं जो भाषा को अर्थपूर्ण बनाते हैं।
यहाँ उनके विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "कंटेनर" (Container) की उपमा
भाषा को एक एकल, कठोर इमारत के बजाय, एक विशाल, खुले सागर के रूप में सोचें।
- मानक दृष्टिकोण: पारंपरिक भाषाविज्ञान और NLP एक कांच के बॉक्स को समुद्र के बीच में बनाने की कोशिश करते हैं और कहते हैं, "केवल इस बॉक्स के भीतर का पानी ही 'वास्तविक' भाषा है। बाकी सब केवल लहरें हैं।"
- समाजशास्त्रीय (Sociolinguistic) दृष्टिकोण: लेखक कहते हैं, "पूरा सागर ही भाषा है।" लहरें, ज्वार और धाराएं ही भाषा हैं। वे इन "कंटेनरों" (बोलियों, स्लैंग, औपचारिक भाषण) को मैप करने के लिए एक ढांचा पेश करते हैं, उन्हें बाहर निकालने के लिए नहीं, बल्कि यह समझने के लिए कि वे एक साथ कैसे फिट होते हैं।
2. "लक्ज़मबर्गिश" (Luxembourgish) प्रयोग
अपनी बात को सिद्ध करने के लिए, टीम ने लक्ज़मबर्गिश का उपयोग किया, जो यूरोप की एक छोटी सी भाषा है और एक भाषाई गिरगिट की तरह है। यह जर्मन से संबंधित है लेकिन इसके अपने नियम हैं, और यह फ्रांसीसी से बहुत कुछ उधार लेती है। महत्वपूर्ण बात यह है कि जब लोग इसे लिखते हैं, तो वे हमेशा आधिकारिक शब्दकोश का पालन नहीं करते हैं। कुछ इसे औपचारिक समाचार पत्र की तरह लिखते हैं; अन्य इसे अपने मित्र को भेजे गए टेक्स्ट मैसेज की तरह लिखते हैं, जिसमें वर्तनी (spelling) की बहुत सारी भिन्नताएं होती हैं।
शोधकर्ताओं ने दो AI मॉडल के लिए एक "टेस्ट टेस्ट" (taste test) आयोजित किया (सोचिए कि ये दो छात्र परीक्षा दे रहे हैं):
- छात्र A को केवल "परफेक्ट", शब्दकोश-सही लक्ज़मबर्गिश पर प्रशिक्षित किया गया था।
- छात्र B को परफेक्ट टेक्स्ट और सभी वर्तनी विविधताओं वाले "मेसी" (messy), वास्तविक दुनिया के टेक्स्ट के मिश्रण पर प्रशिक्षित किया गया था।
परिणाम:
- छात्र A परफेक्ट टेक्स्टbook पढ़ने में बहुत अच्छा था लेकिन वास्तविक दुनिया के टेक्स्ट का सामना करने पर बुरी तरह विफल रहा। यह उस छात्र की तरह था जिसने केवल लिखित परीक्षा के लिए पढ़ाई की थी लेकिन एक शोर भरे कॉफी शॉप में बातचीत को नहीं समझ सका।
- छात्र B (जिसे "मेसी" डेटा पर प्रशिक्षित किया गया था) बहुत अधिक मजबूत था। वह औपचारिक टेक्स्ट और अनौपचारिक टेक्स्ट दोनों को संभाल सकता था।
बड़ी खोज:
सबसे आश्चर्यजनक खोज यह थी कि डेटा के मिश्रण ने AI को "परफेक्ट" टेक्स्ट को समझने में भी स्मार्ट बना दिया। विविधताओं के संपर्क में आकर, इसने भाषा की अंतर्निहित संरचना को बेहतर ढंग से सीखा, न कि केवल "सही" वर्तनी को रटा। यह ऊबड़-खाबड़ कच्ची सड़कों और चिकनी राजमार्गों दोनों पर अभ्यास करके गाड़ी चलाना सीखने जैसा है; आप राजमार्ग पर चिकनी सड़क पर अभ्यास करने की तुलना में बेहतर ड्राइवर बन जाते हैं।
3. टाइपो (Typos) का "सामाजिक अर्थ"
यह शोध पत्र इस बात पर जोर देता है कि जब लोग वर्तनी या व्याकरण के "नियम तोड़ते" हैं, तो वे केवल गलतियाँ नहीं कर रहे होते हैं। वे एक संकेत भेज रहे होते हैं।
- उपमा: कल्पना कीजिए कि एक अंतिम संस्कार में सूट पहनना बनाम समुद्र तट की पार्टी में सूट पहनना। सूट वही है, लेकिन संदर्भ (context) अर्थ बदल देता है।
- भाषा में, "going to" के बजाय "gonna" लिखना केवल एक टाइपो नहीं है; यह संकेत देता है, "मैं सहज हूँ," या "मैं इस विशिष्ट समूह का हिस्सा हूँ।"
- जब NLP सिस्टम इन शब्दों को "नॉर्मलाइज़" (ठीक) करते हैं, तो वे वक्ता की सामाजिक पहचान और व्यक्तित्व को छीन लेते हैं। AI एक ऐसे रोबोट में बदल जाता है जो सबको बिल्कुल एक जैसा बोलते हुए सुनता है, जो वास्तविक मानवीय संचार का एक बहुत ही खराब अनुकरण है।
4. प्रस्तावित समाधान: "समाजशास्त्रीय आईडी कार्ड" (Sociolinguistic ID Card)
लेखक सुझाव देते हैं कि AI को डेटा खिलाने से पहले, हमें उसे एक "समाजशास्त्रीय आईडी कार्ड" देना चाहिए।
- केवल यह कहने के बजाय कि "यह फ्रेंच है," हमें कहना चाहिए, "यह पेरिस के किशोरों द्वारा उपयोग की जाने वाली स्लैंग है, इसमें बहुत सारे अंग्रेजी ऋणशब्द (loanwords) हैं, और इसका उपयोग अनौपचारिक चैट में किया जाता है।"
- डेटा के सामाजिक संदर्भ को समझकर, इंजीनियर ऐसे मॉडल बना सकते हैं जो वास्तविक जीवन की अव्यवस्था को संभालने के लिए पर्याप्त लचीले हों, न कि दुनिया को एक स्वच्छ, कृत्रिम बॉक्स में जबरन फिट करने की कोशिश करें।
निष्कर्ष (The Takeaway)
यह शोध पत्र AI डेवलपर्स के लिए कार्रवाई का आह्वान है: दुनिया की भाषा को साफ करने की कोशिश करना बंद करें।
भाषा अव्यवस्थित, विकसित होने वाली और मानवीय पहचान से गहराई से जुड़ी हुई है। यदि हम चाहते हैं कि हमारा AI वास्तव में हमें समझे, तो हमें विविधता को हटाने योग्य "शोर" के रूप में मानना बंद करना होगा और इसे उस समृद्ध, रंगीन संकेत के रूप में देखना शुरू करना होगा जो यह वास्तव में है। इस बिखराव (mess) को अपनाकर, हम अधिक स्मार्ट, अधिक मानव-समान मशीनें बनाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।