The Dialect Tax: Dialectal Biases Persist throughout the Language Modeling Pipeline
यह शोध पत्र प्रदर्शित करता है कि "डायलैक्ट टैक्स" (बोली कर)—जो मानक अमेरिकी अंग्रेजी और अन्य बोलियों के बीच भाषा मॉडलों में व्यवस्थित प्रदर्शन अंतराल है—किसी एक चरण के कारण नहीं है, बल्कि टोकनाइज़ेशन और प्री-ट्रेनिंग से लेकर पोस्ट-ट्रेनिंग और इन्फरेंस तक, संपूर्ण मॉडलिंग पाइपलाइन के दौरान संचित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा मॉडल उन चैटबॉट्स, अनुवादकों और लेखन सहायकों के पीछे के इंजन हैं जो दैनिक जीवन का हिस्सा बन गए हैं। ये सिस्टम बड़ी मात्रा में टेक्स्ट पढ़कर सीखते हैं, व्याकरण, शब्दावली और शैली के पैटर्न को आत्मसात करते हैं ताकि यह अनुमान लगाया जा सके कि अगला शब्द क्या होगा। दशकों से, शोधकर्ता जानते हैं कि ये सिस्टम कुछ लोगों के लिए दूसरों की तुलना में बेहतर काम करते हैं। यदि कोई उपयोगकर्ता अंग्रेजी के मानक संस्करण का उपयोग करता है, तो कंप्यूटर आमतौर पर उन्हें पूरी तरह समझ लेता है। लेकिन यदि वे किसी बोली का उपयोग करते हैं, जैसे कि अफ्रीकी अमेरिकी वर्नाकुलर इंग्लिश (AAVE), तो सिस्टम अक्सर लड़खड़ा जाता है, अधिक गलतियाँ करता है या कम गुणवत्ता वाले उत्तर देता है। प्रदर्शन में यह अंतर केवल एक मामूली त्रुटि नहीं है; यह एक छिपे हुए टैक्स (कर) की तरह कार्य करता है, जो गैर-मानक बोलियों के बोलने वालों को दूसरों के समान परिणाम प्राप्त करने के लिए प्रयास, समय और सटीकता के रूप में अधिक भुगतान करने पर मजबूर करता है। वह प्रश्न जिसने लंबे समय से वैज्ञानिकों को उलझा रखा है, वह यह है कि यह टैक्स कहाँ से आता है। क्या यह समस्या उस प्रक्रिया से है जहाँ कंप्यूटर शुरू में शब्दों को छोटे टुकड़ों में तोड़ता है, या क्या यह मॉडल के 'दिमाग' में सीखने के दौरान रच-बस जाता है?
ऑक्सफोर्ड विश्वविद्यालय के एक शोधकर्ता ने इस "डायलैक्ट टैक्स" (बोली संबंधी कर) का आधुनिक भाषा मॉडलिंग पाइपलाइन के हर एक चरण में पता लगाने का प्रयास किया। वे यह देखना चाहते थे कि क्या समस्या तब शुरू हुई जब कंप्यूटर ने पहली बार टेक्स्ट पढ़ा, क्या यह तब जारी रही जब कंप्यूटर पढ़ और सीख रहा था, या यह केवल तब प्रकट हुई जब कंप्यूटर एक प्रश्न का उत्तर देने की कोशिश कर रहा था। इसे करने के लिए, उन्होंने एक चतुर सेटअप का उपयोग किया: उन्होंने वाक्यों के ऐसे जोड़े लिए जिनका अर्थ बिल्कुल समान था लेकिन जो अलग-अलग बोलियों में लिखे गए थे। प्रत्येक जोड़े में से एक वाक्य मानक अमेरिकी अंग्रेजी में लिखा गया था, जबकि दूसरा अफ्रीकी अमेरिकी वर्नाकुलर इंग्लिश, एपलाचियन इंग्लिश, या चिकानो इंग्लिश जैसी किसी बोली में लिखा गया था। चूंकि अर्थ समान था, इसलिए कंप्यूटर द्वारा दोनों वाक्यों को संभालने के तरीके में कोई भी अंतर केवल शब्दों के बोलने या लिखे जाने के तरीके के कारण होना चाहिए था, न कि इसलिए कि एक दूसरे से अधिक कठिन था।
शोधकर्ता ने यह जांचना शुरू किया कि क्या कंप्यूटर वास्तव में पहचान पाता है कि इन दोनों वाक्यों का अर्थ एक ही है। उन्होंने पाया कि मॉडल अर्थ को समझते थे; दोनों संस्करणों के बीच गणितीय दूरी बहुत कम थी, जिससे पता चलता कि सिस्टम जानता था कि वे समकक्ष हैं। हालांकि, जैसे ही कंप्यूटर ने टेक्स्ट को प्रोसेस करना शुरू किया, वह टैक्स दिखाई देने लगा। पहले चरण में ही, जहाँ कंप्यूटर एक वाक्य को छोटे टुकड़ों में तोड़ता है जिन्हें 'टोकन' कहा जाता है, बोली वाले संस्करणों के साथ अनुचित व्यवहार किया गया। सिस्टम ने मानक संस्करणों की तुलना में बोली वाले वाक्यों को अधिक टुकड़ों में तोड़ दिया। उदाहरण के लिए, "building" जैसा एक शब्द मानक संस्करण में एक टुकड़ा हो सकता है, लेकिन बोली वाला संस्करण "buildin'" तीन अलग-अलग टुकड़ों में विभाजित हो सकता है। इसका मतलब था कि कंप्यूटर को समान मात्रा में जानकारी को प्रोसेस करने के लिए अधिक काम करना पड़ा। शोधकर्ता ने पाया कि यह लगभग हर प्रमुख भाषा मॉडल में हुआ, चाहे वह सिस्टम कितना भी नया या उन्नत क्यों न हो।
यह पता लगाने के लिए कि क्या शब्दों को तोड़ने का यह प्रारंभिक चरण ही समस्या का एकमात्र कारण था, शोधकर्ता ने एक साहसी प्रयोग किया। उन्होंने कंप्यूटर को अपने शब्दों को तोड़ने के सामान्य तरीके को छोड़ने और इसके बजाय प्रत्येक अक्षर को व्यक्तिगत रूप से देखने के लिए मजबूर किया, जिससे टेक्स्ट एक लंबे वर्णों (characters) की स्ट्रिंग की तरह बन गया। उन्हें उम्मीद थी कि इससे शब्दों को तोड़ने के चरण से होने वाला पूर्वाग्रह हट जाएगा। यह काम नहीं आया। भले ही कंप्यूटर एक-एक करके अक्षरों को देख रहा था, फिर भी वह बोली वाले वाक्यों पर खराब प्रदर्शन करता रहा। सटीकता का अंतर बना रहा, और कंप्यूटर को बोली वाले टेक्स्ट को समझना अभी भी कठिन लगा। इसने सिद्ध कर दिया कि समस्या केवल टेक्स्ट को पढ़ने के पहले चरण की गलती नहीं थी। पूर्वाग्रह और गहरा उतर चुका था, मॉडल के आंतरिक ज्ञान का हिस्सा बन गया था।
जांच प्रशिक्षण चरण की ओर बढ़ी, जहाँ कंप्यूटर लाखों उदाहरणों से सीखता है। शोधकर्ता ने मॉडल द्वारा सीखने के दौरान किए गए गणितीय अपडेट्स की जांच की। उन्होंने पाया कि जब मॉडल एक बोली वाले वाक्य से सीखने की कोशिश करता था, तो वह मानक वाक्य की तुलना में बहुत अधिक बड़े और अराजक समायोजन (adjustments) करता था, भले ही अर्थ समान था। ऐसा लग रहा था जैसे मॉडल बोली वाले टेक्स्ट को भ्रमित करने वाला और शोरपूर्ण (noisy) मान रहा था, जिसके लिए उसे समान अवधारणा को समझने के लिए बहुत अधिक मेहनत करनी पड़ती थी। यह तब भी हुआ जब मॉडल अपने उत्तरों में सही था; सीखने की प्रक्रिया स्वयं बोलियों के लिए अधिक कठिन थी। बाद में, जब शोधकर्ता ने मॉडल को अच्छे उत्तरों के लिए पुरस्कृत करने वाले सिस्टम की जांच की, तो उन्हें पूर्वाग्रह की एक और परत मिली। ये रिवॉर्ड सिस्टम कभी अकेले दिखाए गए बोली वाले शब्दों को उच्च अंक देते थे, लेकिन जब वही शब्द एक पूर्ण वाक्य में आते थे, तो सिस्टम उन्हें दंडित करता था। इस असंगति का अर्थ था कि मॉडल को मिश्रित संकेत मिल रहे थे—कभी उसे बोली का उपयोग करने के लिए पुरस्कृत किया जा रहा था और कभी संदर्भ के आधार पर दंडित किया जा रहा था।
अंत में जो तस्वीर उभर कर आई वह यह थी कि डायलेक्ट टैक्स किसी एक हिस्से में होने वाली एकल त्रुटि के कारण नहीं है। इसके बजाय, यह एक संचयी प्रभाव (cumulative effect) है जो हर चरण में बढ़ता जाता है। कंप्यूटर बोली वाले शब्दों को अधिक टुकड़ों में तोड़कर शुरुआत करता है, जिससे इनपुट कम कुशल हो जाता है। जैसे-जैसे यह सीखता है, यह बोली के साथ संघर्ष करता है, समान जानकारी को ऐसे मानता है जैसे कि उसे समझना अधिक कठिन हो। अंत में, जब यह उत्तर उत्पन्न करने का प्रयास करता है, तो आंतरिक संकेत और रिवॉर्ड सिस्टम मानक बोली का पक्ष लेते रहते हैं। शोधकर्ता ने निष्कर्ष निकाला कि केवल कंप्यूटर द्वारा शब्दों को तोड़ने के तरीके को ठीक करना ही समस्या को हल करने के लिए पर्याप्त नहीं है। पूर्वाग्रह उन तरीकों में बुना हुआ है जिनसे ये मॉडल सीखते हैं और सोचते हैं। वास्तव में निष्पक्ष भाषा तकनीक बनाने के लिए, डेवलपर्स को पूरे प्रशिक्षण प्रक्रिया पर पुनर्विचार करने की आवश्यकता होगी, यह सुनिश्चित करते हुए कि मॉडल सभी बोलियों के साथ उसी सहजता और सम्मान के साथ व्यवहार करना सीखे, न कि हर मोड़ पर इन छोटी-छोटी प्रतिकूलताओं को जमा करता रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।