Lost in Sampling: Assessing Lexical Reachability in LLMs via the Word Coverage Score (WCS)
यह शोध पत्र वर्ड कवरेज स्कोर (WCS) प्रस्तुत करता है, जो एक ऐसा मीट्रिक है जो यह दर्शाता है कि लार्ज लैंग्वेज मॉडल्स में मानक डिकोडिंग सैंपलिंग फिल्टर्स व्यवस्थित रूप से संदर्भ के अनुकूल, कम-आवृत्ति वाले मानवीय शब्दावली को हटा देते हैं, जिससे वे अनपेक्षित सेंसरशिप तंत्र के रूप में कार्य करते हैं जो लेक्सिकल विविधता को दबाते हैं और उत्पन्न टेक्स्ट को समरूप बनाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, अनंत पुस्तकालय में बैठे एक कुशल कथावाचक के रूप में करें। इस पुस्तकालय में मानव भाषा का हर शब्द मौजूद है, सामान्य शब्दों जैसे "the" और "and" से लेकर दुर्लभ, परिष्कृत और सुंदर शब्दों जैसे "ephemeral" या "petrichor" तक।
इस शोध पत्र के अनुसार, भले ही कथावाचक के पास पूरे पुस्तकालय तक पहुँच है, लेकिन उनके द्वारा अगले शब्द को चुनने का तरीका ऐसा है जैसे उनके कंधे पर एक बहुत ही सख्त, अति-सुरक्षात्मक संपादक खड़ा हो। यह संपादक केवल मदद नहीं करता; यह सक्रिय रूप से रास्तों को काट देता है, जिससे कथावाचक को केवल सबसे सामान्य, सुरक्षित और उबाऊ शब्दों का उपयोग करने के लिए मजबूर किया जाता है।
यहाँ इस शोध पत्र के निष्कर्षों का सरल उपमाओं के माध्यम से विवरण दिया गया है:
1. "फॉरकिंग पाथ्स का बगीचा" (The Garden of Forking Paths)
लेखक मॉडल की निर्णय लेने की प्रक्रिया की तुलना जॉर्ज लुइस बोर्जेस की एक प्रसिद्ध कहानी से करते हैं, जहाँ एक ऐसे बगीचे का वर्णन है जहाँ हर संभावित भविष्य का रास्ता एक साथ मौजूद है।
- आदर्श स्थिति: इस बगीचे में, कथावाचक किसी भी रास्ते को चुन सकता था, जिसमें वे घुमावदार, दुर्लभ रास्ते भी शामिल हैं जो अद्वितीय और रंगीन अभिव्यक्तियों की ओर ले जाते हैं।
- वास्तविकता: मॉडल के "सैंपलिंग फिल्टर्स" (शब्दों को चुनने के लिए उपयोग किए जाने वाले सेटिंग्स) एक आरी (chainsaw) की तरह काम करते हैं। इससे पहले कि कथावाचक दिलचस्प और दुर्लभ रास्तों को देख सके, आरी उन सभी को काट देती है। मॉडल को केवल चौड़ी, पक्की मुख्य सड़कों पर चलने के लिए मजबूर किया जाता है जहाँ सबसे आम शब्द रहते हैं।
2. "वर्ड कवरेज स्कोर" (WCS): एक उत्तरजीविता परीक्षण
इसे सिद्ध करने के लिए, शोधकर्ताओं ने वर्ड कवरेज स्कोर (WCS) नामक एक परीक्षण बनाया।
- सेटअप: उन्होंने "मिडल-लॉन्ग टेल" शब्दों की एक सूची ली—ऐसे शब्द जो बहुत सामान्य नहीं हैं (जैसे "the") लेकिन निरर्थक भी नहीं हैं (जैसे "flibber")। ये वे शब्द हैं जो मानव लेखन को स्वाद और बनावट देते हैं।
- परीक्षण: उन्होंने इन शब्दों को मनुष्यों द्वारा लिखे गए वास्तविक वाक्यों में रखा। फिर, उन्होंने AI से पूछा: "यदि आप यह वाक्य लिख रहे होते, तो क्या आपकी वर्तमान सेटिंग्स इस विशिष्ट शब्द को चुनने की अनुमति देतीं?"
- परिणाम: उत्तर अक्सर नहीं था। भले ही AI उस शब्द को जानता था (वह इसके प्रशिक्षण डेटा में था), लेकिन शब्द चुनने के लिए इसके जो गणितीय नियम हैं (जैसे Top-p या Top-k), उन्होंने गणितीय रूप से उस शब्द को कभी भी चुने जाने से रोक दिया। वह शब्द प्रभावी रूप से उस क्षण के लिए AI की शब्दावली से "मिटा" दिया गया था।
3. "अलाइनमेंट" का जाल (The Alignment Trap)
शोध में पाया गया कि AI को "सुरक्षित" और अधिक सहायक बनाने (जिसे अलाइनमेंट या इंस्ट्रक्शन ट्यूनिंग कहा जाता है) ने समस्या को वास्तव में और खराब कर दिया।
- उपमा: एक जंगली, रचनात्मक कलाकार (एक "बेस" मॉडल) की कल्पना करें जो रंगों की एक विस्तृत श्रृंखला का उपयोग करता है। फिर, एक मैनेजर (अलाइनमेंट प्रक्रिया) कलाकार को कहता है, "कृपया उन्हीं रंगों का उपयोग करें जो ग्राहकों को सबसे अधिक पसंद हैं।"
- परिणाम: कलाकार और भी कम रंगों का उपयोग करने लगता है। परीक्षण किए गए मॉडलों के "इंस्ट्रक्ट" या "अलाइन्ड" संस्करणों ने मूल, अन-ट्यून्ड संस्करणों की तुलना में अधिक शब्दों को मिटा दिया। वे और भी अधिक एकरूप (homogenized) हो गए, और एक सपाट, दोहराव वाली शैली में बोलने लगे।
4. "डिफ़ॉल्ट सेटिंग्स" की समस्या
शोधकर्ताओं ने उन सेटिंग्स की जाँच की जो कंपनियाँ रोज़मर्रा के उपयोग (जैसे चैट करना या ईमेल लिखना) के लिए सुझाती हैं।
- निष्कर्ष: इन मानक सेटिंग्स के तहत, "मिडल-लॉन्ग टेल" शब्दों का एक बड़ा हिस्सा (कुछ मॉडलों में 22% से 57% के बीच) पूरी तरह से अप्राप्य था।
- रूपक: यह एक ऐसे शेफ को देने जैसा है जिसके पास विदेशी मसालों से भरी रसोई है लेकिन उसे बताया गया है, "आप केवल नमक, काली मिर्च और केचप का उपयोग कर सकते हैं।" शेफ को शायद केसर या ट्रफल ऑयल के बारे में पता हो सकता है, लेकिन रसोई के नियम उन्हें कभी भी उनका उपयोग करने से रोकते हैं।
5. दीर्घकालिक खतरा: एक "सपाट" दुनिया
यह शोध पत्र एक खतरनाक चक्र के बारे में चेतावनी देता है।
- चक्र: यदि AI मॉडल ऐसा टेक्स्ट बनाना शुरू कर देते हैं जो केवल सामान्य शब्दों का उपयोग करता है, और फिर भविष्य के AI मॉडल उस AI-जनित टेक्स्ट पर प्रशिक्षित होते हैं, तो "दुर्लभ" शब्द प्रशिक्षण डेटा से पूरी तरह गायब हो जाएंगे।
- परिणाम: "फॉरकिंग पाथ्स का बगीचा" अंततः एक एकल, सीधी, उबाऊ गलियारे में बदल जाएगा। मानव भाषा की समृद्ध, विविध बनावट स्थायी रूप से एक एकरूप, दोहराव वाली कीचड़ (sludge) में तब्दील हो सकती है।
सारांश
यह शोध पत्र तर्क देता है कि जो उपकरण हम AI टेक्स्ट को "सुसंगत" और "सुरक्षित" बनाने के लिए उपयोग करते हैं, वे अनजाने में सेंसर के रूप में कार्य कर रहे हैं। वे गणितीय रूप से मानव भाषा के अद्वितीय, दुर्लभ और अभिव्यंजक हिस्सों को छाँट रहे हैं, जिससे हमें अंग्रेजी का एक ऐसा संस्करण मिल रहा है जो सुरक्षित और सुसंगत तो है, लेकिन अविश्वसनीय रूप से उबाऊ है। लेखक सुझाव देते हैं कि हमें "बगीचे" को जीवित रखने और विविध रास्तों से भरा रखने के लिए मॉडल से शब्द चुनने के तरीके पर पुनर्विचार करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।