Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs
यह शोधपत्र पहला कारणत्मक प्रमाण (causal evidence) प्रदान करता है कि बड़े भाषा मॉडल सांख्यिकीय पूर्व-अधिग्रहण (statistical preemption) के माध्यम से भाषाई अस्वीकार्यता के ज्ञान को प्राप्त करते हैं, जो यह प्रदर्शित करता है कि पारंपरिक रूपों के संपर्क में आने से केवल क्रियात्मक सुदृढ़ीकरण (verb entrenchment) के बजाय वितरण संबंधी प्रतिस्पर्धा (distributional competition) के माध्यम से संरचनात्मक रूप से संभव लेकिन अप्रमाणित विकल्पों का दमन होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ा सवाल: हम यह कैसे सीखते हैं कि क्या नहीं कहना है?
कल्पना कीजिए कि एक बच्चा बोलना सीख रहा है। वह अपने माता-पिता को कहते हुए सुनता है, "मैंने किताबें लाइब्रेरी को दान (donated) दीं।" धीरे-धीरे, बच्चा समझ जाता है कि "मैंने लाइब्रेरी को किताबें दान दीं" कहना गलत लगता है।
यहाँ पहेली यह है: बच्चे को कभी यह नहीं बताया गया कि, "इसे इस तरह से मत कहो।" उसे कभी कोई सुधार (correction) नहीं मिला। वास्तव में, वह वाक्य संरचना जिसे वह टाल रहा है (वह "डबल-ऑब्जेक्ट" वाला रूप), अन्य शब्दों के लिए बिल्कुल सही काम करती है, जैसे "देना" ("मैंने लाइब्रेरी को किताबें दे दीं")।
तो, मस्तिष्क यह कैसे जानता है कि एक ऐसे पैटर्न का उपयोग करना बंद कर दे जो काम तो कर सकता है, सिर्फ इसलिए क्योंकि उसने इस विशिष्ट शब्द के लिए इसे इस्तेमाल होते नहीं सुना? इसे बेकर का विरोधाभास (Baker's Paradox) कहा जाता है।
सिद्धांत: "भीड़ भरे कमरे" की उपमा
यह शोध पत्र सांख्यिकीय पूर्व-अपवर्जन (Statistical Preemption) नामक एक सिद्धांत का परीक्षण करता है।
एक भीड़ भरे कमरे की कल्पना करें जहाँ हर कोई अपना संदेश पहुँचाने की कोशिश कर रहा है।
- सिद्धांत: यदि आप किसी को कुछ देना चाहते हैं, और आप देखते हैं कि कमरे में 99% लोग कहते हैं, "मैंने किताब व्यक्ति को दी," तो आपका मस्तिष्क सीख जाता है कि यही "मानक" तरीका है। भले ही आप शारीरिक रूप से कह सकते हैं, "मैंने व्यक्ति को किताब दी," लेकिन आपका मस्तिष्क समझ जाता है, "ओह, बाकी सभी लोग इस विशेष क्रिया के लिए 'to' वाले संस्करण का उपयोग करते हैं। यदि मैं दूसरे संस्करण का उपयोग करता हूँ, तो लोग सोच सकते हैं कि मैं अजीब या गलत हूँ।"
- प्रतिस्पर्धी विचार (Entrenchment/जड़ता): एक प्रतिद्वंद्वी सिद्धांत सुझाव देता है कि आप नए पैटर्न का उपयोग करना इसलिए बंद कर देते हैं क्योंकि आपने "दान" (donate) शब्द को किसी भी संदर्भ में इतनी बार सुना है। यह कहने जैसा है कि, "मैंने 'दान' शब्द को इतना सुना है कि मैं कुछ भी नया आज़माने के लिए बहुत अधिक स्थापित हो चुका हूँ।"
लेखक यह जानना चाहते थे: क्या AI भाषा मॉडल (LLMs) मनुष्यों की तरह सीखते हैं? क्या वे यह समझने के लिए कि क्या नहीं कहना है, केवल यह देखकर सीखते हैं कि कमरे में कौन सा संस्करण सबसे लोकप्रिय है?
प्रयोग: एक सुपर-लर्नर के रूप में AI
शोधकर्ताओं ने लार्ज लैंग्वेज मॉडल्स (जैसे GPT-2, LLaMA, और Pythia) को "सुपर-लर्नर्स" के रूप में माना। इन मॉडलों ने अरबों वाक्य पढ़े लेकिन उन्हें कभी व्याकरण के नियम नहीं सिखाए गए। उन्होंने बस सांख्यिकी (statistics) को आत्मसात किया।
उन्होंने मॉडलों का परीक्षण 120 अलग-अलग क्रियाओं (जैसे दान करना, देना, समझाना, डालना) पर तीन प्रकार के वाक्य संरचनाओं के माध्यम से किया।
1. "आश्चर्य" का परीक्षण (Correlation/सहसंबंध)
शोधकर्ताओं ने मापा कि विभिन्न वाक्य संरचनाओं द्वारा AI कितना "आश्चर्यचकित" (surprised) किया गया।
- उपमा: कल्पना कीजिए कि AI एक डीजे (DJ) है जो संगीत बजा रहा है। यदि गाना माहौल के अनुकूल है, तो भीड़ (AI) शांत रहती है। यदि गाना अजीब और बेमेल है, तो भीड़ "आश्चर्यचकित" हो जाती है (AI का आंतरिक अलार्म बज उठता है)।
- परिणाम: AI अप्राकृतिक वाक्यों (जैसे "*दान की लाइब्रेरी किताबें") के प्रति अत्यधिक "आश्चर्यचकित" था और प्राकृतिक वाक्यों के प्रति शांत था। यह पैटर्न मानव निर्णयों के साथ लगभग पूरी तरह मेल खाता था। जब मनुष्यों ने कहा कि एक वाक्य अजीब था, तो AI भी उसके प्रति "आश्चर्यचकित" था।
2. "भीड़ भरा कमरा" बनाम "प्रसिद्ध नाम" का परीक्षण (Dissociation/विघटन)
यह सबसे महत्वपूर्ण हिस्सा था। उन्हें यह साबित करने की आवश्यकता थी कि AI केवल इसलिए किसी वाक्य से बच नहीं रहा है क्योंकि वह शब्द प्रसिद्ध है (Entrenchment), बल्कि इसलिए क्योंकि एक विशिष्ट प्रतिस्पर्धी जीत रहा है (Preemption)।
- सेटअप: उन्होंने क्रियाओं के दो समूह चुने।
- समूह A ("भीड़ भरा कमरा"): वे क्रियाएं जहाँ एक विशिष्ट वाक्य संरचना हावी रहती है (जैसे दान करना लगभग हमेशा "to" के साथ उपयोग किया जाता है)।
- समूह B ("प्रसिद्ध नाम"): वे क्रियाएं जो बहुत बार उपयोग की जाती हैं, लेकिन कई अलग-अलग तरीकों से, बिना किसी एक "विजेता" के।
- परिणाम: AI ने केवल समूह A के लिए अजीब वाक्य संरचना से परहेज किया। समूह B के लिए, भले ही शब्द प्रसिद्ध थे, AI को अजीब संरचना का उपयोग करने में कोई आपत्ति नहीं थी।
- निष्कर्ष: AI केवल इसलिए चीजों से नहीं बच रहा है क्योंकि कोई शब्द सामान्य है। वह इसलिए बच रहा है क्योंकि उसने सीख लिया है कि उसे कहने का दूसरा तरीका ही मानक है। यह सिद्ध करता है कि "सांख्यिकीय पूर्व-अपवर्जन" (Statistical Preemption) का सिद्धांत सही है।
3. "आकार मायने रखता है" का परीक्षण (Scaling/पैमाना)
उन्होंने छोटे (जैसे पॉकेट कैलकुलेटर) से लेकर विशाल (जैसे सुपरकंप्यूटर) तक विभिन्न आकार के मॉडलों का परीक्षण किया।
- उपमा: यह एक कुत्ते को प्रशिक्षित करने जैसा है। एक पिल्ला गलतियाँ कर सकता है, लेकिन एक अच्छी तरह से प्रशिक्षित कुत्ता नियमों को जानता है।
- परिणाम: जैसे-जैसे AI मॉडल बड़े होते गए, उनकी "गलत" वाक्यों को पहचानने की क्षमता बेहतर होती गई। हालाँकि, यह कोई जादुई स्विच नहीं था जो अचानक चालू हो गया; यह एक निरंतर सुधार था, जैसे समय के साथ छात्र के ग्रेड बेहतर होते हैं।
4. "रीवाइरिंग" परीक्षण (Causal Proof/कारण प्रमाण)
यह साबित करने के लिए कि यह केवल एक संयोग नहीं था, उन्होंने एक छोटे AI मॉडल पर "सर्जरी" की।
- क्रिया: उन्होंने एक मॉडल लिया और उसे अतिरिक्त प्रशिक्षण डेटा दिया।
- परिदृश्य 1: उन्होंने वाक्य के "सही" संस्करण को 3 गुना अधिक बार दिखाया।
- परिदृश्य 2: उन्होंने "गलत" संस्करण को 3 गुना अधिक बार दिखाया।
- परिणाम:
- परिदृश्य 1 में: AI गलत वाक्य से बचने के प्रति और अधिक सख्त हो गया।
- परिदृश्य 2 में: AI थोड़ा कम सख्त हुआ, लेकिन परिदृश्य 1 में हुए बदलाव जितना नहीं।
- निष्कर्ष: इसने साबित किया कि AI का व्यवहार सीधे तौर पर प्रतिस्पर्धी वाक्यों की आवृत्ति (frequency) से प्रभावित होता है। यदि आप इनपुट सांख्यिकी को बदलते हैं, तो आप AI के "व्याकरण" को एक अनुमानित तरीके से बदल देते हैं।
मुख्य निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि न्यूरल लैंग्वेज मॉडल्स ठीक उसी तरह सीखते हैं जैसे मनुष्य सीखते हैं: सांख्यिकीय प्रतिस्पर्धा के माध्यम से।
उन्हें शिक्षक द्वारा यह कहे जाने की आवश्यकता नहीं है कि, "यह गलत है।" उन्हें बस चीजों को कहने के "सही" तरीके को इतनी बार सुनने की आवश्यकता है कि उनका मस्तिष्क (या कोड) यह समझ सके, "ओह, यह कहने का मानक तरीका है। दूसरा तरीका अवरुद्ध (blocked) है।"
यह दशकों पुराने पहेली को हल करता है कि मनुष्य बिना नकारात्मक फीडबैक के भाषा कैसे सीखते हैं, यह दिखाते हुए कि वितरणात्मक सांख्यिकी (distributional statistics)—यानी चीजें कितनी बार होती हैं, इसकी गिनती—हमें व्याकरण के नियम सिखाने के लिए पर्याप्त शक्तिशाली है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।