The Illusion of Stochasticity in LLMs
यह शोध पत्र यह प्रदर्शित करता है कि जबकि लार्ज लैंग्वेज मॉडल्स (Large Language Models) लक्षित वितरणों (target distributions) को उत्पन्न करने के लिए प्रदान किए गए रैंडम सीड्स (random seeds) का उपयोग कर सकते हैं, वे अपने आंतरिक संभाव्यता अनुमानों (internal probability estimates) के आधार पर विशिष्ट वितरणों से सीधे और विश्वसनीय रूप से नमूने लेने में मौलिक रूप से विफल रहते हैं, जो एजेंटिक सिस्टम (agentic systems) के रूप में उनके उपयोग के लिए एक महत्वपूर्ण सीमा को दर्शाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके पेपर "The Illusion of Stochasticity in LLMs" का स्पष्टीकरण दिया गया है।
मुख्य विचार: "नकली रैंडमनेस" की समस्या
कल्पना कीजिए कि आपने एक शानदार शेफ (AI) को एक कैसीनो चलाने के लिए काम पर रखा है। कैसीनो को पासा फेंकने, रूलेट व्हील घुमाने और ताश के पत्तों को फेंटने की आवश्यकता होती है। ये कार्य वास्तव में यादृच्छिक (truly random) होने चाहिए ताकि कोई भी अगले कदम की भविष्यवाणी न कर सके।
यह पेपर तर्क देता है कि हालांकि लार्ज लैंग्वेज मॉडल्स (LLMs) अविश्वसनीय रूप से स्मार्ट शेफ हैं जो संभावना (probability) के बारे में बात कर सकते हैं, वे वास्तव में रैंडम चीजें करने में बहुत खराब हैं। जब उन्हें कोई नंबर या दिशा रैंडम तरीके से चुनने के लिए कहा जाता है, तो वे पासा नहीं फेंकते; वे जो उन्होंने पहले देखा है उसके आधार पर अनुमान लगाते हैं। वे एक "स्टोकेस्टिसिटी का भ्रम" (Illusion of Stochasticity) पैदा करते हैं—सतह पर यह रैंडम दिखता है, लेकिन वास्तव में यह छिपे हुए पैटर्न और पूर्वाग्रहों (biases) से भरा होता है।
1. "जानने-करने" के बीच का अंतर (The "Knowing-Doing" Gap)
उपमा: कल्पना कीजिए कि एक गणित का जीनियस है जो डाइस गेम के नियमों को पूरी तरह से समझा सकता है, लेकिन जब उसे पासा फेंकने के लिए कहा जाता है, तो वह हमेशा "6" पर ही रुकता है क्योंकि उसे लगता है कि "6" सबसे महत्वपूर्ण नंबर है।
वास्तविकता: पेपर दिखाता है कि LLMs समझते हैं कि "यूनिफॉर्म डिस्ट्रीब्यूशन" (एक पूरी तरह से निष्पक्ष रैंडम विकल्प) क्या है। वे अपनी "सोचने" की प्रक्रिया में इसे समझा सकते हैं। हालाँकि, जब वे वास्तव में आउटपुट जनरेट करते हैं, तो वे विफल हो जाते हैं।
- उदाहरण: यदि आप AI को A से Z तक एक अक्षर चुनने के लिए कहते हैं, तो वह "C" बहुत अधिक बार चुन सकता है।
- उदाहरण: यदि आप उसे 1 से 100 के बीच एक नंबर चुनने के लिए कहते हैं, तो उसे 42 (पॉप कल्चर का एक प्रसिद्ध नंबर) या 7 बहुत पसंद आता है। यह एक ऐसे व्यक्ति की तरह है जो दावा तो करता है कि वह रैंडम है, लेकिन हमेशा अपना पसंदीदा स्नैक ही चुनता है।
2. "पोजीशनल" पूर्वाग्रह (The "Positional" Bias)
उपमा: कल्पना कीजिए कि एक वेटर आपसे मेनू से कोई डिश चुनने के लिए कह रहा है। यदि मेनू में "बर्गर" सबसे ऊपर है, तो आप उसे चुन लेते हैं। यदि वेटर "बर्गर" को नीचे ले जाता है, तो आप "सलाद" चुन लेते हैं। आप रैंडमली नहीं चुन रहे हैं; आप इस आधार पर चुन रहे हैं कि वह आइटम कहाँ स्थित है।
वास्तविकता: AI की "रैंडमनेस" अक्सर प्रॉम्प्ट में शब्दों के क्रम के प्रति एक प्रतिक्रिया होती है।
- यदि आप विकल्पों को
[Left, Right, Up, Down]के रूप में सूचीबद्ध करते हैं, तो AI ज्यादातर समय Up चुनता है। - यदि आप सूची को बदलकर
[Up, Down, Left, Right]कर देते हैं, तो AI अचानक Left या Right चुनने लगता है।
यह पासा नहीं फेंक रहा है; यह बस सूची के क्रम के आधार पर एक छिपे हुए नियम का पालन कर रहा है।
3. "ज़्यादा सोचने" से मदद क्यों नहीं मिलती (Why "Thinking Harder" Doesn't Help)
उपमा: कल्पना कीजिए कि आप किसी व्यक्ति से रैंडम नंबर गेस करने के लिए कह रहे हैं। आप उससे कहते हैं, "इसके बारे में काफी देर तक सोचो, अपना तर्क लिखो, और फिर एक नंबर चुनो।" वह संभावना (probability) के बारे में एक सुंदर निबंध लिखता है, लेकिन जब वह अंत में नंबर बताता है, तो वह अभी भी 42 ही होता है।
वास्तविकता: शोधकर्ताओं ने परीक्षण किया कि क्या AI को "सोचने" (Chain-of-Thought) या उसके "तापमान" (temperature - कितनी रचनात्मकता बनाम सख्ती) को बदलने से यह ठीक होगा। इससे कोई फर्क नहीं पड़ा। चाहे AI छोटा हो या बड़ा, स्मार्ट हो या साधारण, वह वास्तविक रैंडमनेस उत्पन्न करने में विफल रहता है। "सोचने" की प्रक्रिया केवल एक प्रदर्शन है; अंतिम आउटपुट अभी भी पक्षपाती है।
4. "टूल" समाधान (और इसकी खामियां)
उपमा: चूंकि शेफ पासा नहीं फेंक सकता, इसलिए आप उसे एक असली, मैकेनिकल पासा फेंकने वाली मशीन (कंप्यूटर टूल) देते हैं।
- सफलता: यदि शेफ मशीन का सही उपयोग करता है, तो परिणाम रैंडम होते हैं।
- विफलता: शेफ अक्सर हर रोल के बीच मशीन को रीसेट करना भूल जाता है। यदि वे इसे रीसेट नहीं करते हैं, तो मशीन एक विशिष्ट नंबर पर अटक जाती है, और "रैंडमनेस" फिर से टूट जाती है।
वास्तविकता: जब LLMs को रैंडम नंबर जेनरेट करने के लिए कोड लिखने और चलाने (एक टूल का उपयोग करने) की अनुमति दी जाती है, तो वे बहुत बेहतर प्रदर्शन करते हैं। हालाँकि, वे अक्सर एक "सीड" (seed - रैंडमनेस का शुरुआती बिंदु) सेट करना भूल जाते हैं। यदि वे हर बार एक नया सीड सेट नहीं करते हैं, तो कंप्यूटर हर बार बिल्कुल वही "रैंडम" नंबर जेनरेट करता है। केवल सबसे स्मार्ट मॉडल ही इसे सही ढंग से याद रखते हैं।
5. "जादुई ट्रिक" जो वास्तव में काम करती है
उपमा: कल्पना कीजिए कि आपके पास एक जादुई बॉक्स है जो आपको 0 और 1 के बीच एक रैंडम नंबर देता है। आप शेफ से पूछते हैं कि उस नंबर को एक रैंडम रंग में बदले।
- ट्रिक: शेफ को रंग का अनुमान लगाने की ज़रूरत नहीं है। उन्हें बस एक सख्त रेसिपी का पालन करना है: "यदि नंबर 0.0 और 0.2 के बीच है, तो लाल चुनें। यदि 0.2 से 0.4 है, तो नीला चुनें।"
- परिणाम: क्योंकि इनपुट (0.0 से 1.0) पहले से ही रैंडम है (कंप्यूटर द्वारा प्रदान किया गया है), और रेसिपी एक सख्त गणितीय नियम है, इसलिए आउटपुट (रंग) पूरी तरह से रैंडम हो जाता है।
वास्तविकता: पेपर ने पाया कि LLMs को दिए गए रैंडम नंबर को एक विशिष्ट डिस्ट्रीब्यूशन में बदलने (convert करने) में महारत हासिल है। वे खुद रैंडम नंबर जेनरेट करने में बहुत खराब हैं।
- गलत: "एक रैंडम नंबर चुनो।" (विफल)
- सही: "यहाँ एक रैंडम नंबर है: 0.63। अब, इसे एक रैंडम रंग में बदलो।" (सफल)
यह क्यों मायने रखता है?
यदि आप एक ऐसा AI एजेंट बना रहे हैं जिसे दुनिया का पता लगाना है (जैसे कि चलने सीखने वाला रोबोट या ट्रेडिंग बॉट), तो उसे एक लूप में फंसने से बचने के लिए रैंडम विकल्प बनाने की आवश्यकता होती है।
- यदि AI सोचता है कि वह रैंडम हो रहा है लेकिन वास्तव में वह प्रेडिक्टेबल (अनुमानित) है, तो कोई दुश्मन उसे धोखा दे सकता है।
- यदि उसे एक निष्पक्ष खेल का अनुकरण करने के लिए कहा जाता है, तो वह हमेशा अपने "लकी" नंबर चुनकर धोखाधड़ी करेगा।
निचोड़ (The Bottom Line)
LLMs एक जुआरी की भूमिका निभाने वाले अभिनेताओं (actors) की तरह हैं। वे बातें कर सकते हैं, संभावनाओं को समझा सकते हैं, और एक रैंडम नंबर को निर्णय में बदलने के लिए स्क्रिप्ट का पालन भी कर सकते हैं। लेकिन यदि आप उनसे रैंडमनेस का स्रोत बनने के लिए कहते हैं, तो वे केवल अपने ट्रेनिंग डेटा के आधार पर अनुमान लगा रहे होते हैं, पासा नहीं फेंक रहे होते।
सीख: AI को अपने आप रैंडमनेस जेनरेट करने के लिए भरोसा न करें। उसे एक असली कंप्यूटर से एक रैंडम नंबर दें, और उसे उस नंबर को निर्णय में बदलने के लिए गणित करने दें। वास्तविक निष्पक्ष रोल प्राप्त करने का यही एकमात्र तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।