The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models
यह शोध पत्र इस बात की जांच करता है कि क्या भाषा मॉडल लेटेंट चेन-ऑफ-थॉट्स (latent chain-of-thoughts) में कई तर्क पथों को बनाए रखने के लिए सुपरपोजिशन का उपयोग करते हैं, और यह पाता है कि ऐसी क्षमता केवल शून्य से प्रशिक्षित (from scratch) मॉडलों में उभरती है, जबकि प्रशिक्षण-मुक्त (training-free) और फाइन-ट्यून किए गए (fine-tuned) परिदृश्य टोकन प्रतिबद्धता (token commitment) और क्षमता संबंधी बाधाओं के प्रति प्रीट्रेनिंग पूर्वाग्रहों के कारण सुपरपोजिशन का लाभ उठाने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई कठिन गणित की समस्या या तर्क वाली पहेली।
पुराना तरीका (डिस्क्रीट थिंकिंग - Discrete Thinking):
आज के अधिकांश AI मॉडल एक ऐसे व्यक्ति की तरह सोचते हैं जो ज़ोर से बोलकर बात कर रहा हो। वे कहते हैं, "चरण 1 यह है," फिर "चरण 2 वह है।" उन्हें एक बार में एक विशिष्ट शब्द चुनना होता है। यदि वे अनिश्चित हैं, तो उन्हें अनुमान लगाना पड़ता है कि अगला शब्द क्या होगा। इसे चेन-ऑफ-थॉट (CoT) कहा जाता है। यह एक भूलभुलैया में एक समय में एक रास्ता चुनकर चलने जैसा है। यदि आप गलत रास्ता चुन लेते हैं, तो आपको वापस जाना पड़ता है और फिर से शुरू करना पड़ता है।
नया विचार (लेटेंट थिंकिंग और सुपरपोजिशन - Latent Thinking & Superposition):
शोधकर्ताओं ने हाल ही में एक अधिक शानदार विचार प्रस्तावित किया है: लेटेंट CoT (Latent CoT)। केवल एक शब्द चुनने के बजाय, कल्पना कीजिए कि AI एक ही समय में सभी संभावित रास्तों को अपने मन में रख सकता है, जैसे कि कई अलग-अलग विचारों का एक सुपरपोजिशन हो। यह ऐसा है जैसे AI एक साथ कई रास्तों पर चल सके, देख सके कि कौन सा रास्ता बाहर की ओर ले जाता है, और फिर तय कर सके कि उसे वास्तव में कौन सा रास्ता लेना है। इसे सुपरपोजिशन (Superposition) कहा जाता है।
बड़ा सवाल यह है कि: "क्या AI मॉडल वास्तव में ऐसा करते हैं? या यह सिर्फ एक भ्रम है?"
प्रयोग: तीन अलग-अलग परिदृश्य
लेखकों ने इस विचार का परीक्षण तीन अलग-अलग तरीकों से किया, जैसे कि एक नई कार के इंजन का अलग-अलग स्थितियों में परीक्षण करना:
"ऑफ-द-शेल्फ" टेस्ट (प्रशिक्षण-मुक्त/Training-Free): उन्होंने एक विशाल, पूर्व-प्रशिक्षित AI (जैसे कि एक तैयार कार) लिया और केवल उनके आंतरिक गणित को मिलाकर उन्हें "सुपरपोजिशन" में सोचने के लिए मजबूर करने की कोशिश की।
- परिणाम: यह काम नहीं किया। AI ने उन मिश्रित विचारों को तुरंत एक एकल, विशिष्ट शब्द में बदल दिया। यह एक बादल को हाथ में पकड़ने की कोशिश करने जैसा था; जैसे ही आपने उसे छुआ, वह पानी की एक बूंद बन गया। AI ने बस सबसे संभावित शब्द को चुना और बाकी को अनदेखा कर दिया।
"फाइन-ट्यून्ड" टेस्ट (Fine-Tuned Test): उन्होंने एक मानक AI लिया और उसे तर्क संबंधी पहेलियों को हल करने के लिए इन "मिश्रित विचारों" का उपयोग करने के लिए सिखाया (फाइन-ट्यून किया)।
- परिणाम: यह भी काम नहीं किया। AI ने एक "चीट कोड" सीख लिया। वास्तव में कई रास्तों की खोज करने के बजाय, इसने प्रश्न को देखने और सीधे उत्तर पर कूद जाने का तरीका ढूंढ लिया, जिससे सोचने की प्रक्रिया पूरी तरह से छूट गई। यह एक ऐसे छात्र की तरह था जिसने गणित के सवालों को हल करने के बजाय उत्तर कुंजी (answer key) को रट लिया हो।
"फ्रॉम-स्क्रैच" टेस्ट (From-Scratch Test): उन्होंने एक छोटे से AI को शुरुआत से बनाया, जिसे केवल पहले दिन से ही इन "मिश्रित विचारों" का उपयोग करने के लिए प्रशिक्षित किया गया।
- परिणाम: सफलता! इस छोटे AI ने वास्तव में सुपरपोजिशन का उपयोग किया। इसने समस्या पर काम करते समय कई संभावनाओं को अपने मन में जीवित रखा। इसने धोखाधड़ी नहीं की; इसने वास्तव में भूलभुलैया की खोज की।
बड़े मॉडल के लिए यह क्यों विफल रहा?
पेपर बताता है कि बड़े, पूर्व-प्रशिक्षित मॉडल दो मुख्य कारणों से विफल रहे:
- "कमिटमेंट" (प्रतिबद्धता) की आदत: बड़े मॉडल अरबों वाक्यों पर प्रशिक्षित किए गए हैं ताकि अगले शब्द की भविष्यवाणी की जा सके। वे यह कहने में बहुत माहिर हैं कि, "ठीक है, मैं 99% निश्चित हूँ कि अगला शब्द 'बिल्ली' है।" जब आप उन्हें एक "मिश्रित" विचार देते हैं, तो उनका मस्तिष्क इतना प्रशिक्षित होता है कि वह एक शब्द चुनने के लिए मजबूर करता है, जिससे मिश्रित विचार तुरंत एक शब्द में सिमट जाता है। यह एक ऐसे व्यक्ति की तरह है जो इतनी जल्दी निर्णय लेने का आदी है कि वह हिचकिचाहट को संभाल नहीं सकता।
- "शॉर्टकट" का जाल: जब आप एक स्मार्ट, बड़े मॉडल को एक नया ट्रिक सिखाते हैं, तो वह अक्सर अच्छे ग्रेड पाने के लिए सबसे आसान रास्ता खोजता है। यदि वह "सोचने" वाले हिस्से को छोड़कर और सीधे उत्तर का अनुमान लगाकर समस्या को हल कर सकता है, तो वह वही करेगा। यह एक ऐसे छात्र की तरह है जिसे एहसास होता है कि वह वास्तव में पढ़ाई करने के बजाय हर उत्तर के पहले अक्षर का अनुमान लगाकर परीक्षा पास कर सकता है।
निष्कर्ष (The Takeaway)
पेपर निष्कर्ष निकालता है कि सुपरपोजिशन वास्तविक है, लेकिन यह नाजुक है।
- वर्तमान AI: आज के बड़े मॉडल जिनका हम उपयोग करते हैं (जैसे कि चैटबॉट्स को चलाने वाले), वे एकल शब्द चुनने के लिए बहुत अधिक "हार्ड-वायर्ड" हैं। वे एक साथ कई विचारों को रखने में सक्षम नहीं हैं। या तो वे विचारों को समेट लेते हैं या शॉर्टकट ढूंढकर धोखाधड़ी करते हैं।
- भवि भविष्य: यदि हमें ऐसा AI चाहिए जो वास्तव में "समानांतर में सोच" सके (एक साथ कई विचारों को रख सके), तो हमें संभवतः इसके लिए विशेष रूप से छोटे मॉडलों को शुरुआत से प्रशिक्षित करने की आवश्यकता है, न कि हमारे वर्तमान विशाल मॉडलों को यह करने के लिए मजबूर करने की।
संक्षेप में: AI के एक साथ कई विचारों को रखने का विचार वैज्ञानिक रूप से सही है, लेकिन हमारे वर्तमान "वयस्क" AI मॉडल बहुत जिद्दी हैं और शॉर्टकट खोजने में बहुत कुशल हैं ताकि वे वास्तव में इसका उपयोग कर सकें। हमें ऐसे "शिशु" AI मॉडल्स को पालने की आवश्यकता है जिन्हें विशेष रूप से एकल शब्दों में बोलने सीखने से पहले अपने विकल्पों को खुला रखने के लिए प्रशिक्षित किया गया हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।