From Drift to Coherence: Stabilizing Beliefs in LLMs
यह शोध पत्र प्रदर्शित करता है कि जबकि बड़े भाषा मॉडल ऑटोरेग्रेसिव उत्तर पुन: नमूनाकरण (autoregressive answer resampling) के दौरान मार्टिंगेल गुण का उल्लंघन करते हुए प्रारंभ में विश्वास विचलन (belief drift) प्रदर्शित करते हैं, वे अंततः सुसंगत भविष्य कहनेवाला वितरणों (predictive distributions) में स्व-स्थिर हो जाते हैं, एक ऐसी घटना जिसका लाभ उठाकर विचलन को कम करने और सटीकता से समझौता किए बिना सुसंगतता में सुधार करने के लिए प्रॉम्प्टिंग और फाइन-ट्यूनिंग रणनीतियों का प्रस्ताव दिया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट (एक लार्ज लैंग्वेज मॉडल या LLM) है जिससे आप एक सवाल पूछते हैं। आमतौर पर, आप उम्मीद करते हैं कि वह आपको एक उत्तर देगा और अपने तर्क पर टिका रहेगा। लेकिन इस शोध पत्र ने कुछ अजीब खोजा है: यदि आप रोबोट से एक ही सवाल को बार-बार लगातार पूछें, तो उसका आत्मविश्वास डगमगाने लगता है।
यहाँ उन लेखकों द्वारा उस डगमगाहट को ठीक करने की कहानी दी गई है, जिसे सरल भाषा में समझाया गया है।
समस्या: रोबोट का "डगमगाता हुआ मस्तिष्क"
रोबोट के मस्तिष्क को मौसम का अनुमान लगाने की कोशिश करने वाले व्यक्ति की तरह समझें।
- आदर्श स्थिति: यदि रोबोट एक आदर्श बेयसियन (Bayesian) विचारक होता (एक परिपूर्ण संभाव्यता अनुमान लगाने वाला, जो एक फैंसी शब्द है), तो उसका आत्मविश्वास स्थिर होना चाहिए। यदि उसे लगता है कि बारिश की 70% संभावना है, तो वह 70% केवल इसलिए नहीं बदलना चाहिए क्योंकि उसने इसके बारे में दूसरी बार सोचा है।
- वास्तविकता: लेखकों ने पाया कि जब उन्होंने रोबोट को एक ही प्रश्न के उत्तरों की एक श्रृंखला (sequence) उत्पन्न करने के लिए कहा, तो उसका आंतरिक आत्मविश्वास डगमगाया (drifted)।
- उपमा: कल्पना कीजिए कि आप एक मित्र से पूछते हैं, "क्या बारिश होने वाली है?" वे कहते हैं, "मुझे 70% यकीन है।" फिर, बिना बाहर दोबारा देखे, आप उनसे तुरंत फिर से पूछते हैं। वे अचानक कह सकते हैं, "दरअसल, मुझे अब केवल 50% यकीन है।" फिर आप फिर से पूछते हैं, और वे कहते हैं, "रुको, शायद 80%!"
- यह "डगमगाहट" बताती है कि रोबोट के विश्वास अल्पकाल में अस्थिर हैं। यह एक ऐसे कंपास की तरह है जो उत्तर दिशा की ओर संकेत करने से पहले पागलों की तरह घूमता रहता है।
खोज: यह अंततः स्थिर हो जाता है
शोधकर्ताओं ने एक दिलचस्प बात देखी: यदि आप रोबोट से एक ही सवाल को कई बार (जैसे लगातार 20 या 30 बार) पूछते रहते, तो डगमगाहट अंततः रुक जाती। रोबोट का आत्मविश्वास स्थिर हो जाता और एक सुसंगत संख्या पर आकर टिक जाता।
- रूपक: यह एक कांच के जार की तरह है जिसमें मिश्रित कंचे (marbles) भरे हुए हैं और उसे हिलाया जा रहा है। शुरुआत में, रंग अराजक रूप से घूम रहे होते हैं। लेकिन यदि आप जार को कुछ देर के लिए छोड़ दें, तो कंचे स्थिर हो जाते हैं, और आप अंततः रंगों के सही अनुपात को देख पाते हैं। रोबोट को अपना वास्तविक विश्वास खोजने के लिए एक "सेटलिंग अवधि" (जिसे बर्न-इन फेज कहा जाता है) की आवश्यकता होती है।
समाधान: डगमगाहट रोकने के दो तरीके
समस्या यह है कि रोबोट के स्थिर होने का इंतज़ार करने में बहुत समय लगता है और बहुत अधिक कंप्यूटर शक्ति खर्च होती है। लेखक दो तरीके लेकर आए जिससे रोबोट तुरंत स्थिर हो सके।
1. "वार्म-अप" ट्रिक (उत्तर सीडिंग - Answer Seeding)
रोबोट को शून्य से शुरू करने के बजाय, लेखक उसे पहले एक "वार्म-अप" उत्तरों की सूची देते हैं।
- यह कैसे काम करता है: वे रोबोट को सवाल के कुछ रैंडम उत्तर एक बार उत्पन्न करने के लिए कहते हैं, और फिर उन उत्तरों को वास्तविक अनुक्रम (sequence) शुरू करने से पहले प्रॉम्प्ट के हिस्से के रूप में रोबोट को वापस फीड करते हैं।
- उपमा: यह एक संगीतकार की तरह है जो कॉन्सर्ट से पहले अपने वाद्य यंत्र को ट्यून करता है। एक तीखी, बेसुरी नोट के साथ गाना शुरू करने के बजाय, वे पिच को सही करने के लिए कुछ त्वरित नोट्स बजाते हैं। रोबोट इन "सीड" (seed) उत्तरों का उपयोग सीधे स्थिर क्षेत्र में जाने के लिए करता है, जिससे वह शुरुआत में होने वाली अराजक डगमगाहट को छोड़ देता है।
2. "ट्रेनिंग" ट्रिक (सेल्फ-कंसिस्टेंसी लॉस - Self-Consistency Loss)
लेखकों ने रोबोट को उसके सीखने के तरीके को बदलकर स्थिर होना भी सिखाया।
- यह कैसे काम करता है: उन्होंने एक विशेष गणितीय पाठ (एक "लॉस फंक्शन") बनाया जहाँ उन्होंने रोबोट को उसके अपने भविष्य के उत्तर दिखाए। उन्होंने रोबोट को बताया: "आपका अभी का उत्तर वही होना चाहिए जो आप 5 चरणों के बाद कहेंगे।"
- उपमा: कल्पना कीजिए कि एक छात्र जो आमतौर पर परीक्षा के दौरान घबरा जाता है और अपना विचार बदल देता है। शिक्षक उन्हें एक नियम देते हैं: "आप प्रश्न संख्या #1 में जो भी लिखते हैं, आपको प्रश्न संख्या #10 तक आते-आते उस पर अडिग रहना होगा।" इस नियम का अभ्यास करके, छात्र पहले ही सेकंड से सुसंगत होना सीख जाता है, ताकि उसे बाद में अपना आत्मविश्वास खोजने के लिए "डगमगाना" न पड़े।
परिणाम
जब उन्होंने इन ट्रिक्स का परीक्षण मानक बहुविकल्पीय प्रश्नों (जैसे सामान्य ज्ञान या विज्ञान क्विज़) पर किया:
- कम डगमगाहट: रोबोट का आत्मविश्वास डगमगाना बंद कर दिया और सुसंगत बना रहा।
- बेहतर अनुमान: रोबोट अपने उत्तरों के बारे में कितना निश्चित है (कैलिब्रेशन), यह जानने में बेहतर हो गया।
- समान सटीकता: महत्वपूर्ण बात यह है कि रोबोट को अधिक स्थिर बनाने से वह कम बुद्धिमान नहीं हुआ। वह अभी भी पहले की तरह ही अक्सर सही उत्तर देता था, लेकिन अब वह इस बारे में अधिक विश्वसनीय था कि वह कब सही है।
मुख्य निष्कर्ष
यह शोध पत्र दिखाता है कि हालांकि AI मॉडल अक्सर अनुक्रम (sequences) उत्पन्न करते समय एक "डगमगाते" विश्वास तंत्र के साथ शुरू होते हैं, वे स्वाभाविक रूप से सुसंगत होना चाहते हैं। थोड़े से "वार्म-अप" डेटा या उन्हें अपने भविष्य के स्वरूप से मेल खाने के लिए प्रशिक्षित करके, हम उन्हें स्थिर और विश्वसनीय बना सकते हैं, बिना खुद से स्थिर होने का इंतज़ार किए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।