Search for Truth from Reasoning: A Dynamic Representation Editing Framework for Steering LLM Trajectories
यह शोध पत्र DynaSteer को प्रस्तुत करता है, जो एक गतिशील प्रतिनिधित्व संपादन ढांचा (dynamic representation editing framework) है जो सत्य-एन्कोडिंग पैटर्न को अलग करके और अनिश्चितता एवं क्षय के सिद्धांतों के आधार पर प्रक्षेप पथों (trajectories) को चयनात्मक रूप से निर्देशित करके लार्ज लैंग्वेज मॉडल की तर्क क्षमता को बढ़ाता है, जिससे गणितीय और कोडिंग बेंचमार्क पर सटीकता में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: अधिक सोचने का मतलब सही सोचना नहीं है
कल्पना कीजिए कि एक छात्र एक बहुत कठिन गणित की परीक्षा दे रहा है। यदि वह अटक जाता है, तो एक शिक्षक कह सकता है, "समय लें, और गहराई से सोचें, और जल्दबाजी न करें।" वर्तमान AI तरीके यही करते हैं। वे लार्ज लैंग्वेज मॉडल (LLM) को "अधिक सोचने" (अधिक टेक्स्ट जेनरेट करने) या उत्तर देने से पहले "प्रतीक्षा करने" के लिए कहते हैं।
पेपर का तर्क है: यह अक्सर उल्टा असर करता है। यदि छात्र गलत रास्ते पर निकल पड़ता है (एक गलत धारणा के कारण), तो अधिक गहराई से सोचने का मतलब है कि वह खुद ही एक गहरा गड्ढा खोद रहा है। वह अपनी शुरुआती गलती को सही ठहराने के लिए कल्पनाएँ (hallucinations) बनाना शुरू कर सकता है, जिससे एक "भ्रम का स्नोबॉल" (hallucination snowball) बन जाता है। मॉडल अधिक सोचता है, लेकिन वह सही नहीं सोचता।
समाधान: AI के मस्तिष्क के लिए एक GPS
लेखकों ने एक नया सिस्टम प्रस्तावित किया है जिसे DynaSteer कहा जाता है। केवल AI को "अधिक सोचने" के लिए कहने के बजाय, DynaSteer एक GPS नेविगेटर की तरह काम करता है जो उस क्षण में AI की आंतरिक विचार प्रक्रिया को वापस सही सड़क पर लाने के लिए उसे भौतिक रूप से धकेल (nudge) सकता है जब वह भटकना शुरू करता है।
यह कैसे काम करता है, इसे तीन सरल खोजों में विभाजित किया गया है जो लेखकों ने की हैं:
1. सत्य "वाक्यों" में छिपा है, "शब्दों" में नहीं
उपमा: कल्पना कीजिए कि आप एक स्मूदी में एक विशिष्ट स्वाद खोजने की कोशिश कर रहे हैं। यदि आप केवल स्ट्रॉबेरी की एक बूंद (एक शब्द/टोकन) चखते हैं, तो आप निश्चित नहीं हो पाएंगे कि वह क्या है। लेकिन यदि आप पूरे मिश्रण का एक पूरा चम्मच (एक पूरा वाक्य) चखते हैं, तो स्वाद स्पष्ट हो जाता है।
निष्कर्ष: शोधकर्ताओं ने पाया कि आप व्यक्तिगत शब्दों को देखकर यह आसानी से नहीं बता सकते कि AI सच बोल रहा है या नहीं। "सत्य" का संकेत तभी स्पष्ट होता है जब आप एक पूर्ण विचार या वाक्य देखते हैं। इसके अलावा, AI समस्याओं को हल करने के लिए अलग-अलग "मानसिक पैटर्न" (जैसे एक जासूसी पैटर्न बनाम एक गणितीय पैटर्न) का उपयोग करता है। यदि आप इन सभी पैटर्न को आपस में मिला देते हैं, तो सत्य का संकेत धुंधला हो जाता है। DynaSteer इन पैटर्न को पहले अलग करता है, जैसे अलग-अलग रंगों की कंचों को जार में छाँटना, ताकि यह सत्य के संकेत को बहुत अधिक स्पष्ट रूप से पा सके।
2. "गोल्डन विंडो" और "अनिश्चितता का सिद्धांत"
उपमा: कल्पना कीजिए कि एक हाइकर (पगडंडी पर चलने वाला) रास्ते के एक मोड़ पर खड़ा है।
- अनिश्चितता का सिद्धांत (The Uncertainty Principle): हाइकर को केवल तभी मदद की आवश्यकता होती है जब वह अनिश्चित हो कि कौन सा रास्ता लेना है (उच्च अनिश्चितता)। यदि वह एक सीधे रास्ते पर आत्मविश्वास के साथ चल रहा है, तो उसे धकेलना उसे लड़खड़ाने पर मजबूर कर सकता है।
- क्षय प्रभाव (The Decay Effect): यदि हाइकर गलत रास्ते पर 10 मील तक चलता है, तो उसे वापस मोड़ना बहुत कठिन हो जाता है। वह उस दिशा में "जड़ जमा चुका" (entrenched) होता है। लेकिन यदि आप उसे बिल्कुल पहले मोड़ पर पकड़ लेते हैं (तर्क की शुरुआत में), तो उसे वापस मार्गदर्शन करना आसान है।
निष्कर्ष: शोधकर्ताओं ने पाया कि आपको केवल तभी हस्तक्षेप करना चाहिए जब AI अनिश्चित (उच्च एंट्रॉपी) हो और आपको यह जल्द करना चाहिए। AI के एक लंबे, आत्मविश्वासी गलत पैराग्राफ लिखने तक प्रतीक्षा करना बहुत देर हो चुकी है; गलतियों को ठीक करने का "अवसर का झरोखा" (window of opportunity) बहुत जल्दी बंद हो जाता है।
3. "साफ सुई" बनाम "गंदी सुई"
उपमा: कल्पना कीजिए कि आप एक जहाज को मोड़ना चाहते हैं, लेकिन आपका स्टीयरिंग व्हील कीचड़ से ढका हुआ है। यदि आप इसे घुमाते हैं, तो आप गलती से जहाज को चट्टान से टकरा सकते है क्योंकि कीचड़ तंत्र में बाधा डाल रहा है।
निष्कर्ष: पुराने तरीकों ने AI को नियंत्रित करने की कोशिश की, जिसमें केवल "सत्य" के उदाहरणों की तुलना "झूठ" के उदाहरणों से की गई। यह एक "गंदी सुई" का उपयोग करने जैसा है; यह अक्सर अनजाने में एक सही विचार को गलत में धकेल देता है क्योंकि संकेत आपस में मिले हुए होते हैं।
DynaSteer एक गणितीय ट्रिक का उपयोग करता है जिसे Fisher-LDA (इसे एक हाई-टेक फिल्टर के रूप में सोचें) कहा जाता है। यह "स्टीयरिंग सुई" को पहले साफ करता है, सारा शोर और कीचड़ हटा देता है। यह सुनिश्चित करता है कि जब वे AI को धकेलते हैं, तो वे केवल उसे सत्य की ओर धकेल रहे होते हैं, बिना उसके अन्य अच्छे विचारों को गलती से नुकसान पहुँचाए।
DynaSteer वास्तविक समय में कैसे काम करता है
यह सिस्टम AI के उत्तर जेनरेट करने के दौरान, चरण-दर-चरण चलता है:
- मोड़ों पर नज़र रखना: यह लगातार AI के आत्मविश्वास की जांच करता है। यदि AI आत्मविश्वासी है, तो यह उसे जाने देता है। यदि वह हिचकिचा रहा है (एक "तर्क का मोड़"), तो यह रुक जाता है।
- समय की जाँच करना: यह जाँचता है कि क्या यह प्रक्रिया में अभी भी सुधार करने के लिए पर्याप्त जल्दी है। यदि AI बहुत लंबे समय से गलत रहा है, तो यह सुधार करने की कोशिश करना बंद कर देता है (समय बचाने और भ्रम से बचने के लिए)।
- साफ धक्का (The Clean Nudge): यह सही उत्तर की ओर AI की आंतरिक मस्तिष्क अवस्था को धकेलने के लिए एकदम सही, "साफ" दिशा की गणना करता है।
- रोलबैक (The Rollback): यदि AI एक गलत वाक्य लिखने ही वाला होता, तो DynaSteer उस वाक्य को हटा देता है और AI को फिर से प्रयास करने के लिए मजबूर करता है, लेकिन इस बार "धक्के" (nudge) को लागू करने के साथ। यह एक शिक्षक की तरह है जो कहता है, "रुको, यह गलत है। उस वाक्य को फिर से लिखो, लेकिन X के बारे में सोचते हुए।"
परिणाम
इस पेपर का परीक्षण कठिन गणितीय समस्याओं (जैसे MATH डेटासेट) और कोडिंग कार्यों पर किया गया।
- "प्रतीक्षा करें" से बेहतर: केवल AI को "प्रतीक्ष करें" या "अधिक सोचें" कहना परिणामों में बहुत कम सुधार करता है।
- पुराने तरीकों से बेहतर: DynaSteer उन उन्नत तरीकों को भी मात देता है जो AI के मस्तिष्क को संपादित करने का प्रयास करते हैं।
- कुशल: इसके लिए AI को फिर से प्रशिक्षित (retraining) करने की आवश्यकता नहीं है (जिसके लिए विशाल कंप्यूटर और पैसा चाहिए)। यह AI के सोचते समय तुरंत काम करता है।
सारांश
पेपर का दावा है कि AI तर्क को ठीक करने के लिए, हमें केवल उसे "अधिक सोचने" के लिए नहीं कहना चाहिए। इसके बजाय, हमें संदेह के क्षणों पर नज़र रखनी चाहिए, तुरंत कार्य करना चाहिए, और एक साफ, सटीक गणितीय धक्के का उपयोग करना चाहिए ताकि AI को गलत रास्ते में फंसने से पहले सत्य की ओर निर्देशित किया जा सके। DynaSteer वही उपकरण है जो बिल्कुल यही करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।