Reproducing and Stress-Testing Two Approaches to LLM Reasoning Reliability: Test-Time Probability Aggregation and Logic-Representation Editing
यह शोध पत्र कई मॉडलों और डोमेन में एलएलएम (LLM) तर्क विश्वसनीयता को बढ़ाने के दो हालिया तरीकों—टेस्ट-टाइम प्रोबेबिलिटी एग्रीगेशन (RPC) और लॉजिक-रिप्रजेंटेशन एडिटिंग (LCF)—को स्वतंत्र रूप से पुनरुत्पादित और स्ट्रेस-टेस्ट करता है, जिसमें यह पाया गया है कि RPC मानक सेल्फ-कंसिस्टेंसी की तुलना में कोई महत्वपूर्ण लाभ नहीं देता है और LCF के लॉजिक-एडिटिंग प्रभाव कमजोर, असंगत और अक्सर हानिकारक होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट, लेकिन कभी-कभी ज़रूरत से ज़्यादा आत्मविश्वासी रोबोट को पहेलियाँ सुलझाना सिखाने की कोशिश कर रहे हैं। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) है, जो एक प्रकार का AI है जो इंसानों की तरह पढ़ता और लिखता है। मुख्य समस्या जिसे वैज्ञानिक अभी हल करने की कोशिश कर रहे हैं, वह है "विश्वसनीयता" (reliability)। यह केवल इस बारे में नहीं है कि रोबता सही उत्तर देता है या नहीं; यह इस बारे में भी है कि क्या रोबोट को पता है कि वह सही है। कभी-कभी, रोबोट एकदम सटीक व्याकरण के साथ एक गलत उत्तर को बहुत आत्मविश्वास के साथ समझा सकता है, या वह एक आसान सवाल पर हिचकिचा सकता है। हम एक ऐसा रोबोट चाहते हैं जो सटीक हो और अपने आत्मविश्वास में भी भरोसेमंद हो। इसे ठीक करने के लिए, शोधकर्ताओं ने दो बहुत अलग तरीकों को आज़माने की कोशिश की है: एक जिसमें रोबोट को एक ही समस्या के बारे में कई बार सोचने और सबसे अच्छे उत्तर पर वोट करने के लिए कहा जाता है, जबकि दूसरा इसमें रोबोट के "दिमाग" के उस हिस्से को भौतिक रूप से बदलने की कोशिश की जाती है जो इसके तर्क (logic) को संभालता है।
यह पेपर एक समूह स्वतंत्र जासूसों की तरह है जिन्होंने इन नए, चमकदार गैजेट्स का परीक्षण करने का निर्णय लिया जो इन AI रोबोटों को अधिक विश्वसनीय बना सकते हैं। पहला गैजेट, जिसे RPC कहा जाता है, एक "वोटिंग मशीन" है जो प्रक्रिया के बिल्कुल अंत में होती है। दूसरा गैजेट, जिसे LCF कहा जाता है, एक "ब्रेन सर्जन" है जो काम करते समय रोबोट के आंतरिक विचारों को बदलने की कोशिश करता है। इन गैजेट्स के मूल रचनाकारों ने दावा किया था कि वे अद्भुत हैं, लेकिन किसी और ने वास्तव में उन्हें शून्य से बनाकर यह देखने की कोशिश नहीं की थी कि क्या वे वास्तव में काम करते हैं। इस पेपर के लेखकों ने संशयवादी (skeptics) की भूमिका निभाने का निर्णय लिया: उन्होंने दोनों गैजेट्स को फिर से बनाया, उन्हें नए प्रकार के पहेलियों (जैसे कानूनी मामले और गणित की समस्याएं) पर परखा, और एक सरल प्रश्न पूछा: "क्या ये वास्तव में काम करते हैं, या ये सिर्फ किस्मत वाले हैं?"
कहानी पहले गैजेट, RPC से शुरू होती है। कल्पना कीजिए कि आपने एक छात्र को गणित का सवाल हल करने के लिए कहा। यदि वह गलत होता है, तो वह अभी भी एक बहुत ही प्रभावशाली स्पष्टीकरण लिख सकता है। RPC उस छात्र को एक ही समस्या को 32 बार हल करने और हर एक प्रयास को लिखने के लिए कहने जैसा है। फिर, केवल सबसे लोकप्रिय उत्तर चुनने के बजाय (एक साधारण बहुमत वोट), RPC देखता है कि छात्र प्रत्येक प्रयास में कितना आत्मविश्वासी था। यह विजेता चुनने के लिए "सबसे लोकप्रिय उत्तर" को "सबसे आत्मविश्वासी उत्तर" के साथ जोड़ता है। शोधकर्ताओं ने पाया कि जब उन्होंने इस गैजेट को ठीक वैसे ही बनाया जैसा मूल लेखकों ने वर्णित किया था, तो यह मूल गणित परीक्षणों पर पूरी तरह से काम करता था। हालाँकि, जब वे इसे नए क्षेत्रों में ले गए—जैसे टेक्स्ट को डेटाबेस क्वेरी में अनुवाद करना या कानूनी दस्तावेजों का विश्लेषण करना—तो यह साधारण "बहुमत वोट" पद्धति से वास्तव में बेहतर नहीं था। यह एक शानदार कार की तरह था जो टेस्ट ट्रैक पर तो बहुत अच्छा चलती है लेकिन हाईवे पर एक साधारण कार से तेज़ नहीं चलती। वास्तव में, BIRD नामक एक विशिष्ट परीक्षण पर, गैजेट ने केवल तभी मामूली लाभ दिखाया जब रोबोट को 32 बार सोचने की अनुमति दी गई, लेकिन जब शोधकर्ताओं ने इसे समस्याओं के एक बड़े समूह पर परखा, तो वह मामूली लाभ पूरी तरह से गायब हो गया। मुख्य निष्कर्ष यह है कि RPC एक सुरक्षित, हानिरहित उपकरण है जिसने चीज़ों को कभी खराब नहीं किया, लेकिन इसने उन नए कार्यों पर वह जादुई बढ़त भी नहीं दी जिसका उसके रचनाकारों ने वादा किया था।
फिर दूसरा गैजेट आता है, LCF, जो बहुत अधिक महत्वाकांक्षी और जोखिम भरा है। यदि RPC एक वोटिंग मशीन है, तो LCF एक ब्रेन सर्जन है। विचार यह है कि रोबोट के "दिमाग" के अंदर (इसके कोड की छिपी हुई परतों में), सूचना के दो अलग-अलग प्रवाह (streams) होते हैं: एक सामग्री (तथ्य और शब्द) के लिए और एक तर्क (तर्क के नियम) के लिए। मूल पेपर ने दावा किया था कि यदि आप "तर्क" के प्रवाह को ढूंढ सकते हैं और उसे एक "वैध" दिशा की ओर धकेल सकते हैं, तो आप रोबोट को अधिक तार्किक रूप से सोचने के लिए मजबूर कर सकते हैं, चाहे वह जो भी कह रहा हो। शोधकर्ताओं ने इसे शून्य से बनाने की कोशिश की क्योंकि मूल लेखकों ने अपना कोड साझा नहीं किया था। उन्होंने पाया कि एक "तर्क" का प्रवाह मौजूद है, लेकिन यह बहुत कमजोर है—जैसे शोर भरे कमरे में फुसफुसाहट सुनने की कोशिश करना। जब उन्होंने रोबोट को अधिक तार्किक बनाने के लिए इस प्रवाह को धकेलने की कोशिश की, तो यह ज्यादातर उल्टा पड़ गया। चार अलग-अलग रोबोट मॉडलों में से तीन पर, इस गैजेट ने वास्तव में रोबोटों को उनके सही उत्तरों में कम आत्मविश्वासी बना दिया और उनके गलतियाँ करने की संभावना बढ़ा दी। एकमात्र समय जब यह मदद करता हुआ लगा, वह एक विशिष्ट रोबोट मॉडल पर था, लेकिन तब भी, सुधार इतना छोटा था कि इसे केवल संयोग माना जा सकता था। शोधकर्ताओं ने यह भी कोशिश की कि इस "ब्रेन सर्जरी" को बिना किसी विशेष टूल को प्रशिक्षित किए किसी भी रोबोट पर कैसे काम कराया जाए, लेकिन वह भी विफल रहा। अंत में, "ब्रेन सर्जन" गैजेट अविश्वसनीय साबित हुआ; इसने अक्सर उन रोबोटों को खराब कर दिया जिन्हें इसे ठीक करना था, और एक बार जब यह सफल होता दिखा, तो सबूत इतने मजबूत नहीं थे कि इसे वास्तविक सफलता कहा जा सके।
इस अध्ययन का अंतिम फैसला दो बहुत अलग परिणामों की कहानी है। "वोटिंग मशीन" (RPC) एक उबाऊ लेकिन सुरक्षित उपकरण है: यह कुछ भी खराब नहीं करता है, लेकिन यह साधारण तरीकों की तुलना में कोई बड़ी बढ़त भी नहीं देता है। दूसरी ओर, "ब्रेन सर्जन" (LCF) एक उच्च-जोखिम वाला प्रयोग है जो अपने वादों को पूरा करने में विफल रहा। शोधकर्ताओं ने पाया कि हालांकि रोबोट के तर्क प्रवाह को संपादित करने का विचार सिद्धांत में बहुत अच्छा लगता है, व्यवहार में, यह बहुत कमजोर है और जिस प्रकार के रोबोट का आप उपयोग कर रहे हैं उस पर बहुत अधिक निर्भर है, जिससे यह एक विश्वसनीय समाधान नहीं रह जाता। वर्तमान में AI को अधिक विश्वसनीय बनाने के इच्छुक किसी भी व्यक्ति के लिए, अध्ययन सुझाव देता है कि सुरक्षित, सरल तरीके के साथ बने रहना—यानी AI को कई बार सोचने के लिए कहना और वोट करना—बेहतर दांव है, जबकि फैंसी आंतरिक संपादन वाले तरीकों को भरोसेमंद होने के लिए अभी बहुत काम करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।