Adaptive Inference-Time Reasoning for Large Language Models via Cross-Task Sparse Policy Transfer
यह शोध पत्र स्पार्स गाइड क्वेरीज़ (sparse guide queries) का उपयोग करने वाली एक एडेप्टिव इन्फरेंस-टाइम रीजनिंग पद्धति का आलोचनात्मक मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि यह फुल-टोकन इंजेक्शन को काफी कम करता है और सिग्नल को पहचानने में आशाजनक दिखता है, लेकिन अंततः यह एक फ्रोजन बेस मॉडल की तुलना में जनरेशन सटीकता या कैलिब्रेशन में सांख्यिकीय रूप से महत्वपूर्ण सुधार प्रदान करने में विफल रहता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण हैं जो कहानियाँ लिख सकते हैं, समीकरण हल कर सकते हैं और कोड को डीबग कर सकते हैं, लेकिन वे एक सीधी रेखा में नहीं सोचते। वे एक बार में एक शब्द करके टेक्स्ट जेनरेट करते हैं, और कभी-कभी वे गलत मोड़ ले लेते हैं, जिससे वे भ्रम या निरर्थकता के चक्रव्यूह में फंस जाते हैं। इसे ठीक करने के लिए, शोधकर्ताओं ने इन मॉडल्स को अपना काम रोकने और उसे जाँचने के लिए सिखाने की कोशिश की है, जिसे अक्सर 'रीजनिंग' (तर्क प्रक्रिया) कहा जाता है। हालाँकि, एक मॉडल को लगातार खुद की जाँच करने के लिए कहना महंगा है; यह कंप्यूटर को धीमा कर देता है और बहुत अधिक ऊर्जा का उपयोग करता है। वैज्ञानिकों के लिए बड़ा सवाल यह है कि क्या हम यह तय करने में अधिक स्मार्ट हो सकते हैं कि कब जाँच करनी है। एक निरंतर, भारी-भरकम समीक्षा के बजाय, क्या हम मॉडल को यह सिखा सकते हैं कि वह ठीक उसी क्षण को पहचान ले जब वह गलती करने वाला हो और केवल तभी हस्तक्षेप करे? 'स्पार्स गाइडेंस' (विरल मार्गदर्शन) के रूप में जाना जाने वाला यह दृष्टिकोण, बहुत कम प्रयास के साथ वही बुद्धिमत्ता का वादा करता है, लेकिन यह स्पष्ट नहीं है कि क्या ये बचत वास्तविक हैं या मॉडल उन महत्वपूर्ण त्रुटियों को छोड़ देता है जिन्हें उसे ठीक करने की आवश्यकता थी।
नॉर्थईस्टर्न यूनिवर्सिटी, कार्नेगी मेलन यूनिवर्सिटी और जॉन्स हॉपकिन्स यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस विचार का परीक्षण करने के लिए एक कठोर, बिना किसी लाग-लपेट वाले ऑडिट के साथ काम किया। उन्होंने एक छोटे लेकिन सक्षम लैंग्वेज मॉडल के साथ काम किया और उसे एक "गाइड" मॉडल के साथ जोड़ा जिसे विशेष रूप से गणित और कोडिंग समस्याओं पर प्रशिक्षित किया गया था। लक्ष्य यह देखना था कि क्या यह गाइड मुख्य मॉडल को केवल आवश्यकता पड़ने पर ही सुधार के सुझाव दे सकता है, न कि हर एक शब्द पर चिल्लाकर। उनके परिणामों को विश्वसनीय बनाने के लिए, उन्होंने केवल यह नहीं देखा कि अंतिम उत्तर सही थे या नहीं; उन्होंने कंप्यूटर द्वारा उठाए गए हर एक कदम को ट्रैक किया, यह मापा कि कितना काम बचा और गाइड ने वास्तव में कितनी बार मदद की बनाम कितनी बार वह बाधा बना। उन्होंने मॉडल्स के साथ एक नियंत्रित प्रयोग की तरह व्यवहार किया, जिसमें प्रश्नों का एक स्थिर सेट और प्रत्येक प्रयास के लिए आवश्यक डिजिटल प्रयास को गिनने के लिए एक सख्त लेखांकन पद्धति का उपयोग किया गया।
शोधकर्ताओं ने पाया कि गाइड को वास्तव में कुछ ऐसा पता था जो मुख्य मॉडल को नहीं पता था। जब उन्होंने गाइड के सुझावों की तुलना उन्हीं सुझावों के एक बिखरे हुए, अर्थहीन संस्करण से की, तो वास्तविक गाइड ने एक स्पष्ट संकेत प्रदान किया जिसने मॉडल को बेहतर शब्द चुनने में मदद की। हालाँकि, संकेत का अस्तित्व जानना और उसका प्रभावी ढंग से उपयोग करना, दोनों अलग बातें हैं। टीम ने पाया कि जबकि गाइड इस बात को पहचानने में बहुत अच्छा था कि मॉडल कब स्थानीय त्रुटि (लोकल एरर) करने की संभावना रखता है, लेकिन वह यह अनुमान लगाने में बहुत खराब था कि उस त्रुटि को सुधारने से वास्तव में अंतिम उत्तर में सुधार होगा या नहीं। कई मामलों में, गाइड ने एक छोटी सी गलती को सुधारने के लिए हस्तक्षेप किया, केवल यह देखने के लिए कि सुधार का अंतिम परिणाम पर कोई प्रभाव नहीं पड़ा, या इससे भी बदतर, हस्तक्षेप ने उस पथ को बाधित कर दिया जो सही होता।
जब टीम ने 128 नई समस्याओं के एक पायलट समूह पर इस एडेप्टिव सिस्टम का परीक्षण किया, तो परिणाम निराशाजनक थे। सिस्टम ने उन मामलों की संख्या को सफलतापूर्वक 83.6 प्रतिशत कम कर दिया जिनमें गाइड को बुलाया गया था, जो गतिविधि में एक बड़ी गिरावट है। फिर भी, कंप्यूटर के काम में वास्तविक बचत बहुत कम थी, केवल लगभग 25.5 प्रतिशत। ऐसा इसलिए हुआ क्योंकि भले ही गाइड को नहीं बुलाया गया था, कंप्यूटर को अभी भी प्रॉम्प्ट की शुरुआत और संभावित त्रुटि तक पहुँचने वाले शब्दों को प्रोसेस करना पड़ता था। सिस्टम ने गाइड को अतिरिक्त काम करने से तो बचा लिया, लेकिन इसने मुख्य मॉडल को अपना काम करने से नहीं बचाया। अंत में, एडेप्टिव पद्धति ने 37.5 प्रतिशत मामलों में सही उत्तर दिए, जबकि बिना किसी गाइड के मानक मॉडल ने 38.3 प्रतिशत मामलों में सही उत्तर दिए। अंतर इतना कम था कि यह वास्तविक सुधार के बजाय केवल संयोग भी हो सकता था।
अध्ययन निष्कर्ष निकालता है कि हालांकि एक स्मार्ट, चयनात्मक गाइड का विचार सही है, लेकिन वर्तमान तकनीक अभी तक अपने वादे को पूरा नहीं कर पा रही है। गाइड यह तो बता सकता है कि मॉडल भ्रमित है, लेकिन वह यह भरोसेमंद तरीके से नहीं बता सकता कि उस भ्रम का महत्व इतना है कि रुककर उसे सुधारा जाए। शोधकर्ताओं ने पाया कि सिस्टम अक्सर उन सुधारों पर अपने सीमित प्रयासों को बर्बाद कर देता था जो परिणाम को नहीं बदलते थे, या उन दुर्लभ क्षणों को चूक जाता था जहाँ सुधार करना अत्यंत महत्वपूर्ण होता। उन्होंने यह भी नोट किया कि सिस्टम अच्छी तरह से कैलिब्रेटेड नहीं था; यह अक्सर सोचता था कि यह मदद कर रहा है जबकि वास्तव में यह नुकसान पहुँचा रहा था, या इसके विपरीत। यह कार्य इस बात का विस्तृत मानचित्र है कि यह दृष्टिकोण आज कहाँ खड़ा है: यह अवधारणा की विफलता नहीं है, बल्कि यह प्रदर्शन का एक प्रमाण है कि इन सुधारों को मापने और लागू करने के उपकरण अभी तक बेसलाइन को मात देने के लिए पर्याप्त सटीक नहीं हैं। आगे का रास्ता यह तय करने के बेहतर तरीकों की मांग करता है कि कौन सी त्रुटियाँ सुधारने योग्य हैं, न कि केवल यह कि जितनी संभव हो सके उतनी त्रुटियों को ठीक करने की कोशिश करना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।