Boosting Reasoning in Large Multimodal Models via Activation Replay
यह शोध पत्र "एक्टिवेशन रिप्ले" (Activation Replay) का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त विधि है जो बेस मॉडलों से लो-एन्ट्रॉपी एक्टिवेशन्स को रिप्ले करने के लिए विजुअल टोकन में हेरफेर करके, वर्िफिएबल रिवार्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR)-प्रशिक्षित लार्ज मल्टीमॉडल मॉडल्स की रीजनिंग क्षमताओं को बढ़ाती है, जिससे महंगी पॉलिसी ऑप्टिमाइज़ेशन की आवश्यकता के बिना विविध कार्यों में प्रदर्शन में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, कंप्यूटर प्रणालियों की एक नई पीढ़ी उभरी है जो मनुष्यों की तरह दुनिया को देख और समझ सकती है। ये बड़े मल्टीमॉडल मॉडल (large multimodal models) एक तस्वीर देख सकते हैं, वीडियो देख सकते हैं, या किसी आरेख (diagram) को पढ़ सकते हैं और फिर जो वे देखते हैं उसके आधार पर प्रश्नों के उत्तर दे सकते हैं या समस्याओं को हल कर सकते हैं। वर्षों से, शोधकर्ता इन प्रणालियों को अधिक गहराई से सोचने के लिए सिखाने का प्रयास कर रहे हैं, जिससे वे सरल पैटर्न मिलान से आगे बढ़कर वास्तविक तर्क करने की ओर बढ़ सकें। ऐसा करने के लिए एक लोकप्रिय विधि में एक प्रशिक्षण तकनीक शामिल है जहाँ कंप्यूटर को केवल तभी पुरस्कृत किया जाता है जब वह एक लंबी, चरण-दर-चरण व्याख्या के माध्यम से यह सिद्ध कर सके कि उसका उत्तर सही है। इस दृष्टिकोण ने इन मॉडलों को बोलने से पहले रुककर सोचने के लिए सफलतापूर्वक प्रोत्साहित किया है, जिससे गणित और तर्क पहेलियों में प्रभावशाली परिणाम मिले हैं। हालाँकि, जबकि परिणाम दिखाई दे रहे हैं, इस प्रशिक्षण से मॉडल के मस्तिष्क में होने वाले आंतरिक बदलावों की कार्यप्रणाली एक रहस्य बनी हुई है। वैज्ञानिक पूरी तरह से यह नहीं समझ पाए हैं कि यह प्रशिक्षण सूचना को संसाधित करने के तरीके को कैसे बदलता है, विशेष रूप से तब जब मॉडल पहली बार किसी छवि को देख रहा होता है।
शोधकर्ताओं की एक टीम ने समस्या को हल करते समय मॉडल के प्रोसेसिंग लेयर्स के भीतर झाँककर इन छिपे हुए परिवर्तनों को उजागर करने के उद्देश्य से काम शुरू किया। उन्होंने पाया कि प्रशिक्षण विधि, प्रभावी होने के बावजूद, अनजाने में मॉडल के आंतरिक फोकस को एक विशिष्ट और अप्रत्याशित तरीके से स्थानांतरित कर देती है। जब मॉडल को अपने उत्तरों को सत्यापित करने के लिए प्रशिक्षित किया जाता है, तो इसके आंतरिक सिस्टम के वे हिस्से जो आमतौर पर बहुत आत्मविश्वासी और स्पष्ट होते हैं, थोड़े भ्रमित या परिवर्तित हो जाते हैं। इसके विपरीत, सिस्टम के वे हिस्से जो स्वाभाविक रूप से अनिश्चित हैं या विभिन्न संभावनाओं की खोज कर रहे हैं, काफी हद तक अछूते रहते हैं। शोधकर्ताओं ने पाया कि मॉडल के आत्मविश्वासी हिस्सों में यह विशिष्ट बदलाव वास्तव में इसकी सही ढंग से तर्क करने की क्षमता में बाधा डाल रहा था। यह ऐसा था जैसे प्रशिक्षण ने अनजाने में उन सबसे विश्वसनीय संकेतों को अस्त-व्यस्त कर दिया हो जिनका उपयोग मॉडल दृश्य दुनिया को समझने के लिए करता था, जिससे उसे निष्कर्ष तक पहुँचने के लिए कम निश्चित रास्तों पर निर्भर रहने के लिए मजबूर होना पड़ा।
इसे ठीक करने के लिए, टीम ने 'एक्टिवेशन रिप्ले' (Activation Replay) नामक एक सरल, नई विधि विकसित की। पूरे मॉडल को पुन: प्रशिक्षित करने के बजाय, जो अविश्वसनीय रूप से महंगा और समय लेने वाला होगा, उन्होंने मॉडल को समस्या हल करते समय धीरे से उसकी मूल, स्पष्ट स्थिति में वापस लाने का एक तरीका खोज निकाला। जब मॉडल के सामने कोई छवि प्रस्तुत की जाती है, तो शोधकर्ता सिस्टम के दृश्य भागों से आने वाले आंतरिक संकेतों को अस्थायी रूप से समायोजित करते हैं। वे ऐसा मॉडल के मूल, अप्रशिक्षित संस्करण से स्पष्ट, आत्मविश्वासी संकेतों को उधार लेकर और उन्हें प्रशिक्षित संस्करण में पुनः प्रसारित करके करते हैं। यह प्रक्रिया एक सुधार तंत्र (correction mechanism) के रूप में कार्य करती है, यह सुनिश्चित करती है कि मॉडल की छवि की प्रारंभिक समझ अपनी तर्क श्रृंखला शुरू करने से पहले तीक्ष्ण और विश्वसनीय बनी रहे। शोधकर्ताओं ने ज्यामिति की समस्याओं को हल करने, विशिष्ट वस्तुओं को खोजने के लिए उच्च-रिज़ॉल्यूशन वाली छवियों में नेविगेट करने और वीडियो में घटनाओं के अनुक्रमों के माध्यम से तर्क करने सहित विभिन्न जटिल कार्यों पर इस दृष्टिकोण का परीक्षण किया।
परिणामों ने दिखाया कि इस सरल समायोजन ने इन सभी विभिन्न परिदृश्यों में मॉडल के प्रदर्शन में लगातार सुधार किया। प्रारंभिक दृश्य संकेतों की स्पष्टता को बहाल करके, मॉडल उन समस्याओं को हल करने में सक्षम हुआ जिन्हें वह पहले छोड़ देता था और अपने चरण-दर-चरण तर्क में त्रुटियों से बच सका। एक विशिष्ट परीक्षण में, जिसमें एक तार के बारे में गणित की समस्या थी जिसे पहले एक वृत्त और फिर एक समलंब (trapezoid) के आकार में बदला गया था, प्रशिक्षित मॉडल ने शुरुआत में अपने मध्यवर्ती चरणों में गलती की, जिससे गलत उत्तर प्राप्त हुआ। इस नई विधि के साथ, मॉडल ने अपने आंतरिक तर्क पथ को सुधारा और सही समाधान तक पहुँचा। शोधकर्ताओं ने यह भी पाया कि इस दृष्टिकोण ने मॉडल को कई प्रयासों में सही उत्तरों की एक विस्तृत विविधता उत्पन्न करने में मदद की, जो यह सुझाव देता है कि यह केवल एक ही पथ को याद नहीं कर रहा था बल्कि वास्तव में समस्या को बेहतर ढंग से समझ रहा था। यह कार्य बताता है कि इन उन्नत प्रणालियों में बेहतर तर्क की कुंजी हमेशा अधिक जटिल प्रशिक्षण नहीं, बल्कि दुनिया के प्रति मॉडल की प्रारंभिक धारणा की स्पष्टता को बनाए रखना हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।