Perturb the Thought, Not the Pixels: Latent-Space Rollout Diversification for Reinforcement Learning of Vision-Language Models
यह शोध पत्र नॉइज़-कॉन्ट्रास्टिव GRPO (NC-GRPO) को प्रस्तुत करता है, जो एक ऐसी विधि है जो पिक्सेल के बजाय लेटेंट स्पेस में कैलिब्रेटेड नॉइज़ इंजेक्ट करके विज़न-लैंग्वेज मॉडल्स के लिए सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) रोलआउट्स को विविध बनाती है, जिससे न्यूनतम कार्यान्वयन फुटप्रिंट बनाए रखते हुए आउट-ऑफ-डोमेन रीजनिंग और मतिभ्रम (हैलुसिनेशन) रोबस्टनेस को महत्वपूर्ण रूप से बढ़ाया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे कंप्यूटर की कल्पना करें जो एक तस्वीर देख सकता है और उसके बारे में प्रश्न का उत्तर दे सकता है, या शब्दों में लिखे गए गणित के सवाल को पढ़कर उसे हल कर सकता है। ये सिस्टम, जिन्हें विजन-लैंग्वेज मॉडल (vision-language models) कहा जाता है, तेजी से सक्षम होते जा रहे हैं, लेकिन वे अभी भी गलतियाँ करते हैं। कभी-कभी वे इसलिए गलत उत्तर देते हैं क्योंकि वे पर्याप्त सावधानी से नहीं सोच रहे होते हैं; अन्य समय में, वे आत्मविश्वास के साथ ऐसी बातें बताते हैं जो वास्तव में सत्य नहीं होतीं, जिसे 'हैलुसिनेशन' (hallination) यानी मतिभ्रम की समस्या कहा जाता है। इन मॉडलों को बेहतर सोचने के लिए सिखाने हेतु, शोधकर्ता 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) नामक पद्धति का उपयोग करते हैं। इस प्रक्रिया में, मॉडल को किसी एक समस्या को हल करने के कई अलग-अलग प्रयास उत्पन्न करने के लिए कहा जाता है। यदि कुछ प्रयास सही हैं और अन्य गलत, तो मॉडल सफल पथ को प्राथमिकता देना सीखता है। हालाँकि, इस सीखने के काम करने के लिए, विभिन्न प्रयास एक-दूसरे से वास्तव में भिन्न होने चाहिए। यदि मॉडल बार-बार एक ही विचार प्रक्रिया को दोहराता है, तो वह कुछ भी नया नहीं सीख पाता।
चुनौती यह रही है कि मॉडल को सोचने के विभिन्न तरीकों को खोजने के लिए कैसे मजबूर किया जाए। पारंपरिक रूप से, शोधकर्ताओं ने कंप्यूटर की निर्णय लेने की प्रक्रिया के 'तापमान' (temperature) को बदलकर या इनपुट इमेज में थोड़ा बदलाव करके, जैसे कि तस्वीर में 'स्टैटिक' (static) जोड़कर, चीजों को बदलने की कोशिश की है। अमेज़न वेब सर्विसेज के शोधकर्ताओं द्वारा एक नया अध्ययन सुझाव देता है कि ये बाहरी परिवर्तन मॉडल की सोच में विविधता लाने के लिए सबसे प्रभावी तरीका नहीं हो सकते हैं। इसके बजाय, वे प्रस्तावित करते हैं कि भिन्नता समस्या के अपने आंतरिक प्रतिनिधित्व (internal representation) के भीतर होनी चाहिए, ठीक उसी क्षण जब वह प्रश्न को प्रोसेस करना शुरू करता है। मॉडल के 'हिडन मेंटल स्टेट' (hidden mental state) में एक छोटा, नियंत्रित रैंडम शोर (noise) इंजेक्ट करके, उन्होंने पाया कि वे एक अधिक मजबूत और सटीक विचारक बना सकते हैं।
शोधकर्ताओं ने एक तकनीक विकसित की जिसे वे 'नॉइज़-कॉन्ट्रास्टिव ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन' (Noise-Contrastive Group Relative Policy Optimization) कहते हैं। इसे समझने के लिए, उन छात्रों के एक समूह की कल्पना करें जो ज्यामिति (geometry) की एक ही समस्या को हल करने की कोशिश कर रहे हैं। एक मानक प्रशिक्षण सत्र में, प्रत्येक छात्र संयोगवश इसे थोड़ा अलग तरह से हल कर सकता है, लेकिन वे सभी समस्या की बिल्कुल एक जैसी समझ के साथ शुरुआत करते हैं। इस नए दृष्टिकोण में, आधे छात्रों को एक थोड़ा अलग शुरुआती बिंदु दिया जाता है। शोधकर्ता मॉडल की आंतरिक स्थिति को लेते हैं—जिस तरह से उसने समस्या को अपने "मन" में संहिताबद्ध (encode) किया है—और समूह के आधे हिस्से के लिए उसमें एक छोटा, रैंडम झटका (jolt) जोड़ देते हैं। यह झटका छवि में कोई परिवर्तन नहीं है, न ही यह पृष्ठ पर लिखे शब्दों में कोई परिवर्तन है। यह मॉडल के आंतरिक दृष्टिकोण में एक सूक्ष्म बदलाव है, जैसे किसी छात्र को लिखने से पहले समस्या को थोड़े अलग कोण से देखने के लिए कहना।
मॉडल फिर इन दो समूहों से उत्तर उत्पन्न करता है: एक समूह जो सामान्य, स्वच्छ समझ से शुरू होता है, और दूसरा जो इस थोड़े विस्थापित, शोर वाले (noisy) समझ से शुरू होता है। मुख्य अंतर्दृभास परिणामों से सीखने के तरीके में है। यदि शोर वाले शुरुआती बिंदु वाले समूह ने, शुरुआत में उत्पन्न भ्रम के बावजूद, सही उत्तर ढूंढ लिया, तो मॉडल को पुरस्कृत किया जाता है। यदि शोर के कारण मॉडल पटरी से उतर जाता है और विफल हो जाता है, तो उस पथ को दंडित किया जाता है। समय के साथ, मॉडल ऐसे समाधान खोजने में माहिर हो जाता है जो इतने ठोस होते हैं कि वे तब भी काम करते हैं जब शुरुआती बिंदु थोड़ा अस्थिर हो। यह केवल उत्तर नहीं सीख रहा है; यह अपने स्वयं के विचार प्रक्रिया में छोटे व्यवधानों के प्रति मजबूत होना सीख रहा है।
इस प्रयोग के परिणाम चौंकाने वाले थे। शोधकर्ताओं ने अपने तरीके का परीक्षण एक बड़े विजन-लैंग्वेज मॉडल पर किया जिसे ज्यामिति की समस्याओं के लिए प्रशिक्षित किया गया था। जब उन्होंने इस नई विधि की तुलना मानक दृष्टिकोण और इनपुट इमेज को विकृत करने की पुरानी तकनीक से की, तो नई विधि ने कठिन, अनदेखी गणितीय समस्याओं पर काफी बेहतर परिणाम दिए। मॉडल उन समस्याओं को हल करने में बेहतर हो गया जिन्हें उसने पहले कभी नहीं देखा था, जिसे 'आउट-ऑफ-डोमेन रीजनिंग' (out-of-domain reasoning) कहा जाता है। शायद अधिक आश्चर्यजनक रूप से, यह हैलुसिनेशन (hallucinations) से बचने में भी बेहतर हो गया। जबकि इमेज को विकृत करने की पुरानी विधि ने मॉडल को दृश्य विवरणों को अधिक स्पष्ट रूप से देखने में मदद की, इसने कभी-कभी मॉडल को तथ्यों पर टिके रहने में कमजोर भी बना दिया। इसके विपरीत, नए तरीके ने मॉडल की तर्क क्षमता और उसकी ईमानदारी दोनों को एक साथ सुधारा।
अध्ययन ने यह भी पता लगाया कि वास्तव में यह तकनीक क्यों काम करती है। शोधकर्ताओं ने परीक्षण किया कि क्या लाभ शोर की विशिष्ट दिशा से आया या केवल इस तथ्य से कि शोर रैंडम था। उन्होंने पाया कि दिशा मायने नहीं रखती थी। चाहे शोर मॉडल की सोच को एक दिशा में धकेले या दूसरी दिशा में, महत्वपूर्ण कारक यह था कि प्रत्येक प्रयास एक अद्वितीय, स्वतंत्र दृष्टिकोण से शुरू हुआ। उन्होंने यह भी खोजा कि शोर का आकार एक 'डायल' (dial) की तरह कार्य करता है। थोड़े से शोर ने मॉडल की सामान्य क्षमताओं को नुकसान पहुँचाए बिना उसकी तर्क क्षमता में सुधार किया, लेकिन बहुत अधिक शोर ने इसके समग्र प्रदर्शन को कम करना शुरू कर दिया। यह सुझाव देता है कि एक 'स्वीट स्पॉट' (sweet spot) है जहाँ मॉडल अपनी सामान्य जानकारी खोए बिना एक बेहतर विशेषज्ञ बन जाता है।
सबसे महत्वपूर्ण निष्कर्षों में से एक यह था कि यह विधि मॉडल की आंतरिक स्थिति को बदलकर काम करती है, न कि इमेज या टेक्स्ट को बदलकर। इसका अर्थ है कि इस तकनीक को किसी भी प्रकार के मॉडल पर लागू किया जा सकता है जो सूचना को प्रोसेस करता है, न कि केवल उन पर जो चित्रों को देखते हैं। शोधकर्ताओं ने दिखाया कि यह विधि कुशल है, इसके लिए मॉडल चलाने वाले सॉफ़्टवेयर में केवल एक छोटे से बदलाव की आवश्यकता होती है, और यह उत्तर उत्पन्न करने की प्रक्रिया को धीमा नहीं करती है। डेटा को बदलने के बजाय, मॉडल के सोचने के क्षण पर ध्यान केंद्रित करके, उन्होंने मॉडल की तर्क क्षमता को अधिक विश्वसनीय और त्रुटि-मुक्त बनाने का एक तरीका खोजा।
अध्ययन ने यह भी देखा कि क्या यह दृष्टिकोण विभिन्न आकारों के मॉडलों पर काम करता है। जब उन्होंने उसी तकनीक को मॉडल के एक छोटे संस्करण पर आज़माया, तो लाभ गायब हो गए। छोटा मॉडल न तो बेहतर हुआ, न ही खराब हुआ; वह बस नहीं बदला। यह सुझाव देता है कि इस तकनीक के प्रभावी होने के लिए मॉडल में एक निश्चित स्तर की जटिलता की आवश्यकता होती। यह कोई जादू की छड़ी नहीं है जो किसी भी कंप्यूटर पर काम करती है, बल्कि एक विशिष्ट उपकरण है जो बड़े, अधिक सक्षम सिस्टम को उनकी सोच को परिष्कृत करने में मदद करता है। शोधकर्ता सावधानीपूर्वक नोट करते हैं कि हालांकि परिणाम उत्साहजनक हैं, लेकिन उन्होंने अब तक केवल एक ही मॉडल परिवार पर इसका परीक्षण किया है, और यह देखने के लिए और काम करने की आवश्यकता है कि क्या यह दूसरों के लिए भी काम करता है।
अंततः, यह शोध हमें कृत्रिम बुद्धिमत्ता (AI) को प्रशिक्षित करने के तरीके के बारे में सोचने का एक नया तरीका प्रदान करता है। इनपुट डेटा को अधिक विविध बनाने या निर्णय लेने की प्रक्रिया को अधिक अराजक बनाने के बजाय, शोधकर्ताओं ने पाया कि एक सटीक, आंतरिक विक्षोभ (perturbation) एक अधिक स्थिर और बुद्धिमान परिणाम की ओर ले जा सकता है। मॉडल को यह सिखाकर कि वह तब भी सफल हो जब उसका शुरुआती बिंदु थोड़ा गलत हो, उन्होंने एक ऐसा सिस्टम बनाया है जिसके अपने अनिश्चितताओं से धोखा खाने की संभावना कम है। यह दृष्टिकोण मॉडल को केवल गणित में स्मार्ट नहीं बनाता; यह मॉडल को अधिक भरोसेमंद बनाता है, जिससे वह एक ठोस उत्तर और एक आत्मविश्वासी अनुमान के बीच अंतर करने में सक्षम होता है। जैसे-जैसे ये सिस्टम हमारे दैनिक जीवन में एकीकृत हो रहे हैं, उन्हें अधिक मजबूत और त्रुटि-मुक्त बनाना आवश्यक है, और यह अध्ययन उस लक्ष्य को प्राप्त करने के लिए एक स्पष्ट मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।