NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation
NoisyGRPO एक मल्टीमॉडल सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो अन्वेषण के लिए दृश्य इनपुट में नियंत्रणीय शोर (noise) इंजेक्ट करके और प्रक्षेपवक्र लाभ (trajectory advantages) को मजबूती से अनुमानित करने के लिए बेयसियन अनुमान (Bayesian inference) का उपयोग करके बड़े भाषा मॉडलों में चेन-ऑफ-थॉट (Chain-of-Thought) तर्क की सामान्यीकरण और मजबूती को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े अनाड़ी रोबोट (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल) को चित्रों और शब्दों से जुड़े जटिल पहेलियों को हल करना सिखा रहे हैं। आप चाहते हैं कि रोबोट केवल उत्तर का अनुमान न लगाए, बल्कि अपना काम चरण-दर-चरण दिखाए, जैसे कि कोई छात्र ब्लैकबोर्ड पर गणित का सवाल लिख रहा हो। इस चरण-दर-चरण सोच को चेन-ऑफ-थॉट (CoT) कहा जाता है।
यह शोध पत्र एक नया शिक्षण तरीका पेश करता है जिसे NoisyGRPO कहा जाता है। इसे समझने के लिए कि यह क्यों खास है, आइए पुराने तरीके की समस्याओं और यह नया तरीका उन्हें कैसे ठीक करता है, उस पर नज़र डालें।
समस्या: रोबोट एक ही ढर्रे में "फँस" जाता है
कल्पना कीजिए कि आप रोबोट को एक चित्र दिखाकर और एक प्रश्न पूछकर प्रशिक्षित कर रहे हैं। रोबोट एक उत्तर देने की कोशिश करता है, और आप उसे "थम्स अप" (शाबाशी) या "थम्स डाउन" (निंदा) देते हैं।
पुराने तरीके (जिसे GRPO कहा जाता है) में, रोबोट कई अलग-अलग उत्तर (रोलआउट्स) उत्पन्न करने की कोशिश करता है ताकि देख सके कि किसे सबसे अच्छा "थम्स अप" मिलता है। हालाँकि, रोबोट आलसी है। वह जल्दी ही समझ जाता है कि यदि वह बिल्कुल एक जैसी बात 10 बार कहता है, तो उसे हर बार समान इनाम मिलता है। वह समस्याओं को हल करने के नए, रचनात्मक तरीके आज़माना बंद कर देता है। वह एक "ढर्रे" में फँस जाता है, और वही सुरक्षित, उबाऊ उत्तर दोहराता रहता है।
साथ ही, रोबोट कभी-कभी भ्रम (hallucinating) भी करने लगता है। वह बिल्ली की तस्वीर देखकर आत्मविश्वास से कह सकता है, "बिल्ली कार चला रही है," क्योंकि यह सुनने में एक अच्छी कहानी जैसा लगता है, भले ही वह गलत हो। पुराना तरीका इसे पर्याप्त रूप से दंडित नहीं करता था क्योंकि यह केवल अंतिम उत्तर की जाँच करता था, न कि उस पागलपन भरी कहानी की जो रोबोट ने वहाँ तक पहुँचने के लिए बनाई थी।
समाधान: NoisyGRPO ("धुंधले चश्मे" और "स्मार्ट कोच")
लेखक इस समस्या को ठीक करने के लिए दो मुख्य तरकीबें प्रस्तावित करते हैं, जिन्हें वे NoisyGRPO कहते हैं।
1. "धुंधले चश्मे" वाली तरकीब (नॉइज़ इंजेक्शन)
कल्पना कीजिए कि आप रोबोट को बिल्ली पहचानना सिखा रहे हैं।
- पुराना तरीका: आप रोबोट को बिल्ली की एक एकदम साफ़, स्पष्ट फोटो दिखाते हैं। रोबोट कहता है, "बिल्ली।" आसान है।
- NoisyGRPO तरीका: आप रोबोट की आँखों पर धुंधले, खरोंच वाले चश्मे लगा देते हैं। अब फोटो धुंधली है और उसमें बहुत सारा स्टैटिक (शोर) है।
अब, रोबोट को कड़ी मेहनत करनी होगी! वह केवल सटीक विवरणों पर निर्भर नहीं रह सकता। उसे सोचना होगा, "ठीक है, भले ही यह धुंधला है, लेकिन आकार बिल्ली जैसा लग रहा है, और कान नुकीले हैं।"
- ऐसा क्यों किया जाता है? इनपुट को अस्त-व्यस्त बनाकर (शोर जोड़कर), आप रोबोट को सोचने के विभिन्न तरीकों को खोजने के लिए मजबूर करते हैं। वह एक ही उत्तर को कॉपी-पेस्ट नहीं कर सकता क्योंकि चित्र हर बार थोड़ा बदल जाता है। यह उसे उत्तर के पीछे के वास्तविक तर्क को सीखने के लिए मजबूर करता है, न कि केवल चित्र को रटने के लिए।
2. "स्मार्ट कोच" (बेयसियन एडवांटेज एस्टीमेशन)
यहाँ पेचीदा हिस्सा है। क्योंकि रोबोट धुंधले चश्मे से देख रहा है, इसलिए वह भ्रमित हो सकता है और गलत उत्तर दे सकता है। यदि आप बस "गलत!" कहेंगे, तो रोबोट हतोत्साहित हो जाएगा और सीखना बंद कर देगा।
यहीं पर बेयसियन एडवांटेज एस्टीमेशन आता है। इसे एक स्मार्ट कोच के रूप में सोचें जो संदर्भ को समझता है।
- स्थिति: रोबोट एक धुंधली तस्वीर देखता है और एक उत्तर देता है।
- पुराना कोच: "गलत! तुम फेल हो गए!" (बहुत कठोर, कठिनाई को नहीं समझता)।
- NoisyGRPO कोच: "रुको ज़रा। मुझे पता है कि तुम धुंधले चश्मे से देख रहे थे (शोर)। इससे काम कठिन हो जाता है। चलो तुम्हारे उत्तर को फिर से देखते हैं। भले ही तस्वीर धुंधली थी, लेकिन तुम्हारा तर्क वास्तव में काफी अच्छा था। मैं तुम्हें आंशिक क्रेडिट दूँगा।"
कोच एक विशेष गणितीय सूत्र (बेयसियन इन्फरेंस) का उपयोग करके दो चीजों के बीच संतुलन बनाता है:
- धुंध कितनी खराब थी? (शोर का स्तर)।
- उत्तर कितना अच्छा था? (इनाम/रिवॉर्ड)।
यदि धुंध घनी थी, तो कोच अधिक उदार होता है। यदि धुंध हल्की थी और रोबोट फिर भी गलती करता है, तो कोच सख्त होता है। यह रोबोट को बिना भ्रमित हुए सटीकता से सीखने में मदद करता है। यह रोबोट को दुनिया के अस्त-व्यस्त होने पर भी अपने स्वयं के तर्क पर भरोसा करना सिखाता है।
परिणाम: एक स्मार्ट और अधिक ईमानदार रोबोट
पत्र ने विभिन्न पहेलियों (गणित, तर्क, विज्ञान) पर इसका परीक्षण किया। यहाँ क्या हुआ:
- बेहतर सामान्यीकरण (Generalization): रोबोट ने उन नए प्रकार की पहेलियों को हल करना सीखा जिन्हें उसने पहले कभी नहीं देखा था, न कि केवल उन्हें जिनका उसने अभ्यास किया था।
- कम भ्रम (Less Hallucination): रोबोट ने अजीब कहानियाँ बनाना बंद कर दिया। उसने उस चीज़ पर टिके रहना सीखा जिसे वह वास्तव में चित्र में देख सकता था।
- दक्षता (Efficiency): आश्चर्यजनक रूप से, रोबोट ने छोटे और अधिक सीधे उत्तर देना शुरू कर दिया। उसने बिना वजह की बातें करना बंद कर दिया क्योंकि "स्मार्ट कोच" उसे संक्षिप्त और सटीक होने के लिए पुरस्कृत करता था।
निचोड़
NoisyGRPO एक प्रशिक्षण शिविर की तरह है जहाँ आप जानबूझकर चीजों को थोड़ा कठिन बनाते हैं (धुंधले चश्मे) ताकि छात्र को गहराई से सोचने के लिए मजबूर किया जा सके, लेकिन आपके पास एक बुद्धिमान शिक्षक (बेयसियन कोच) है जो जानता है कि उन कठिनाइयों के आधार पर उन्हें निष्पक्ष रूप से ग्रेड कैसे दिया जाए।
परिणामस्वरूप, एक ऐसा AI मिलता है जो झूठ बोलने की कम संभावना रखता है, नई समस्याओं को हल करने में बेहतर है, और जटिल दृश्य पहेलियों को स्पष्ट, तार्किक मन के साथ हल करने में सक्षम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।