Learning Self-Correction in Vision-Language Models via Rollout Augmentation
यह शोधपत्र Octopus पेश करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो रोलआउट पुनर्संयोजन (rollout recombination) और एक रिस्पॉन्स-मास्किंग रणनीति के माध्यम से सघन स्व-सुधार उदाहरणों को संश्लेषित करके विजन-लैंग्वेज मॉडल्स के लिए सैंपल दक्षता को बढ़ाता है और प्रशिक्षण को स्थिर करता है, जिसके परिणामस्वरूप अत्याधुनिक Octopus-8B मॉडल प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक विजन-लैंग्वेज मॉडल) को चित्रों और शब्दों वाले जटिल पहेलियों को हल करना सिखा रहे हैं। वह छात्र अच्छा है, लेकिन कभी-कभी वह अपने तर्क में गलती कर देता है। इस शोध पत्र का लक्ष्य छात्र को एक सुपरपावर सिखाना है: स्व-सुधार (Self-Correction)। यह वह क्षमता है जिससे वह महसूस कर सके, "रुको, मैंने उस चरण में गड़बब कर दी," और उसी उत्तर के भीतर तुरंत उसे ठीक कर सके, बजाय इसके कि वह शून्य से फिर से अनुमान लगाने लगे।
यहाँ बताया गया है कि कैसे लेखक, यी डिंग और उनकी टीम ने इस कौशल को सिखाने की समस्या को हल किया, जिसे सरल भाषा में समझाया गया है।
समस्या: "घास के ढेर में सुई" (The "Needle in a Haystack")
आमतौर पर, जब हम इन AI मॉडलों को 'रीइन्फोर्समेंट लर्निंग' (RL) नामक विधि का उपयोग करके प्रशिक्षित करते हैं, तो हम उन्हें केवल अंत में एक इनाम देते हैं: "सही" या "गलत।"
- समस्या: मॉडल शायद ही कभी खुद अपनी गलतियों को सुधारने का तरीका खोज पाता है। यह किसी को केवल अंत में "A" या "F" ग्रेड देकर निबंध सुधारना सिखाने जैसा है। वे अनुमान तो लगा सकते हैं, लेकिन वे त्रुटियों को पहचानने और उन्हें ठीक करने के विशिष्ट कौशल को नहीं सीख पाएंगे।
- वास्तविकता: एक मानक प्रशिक्षण सत्र में, प्रभावी "ओह, मैंने इसे ठीक कर दिया" वाले क्षण अविश्वसनीय रूप से दुर्लभ होते हैं। शोध पत्र में पाया गया कि मॉडल स्वाभाविक रूप से खुद को सुधारता है, यह 1% से भी कम समय होता है। ऐसे दुर्लभ आयोजनों से सीखने की कोशिश करना ऐसा ही है जैसे साल में एक बार शार्क दिखने का इंतज़ार करके तैरना सीखना।
समाधान: "ऑक्टोपस" (The Augmentation Trick)
लेखकों ने महसूस किया कि भले ही मॉडल अक्सर अपनी गलतियों को सुधारता नहीं है, लेकिन वह एक ही प्रशिक्षण सत्र के दौरान एक गलत उत्तर और एक सही उत्तर दोनों उत्पन्न करता है। वे अपने समाधान को ऑक्टोपस (Octopus) कहते हैं।
प्रशिक्षण प्रक्रिया को एक शेफ द्वारा सूप बनाने की तरह समझें।
- मानक RL: शेफ अंत में सूप चखता है। यदि यह खराब है, तो वह इसे फेंक देता है और फिर से शुरू करता है।
- ऑक्टोपस: शेफ को एहसास होता है कि खाना बनाते समय, उसने अनजाने में सूप के दो संस्करण बना दिए: एक नमकीन (गलत) और एक एकदम सही (सही)। नमकीन वाले को फेंकने के बजाय, ऑक्टोपस कहता है, "हे, चलो इन दोनों को एक साथ जोड़ देते हैं!"
- जादू: एक ही बैच के प्रयासों से "गलत" पथ और "सही" पथ को लेकर और उन्हें एक साथ बिठाकर, मॉडल को एक स्पष्ट उदाहरण मिलता है: "यहाँ गलती है, और यहाँ सुधार है।"
- परिणाम: वे एक दुर्लभ "अहा!" क्षण को दर्जनों स्पष्ट, प्रत्यक्ष पाठों में बदल देते हैं। वे इसे रोलआउट ऑग्मेंटेशन (Rollout Augmentation) कहते हैं। यह एक गलती की फोटो और सुधार की फोटो लेने और फिर उन्हें 100 बार फोटोकॉपी करने जैसा है ताकि छात्र बिना 100 नए सूप बनाए बार-बार उनका अध्ययन कर सके।
रणनीति: दो-चरणीय प्रशिक्षण (The "Masking" Trick)
मॉडल को गलतियाँ सुधारना सिखाना मुश्किल है क्योंकि वह भ्रमित हो सकता है। वह सोच सकता है, "क्या मुझे पहली बार में सही उत्तर देने की कोशिश करनी चाहिए, या क्या मुझे बाद में सुधार करने के लिए जानबूझकर गलती करनी चाहिए?" इसे "संघर्ष" (Conflict) कहा जाता है।
इसे हल करने के लिए, लेखक एक विशेष "मास्किंग" तकनीक (उत्तर के हिस्सों को ढकना) के साथ दो-चरणीय प्रशिक्षण (Two-Stage Training) का उपयोग करते हैं:
चरण 1: "ठीक करने वाला" क्लास (The "Fix-It" Class)
- मॉडल को अपने उत्तर के पहले भाग (गलती) को अनदेखा करने के लिए कहा जाता है।
- इसे केवल दूसरे भाग (सुधार) से सीखने की अनुमति है।
- उपमा: कल्पना कीजिए कि एक शिक्षक गणित के सवाल के पहले आधे हिस्से को ढक देता है और केवल छात्र को दूसरे आधे हिस्से में की गई गलती को सुधारने के आधार पर ग्रेड देता है। यह सुनिश्चित करता है कि छात्र पहले भाग को तुरंत सही करने के चक्कर में विचलित हुए बिना, सुधारने के कौशल को सीखे।
चरण 2: "मास्टर" क्लास (The "Master" Class)
- एक बार जब छात्र गलतियों को सुधारने में अच्छा हो जाता है, तो शिक्षक पहले भाग को उजागर कर देता है।
- अब, मॉडल दोनों करना सीखता है: पहली बार में सही उत्तर देना और यदि वह चूक जाए तो उसे सुधारना।
- उपमा: अब छात्र पूरी परीक्षा देता है। क्योंकि उसने चरण 1 में त्रुटियों को सुधारने का इतना अच्छा अभ्यास किया था, इसलिए गलती होने पर वह घबराएगा नहीं, और वह तेज़ी से रिकवर कर पाएगा।
परिणाम: तेज़ और स्मार्ट
यह शोध पत्र Octopus-8B नामक एक मॉडल पेश करता है।
- प्रदर्शन: यह अपने आकार का सबसे अच्छा ओपन-सोर्स मॉडल बन गया, जिसने गणित, आरेख और सामान्य ज्ञान से जुड़े 7 परीक्षणों में अन्य शीर्ष मॉडलों (जैसे Qwen3-VL-Thinking) को पीछे छोड़ दिया।
- दक्षता: क्योंकि ऑक्टोपस अपने प्रशिक्षण डेटा का पुनर्चक्रण (recycles) करता है (गलत और सही जोड़ों का पुन: उपयोग करता है), यह बहुत तेज़ी से सीखता है। इसने पिछले सर्वोत्तम तरीकों की तुलना में केवल 72% प्रशिक्षण समय का उपयोग करके बेहतर परिणाम प्राप्त किए।
सारांश
यह शोध पत्र तर्क देता है कि AI को स्मार्ट बनाने के लिए, हमें केवल यह प्रतीक्षा नहीं करनी चाहिए कि वह गलती से अपनी गलतियों को सुधारना सीख जाए। इसके बजाय, हमें अपनी गलतियों को अपनी सफलताओं के साथ जोड़कर उन सीखने के क्षणों को निर्मित (manufacture) करना चाहिए। ऐसा करके, और "सुधारने" के कौशल को "उत्तर देने" के कौशल से अलग करके, AI एक अधिक मजबूत, स्व-सुधार करने वाला विचारक बन जाता है।
मुख्य बात: आपको अधिक डेटा की आवश्यकता नहीं है; आपको अपने पास मौजूद डेटा को फिर से व्यवस्थित करने की आवश्यकता है ताकि पाठ अधिक स्पष्ट हो सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।