Improving Generalization Robustness of Multimodal RLVR
यह शोधपत्र प्रॉम्ट-इनवेरिएंट RLVR (PIRL) का प्रस्ताव करता है, जो एक सुदृढ़ पोस्ट-ट्रेनिंग विधि है जो एक डायनेमिक ट्राइनरी रिवॉर्ड और एक एम्बेडिंग-स्पेस कंसिस्टेंसी रेगुलराइज़र को जोड़ती है ताकि मल्टीमॉडल मॉडल्स में मानक RLVR की भंगुरता को कम किया जा सके, जिससे इस प्रकार से समान रूप से अर्थपूर्ण लेकिन विचलित (perturbed) प्रॉम्ट्स के बीच सामान्यीकरण (generalization) में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान लेकिन शाब्दिक अर्थ समझने वाले रोबोट को पहेलियाँ सुलझाना सिखा रहे हैं। आप उसे एक बिल्ली की तस्वीर दिखाते हैं और पूछते हैं, "यह कौन सा जानवर है?" रोबोट "बिल्ली" कहना पूरी तरह से सीख जाता है। लेकिन फिर, आप सवाल को थोड़ा बदल देते हैं, "छवि में मौजूद बिल्ली (feline) की पहचान करें।" अचानक, रोबोट जम जाता है या गलत उत्तर देता है। यह मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की दुनिया है—अत्यंत स्मार्ट AI सिस्टम जो चित्र देख सकते हैं और साथ ही टेक्स्ट भी पढ़ सकते हैं। इन रोबोट्स को और भी स्मार्ट बनाने के लिए, वैज्ञानिक रिनफोर्समेंट लर्निंग विद वेरिफिएबल रिवार्ड्स (RLVR) नामक तकनीक का उपयोग करते हैं। इसे एक वीडियो गेम की तरह समझें जहाँ रोबोट को केवल तभी "पॉइंट" मिलता है जब उसका उत्तर एक सख्त चेकलिस्ट (जैसे कि एक विशिष्ट प्रारूप या सही संख्या) से मेल खाता है। लक्ष्य रोबोट को बेहतर ढंग से तर्क करने और अधिक अंक प्राप्त करने के लिए प्रशिक्षित करना है। लेकिन यहाँ एक पेंच है: यदि रोबोट पहेली को वास्तव में समझने के बजाय केवल चेकलिस्ट को 'गेम' करना (उसका फायदा उठाना) सीख जाता है, तो वह नाजुक (fragile) हो जाता है। वह उस समय परीक्षा में अव्वल आ सकता है जब प्रश्न अभ्यास वाले प्रश्नों के बिल्कुल समान दिखते हैं, लेकिन यदि आप प्रश्न को थोड़ा भी बदल देते हैं, तो वह बुरी तरह विफल हो सकता है। यह वास्तविक दुनिया के उपयोगों, जैसे चिकित्सा निदान या कानूनी सलाह के लिए, एक बहुत बड़ी समस्या है, जहाँ एक ऐसा रोबमाट जो शब्दों के बदलने पर टूट जाए, खतरनाक हो सकता है।
यहाँ एक नया अध्ययन है जो इस "नाजुकता" (brittleness) को ठीक करने की कोशिश करता है। शोधकर्ताओं ने, जिनका नेतृत्व पेंगफेई झोउ और उनके सहयोगियों ने किया, पाया कि मानक प्रशिक्षण विधियाँ AI को "फॉर्मेट का सनकी" (format snobs) बना रही हैं। उन्होंने पाया कि जब AI को सही उत्तर के लिए इनाम मिलता है, तो रिवॉर्ड सिस्टम अक्सर दो चीजों को मिला देता है: उत्तर सही होना और फॉर्मेटिंग नियमों का पालन करना (जैसे कि उत्तर को एक विशिष्ट बॉक्स के अंदर रखना)। यदि AI बॉक्स के अंदर उत्तर रखने में भूल जाता है, तो उसे शून्य अंक मिलते हैं, भले ही उसका उत्तर एकदम सही हो। यह AI को भ्रमित करता है, जिससे वह गणित या तर्क के बजाय बॉक्स पर ध्यान केंद्रित करने लगता है। इसके अलावा, AI केवल प्रश्नों के एक छोटे, विशिष्ट सेट पर अभ्यास करता है। जब वह वास्तविक दुनिया में उसी प्रश्न के पूछने के नए तरीके का सामना करता है, तो वह घबरा जाता है।
इस समस्या को हल करने के लिए, टीम ने प्रॉम्प्ट-इनवेरिएंट RLVR (PIRL) नामक एक नई प्रशिक्षण विधि प्रस्तावित की। उन्होंने दो मुख्य तरकीबें पेश कीं। सबसे पहले, उन्होंने AI को एक "डायनामिक ट्रिनरी रिवॉर्ड" दिया। एक साधारण "सही/गलत" स्कोर के बजाय, AI को अब तीन-स्तरीय स्कोर मिलता है: सही फॉर्मेट में सही उत्तर के लिए +1, गलत फॉर्मेट में सही उत्तर के लिए 0, और फॉर्मेट फेल होने के लिए -1। यह AI को सिखाता है कि भले ही फॉर्मेटिंग अस्त-व्यस्त हो, उत्तर की सामग्री (content) मायने रखती है। दूसरा, उन्होंने प्रशिक्षण में एक "स्टंट डबल" जोड़ा। उन्होंने एक एडवर्सरियल एजेंट बनाया जो लगातार प्रश्नों को सूक्ष्म तरीकों से (जैसे शब्दों को बदलना या निर्देश शैली को बदलना) फिर से लिखता रहता है, जबकि उनका अर्थ वही रहता है। इसके बाद, AI को यह सुनिश्चित करने के लिए मजबूर किया जाता है कि प्रश्न चाहे किसी भी रूप में हो, उसे सही उत्तर ही देना है। यह एक छात्र को केवल एक विशिष्ट वर्कशीट पर गणित की समस्या हल करने के लिए नहीं, बल्कि यह सिखाने जैसा है कि वह समस्या को चाहे वह कर्सिव (cursive) में लिखी हो, प्रिंटेड हो, या बोलकर कही गई हो, हर स्थिति में हल कर सके।
परिणाम उत्साहजनक हैं। जब उन्होंने अपने नए तरीके का पुराने मानक (जिसे GRPO कहा जाता है) के विरुद्ध परीक्षण किया, तो उन्होंने पाया कि जब प्रश्नों को फिर से लिखा गया (एक "स्ट्रेस टेस्ट"), तो पुराने तरीके का प्रदर्शन काफी गिर गया। उदाहरण के लिए, कुछ गणितीय बेंचमार्क पर, प्रॉम्प्ट बदलने पर मानक तरीके की सटीकता लगभग 3% से 4% तक गिर गई। इसके विपरीत, नया PIRL तरीका उल्लेखनीय रूप से स्थिर रहा, जिसकी सटीकता में केवल 1% या उससे कम की गिरावट आई। चिकित्सा और कानूनी प्रश्नों जैसे उच्च-दांव वाले क्षेत्रों में, जहाँ विश्वसनीयता महत्वपूर्ण है, PIRL ने प्रतिस्पर्धा की तुलना में अपनी सटीकता को बहुत बेहतर बनाए रखा। यह अध्ययन सुझाव देता है कि "सही होने" के इनाम को "सही दिखने" के इनाम से अलग करके, और प्रश्नों की एक विस्तृत विविधता पर अभ्यास करके, हम ऐसा AI बना सकते हैं जो न केवल स्मार्ट है, बल्कि इतना मजबूत और विश्वसनीय भी है कि वह मनुष्यों के बात करने के वास्तविक, अनिश्चित और अव्यवस्थित तरीके को संभाल सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।