Beyond Majority Voting: Towards Fine-grained and More Reliable Reward Signal for Test-Time Reinforcement Learning
यह शोध पत्र SCOPE को प्रस्तुत करता है, जो एक टेस्ट-टाइम सुदृढीकरण लर्निंग (reinforcement learning) ढांचा है जो कन्फर्मेशन बायस (confirmation bias) और स्पार्स रिवॉर्ड्स (sparse rewards) को कम करने के लिए साधारण मेजॉरिटी वोटिंग को डायनेमिक सबग्रुप पार्टिशनिंग और कॉन्फिडेंस-वेटेड स्यूडो-लेबल एस्टीमेशन रणनीति से बदलकर LLM रीजनिंग को बढ़ाता है, जिससे चुनौतीपूर्ण गणितीय बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बुद्धिमान लेकिन थोड़े भ्रमित रोबोट को जटिल गणितीय समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं। आपके पास कोई शिक्षक (एक इंसान) नहीं है जो उसके उत्तरों की जांच कर सके, इसलिए आपको रोबोट को खुद को सिखाने के लिए ही निर्भर रहना होगा।
यह टेस्ट-टाइम रीइन्फोर्समेंट लर्निंग (TTRL) की दुनिया है। इसे करने का वर्तमान सबसे अच्छा तरीका मेजोरिटी वोटिंग (बहुमत मतदान) कहलाता है।
पुराना तरीका: "लोकप्रिय वोट" की समस्या
कल्पना कीजिए कि आप रोबोट से एक गणित की समस्या को 10 बार हल करने के लिए कहते हैं।
- 6 बार, वह उत्तर B देता है।
- 4 बार, वह उत्तर D देता है।
पुराना तरीका कहता है: "ठीक है, B विजेता है क्योंकि उसे सबसे अधिक वोट मिले! चलिए रोबोट को बताते हैं कि B सही उत्तर है और उसे D देने के लिए दंडित करते हैं।"
समस्या:
क्या होगा अगर B वास्तव में गलत है, लेकिन रोबोट बस एक लूप में फंस गया और वही गलती बार-बार करता रहा? या क्या होगा अगर D सही उत्तर है, लेकिन रोबोट इसके बारे में केवल 60% सुनिश्चित था, जबकि वह गलत उत्तर B के बारे में 99% सुनिश्चित था?
पुराने तरीके से अंधे होकर बहुमत का पालन करने से रोबोट अपनी गलतियों को ही पुख्ता करता है। यह एक ऐसी कक्षा की तरह है जहाँ सबसे शोर मचाने वाला छात्र हमेशा सही होता है, भले ही वह गलत हो। इसे कन्फर्मेशन बायस (पुष्टि पूर्वाग्रह) कहा जाता है।
साथ ही, पुराना तरीका केवल "हाँ/नहीं" वाला इनाम देता है। यह एक शिक्षक की तरह है जो बिना यह बताए कि आप कहाँ गलत थे या क्यों गलत थे, केवल "अच्छा काम किया" या "बुरा काम किया" कहता है। इसे स्पार्स रिवॉर्ड्स (विरल पुरस्कार) कहा जाता है—यह बहुत अस्पष्ट है और रोबोट को गहराई से सीखने में मदद करने के लिए पर्याप्त नहीं है।
नया तरीका: SCOPE (एक "स्मार्ट टीम" दृष्टिकोण)
इस शोध पत्र के लेखक एक नई विधि प्रस्तावित करते हैं जिसे SCOPE कहा जाता है। इसे रोबोट की सीखने की प्रक्रिया को एक अराजक टाउन हॉल मीटिंग से एक संरचित, उच्च-स्तरीय रणनीति सत्र में अपग्रेड करने के रूप में समझें।
SCOPE उपरोक्त समस्याओं को ठीक करने के लिए दो मुख्य चीजें करता है:
1. केवल वोटों को नहीं, बल्कि आत्मविश्वास को सुनना ( "विशेषज्ञता" का उदाहरण)
केवल यह गिनने के बजाय कि उत्तर कितनी बार आया, SCOPE पूछता है: "जब रोबोट ने यह उत्तर दिया, तो वह कितना आश्वस्त था?"
कल्पना कीजिए कि रोबोट एक जासूस है।
- उत्तर B (जो लोकप्रिय है) कांपते हाथों और बहुत हिचकिचाहट के साथ लिखा गया था। रोबोट केवल 40% आश्वस्त था।
- उत्तर D (जो अल्पसंख्यक है) स्थिर हाथ और स्पष्ट तर्क के साथ लिखा गया था। रोबोट 95% आश्वस्त था।
SCOPE कहता है: "भले ही B लोकप्रियता प्रतियोगिता में जीत गया, लेकिन D बेहतर उत्तर है क्योंकि रोबोट अपने तर्क में अधिक आश्वस्त था।"
यह वोटों को कॉन्फिडेंस (आत्मविश्वास) के आधार पर भार देता है। यह शोर मचाने वाली, अनिश्चित भीड़ को अनदेखा करने और शांत, आत्मविश्वासी विशेषज्ञ की बात सुनने जैसा है। यह रोबोट को अपनी गलतियों को दोहराने से रोकता है।
2. छोटी टीमों में विभाजित करना ( "उपसमूह" का उदाहरण)
पुराना तरीका सभी 10 उत्तरों को एक बड़े समूह के रूप में मानता है। यदि सभी एक गलत उत्तर पर सहमत होते हैं, तो पूरे समूह को दंडित किया जाता है।
SCOPE 10 उत्तरों को छोटी टीमों (उपसमूहों) में तोड़ देता है।
- टीम 1 उत्तर A पर सहमत हो सकती है।
- टीम 2 उत्तर B पर सहमत हो सकती है।
- टीम 3 उत्तर D पर सहमत हो सकती है।
अब, एक बड़े "हाँ/नहीं" के बजाय, रोबोट को कई, विविध लक्ष्य मिलते हैं।
- टीम 1 उत्तर A के साथ सुसंगत होने के लिए सीखती है।
- टीम 2 उत्तर B के साथ सुसंगत होने के लिए सीखती है।
- टीम 3 उत्तर D के साथ सुसंगत होने के लिए सीखती है।
यह एक लेक्चर के बजाय एक डिबेट क्लब (वाद-विवाद क्लब) होने जैसा है। रोबोट को स्वतंत्र समूहों के भीतर अलग-अलग तरीकों से सोचने के लिए मजबूर करके, यह रोबोट को केवल बहुमत की नकल करने के बजाय एक्सप्लोर (खोज) करने के लिए प्रोत्साहित करता है। यह रोबोट को "ग्रुपथिंक" (समूह सोच) के लूप में फंसने से रोकता है।
जादुई सामग्री: "संतुलन का खेल"
रोबोट को कैसे पता चलेगा कि इन टीमों का आकार क्या होना चाहिए? क्या इसमें 10 का 1 टीम होनी चाहिए, या 1 का 10 टीमें?
SCOPE पारेटो ऑप्टिमाइज़ेशन (Pareto Optimization) नामक एक चतुर तकनीक का उपयोग करता है। एक सी-सॉ (झूले) की कल्पना करें।
- एक तरफ है क्वालिटी (गुणवत्ता) (सही उत्तर प्राप्त करना)।
- दूसरी तरफ है डाइवर्सिटी (विविधता) (नए, अलग उत्तर आज़माना)।
यदि टीमें बहुत छोटी हैं, तो रोबोट शोर (noise) से भ्रमित हो जाएगा। यदि वे बहुत बड़ी हैं, तो वह ग्रुपथिंक में फंस जाएगा। SCOPE प्रशिक्षण के दौरान टीम के आकार को स्वचालित रूप से समायोजित करता है ताकि उस परफेक्ट बैलेंस (सही संतुलन) को पाया जा सके जहाँ रोबोट सबसे अधिक सीख सके।
परिणाम: यह क्यों मायने रखता है
जब शोधकर्ताओं ने इस नई विधि का परीक्षण किया:
- इसने पुराने तरीकों की तुलना में बहुत कठिन गणितीय समस्याओं (जैसे AIME प्रतियोगिता) को काफी अधिक हल किया।
- इसने यहाँ तक कि छोटे, कमजोर मॉडलों को बहुत बड़े, स्मार्ट मॉडलों की तरह प्रदर्शन करने में मदद की।
- इसने रोबोट को बुरी आदतों में "फंसने" से रोका।
संक्षेप में
पुराना तरीका एक भीड़ से पूछने जैसा था, "कौन सही है?" और आँख मूंदकर सबसे तेज़ आवाज़ का अनुसरण करना।
SCOPE यह पूछने जैसा है, "कौन सही है, और कौन इस बात के लिए सबसे अधिक आश्वसनीय है कि वह सही है?" और फिर भीड़ को छोटे बहस समूहों में विभाजित करना ताकि यह सुनिश्चित हो सके कि हर कोई अलग-अलग विचारों का अन्वेषण कर रहा है।
यह एक अराजक, शोर भरे सीखने की प्रक्रिया को महारत की ओर एक सटीक, आत्मविश्वासी और विविध यात्रा में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।