← नवीनतम पेपर
🤖 AI

How You Begin is How You Reason: Driving Exploration in RLVR via Prefix-Tuned Priors

यह शोध पत्र इंफॉर्मेशन-मैक्सिमाइजिंग ऑगमेंटेड एक्सप्लोरेशन (IMAX) फ्रेमवर्क का प्रस्ताव करता है, जो मॉडल प्रायर्स (priors) को नया आकार देने के लिए सॉफ्ट प्रीफिक्स को प्रशिक्षित करके और एक इन्फोमैक्स रिवॉर्ड का उपयोग करके, वेरिफिएबल रिवार्ड्स के साथ रिइन्फोर्समेंट लर्निंग (RLVR) में एंट्रॉपी कोलैप्स की समस्या को संबोधित करता है, जिससे विभिन्न लार्ज लैंग्वेज मॉडल स्केल्स में रीजनिंग प्रदर्शन और ट्रेजेक्टरी विविधता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yifan Xu, Junren Chen, Yifan Chen

प्रकाशित 2026-05-12
📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

मूल लेखक: Yifan Xu, Junren Chen, Yifan Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, जमे हुए जीनियस (एक लार्ज लैंग्वेज मॉडल) है जो गणित की समस्याओं को हल करने में अविश्वसनीय रूप से स्मार्ट है, लेकिन वे एक ही ढर्रे में फंस जाते हैं। जब आप उनसे कोई समस्या हल करने के लिए कहते हैं, तो वे 80% बार सही उत्तर दे सकते हैं, लेकिन वे हमेशा उसे बिल्हीं एक ही तरीके से हल करते हैं। यदि वे किसी विशिष्ट प्रकार की समस्या पर अटक जाते हैं, तो वे बार-बार एक ही असफल रणनीति का प्रयास करते रहते हैं। इसे ही पेपर में "एन्ट्रॉपी कोलैप्स" (entropy collapse) कहा गया है—मॉडल बहुत अधिक अनुमानित हो जाता है और सोचने के नए, संभावित रूप से बेहतर तरीकों को तलाशना बंद कर देता है।

यह पेपर इस समस्या को ठीक करने के लिए IMAX (इन्फोर्मेशन-मैक्सिमाइजिंग ऑगमेंटेड एक्सप्लोरेशन) नामक एक नई विधि प्रस्तावित करता है। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

समस्या: "एक ही आकार के सभी के लिए" वाला जीनियस

AI मॉडल को व्यंजनों (recipes) के एक निश्चित सेट वाले एक मास्टर शेफ के रूप में सोचें। यदि आप उनसे केक मांगते हैं, तो वे हर बार एक परफेक्ट वनीला केक बनाते हैं। लेकिन यदि आप उनसे "चॉकलेट केक" मांगते हैं और उन्हें केवल वनीला बनाना आता है, तो वे विफल हो सकते हैं।
वर्तमान विधियाँ इस समस्या को ठीक करने की कोशिश करती हैं, जैसे कि शेफ को कहना, "अधिक रैंडम होने की कोशिश करो!" लेकिन इससे आमतौर पर यह परिणाम निकलता है कि शेफ बर्तन में रैंडम सामग्रियां डाल देता है, जिससे एक गड़बड़ (शोर भरा, कम गुणवत्ता वाला उत्तर) पैदा होती है।

समाधान: "जादुई हेडबैंड" (सॉफ्ट प्रीफिक्स)

पूरे शेफ को फिर से प्रशिक्षित करने के बजाय (जो महंगा और धीमा है), लेखक शेफ को एक जादुई हेडबैंड पहनाते हैं।

  • हेडबैंड: यह एक "सॉफ्ट प्रीफिक्स" है—आपके प्रश्न के आगे लगा हुआ निर्देशों का एक छोटा, अदृश्य सेट।
  • ट्रिक: शेफ का दिमाग (मॉडल) जमे हुए और अपरिवर्तित अवस्था में रहता है। लेकिन इस आधार पर कि वे कौन सा हेडबैंड पहनते हैं, वे समस्या के प्रति अपना पूरा दृष्टिकोण बदल देते हैं।
    • हेडबैंड A शेफ को बताता है: "इसे एक गणितज्ञ की तरह, समीकरणों के साथ, चरण-दर-चरण हल करें।"
    • हेडबैंड B शेफ को बताता है: "एक जासूस की तरह, मामलों में तोड़कर और असंभव को खारिज करके हल करें।"
    • हेडबैंड C शेफ को बताता है: "एक कोडर की तरह, एक त्वरित स्क्रिप्ट लिखकर हल करें।"

नवाचार: "विविधता कोच" (इन्फोमैक्स रिवॉर्ड)

यहाँ मुख्य चतुराई है। यदि आप शेफ को केवल ये हेडबैंड दे देते हैं, तो वे सभी अंततः एक ही तरह से व्यवहार करने लग सकते हैं। इसे रोकने के लिए, लेखक एक विविधता कोच (इन्फोमैक्स रिवॉर्ड) जोड़ते हैं।

एक खेल की कल्पना करें जहाँ शेफ एक ही पहेली को हल करने के लिए अलग-अलग हेडबैंड पहनता है। विविधता कोच समाधानों को देखता है और पूछता है:

  • "क्या हेडबैंड A ने हेडबैंड B की तुलना में पूरी तरह से अलग समाधान दिया?"
  • "क्या वे दोनों सही हैं?"

यदि हेडबैंड A और हेडबैंड B दोनों एक ही उबाऊ उत्तर देते हैं, तो कोच उन्हें दंड (penalty) देता है। लेकिन यदि हेडबैंड A बीजगणित (algebra) का उपयोग करता है और हेडबैंड B ज्यामिति (geometry) का, और दोनों सही उत्तर देते हैं, तो कोच उन्हें बोनस देता है।

यह सिस्टम को हेडबैंडों का एक पूल सीखने के लिए मजबूर करता है, जहाँ प्रत्येक हेडबैंड सोचने के एक अद्वितीय, उच्च-गुणवत्ता वाले तरीके को अनलॉक करता है जिसे अन्य उपयोग नहीं करते हैं।

परिणाम: विशेषज्ञ विचारकों की एक टीम

अंत में, आपके पास केवल एक AI नहीं होता जो हर चीज़ में "ठीक" हो। आपके पास एक जमे हुए AI का समूह होता है जो तुरंत एक गणितज्ञ, एक जासूस, और एक कोडर बनने के बीच स्विच कर सकता है, जो इस पर निर्भर करता है कि आपने कौन सा "हेडबैंड" पहनाया है।

उन्होंने कठिन गणितीय समस्याओं पर इस पद्धति का परीक्षण किया। उन्होंने पाया कि:

  1. बेहतर कवरेज: केवल एक बार सही उत्तर पाने (Pass@1) के बजाय, सिस्टम सही उत्तर को कई अलग-अलग तरीकों से खोज सकता है (Pass@4 और Avg@4 में काफी सुधार हुआ)।
  2. कोई गड़बड़ नहीं: पुरानी विधियों के विपरीत, जो केवल रैंडम शोर जोड़ती थीं, यह विधि उत्तरों की उच्च गुणवत्ता बनाए रखते हुए उन्हें विविध बनाती है।
  3. दक्षता: क्योंकि उन्होंने केवल छोटे "हेडबैंड" को प्रशिक्षित किया और पूरे विशाल मस्तिष्क को नहीं, इसलिए इसे चलाना बहुत तेज़ और सस्ता था।

संक्षेप में: यह पेपर हमें सिखाता है कि एक स्मार्ट मॉडल को अधिक रैंडम होने के लिए मजबूर करने के बजाय, हम उसे "मानसिक मोड" (प्रीफिक्स) का एक सेट दे सकते हैं और उसे प्रत्येक मोड का उपयोग समस्याओं को हल करने के एक अलग, अद्वितीय और सही तरीके के लिए करने के लिए प्रशिक्षित कर सकते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →