💬 NLP

REAR: Test-time Preference Realignment through Reward Decomposition

यह शोधपत्र REAR को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) टेस्ट-टाइम फ्रेमवर्क है जो रिवॉर्ड फंक्शन्स को विघटित करके रिवॉर्ड घटकों को चुनिलेक्टिव रूप से रीस्केल करता है, जिससे लार्ज लैंग्वेज मॉडल्स को विविध उपयोगकर्ता प्राथमिकताओं के साथ संरेखित किया जाता है, और इस प्रकार सत्यापन योग्य डोमेन से परे जटिल प्राथमिकता संरेखण कार्यों तक कुशल टेस्ट-टाइम स्केलिंग का विस्तार किया जाता है।

मूल लेखक: Fuxiang Zhang, Pengcheng Wang, Chenran Li, Yi-Chen Li, Yuxin Chen, Lang Feng, Chenfeng Xu, Masayoshi Tomizuka, Bo An

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fuxiang Zhang, Pengcheng Wang, Chenran Li, Yi-Chen Li, Yuxin Chen, Lang Feng, Chenfeng Xu, Masayoshi Tomizuka, Bo An

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, अच्छी तरह से प्रशिक्षित रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल) है। इस रोबोट ने उस विशाल डेटा के आधार पर मददगार, विनम्र और सटीक होना सीखा है जिस पर इसे प्रशिक्षित किया गया था। हालाँकि, कभी-कभी आपकी कोई बहुत ही विशिष्ट, व्यक्तिगत मांग हो सकती है। शायद आप चाहते हैं कि रोबोट गणित को इस तरह समझाए जो "मजेदार हो लेकिन वीडियो गेम की तरह न हो," या आप चाहते हैं कि वह एक "चिड़चिड़े बूढ़े जासूस" की तरह व्यवहार करे।

समस्या यह है कि रोबोट की डिफ़ॉल्ट सेटिंग शायद आपके विशिष्ट मूड या पसंद से पूरी तरह मेल न खाती हो। आमतौर पर, इसे ठीक करने के लिए, आपको रोबोट को वापस "स्कूल" भेजना पड़ता है (रीट्रेनिंग), जो महंगा, धीमा और बहुत अधिक संसाधनों की मांग करने वाला काम है।

यह पेपर एक चतुर तकनीक पेश करता है जिसे REAR (रिवॉर्ड डिकंपोजिशन थ्रू रियललाइनमेंट) कहा जाता है, जो आपको रोबोट को वापस स्कूल भेजे बिना, उससे बात करते समय ही उसके व्यवहार को ठीक करने की अनुमति देता है।

यह कैसे काम करता है, इसे सरल उपमाओं में यहाँ तोड़कर समझाया गया है:

1. समस्या: रोबोट का "डिफ़ॉल्ट" बनाम आपकी "इच्छा"

रोबोट के मस्तिष्क को ऐसे समझें कि इसमें दो अलग-अलग आवाजें एक साथ बोल रही हैं:

आवाज A (प्रश्न): "मैं इस गणित के सवाल का सही उत्तर कैसे दूँ?"
आवाज B (पसंद): "मैं इस उत्तर को चिड़चिड़े अंदाज में और वीडियो गेम के रूपकों से बचते हुए कैसे दूँ?"

जब रोबोट को प्रशिक्षित किया जाता है, तो वह इन दोनों आवाजों का मिश्रण सीखता है। लेकिन जब आप कोई विशिष्ट प्रश्न पूछते हैं, तो यह मिश्रण गलत हो सकता है। शायद यह "सही होने" पर बहुत अधिक केंद्रित है और आपके "चिड़चिड़े" होने के अनुरोध को अनदेखा कर रहा है।

2. समाधान: "वॉल्यूम नॉब" (रिवॉर्ड डिकंपोजिशन)

लेखकों ने महसूस किया कि वे इन दो आवाजों को गणितीय रूप से अलग कर सकते हैं। वे रोबोट के आंतरिक "रिवॉर्ड" (अच्छा काम करने का अहसास) को दो अलग-अलग सामग्रियों के रूप में देखते हैं:

प्रश्न की सामग्री: यह वह है कि वह प्रॉम्प्ट का उत्तर कितनी अच्छी तरह देता है?
पसंद की सामग्री: यह वह है कि वह आपकी विशिष्ट शैली का कितनी अच्छी तरह पालन करता है?

REAR एक वॉल्यूम नॉब की तरह है जिसे आप बातचीत के दौरान घुमा सकते हैं।

यदि आप नॉब को ऊपर घुमाते हैं, तो रोबोट आपकी "पसंद" वाली आवाज को अधिक सुनता है।
यदि आप इसे नीचे घुमाते हैं, तो वह "प्रश्न" वाली आवाज को अधिक सुनता है।

जादू यह है कि उन्होंने यह कैसे गणना करना सीखा कि इस वॉल्यूम नॉब का उपयोग केवल रोबोट के अपने आंतरिक विचारों (इसके प्रोबेबिलिटी स्कोर) का उपयोग करके कैसे किया जाए। आपको किसी नए शिक्षक या नए डेटासेट की आवश्यकता नहीं है; आप बस रोबोट के मौजूदा मस्तिष्क का उपयोग करके उसे खुद को पुन: संतुलित करने के लिए करते हैं।

3. रणनीति: "कोशिश करो, कोशिश करो, फिर से कोशिश करो" (टेस्ट-टाइम स्केलिंग)

चूंकि रोबोट तुरंत यह नहीं जान सकता कि कौन सा उत्तर एकदम सही है, इसलिए REAR टेस्ट-टाइम स्केलिंग नामक रणनीति का उपयोग करता है। इसे इस प्रकार समझें:

"बेस्ट ऑफ एन" दृष्टिकोण: कल्पना करें कि आपने रोबोट को एक कहानी लिखने के लिए कहा है। केवल एक ड्राफ्ट स्वीकार करने के बजाय, आप उसे एक ड्राफ्ट लिखने में लगने वाले समय में ही 16 अलग-अलग संस्करण लिखने के लिए कहते हैं।
स्कोरकार्ड: उन 16 संस्करणों में से प्रत्येक के लिए, REAR एक जज के रूप में कार्य करता है। यह उस "वॉल्यूम नॉब" गणित का उपयोग करके उन्हें स्कोर देता है। यह पूछता है: "इन 16 कहानियों में से कौन सी कहानी प्रश्न का सबसे अच्छा उत्तर देती है और चिड़चिड़े जासूस की शैली का पालन करती है?"
विजेता: रोबोट उच्चतम स्कोर वाला संस्करण चुनता है और वह आपको दे देता है।

वे एक अधिक उन्नत संस्करण भी उपयोग करते हैं जिसे ट्री सर्च (एक जासूस की तरह जो भूलभुलैया में अलग-अलग रास्तों की खोज करता है) कहा जाता है। केवल 16 पूर्ण कहानियाँ लिखने के बजाय, रोबोट वाक्य-दर-वाक्य अलग-अलग विकल्पों की खोज करता है, और लगातार स्कोर की जांच करता रहता है ताकि यह सुनिश्चित हो सके कि वह सही रास्ते पर बना रहे।

4. यह एक बड़ी बात क्यों है

कोई प्रशिक्षण आवश्यक नहीं: आपको रोबोट को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह रेडियो सुनते समय रेडियो स्टेशन को ट्यून करने जैसा है, न कि नया रेडियो खरीदने जैसा।
किसी भी चीज़ पर काम करता है: उन्होंने दिखाया कि यह न केवल "चिड़चिड़े जासूसों" के लिए, बल्कि जटिल गणितीय समस्याओं और यहाँ तक कि विजुअल कार्यों (जैसे किसी तस्वीर को देखकर सटीक रूप से उसका वर्णन करना बिना कुछ मनगढ़ंत बनाए) के लिए भी काम करता है।
कुशल: क्योंकि यह रोबोट के अपने आंतरिक गणित का उपयोग करता है, इसलिए इसे जवाबों की जांच करने के लिए किसी अलग, भारी "जज" प्रोग्राम को लोड करने की आवश्यकता नहीं होती है। यह पिछले तरीकों की तुलना में तेज़ और सस्ता है।

सारांश

REAR एक ऐसा उपकरण है जो आपको काम करते समय ही एक स्मार्ट AI के व्यक्तित्व या फोकस को तुरंत कस्टमाइज़ करने की अनुमति देता है। यह ऐसा करने के लिए "प्रश्न का उत्तर देने" को "आपकी शैली का पालन करने" से गणितीय रूप से अलग करता है, और फिर सबसे अच्छा रिस्पॉन्स खोजने के लिए "कई विकल्प आजमाएं और सर्वश्रेष्ठ चुनें" की रणनीति का उपयोग करता है। यह AI के व्यक्तित्व के लिए एक रिमोट कंट्रोल होने जैसा है जो बिना AI को फिर से बनाए तुरंत काम करता है।

तकनीकी सारांश: REAR: रिवॉर्ड डीकंपोज़िशन के माध्यम से टेस्ट-टाइम प्रेफरेंस रीलाइनमेंट

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को विविध और व्यक्तिगत उपयोगकर्ता प्राथमिकताओं (preferences) के साथ संरेखित (align) करना एक महत्वपूर्ण चुनौती है। जबकि पोस्ट-ट्रेनिंग विधियाँ जैसे कि रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) प्रभावी हैं, उन्हें लागतपूर्ण डेटा क्यूरेशन और अतिरिक्त प्रशिक्षण की आवश्यकता होती है, जो उन्हें गतिशील या विशिष्ट उपयोगकर्ता आवश्यकताओं के लिए लचीला नहीं बनाती हैं। टेस्ट-टाइम स्केलिंग (TTS) अतिरिक्त कंप्यूटेशन का उपयोग करके इन्फरेंस के दौरान आउटपुट की गुणवत्ता में सुधार करके एक प्रशिक्षण-मुक्त विकल्प प्रदान करता है। मौजूदा TTS विधियाँ मुख्य रूप से सत्यापन योग्य डोमेन (जैसे, गणित, कोडिंग) तक सीमित रही हैं जहाँ शुद्धता को आसानी से जाँचा जा सकता है। प्रेफरेंस अलाइनमेंट के लिए TTS को लागू करना कठिन है क्योंकि प्रतिक्रिया की गुणवत्ता समग्र (holistic) होती है और इसे एक सरल सत्यापन योग्य उत्तर में नहीं बदला जा सकता है। वर्तमान टेस्ट-टाइम अलाइनमेंट दृष्टिकोण अक्सर निश्चित कम्प्यूटेशनल ओवरहेड लागू करते हैं या वैल्यू हेड्स (value heads) के प्रशिक्षण की आवश्यकता रखते हैं, जो उनकी स्केलेबिलिटी और दक्षता को सीमित करते हैं।

कार्यप्रणाली

यह शोध पत्र REAR (REAlignment Reward) प्रस्तुत करता है, जो एक नया फ्रेमवर्क है जो टेस्ट-टाइम प्रेफरेंस अलाइनमेंट को एक रीलाइनमेंट समस्या के रूप में देखता है। मुख्य अंतर्दृष्टि यह है कि एक बेस मॉडल का प्रशिक्षण उद्देश्य इन्फरेंस के समय किसी विशिष्ट उपयोगकर्ता की प्राथमिकता को इष्टतम रूप से संतुष्ट नहीं कर सकता है। REAR इसे संबोधित करता है कि यह अंतर्निहित रिवॉर्ड फंक्शन को दो घटकों में विभाजित करता है और उनकी महत्ता को गतिशील रूप से पुनर्गठित (rescale) करता है।

1. रिवॉर्ड डीकंपोज़िशन (Reward Decomposition)

लेखक मैक्सिमम एंट्रॉपी RL फ्रेमवर्क के भीतर एक प्री-ट्रेंड LLM के रिवॉर्ड स्ट्रक्चर को औपचारिक रूप देते हैं। वे तर्क देते हैं कि एक स्टेट $s$ (प्रश्न) और प्रेफरेंस $x_p$ के लिए रिवॉर्ड $r(s \oplus x_p, a)$ को दो भागों में विभाजित किया जा सकता है:

प्रश्न-संबंधित रिवॉर्ड ( $r_0$ ): वह निहित रिवॉर्ड जिसे बेस मॉडल प्रश्न का सही उत्तर देने के लिए अधिकतम करता है।
प्रेफरेंस-संबंधित रिवॉर्ड ( $r_p$ ): वह रिवॉर्ड घटक जो यह कैप्चर करता है कि प्रतिक्रिया प्रेफरेंस $x_p$ को कितनी अच्छी तरह संतुष्ट करती है।

संयुक्त रिवॉर्ड को $r(s \oplus x_p, a) = r_0(s, a) + \alpha r_p(s \oplus x_p, a)$ के रूप में मॉडल किया गया है, जहाँ $\alpha$ एक अंतर्निहित संतुलन गुणांक (balancing coefficient) है।

2. रीलाइनमेंट रिवॉर्ड (REAR)

एक विशिष्ट उपयोगकर्ता के लिए मॉडल को रीलाइन करने के लिए, REAR इन्फरेंस के दौरान प्रेफरेंस घटक को रीस्केल करने के लिए एक नियंत्रणीय गुणांक $\hat{\alpha}$ (या $\lambda = \hat{\alpha}/\alpha$ ) पेश करता है:
$r_{REAR}(s \oplus x_p, a) = r_0(s, a) + \hat{\alpha} r_p(s \oplus x_p, a)$

महत्वपूर्ण रूप से, लेखक इस रिवॉर्ड के लिए एक कम्प्यूटेशनल रूप से कुशल फॉर्मूलेशन प्राप्त करते हैं। मैक्सिमम एंट्रॉपी RL में ऑप्टिमल पॉलिसी और वैल्यू फंक्शन्स के बीच संबंध का लाभ उठाते हुए, वे दिखाते हैं कि $r_{REAR}$ को टोकन-लेवल पॉलिसी लॉग-प्रोबेबिलिटीज के एक लीनियर कॉम्बिनेशन के रूप में व्यक्त किया जा सकता है:
$S_{REAR}(\tau) = \sum_{t=0}^{T} \gamma^t \left( (1-\lambda) \log \pi(a_t|s_t) + \lambda \log \pi(a_t|s_t \oplus x_p) \right)$
यह स्कोर फंक्शन केवल दो संदर्भों (contexts) के तहत बेस मॉडल के लॉग-प्रोबेबिलिटीज पर निर्भर करता है: केवल प्रश्न वाला प्रॉम्प्ट और प्रेफरेंस सहित पूर्ण प्रॉम्प्ट। इसके लिए अलग से रिवॉर्ड मॉडल के प्रशिक्षण या स्कोरिंग के लिए अतिरिक्त टोकन उत्पन्न करने की आवश्यकता नहीं है।

3. टेस्ट-टाइम स्केलिंग के साथ एकीकरण

REAR स्कोर को दो TTS एल्गोरिदम में एकीकृत किया गया है:

Best-of-N (BoN) सैंपलिंग: $N$ प्रतिक्रियाएँ उत्पन्न करें और उच्चतम $S_{REAR}$ स्कोर वाली प्रतिक्रिया का चयन करें।
डाइवर्स वेरीफायर ट्री सर्च (DVTS): एक ट्री सर्च एल्गोरिदम जो ब्रांच एक्सपेंशन और सिलेक्शन को निर्देशित करने के लिए REAR स्कोर का उपयोग करता है, जिससे प्रेफरेंस अलाइनमेंट के लिए अनुकूलित होते हुए विविधता को बढ़ावा मिलता है।

मुख्य योगदान

रीलाइनमेंट का औपचारिकीकरण: यह शोध पत्र टेस्ट-टाइम प्रेफरेंस अलाइनमेंट को एक रीलाइनमेंट समस्या के रूप में औपचारिक रूप देता है, और एक डीकंपोज्ड ऑब्जेक्टिव से प्राप्त एक कम्प्यूटेशनल रूप से कुशल रिवॉर्ड के रूप में REAR का प्रस्ताव करता है।
ट्रेनिंग-फ्री स्कोरिंग: REAR पूरी तरह से बेस मॉडल के आंतरिक प्रोबेबिलिटीज से प्राप्त होता है, जिसके लिए किसी अतिरिक्त प्रशिक्षण, रिवॉर्ड मॉडल ट्रेनिंग, या स्पेक्युलेटिव जनरेशन स्टेप्स की आवश्यकता नहीं है।
मापनीय एल्गोरिदम (Scalable Algorithms): लेखकों ने दो स्केलेबल टेस्ट-टाइम एल्गोरिदम (BoN और DVTS) विकसित किए हैं जो REAR द्वारा निर्देशित हैं और विभिन्न सैंपल बजट के साथ जनरेशन प्रदर्शन को बढ़ा सकते हैं।
सामान्यीकरण (Generalizability): यह दिखाया गया है कि यह विधि टास्क-स्पेसिफिक प्रेफरेंस टेक्स्ट इंजेक्ट करके गणितीय तर्क और विजुअल कार्यों से परे भी सामान्यीकृत हो सकती है।

प्रयोगात्मक परिणाम

लेखकों ने Qwen और Llama मॉडल्स का उपयोग करके कई बेंचमार्क्स पर REAR का मूल्यांकन किया:

प्रेफरेंस अलाइनमेंट बेंचमार्क्स: PrefEval (स्पष्ट/अंतर्निहित प्रेफरेंस और चॉइस को कवर करता है), Multifaceted Bench, और Ping-Pong (रोल-प्लेइंग) पर, REAR-निर्देशित विधियों (Bo both BoN और DVTS) ने ग्रीडी डिकोडिंग, Amulet, लीनियर अलाइनमेंट (LA), और जेनेरेटिव रिवॉर्ड मॉडल्स (GenRM) के साथ Best-of-N सहित बेसलाइन्स को लगातार पछाड़ दिया। उदाहरण के लिए, DVTS के साथ REAR ने मेट्रिक्स पर औसत रूप से ग्रीडी डिकोडिंग से 11.6% का सुधार किया।
लॉन्ग-कॉन्टेक्स्ट रोबस्टनेस: REAR ने GenRM की तुलना में लॉन्ग-कॉन्टेक्स्ट परिदृश्यों (16k टोकन तक) में बेहतर मजबूती दिखाई, जहाँ GenRM कॉन्टेक्स्ट की लंबाई बढ़ने के साथ काफी खराब हो गया।
गणितीय तर्क: उपयुक्त प्रेफरेंस टेक्स्ट (जैसे, "Act as a rigorous mathematician") के साथ गणितीय कार्यों (MATH500, AIME, AMC) पर लागू होने पर, REAR-निर्देशित चयन ने मेजरिटी वोटिंग से बेहतर प्रदर्शन किया, जो निरंतर स्केलिंग लाभ दिखाता है।
विजुअल टास्क: विजुअल हैलुसिनेशन डिटेक्शन के लिए MMHal-Bench पर, REAR ने ग्रीडी डिकोडिंग और GenRM की तुलना में समग्र स्कोर में सुधार किया और हैलुसिनेशन दर को कम किया।
क्रॉस-मॉडल ट्रांसफर: विधि Llama-3.1-8B-Instruct पर बिना प्रति-मॉडल ट्यूनिंग के सामान्यीकृत हुई, जिससे पुष्टि हुई कि रिवॉर्ड डीकंपोज़िशन केवल Qwen फैमिली तक ही सीमित नहीं है।
दक्षता (Efficiency): REAR-निर्देशित विधियाँ बाहरी रिवॉर्ड मॉडल्स या इटरेटिव ऑप्टिमाइजेशन (जैसे Amulet) की आवश्यकता वाले बेसलाइन्स की तुलना में काफी तेज़ थीं, क्योंकि वे अलग मॉडल लोड करने से बचती हैं और स्कोरिंग के लिए सिंगल फॉरवर्ड पास पर निर्भर करती हैं।

महत्व और दावे

शोध पत्र का दावा है कि REAR बिना किसी ट्रेनिंग ओवरहेड या बाहरी रिवॉर्ड मॉडल के, टेस्ट-टाइम पर LLMs को यूजर प्रेफरेंस के साथ अलाइन करने के लिए एक स्केलेबल और सामान्य समाधान प्रदान करता है। प्रश्न और प्रेफरेंस घटकों में रिवॉर्ड को डीकंपोज करके, REAR प्रश्न का उत्तर देने और प्रेफरेंस का पालन करने के बीच के ट्रेड-ऑफ पर गतिशील नियंत्रण सक्षम करता है।

लेखक जोर देते हैं कि REAR टेस्ट-टाइम स्केलिंग को विषयगत, ओपन-एंडेड डोमेन (जैसे प्रेफरेंस अलाइनमेंट और रोल-प्लेइंग) तक विस्तारित करने की अनुमति देता है जहाँ पारंपरिक वेरीफायर विफल हो जाते हैं। वे उल्लेख करते हैं कि जबकि एक डिफॉल्ट $\lambda = 20$ कई कार्यों के लिए मजबूती से काम करता है, यह विधि रीलाइनमेंट की शक्ति को ट्यून करने की अनुमति देती है। यह कार्य टेस्ट-टाइम अलाइनमेंट को अधिक सुलभ और कुशल बनाने की दिशा में एक कदम है, जो सत्यापन योग्य डोमेन में TTS की सफलता और व्यक्तिपरक प्रेफरेंस अलाइनमेंट की जटिलताओं के बीच के अंतर को पाटता है।

स्वीकृत सीमाएं: लेखक नोट करते हैं कि REAR यूजर को एक ट्यून करने योग्य हाइपरपैरामीटर ( $\lambda$ ) प्रदान करता है, जिसके लिए उन कार्यों के लिए छोटे वैलिडेशन स्वीप्स की आवश्यकता हो सकती है जिनके प्रेफरेंस डिस्ट्रीब्यूशन काफी भिन्न हैं। इसके अतिरिक्त, हालांकि TTS फाइन-ट्यूनिंग की तुलना में हल्का है, इष्टतम कम्प्यूटेशनल बजट की पहचान करना भविष्य के कार्य की दिशा है।