🤖 AI

S2T-RLHF: Hierarchical Credit Assignment for Stable Preference-Based RLHF

यह शोध पत्र S2T-RLHF का प्रस्ताव करता है, जो एक पदानुक्रमित क्रेडिट असाइनमेंट ढांचा (hierarchical credit assignment framework) है जो अनुक्रम-स्तरीय पुरस्कारों को वाक्य-स्तरीय आवंटन के बाद सीमित टोकन-स्तरीय परिशोधन में विभाजित करके प्राथमिकता-आधारित RLHF की स्थिरता को बढ़ाता है, जिससे अर्थपूर्ण सुसंगतता और रिवॉर्ड शोर के विरुद्ध मजबूती के बीच संतुलन स्थापित होता है।

मूल लेखक: Wei Chen, Guanghui Zhu, Yafei Li, Limin Wang, Yihua Huang

प्रकाशित 2026-07-22

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wei Chen, Guanghui Zhu, Yafei Li, Limin Wang, Yihua Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन थोड़े अराजक रोबोट को कहानी लिखना सिखा रहे हैं। आप रोबोट को कोई पाठ्यपुस्तक नहीं देते; इसके बजाय, आप उसकी कहानियाँ पढ़ते हैं और अंत में केवल एक स्कोर देते हैं: "अच्छा काम किया!" या "इतना अच्छा नहीं।" यह रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) नामक आर्टिफिशियल इंटेलिजेंस के एक क्षेत्र के पीछे का मूल विचार है। रोबोट (AI) लिखने की कोशिश करता है, एक स्कोर प्राप्त करता है, और अगली बार उच्च स्कोर प्राप्त करने के लिए अपने मस्तिष्क को ट्यून करता है।

लेकिन यहाँ पेचीदा हिस्सा यह है: कहानी के बिल्कुल अंत में स्कोर देना एक 10-पेज के निबंध को केवल एक "A" या "F" देने जैसा है, बिना यह बताए कि कौन सा पैराग्राफ शानदार था या कौन सा वाक्य भ्रमित करने वाला था। रोबोट को यह अनुमान लगाना होगा कि उसके द्वारा लिखा गया कौन सा छोटा सा शब्द "नायक" था और कौन सा "खलनायक"। यह अनुमान लगाने का खेल अक्सर रोबोट को भ्रमित कर देता है, उसे अनिश्चित व्यवहार करने पर मजबूर कर देता है, या यहाँ तक कि उसे अधिक अंक पाने के लिए लंबी कहानियाँ लिखने के लिए "धोखा देने" (cheating) पर मजबूर कर देता है। वैज्ञानिक इसे "अस्थिर प्रशिक्षण" (unstable training) कहते हैं, जो विश्वसनीय AI बनाने वाले किसी भी व्यक्ति के लिए एक बड़ा सिरदर्द है।

यह शोध पत्र, जिसका शीर्षक S2T-RLHF है, इस भ्रम को दूर करने के लिए यह बदलकर संबोधित करता है कि रोबोट को फीडबैक कैसे मिलता है। लेखक सुझाव देते हैं कि हर एक छोटे शब्द (टोकन) के मूल्य का तुरंत अनुमान लगाने के बजाय, हमें पहले यह पता लगाना चाहिए कि कौन से वाक्य अच्छे थे, और फिर उन वाक्यों के भीतर के शब्दों को करीब से देखना चाहिए। वे इसे एक "पदानुक्रमित" (hierarchical) दृष्टिकोण कहते हैं। उनका मुख्य निष्कर्ष बताता है कि फीडबैक को इन दो चरणों में तोड़कर—पहले वाक्य, फिर शब्द—रोबोट बहुत अधिक सुचारू रूप से सीखता है और अक्सर क्रैश नहीं होता है। उनका तर्क है कि शुरुआत में ही शब्द-स्तर के फीडबैक के साथ बहुत अधिक सटीक होने की कोशिश करना वास्तव में चीजों को बिगाड़ देता है क्योंकि फीडबैक सिग्नल अक्सर शोर भरे और भ्रमित करने वाले होते हैं। वाक्यों का उपयोग करके, उन्होंने एक तरीका खोजा जिससे वे पूरे टेक्स्ट के शोर के बीच भी प्रशिक्षण को स्थिर रख सके और रोबोट को बेहतर लिखना सिखा सके।

समस्या: "एक-शब्द" का रहस्य

कल्पना कीजिए कि आप एक फुटबॉल टीम के कोच हैं। टीम पूरा मैच खेलती है, और अंत में, आप उन्हें एक एकल ट्रॉफी देते हैं और कहते हैं, "शानदार खेल!" आप यह नहीं कहते कि किसने गोल किया, किसने शानदार बचाव किया, या किसने पेनल्टी मिस की। अब, कल्पना कीजिए कि खिलाड़ियों को उस एकल ट्रॉफी के आधार पर अपनी भूमिकाओं को खुद समझना होगा। स्ट्राइकर सोच सकता है, "मैं अद्भुत रहा होऊँगा!" जबकि गोलकीपर सोच सकता है, "मैं एकदम सही रहा होऊँगा!" लेकिन शायद गोलकीपर ने तीन गोल होने दिए, और स्ट्राइकर ने एकमात्र शॉट मिस कर दिया। क्योंकि फीडबैक इतना अस्पष्ट है, खिलाड़ी जंगली अनुमान लगाने लगते हैं। कुछ लोग शायद केवल व्यस्त दिखने के लिए अनावश्यक रूप से मैदान पर इधर-उधर दौड़ने लगें, यह सोचकर कि "अधिक हलचल = अधिक अंक।"

AI की दुनिया में, बिल्कुल ऐसा ही होता है। AI एक लंबा उत्तर उत्पन्न करता है (पूरा फुटबॉल मैच), और एक "रिवॉर्ड मॉडल" (कोच) उसे एक एकल संख्या (ट्रॉफी) देता है। AI फिर उस संख्या को बढ़ाने के लिए अपने द्वारा लिखे गए प्रत्येक शब्द (प्रत्येक खिलाड़ी की चाल) को समायोजित करने की कोशिश करता है। क्योंकि फीडबैक इतना मोटा (coarse) है, AI भ्रमित हो जाता है। वह खुद को दोहराने लग सकता है, बकवास लिख सकता है, या स्कोर बढ़ाने के लिए अत्यधिक लंबा लिखने के लिए भी कुछ भी कर सकता है। इसे ही पेपर में "अस्थिर प्रशिक्षण गतिशीलता" (unstable training dynamics) कहा गया है।

पुराना विचार: "अधिक विवरण बेहतर है"

कुछ समय के लिए, शोधकर्ताओं ने सोचा कि समाधान रोबोट को अधिक विवरण देने में है। उन्होंने हर लिखे गए शब्द (टोकन) को एक स्कोर देने की कोशिश की। यह कोच द्वारा हर 10 सेकंड में मैदान पर दौड़कर हर खिलाड़ी को "अच्छा किक!" या "बुरा पास!" चिल्लाने जैसा है। तर्क यह था: "यदि हम रोबोट को अधिक विशिष्ट फीडबैक देंगे, तो वह तेजी से और बेहतर सीखेगा।"

हालाँकि, इस पेपर के लेखक तर्क देते हैं कि यह तर्क त्रुटिपूर्ण है। वे सुझाव देते हैं कि मानवीय प्राथमिकताएँ वास्तव में धुंधली (fuzzy) होती हैं। जब हम एक प्रतिक्रिया पढ़ते हैं, तो हम वाक्यों या विचारों से निर्णय लेते हैं, न कि व्यक्तिगत अक्षरों या सूक्ष्म शब्दों से। यदि हम AI को एक अस्पष्ट, शोर भरे मानवीय अधिमान के आधार पर प्रत्येक शब्द के लिए एक सटीक स्कोर देने के लिए मजबूर करते हैं, तो हम केवल भ्रम को बढ़ा सकते हैं। यह एक ऐसे थर्मामीटर से तूफान के तापमान को मापने की कोशिश करने जैसा है जो बहुत अधिक हिलता है; आप जितने अधिक सूक्ष्म उतार-चढ़ाव को मापने की कोशिश करेंगे, उतना ही अधिक शोर आपके रीडिंग को खराब कर देगा। पेपर सुझाव देता है कि शब्द स्तर पर "अधिकतम सटीकता" के लिए जोर देना वास्तव में सीखने की प्रक्रिया को अस्थिर कर देता है।

नया समाधान: S2T-RLHF (सेंटेंस-टू-टोकन)

लेखक रोबोट को ग्रेड देने का एक स्मार्ट तरीका प्रस्तावित करते हैं, जिसे वे S2T-RLHF कहते हैं। इसे दो-चरणीय ग्रेडिंग प्रणाली के रूप में सोचें जो इस बात का सम्मान करती है कि मनुष्य वास्तव में कैसे पढ़ते और लिखते हैं।

चरण 1: वाक्य स्तर (बड़ी तस्वीर की जाँच)
सबसे पहले, सिस्टम पूरी प्रतिक्रिया को देखता है और उसे वाक्यों में तोड़ देता है। यह पूछता है, "किन वाक्यों में मुख्य विचार थे? कौन से वाक्य सबसे महत्वपूर्ण थे?" यह एक चतुर गणितीय ट्रिक (जिसे "नैश बारगेनिंग" कहा जाता है, जो एक निष्पक्ष बातचीत की तरह है) का उपयोग करता है ताकि एकल "ट्रॉफी" स्कोर को विभिन्न वाक्यों के बीच विभाजित किया जा सके।

उपमा: कल्पना कीजिए कि कोच अब कहता है, "पहला पैराग्राफ थोड़ा कमजोर था, लेकिन दूसरा पैराग्राफ शानदार था, और निष्कर्ष ठीक था।" स्कोर अब वाक्यों के बीच निष्पक्ष रूप से वितरित किया जाता है। यह रोबोट को यह समझने में भ्रमित होने से रोकता है कि कहानी का कौन सा हिस्सा सबसे महत्वपूर्ण था। यह सुनिश्चित करता है कि महत्वपूर्ण वाक्यों को पूरे टेक्स्ट के शोर में डूबने के बजाय उनका उचित श्रेय मिले।

चरण 2: टोकन स्तर (फाइन-ट्यूनिंग की जाँच)
एक बार जब वाक्यों को उनका हिस्सा मिल जाता है, तो सिस्टम यह तय करने के लिए प्रत्येक वाक्य के भीतर देखता है कि कौन से विशिष्ट शब्द सितारे थे। लेकिन यहाँ एक शर्त है: यह बेकाबू नहीं होता है। यह कहता है, "ठीक है, इस वाक्य को एक अच्छा स्कोर मिला। अब, आइए पता लगाएं कि इस वाक्य के भीतर कौन से शब्द प्रमुख खिलाड़ी थे, लेकिन चलिए पागलपन नहीं करते।"

उपमा: उस "शानदार" दूसरे पैराग्राफ के अंदर, कोच उन विशिष्ट क्रियाओं और संज्ञाओं की ओर इशारा करता है जिन्होंने इसे महान बनाया। लेकिन वे एक छोटी सी टाइपिंग की गलती के आधार पर पूरे पैराग्राफ का स्कोर नहीं बदलते। वे पहले बड़े विचारों पर ध्यान केंद्रित रखते हैं, फिर विवरणों को परिष्कृत करते हैं। यह चरण यह तय करने के लिए कि उस वाक्य के भीतर कौन से शब्द सबसे अधिक मायने रखते हैं, एक हल्के AI नेटवर्क (जिसे DTAN कहा जाता है) का उपयोग करता है।

उन्होंने क्या पाया

लेखकों ने इस नई पद्धति का परीक्षण कई अलग-अलग डेटासेट्स पर किया और पुराने तरीकों (केवल अंत में स्कोर देना, या तुरंत प्रत्येक शब्द को स्कोर देने की कोशिश करना) के साथ तुलना की।

स्थिरता की जीत: सबसे महत्वपूर्ण निष्कर्ष यह है कि S2T-RLHF प्रशिक्षण प्रक्रिया को बहुत अधिक सुचारू बनाता है। उनके प्रयोगों में, "मानक" तरीके अक्सर प्रदर्शन में भारी उतार-चढ़ाव दिखाते थे, जैसे कि एक कार तेज गति पकड़ रही हो और अचानक ब्रेक मार रही हो। S2T-RLHF एक स्थिर क्रूज की तरह चला। रोबोट क्रैश नहीं हुआ, भ्रमित नहीं हुआ, और सिस्टम को चकमा देने के लिए बकवास लिखना शुरू नहीं किया।
बेहतर गुणवत्ता: न केवल यह अधिक स्थिर था, बल्कि अंतिम AI मानवीय प्राथमिकताओं का पालन करने में भी बेहतर था। जब उन्होंने एक अलग जज (या तो एक मानव जैसा AI या एक रिवॉर्ड मॉडल) से नए तरीके बनाम पुराने तरीकों द्वारा लिखी गई कहानियों की तुलना करने के लिए कहा, तो S2T-RLHF की कहानियाँ अधिक बार जीतीं।
"बहुत बारीक" का जाल: उन्होंने स्पष्ट रूप से दिखाया कि प्रत्येक शब्द को तुरंत स्कोर करने की कोशिश करना (केवल "टोकन" दृष्टिकोण) अक्सर अस्थिरता की ओर ले जाता है, विशेष रूप से जब प्रशिक्षण आक्रामक हो। यह उनके सिद्धांत की पुष्टि करता है कि "अधिक विवरण" हमेशा बेहतर नहीं होता; कभी-कभी, चीजों को जमीन से जोड़े रखने के लिए आपको एक मध्य चरण (वाक्य) की आवश्यकता होती है।

यह क्यों मायने रखता है

यह पेपर सुझाव देता है कि AI को सिखाने की कुंजी केवल इसे अधिक डेटा या बारीक विवरण देने के बारे में नहीं है। यह इसे ऐसा फीडबैक देने के बारे में है जो इस बात से मेल खाता हो कि मनुष्य वास्तव में कैसे सोचते हैं। हम कहानी का शब्द-दर-शब्द निर्णय नहीं लेते; हम इसके प्रवाह, इसके वाक्यों और इसके विचारों से निर्णय लेते हैं। AI की सीखने की प्रक्रिया को इस प्राकृतिक संरचना के साथ संरेखित करके, लेखक एक तरीका खोजने में सफल रहे जिससे AI प्रशिक्षण अधिक विश्वसनीय और क्रैश होने से कम असुरक्षित हो सके।

उन्होंने केवल अनुमान नहीं लगाया; उन्होंने व्यापक सिमुलेशन और प्रयोग किए। उन्होंने दिखाया कि भाषा के "पदानुक्रम" (hierarchy) का सम्मान करके—पहले वाक्य, फिर शब्द—आप दोनों तरफ का सर्वश्रेष्ठ प्राप्त कर सकते हैं: एक व्यापक अवलोकन की स्थिरता और सूक्ष्म विवरणों की सटीकता। यह एक याद दिलाता है कि कभी-कभी, एक जटिल समस्या को हल करने का सबसे अच्छा तरीका जितना संभव हो सके उतना ज़ूम इन करना नहीं है, बल्कि फोकस का सही स्तर खोजना है।

तकनीकी सारांश: S2T-RLHF

समस्या विवरण (Problem Statement)

पसंद-आधारित रिवॉर्ड मॉडल के साथ सुदृढीकरण शिक्षण (Reinforcement Learning from Human Feedback - RLHF) अक्सर अस्थिर प्रशिक्षण गतिकी (unstable training dynamics) से ग्रस्त होता है, जो लंबाई के पक्षपात (length bias), रिवॉर्ड संकेंद्रण (reward concentration) और कभी-कभी रिवॉर्ड पतन (reward collapse) के रूप में प्रकट होता है। इसके एक प्राथमिक संरचनात्मक कारण के रूप में मानव प्राथमिकताओं की सिमेंटिक सूक्ष्मता (semantic granularity) और भाषा मॉडलों की अनुकूलन सूक्ष्मता (optimization granularity) के बीच बेमेल होना पहचाना गया है।

मानक RLHF पाइपलाइन पूरे जनरेट किए गए रिस्पॉन्स (अनुक्रम-स्तर/sequence-level) को एक एकल स्केलर रिवॉर्ड असाइन करती है। यह वैश्विक संकेत (global signal) रिस्पॉन्स के भीतर टोकन-स्तर के अपडेट के लिए क्रेडिट असाइनमेंट को स्वाभाविक रूप से अस्पष्ट छोड़ देता है। हालांकि हाल के कार्यों ने रिवॉर्ड को अधिक सघन टोकन-स्तर के पर्यवेक्षण (token-level supervision) में परिष्कृत करके इसे संबोधित करने का प्रयास किया है, लेखक तर्क देते हैं कि यह दृष्टिकोण एक अपूर्ण धारणा पर निर्भर करता है: कि अधिक सूक्ष्म-स्तरीय क्रेडिट असाइनमेंट स्वाभाविक रूप से फायदेमंद होता है। पेपर का तर्क है कि जब प्राथमिकता संकेत शोर (noisy) हों और केवल रिस्पॉन्स स्तर पर परिभाषित हों, तो अत्यधिक सूक्ष्म-स्तरीय परिष्करण रिवॉर्ड अनिश्चितता को बढ़ा सकता है, रिवॉर्ड मॉडल के स्थानीय आर्टिफैक्ट्स (local artifacts) को प्रसारित कर सकता है, और सीखने की प्रक्रिया को अस्थिर कर सकता है। मुख्य चुनौती ऐसे रिवॉर्ड संकेतों को डिजाइन करने की है जिनकी सूक्ष्मता भाषा की सिमेंटिक संरचना के साथ संरेखित हो ताकि अधिकतम आवंटन सटीकता के बजाय स्थिरता को प्राथमिकता दी जा सके।

कार्यप्रणाली: S2T-RLHF (Methodology: S2T-RLHF)

इन मुद्दों को संबोधित करने के लिए, लेखक S2T-RLHF (सेंटेंस-टू-टोकन RLHF) प्रस्तावित करते हैं, जो एक पदानुक्रमित क्रेडिट असाइनमेंट ढांचा (hierarchical credit assignment framework) है। यह रिवॉर्ड मॉडल को पुन: प्रशिक्षित किए बिना या टोकन-स्तर के पर्यवेक्षण की आवश्यकता के बिना, अनुक्रम-स्तर के प्राथमिकता रिवॉर्ड को सिमेंटिक रूप से आधारित सघन संकेतों में विघटित करता है। यह विधि इस सिद्धांत पर कार्य करती है कि वाक्य (sentences) एक प्राकृतिक मध्यवर्ती सूक्ष्मता के रूप में कार्य करते हैं, जो टोकन-स्तर के शोर के प्रति मजबूती बनाए रखते हुए सिमेंटिक सामंजस्य को संतुलित करते हैं।

यह ढांचा दो विशिष्ट चरणों से बना है:

चरण I: वाक्य-स्तर का रिवॉर्ड आवंटन (Sentence-Level Reward Allocation)

वैश्विक अनुक्रम-स्तर के रिवॉर्ड को पहले एक सहकारी सौदेबाजी तंत्र (cooperative bargaining mechanism) का उपयोग करके वाक्यों के बीच आवंटित किया जाता है।

सिमेंटिक व्यवधान और प्रभाव अनुमान (Semantic Perturbation & Influence Estimation): एक रिस्पॉन्स $x = [s_1, \dots, s_K]$ के लिए, विधि प्रत्येक वाक्य $s_i$ को वेरिएंट्स से बदलकर सिमेंटिक व्यवधान उत्पन्न करती है। यह अनुक्रम-स्तर के रिवॉर्ड में प्रेरित परिवर्तन ( $\Delta R$ ) और वाक्य एम्बेडिंग्स ( $\delta$ ) में बदलाव को मापती है। प्रत्येक वाक्य के लिए एक लेटेंट सिमेंटिक इन्फ्लुएंस वेक्टर $v_i$ का अनुमान रिज-रेगुलराइज्ड रिग्रेशन (ridge-regularized regression) के माध्यम से लगाया जाता है, जो यह पकड़ता है कि रिवॉर्ड मॉडल सिमेंटिक विविधताओं के प्रति कैसे प्रतिक्रिया देता है।
नैश बारगेनिंग फॉर्मूलेशन (Nash Bargaining Formulation): आवंटन को एक सहकारी सौदेबाजी समस्या के रूप में तैयार किया गया है। वाक्य अपने लेटेंट उपयोगिता (latent utilities) के आधार पर निश्चित वैश्विक रिवॉर्ड के अपने हिस्से के लिए बातचीत करते हैं। वाक्य $i$ की उपयोगिता सभी इन्फ्लुएंस वेक्टर्स से प्राप्त एक सहकारी सिमेंटिक दिशा के साथ उसके संरेखण द्वारा परिभाषित होती है।
फिक्स्ड-पॉइंट सॉल्वर (Fixed-Point Solver): आवंटन गुणांकों की गणना नैश बारगेनिंग ऑब्जेक्टिव ( $M\beta = \beta^{\odot -1}$ ) से प्राप्त फिक्स्ड-पॉइंट समीकरण को हल करके की जाती है, जो एक स्केल-इनवेरिएंट और सिमेट्रिक वितरण सुनिश्चित करता है ताकि सिमेंटिक रूप से महत्वपूर्ण वाक्यों को कम रिवॉर्ड न मिले।

चरण II: टोकन-स्तर का रिवॉर्ड परिशोधन (Token-Level Reward Refinement)

एक बार वाक्य-स्तर के रिवॉर्ड निर्धारित हो जाने के बाद, उन्हें प्रत्येक वाक्य के भीतर टोकन स्तर पर परिष्कृत किया जाता है।

डिरिचलेट टोकन एलोकेशन नेटवर्क (Dirichlet Token Allocation Network - DTAN): एक हल्का नेटवर्क कॉन्टेक्स्टुअलाइज्ड टोकन रिप्रेजेंटेशन को पॉजिटिव डिरिचलेट कंसंट्रेशन पैरामीटर्स ( $\alpha$ ) में मैप करता है।
बाउंडेड एलोकेशन (Bounded Allocation): टोकन वेट्स डिरिचलेट वितरण के एक्सपेक्टेशन से प्राप्त होते हैं ( $c_{s,t} = \alpha_{s,t} / \sum \alpha_{s,k}$ )। यह सुनिश्चित करता है कि वेट्स गैर-ऋणात्मक हों, वाक्य के भीतर एक का योग हों, और वाक्य-स्तर के रिवॉर्ड का एक बाउंडेड परिशोधन प्रदान करें।
एकीकरण (Integration): अंतिम टोकन-स्तर का रिवॉर्ड सिग्नल $r_{s,t} = R(s) \cdot c_{s,t}$ है। व्यवहार में, ये सिग्नल PPO में सीक्वेंस-लेवल एडवांटेज को मॉड्युलेट करते हैं, जिसमें स्थिरता सुनिश्चित करने के लिए क्लिपिंग लागू की जाती है।

DTAN को RLHF चरण के दौरान पॉलिसी के साथ संयुक्त रूप से अनुकूलित किया जाता है, जबकि मूल रिवॉर्ड मॉडल स्थिर रहता है।

मुख्य योगदान (Key Contributions)

सूक्ष्मता-जागरूक डिजाइन सिद्धांत (Granularity-Aware Design Principle): यह पेपर RLHF के लिए एक डिजाइन सिद्धांत प्रस्तावित करता है जिसमें कहा गया है कि प्रशिक्षण स्थिरता तब प्राप्त की जानी चाहिए जब रिवॉर्ड की सूक्ष्मता को भाषा की सिमेंटिक संरचना के साथ संरेखित किया जाए, न कि तेजी से सूक्ष्म-स्तरीय क्रेडिट असाइनमेंट की ओर बढ़ने से।
S2T-RLHF ढांचा: एक ठोस पदानुक्रमित विधि का परिचय जो अनुक्रम-स्तर के संकेतों को (नैश बारगेनिंग के माध्यम से) वाक्य-स्तर के आवंटन और उसके बाद (डिरिचलेट नेटवर्क के माध्यम से) बाउंडेड टोकन-स्तर के परिशोधन में विघटित करता है। यह अतिरिक्त एनोटेशन या रिवॉर्ड मॉडल पुन: प्रशिक्षण के बिना सघन, सिमेंटिक रूप से ग्राउंडेड पर्यवेक्षण सक्षम बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): कई डेटासेट्स और ऑप्टिमाइजेशन सेटिंग्स में व्यापक मूल्यांकन यह प्रदर्शित करता है कि S2T-RLHF मौजूदा विधियों की तुलना में प्रशिक्षण स्थिरता और मजबूती (robustness) में सुधार करता है और प्रतिस्पर्धी प्रेफरेंस अलाइनमेंट बनाए रखता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Gemma-2-9B को पॉलिसी के रूप में और RM-Gemma-2B को रिवॉर्ड मॉडल के रूप में उपयोग करते हुए, HH-RLHF डेटासेट पर S2T-RLHF का मूल्यांकन किया।

प्रशिक्षण स्थिरता (Training Stability): मानक RLHF और टोकन-ओनली रिफाइनमेंट विधियों की तुलना में S2T-RLHF काफी अधिक सुचारू प्रशिक्षण गतिकी प्रदर्शित करता है।
- KL डाइवर्जेंस: S2T-RLHF अन्य वेरिएंट्स की तुलना में संदर्भ पॉलिसी (reference policy) से बड़े KL डाइवर्जेंस के साथ उच्च अंतिम रिवॉर्ड प्राप्त करता है, जो प्रभावी पॉलिसी ड्रिफ्ट (policy drift) को दर्शाता है बिना किसी पतन (collapse) के।
- एन्ट्रॉपी (Entropy): पॉलिसी एन्ट्रॉपी स्थिर रहती है, जो डिजेनरेट पतन के कोई संकेत नहीं दिखाती है।
- स्ट्रेस टेस्ट: आक्रामक लर्निंग रेट और आक्रामक KL सेटिंग्स के तहत, टोकन-ओनली रिफाइनमेंट विधियां स्पष्ट अस्थिरता और प्रारंभिक चरण का पतन दिखाती हैं। S2T-RLHF मजबूत बना रहता है, जहाँ वाक्य-स्तर का आवंटन एक स्थिर मध्यवर्ती एब्स्ट्रैक्शन प्रदान करता है।
प्रेफरेंस अलाइनमेंट (Preference Alignment): GPT-4o-mini और RM-Gemma-7B को जज के रूप में उपयोग करते हुए पेयरवाइज मूल्यांकन दिखाते हैं कि S2T-RLHF लगातार मानक RLHF, ABC (अटेंशन-बेस्ड टोकन एलोकेशन), और SCAR (शापली-वैल्यू-बेस्ड एलोकेशन) से बेहतर प्रदर्शन करता है।
- मानक RLHF के मुकाबले, S2T-RLHF ~53% (GPT-4o-mini) और ~51% (RM-Gemma-7B) की जीत दर (win rate) प्राप्त करता है।
- यह AdvBench और ToxiGen जैसे सुरक्षा बेंचमार्क सहित विभिन्न डेटासेट्स पर ABC और SCAR पर जीत का लाभ बनाए रखता है।
एब्लेशन स्टडीज (Ablation Studies):
- पदानुक्रम (Hierarchy): वाक्य-स्तर के आवंटन को बाउंडेड टोकन-स्तर के परिशोधन के साथ मिलाने से अकेले किसी भी सूक्ष्मता के उपयोग की तुलना में बेहतर परिणाम मिलते हैं।
- तंत्र (Mechanisms): विशिष्ट नैश बारगेनिंग एलोकेटर और DTAN रिफाइनमेंट यूनिफॉर्म या लेंथ-प्रोपोर्शनल विकल्पों की तुलना में बेहतर प्रदर्शन करते हैं, जो पुष्टि करता है कि लाभ पदानुक्रमित संरचना और विशिष्ट आवंटन तंत्र दोनों से आते हैं।
कंप्यूटेशनल लागत (Computational Cost): मानक RLHF की तुलना में S2T-RLHF प्रति स्टेप 81.5% ओवरहेड पेश करता है, जो मुख्य रूप से वाक्य प्रभाव अनुमान (परटर्बेशन-आधारित रिवॉर्ड मॉडल क्वेरीज़) के कारण है। हालांकि, यह Shapley-आधारित विधियों (SCAR) की तुलना में अधिक कुशल है, जो 131.2% ओवरहेड लेती हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि RLHF अस्थिरता केवल एक कार्यान्वयन आर्टिफैक्ट नहीं है, बल्कि कम-रिज़ॉल्यूशन वाले, अनुक्रम-स्तर के रिवॉर्ड के साथ टोकन-स्तर के अनुकूलन को चलाने का एक संरचनात्मक परिणाम है। लेखक इस प्रचलित धारणा को चुनौती देते हैं कि सूक्ष्म-स्तरीय क्रेडिट असाइनमेंट स्वाभाविक रूप से फायदेमंद होता है। इसके बजाय, वे तर्क देते हैं कि स्थिरता-उन्मुख रिवॉर्ड डिजाइन को भाषा की सिमेंटिक पदानुक्रम का सम्मान करना चाहिए।

S2T-RLHF को केवल एक अंतिम रूप के रूप में नहीं, बल्कि एक सरल, व्यावहारिक उदाहरण के रूप में प्रस्तुत किया गया है जो यह प्रदर्शित करता है कि कैसे रिवॉर्ड की सूक्ष्मता को सिमेंटिक इकाइयों (वाक्यों) के साथ संरेखित करना वेरिएंस प्रवर्धन (variance amplification) को कम कर सकता है, ग्लोबल एडवांटेज अलाइनमेंट को तोड़ सकता है, और सीक्वेंस लेंथ से ग्रेडिएंट स्केलिंग को अलग कर सकता है। यह कार्य रिवॉर्ड मॉडल को पुन: प्रशिक्षित करने या टोकन-स्तर के पर्यवेक्षण प्राप्त करने की जटिलता के बिना, अधिक मजबूत प्रेफरेंस-आधारित अलाइनमेंट के लिए एक मार्ग प्रदान करते हुए, RLHF में सघन रिवॉर्ड डिजाइन को सिमेंटिक अलाइनमेंट और लर्निंग स्थिरता की समस्या के रूप में पुनर्गठित करता है।