🤖 AI

Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective

यह शोध पत्र KL रेगुलराइजेशन के तहत रिवॉर्ड मॉडल ऑप्टिमाइज़ेशन को एक स्टैकेलबर्ग गेम के रूप में औपचारिक रूप देता है और एक सरल रिवॉर्ड शेपिंग योजना प्रस्तावित करता है जो बेस पॉलिसी बायस को प्रभावी ढंग से कम करते हुए रिवॉर्ड हैकिंग को रोकता है, जिससे इन्फरेंस-टाइम अलाइनमेंट प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Haichuan Wang, Tao Lin, Lingkai Kong, Ce Li, Hezi Jiang, Milind Tambe

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haichuan Wang, Tao Lin, Lingkai Kong, Ce Li, Hezi Jiang, Milind Tambe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective" का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

मुख्य समस्या: जिद्दी इंटर्न (The Stubborn Intern)

कल्पना कीजिए कि आपने आपके लिए ईमेल लिखने के लिए एक प्रतिभाशाली लेकिन जिद्दी इंटर्न (यह Base Large Language Model है) को काम पर रखा है। इस इंटर्न की कुछ बहुत गहरी और स्थापित आदतें हैं। उदाहरण के लिए, यदि आप उनसे किसी राजनीतिक विषय पर एक तटस्थ (neutral) राय मांगते हैं, तो वे स्वाभाविक रूप से बाईं ओर झुक जाते हैं क्योंकि उन्हें उसी तरह प्रशिक्षित किया गया है।

आप चाहते हैं कि इंटर्न बिल्कुल वैसा ही लिखे जैसा आप पसंद करते हैं। इसलिए, आप उन्हें आपकी व्यक्तिगत पसंद के आधार पर एक स्कोरकार्ड (यह Reward Model है) देते हैं। आप उनसे कहते हैं: "यदि आप एक तटस्थ प्रतिक्रिया लिखते हैं, तो मैं आपको 2 अंक दूँगा। यदि आप बाईं ओर झुकी हुई प्रतिक्रिया लिखते हैं, तो मैं आपको 1 अंक दूँगा।"

हालाँकि, इंटर्न आलसी है और बदलाव के प्रति प्रतिरोधी है। वे अपना व्यक्तित्व पूरी तरह से नहीं बदलना चाहते। इसलिए, वे एक नियम का पालन करते हैं: "मैं आपके अंक प्राप्त करने की कोशिश करूँगा, लेकिन मैं अपनी प्राकृतिक सहजता (instincts) से बहुत दूर नहीं जाऊँगा।" तकनीकी शब्दों में, इसे KL Regularization कहा जाता है। यह इंटर्न के आउटपुट को उसके मूल, पक्षपाती स्वरूप के करीब रखता है।

समस्या: क्योंकि इंटर्न इतना जिद्दी है, इसलिए केवल उन्हें आपका स्कोरकार्ड दिखाना पर्याप्त नहीं है। वे अभी भी बाईं ओर झुक सकते हैं क्योंकि उनकी "प्राकृतिक सहजता" आपके छोटे से रिवॉर्ड अंतर से अधिक मजबूत है। यदि आप इसे ठीक करने के लिए तटस्थ प्रतिक्रिया को अनंत अंक देने की कोशिश करते हैं, तो इंटर्न घबरा सकता है और केवल वे अंक पाने के लिए बकवास (gibberish) लिखना शुरू कर सकता है (इसे Reward Hacking कहा जाता है)।

समाधान: बॉस और इंटर्न (एक Stackelberg Game)

लेखक इस स्थिति को एक बॉस (Reward Model Provider) और एक इंटर्न (LLM) के बीच एक रणनीतिक खेल के रूप में देखने का प्रस्ताव देते हैं। इसे गेम थ्योरी में Stackelberg Game के रूप में जाना जाता है, जहाँ बॉस पहले कदम उठाता है, और इंटर्न प्रतिक्रिया देता है।

केवल कच्चे स्कोरकार्ड को इंटर्न को सौंपने के बजाय, बॉस एक स्मार्ट गेम खेलता है। बॉस पूछता है: "मुझे स्कोर को कैसे टवीक (tweak) करना चाहिए ताकि, यह जानते हुए कि मेरा इंटर्न कितना जिद्दी है, वे वास्तव में वही करें जो मैं चाहता हूँ?"

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि इसे करने का सबसे अच्छा तरीका "Threshold Reward Shaping" है।

उपमा: "पास/फेल" गेट (The "Pass/Fail" Gate)

बॉस की रणनीति को नौकरी के साक्षात्कार के लिए एक सख्त पास/फेल गेट सेट करने की तरह समझें, न कि एक सूक्ष्म ग्रेड देने की तरह।

थ्रेशोल्ड (Threshold): बॉस एक विशिष्ट स्कोर लाइन (थ्रशहोल्ड) चुनता है।
शेपिंग (Shaping):
- यदि इंटर्न का प्राकृतिक आउटपुट इस लाइन से नीचे है, तो बॉस उसे 0 (शून्य अंक) का स्कोर देता है।
- यदि इंटर्न का प्राकृतिक आउटपुट इस लाइन से ऊपर है, तो बॉस उसे B (अधिकतम अंक) का स्कोर देता है।
- यदि यह ठीक लाइन पर है, तो इसे एक मध्यम स्कोर मिलता है।

यह क्यों काम करता है:
रिवॉर्ड्स को एक तीखे "सब कुछ या कुछ नहीं" (All or Nothing) वाले विकल्प में बदलकर, बॉस जिद्दी इंटर्न को एक बड़ा बदलाव करने के लिए मजबूर करता है। इंटर्न को एहसास होता है, "यदि मैं इस थ्रेशोल्ड को पार नहीं करता हूँ, तो मुझे कुछ नहीं मिलेगा। यदि मैं करता हूँ, तो मुझे अधिकतम रिवॉर्ड मिलेगा।" रिवॉर्ड्स का यह अतिरंजित रूप (exaggeration) इंटर्न की जिद (पक्षपात) का मुकाबला करता है, बिना उन्हें बकवास लिखने के लिए मजबूर किए (रिवॉर्ड हैकिंग)।

व्यवहार में यह कैसे काम करता है (Inference-Time)

अधिकांश AI अलाइनमेंट ट्रेनिंग के दौरान होते हैं (मॉडल को शुरुआत से सिखाना)। यह शोध पत्र Inference-Time Alignment पर ध्यान केंद्रित करता है, जो इंटर्न को उनके काम करते समय कोचिंग देने जैसा है, बिना उन्हें फिर से प्रशिक्षित किए।

यहाँ वह चरण-दर-चरण प्रक्रिया है जिसे लेखक प्रस्तावित करते हैं:

सैंपल (Sample): जब आप AI से कोई प्रश्न पूछते हैं, तो यह पहले अपनी स्वाभाविक, जिद्दी सहजता का उपयोग करके कुछ रफ ड्राफ्ट तैयार करता है।
स्कोर (Score): सिस्टम इन ड्राफ्ट्स की आपकी वास्तविक प्राथमिकताओं के विरुद्ध जाँच करता है।
थ्रेशोल्ड की गणना (Calculate the Threshold): एक त्वरित गणना (Monte Carlo sampling) का उपयोग करके, सिस्टम उस विशिष्ट प्रश्न के लिए सही "थ्रेशोल्ड" स्कोर निकालता है। यह पूछता है: "ड्राफ्ट्स की औसत गुणवत्ता कब मेरी अपेक्षाओं को पूरा करती है?"
रीशेप (Reshape): सिस्टम फिर "पास/फेल" लॉजिक लागू करता है। यह अच्छे ड्राफ्ट्स के स्कोर को अधिकतम तक बढ़ा देता है और खराब ड्राफ्ट्स को शून्य पर गिरा देता है।
डिकोड (Decode): AI इन रीशेप्ड स्कोर का उपयोग अंतिम शब्दों को चुनने के लिए करता है। क्योंकि रिवॉर्ड्स अब स्पष्ट रूप से परिभाषित हैं, AI को वह आउटपुट जेनरेट करने के लिए प्रेरित किया जाता है जो आप वास्तव में चाहते हैं, जिससे इसके प्राकृतिक पक्षपात पर विजय प्राप्त होती है।

परिणाम

लेखकों ने लोकप्रिय AI मॉडल्स (जैसे Llama और Qwen) पर इस पद्धति का परीक्षण किया। उन्होंने पाया कि:

बेहतर अलाइनमेंट: AI ने मानक तरीकों की तुलना में उपयोगकर्ता की प्राथमिकताओं के साथ बहुत बेहतर तरीके से प्रतिक्रियाएँ दीं।
कोई बकवास नहीं (No Gibberish): इस पद्धति ने "रिवॉर्ड हैकिंग" से बचाव किया, जिसका अर्थ है कि AI सिस्टम को धोखा देने के लिए बकवास लिखना शुरू नहीं हुआ।
कुशल (Efficient): यह गणना बहुत तेज़ है। यह AI के रिस्पॉन्स टाइम में लगभग कोई देरी नहीं जोड़ती है।
जीत (Winning): जब दूसरे AI (GPT-4) द्वारा जज किया गया, तो इस पद्धति के साथ जेनरेट की गई प्रतिक्रियाओं को 66% समय बेसलाइन से बेहतर या उसके बराबर रेट किया गया।

सारांश

संक्षेप में, यह शोध पत्र तर्क देता है कि आपको केवल AI को यह नहीं बताना चाहिए कि आपको क्या पसंद है; बल्कि आपको अपने रिवॉर्ड्स को रणनीतिक रूप से बढ़ाकर (exaggerate) दिखाना चाहिए ताकि AI के स्वाभाविक पक्षपात को दूर किया जा सके। इसे एक ऐसे खेल के रूप में फ्रेम करके जहाँ "बॉस" (रिवॉर्ड डिजाइनर) "इंटर्न" (AI) की जिद का पूर्वानुमान लगाता है, उन्होंने एक सरल, प्रभावी तरीका बनाया है जिससे AI असिस्टेंट को अधिक सहायक और उपयोगकर्ता के इरादे के अनुरूप बनाया जा सके।

तकनीकी सारांश: (अनुमान-समय/Inference-Time) संरेखण के लिए रिवॉर्ड शेपिंग: एक स्टैकेलबर्ग गेम परिप्रेक्ष्य

समस्या विवरण
यह शोध पत्र मानक संरेखण (alignment) पाइपलाइनों की उप-इष्टतमता (suboptimality) को संबोधित करता है, जो उपयोगकर्ता प्राथमिकता डेटा से सीखे गए रिवॉर्ड मॉडल का उपयोग करके बेस पॉलिसी के विरुद्ध KL-डाइवर्जेंस रेगुलाइजेशन के अधीन सीधे एक LLM पॉलिसी को अनुकूलित करती हैं। लेखक तर्क देते हैं कि यह सीधा अनुकूलन दोषपूर्ण है क्योंकि KL प्रतिबंध संरेखित पॉलिसी को बेस पॉलिसी के करीब रहने के लिए मजबूर करता है। यदि बेस पॉलिसी में ऐसे पूर्वाग्रह (biases) हैं जो उपयोगकर्ता प्राथमिकताओं के विपरीत हैं, तो KL रेगुलाइजेशन मॉडल को उन प्राथमिकताओं के साथ पूरी तरह से संरेखित होने से रोकता है। हालांकि रिवॉर्ड को बढ़ाना (amplifying) इस पूर्वाग्रह का मुकाबला कर सकता है, लेकिन इससे "रिवॉर्ड हैकिंग" (रिवॉर्ड को अधिकतम करने के लिए असंगत या क्षीण आउटपुट उत्पन्न करना) का जोखिम बढ़ जाता है। फलस्वरूप, यह शोध पत्र मौलिक प्रश्न उठाता है: KL रेगुलाइजेशन के तहत उपयोगकर्ता उपयोगिता (utility) को अधिकतम करने और रिवॉर्ड हैकिंग को कम करने के लिए रिवॉर्ड मॉडल को इष्टतम रूप से कैसे आकार (shape) दिया जाना चाहिए?

कार्यप्रणाली (Methodology)
लेखक संरेखण प्रक्रिया को एक स्टैकेलबर्ग गेम (Stackelberg game) के रूप में औपचारिक रूप देते हैं जिसमें दो खिलाड़ी शामिल हैं:

लीडर (रिवॉर्ड मॉडल प्रदाता): उपयोगकर्ता की अपेक्षित उपयोगिता (expected utility) को अधिकतम करने का लक्ष्य रखता है। लीडर LLM की प्रतिक्रिया का पूर्वानुमान लगाते हुए, LLM को निर्देशित करने के लिए एक रिवॉर्ड मॉडल $r$ का चयन करता है। लीडर वास्तविक उपयोगकर्ता उपयोगिता फलन $r_U$ का उपयोग करने के लिए बाध्य नहीं है, बल्कि वह रिवॉर्ड हैकिंग को कम करने के लिए किसी भी सीमित सीमा $[0, B]$ के भीतर कोई भी रिवॉर्ड मॉडल $r$ चुन सकता है।
फॉलोअर (LLM): बेस पॉलिसी $\rho_{base}$ से KL डाइवर्जेंस के विरुद्ध अपेक्षित रिवॉर्ड और रिवॉर्ड के बीच संतुलन बनाकर एक संरेखण उद्देश्य को अनुकूलित करते हुए, लीडर द्वारा चुने गए रिवॉर्ड मॉडल के प्रति सर्वोत्तम-प्रतिक्रिया (best-responds) देता है।

लेखक एक इष्टतम रिवॉर्ड मॉडल $r^*$ के लिए क्लोज्ड-फॉर्म लक्षण वर्णन (closed-form characterization) प्राप्त करते हैं। वे सिद्ध करते हैं कि इष्टतम समाधान एक थ्रेशोल्ड संरचना (threshold structure) प्रदर्शित करता है: एक दिए गए प्रॉम्प्ट के लिए, वे प्रतिक्रियाएं जिनका वास्तविक उपयोगिता एक विशिष्ट थ्रेशोल्ड $m^*(x)$ से ऊपर है, उन्हें अधिकतम रिवॉर्ड $B$ दिया जाता है, जबकि उनसे नीचे वालों को 0 दिया जाता है। इष्टतम थ्रेशोल्ड $m^*(x)$ को उस स्व-संगत (self-consistent) अपेक्षित उपयोगिता के रूप में परिभाषित किया गया है जो LLM इस शेप्ड रिवॉर्ड के तहत प्रदान करेगा।

इस थ्रेशोल्ड को कुशलतापूर्वक गणना करने के लिए, लेखक स्टैकेलबर्ग रिवॉर्ड शेपिंग (SRS) का प्रस्ताव करते हैं। चूंकि सटीक अपेक्षा (exact expectation) गणनात्मक रूप से कठिन (intractable) है, इसलिए वे एक हेल्पर फंक्शन पर बाइसेक्शन एल्गोरिदम (bisection algorithm) का उपयोग करके बेस पॉलिसी से मोंटे कार्लो सैंपल्स के माध्यम से थ्रेशोल्ड का अनुमान लगाते हैं। हार्ड थ्रेशोल्ड की विच्छिन्नता (discontinuity) के विरुद्ध मजबूती (robustness) बढ़ाने के लिए, वे एक सिग्मॉइड ट्रांसफॉर्मेशन का उपयोग करते हुए एक 'सॉफ्ट थ्रेशोल्ड' संस्करण पेश करते हैं, जिसे एक शेपिंग स्ट्रेंथ हाइपरपैरामीटर $\alpha$ द्वारा नियंत्रित किया जाता है।

इस ढांचे को अनुमान-समय संरेखण (inference-time alignment) विधियों, विशेष रूप से कंट्रोल्ड डिकोडिंग (CD) और एलाइनमेंट एज रिवॉर्ड-गाइडेड सर्च (ARGS) में एकीकृत किया गया है। इस सेटिंग में, SRS को ऑफलाइन रूप से उन रिवॉर्ड्स को आकार देने के लिए लागू किया जाता है जिनका उपयोग Q-वैल्यू एस्टिमेटर्स को प्रशिक्षित करने के लिए किया जाता है, जो फिर बेस मॉडल के वेट्स को पुन: प्रशिक्षित किए बिना डिकोडिंग प्रक्रिया को निर्देशित करते हैं।

मुख्य योगदान

सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शित करता है कि बेस पॉलिसी के पूर्वाग्रह के कारण होने वाले विरूपण (distortion) के कारण, उपयोगकर्ता प्राथमिकताओं से सीखे गए रिवॉर्ड मॉडल का सीधे उपयोग करना उप-इष्टतम है।
गेम-थ्योरेटिक फॉर्मूलेशन: रिवॉर्ड मॉडल अनुकूलन को एक स्टैकेलबर्ग गेम के रूप में तैयार करता है, यह सिद्ध करते हुए कि इष्टतम रिवॉर्ड मॉडल में एक थ्रेशोल्ड संरचना होती है। वे बेस पॉलिसी से मोंटे कार्लो सैंपलिंग का उपयोग करके इष्टतम मॉडल को अनुमानित करने के लिए एक कुशल एल्गोरिदम प्रदान करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): SRS को मौजूदा अनुमान-समय संरेखण विधियों (CD और ARGS) में एकीकृत किया गया है। इस पद्धति के लिए न्यूनतम अनुमान-समय ओवरहेड की आवश्यकता होती है और यह कई मूल्यांकन सेटिंग्स में लगातार प्रदर्शन में सुधार करती है।

परिणाम
लेखक Qwen3-8B और Llama3-8B-Instruct को बैकबोन के रूप में उपयोग करते हुए HH-RLHF और SHP डेटासेट पर SRS का मूल्यांकन करते हैं। मुख्य निष्कर्ष निम्नलिखित हैं:

रिवॉर्ड में सुधार: SRS सभी मूल्यांकन सेटिंग्स में बेसलाइन्स (Vanilla, Minmax, Meanstd) की तुलना में लगातार उच्चतम औसत रिवॉर्ड प्राप्त करता है।
गुणवत्ता संरक्षण: SRS बेसलाइन्स की तुलना में समान या बेहतर विविधता और सुसंगतता (coherence) मेट्रिक्स बनाए रखता है।
मानवीय मूल्यांकन: GPT-4 द्वारा जज किए गए हेड-टू-हेड तुलनाओं में, SRS सभी बेसलाइन्स (Vanilla, Minmax, और Meanstd) के विरुद्ध 66% से अधिक औसत विन-टाई रेट प्राप्त करता है, जो यह दर्शाता है कि सुधार रिवॉर्ड हैकिंग से प्रेरित नहीं हैं।
मजबूती (Robustness): SRS इनपुट वितरण बदलावों (SHP से HH-RLHF और HarmfulQA तक सामान्यीकरण) के प्रति मजबूती प्रदर्शित करता है और Minmax जैसे ह्यूरिस्टिक तरीकों की तुलना में आउटलेयर्स के प्रति कम संवेदनशील है।
दक्षता: SRS-CD के लिए, रिवॉर्ड शेपिंग ऑफलाइन है और इसमें कोई अनुमान-समय ओवरहेड नहीं है। SRS-ARGS के लिए, ओवरहेड नगण्य है (~128-टोकन रिस्पॉन्स के लिए 0.03 सेकंड)।

महत्व
यह शोध पत्र मानक संरेखण प्रथाओं में एक महत्वपूर्ण खामी की पहचान करके अपनी महत्ता का दावा करता है: यह धारणा कि सीधे रिवॉर्ड मैक्सिमाइजेशन, KL बाधाओं के तहत उपयोगकर्ता उपयोगिता के साथ संरेखित होता है। रिवॉर्ड डिजाइन को स्टैकेलबर्ग गेम्स के माध्यम से एक प्रोत्साहन तंत्र (incentive mechanism) समस्या के रूप में फ्रेम करके, यह कार्य रिवॉर्ड शेपिंग के लिए एक सिद्धांत आधारित, सैद्धांतिक रूप से सुदृढ़ दृष्टिकोण प्रदान करता है। यह अनुमान-समय संरेखण के लिए एक व्यावहारिक, हल्का समाधान प्रदान करता है जो बेस मॉडल को पुन: प्रशिक्षित करने की आवश्यकता के बिना उपयोगकर्ता उपयोगिता में सुधार करता है, जिससे विविध उपयोगकर्ता प्राथमिकताओं के अनुकूल होना अधिक लचीला और प्रभावी बनता है।