तकनीकी सारांश: बेस्ट-ऑफ-N प्रेफरेंस डेटा से रिवॉर्ड लर्निंग (Reward Learning)

समस्या विवरण (Problem Statement)

बेस्ट-ऑफ-N (BoN) सैंपलिंग आधुनिक AI सिस्टमों में, विशेष रूप से रिवॉर्ड मॉडल को प्रशिक्षित करने और लार्ज लैंग्वेज मॉडल्स (LLMs) को अलाइन करने के लिए, प्रेफरेंस डेटा (preference data) बनाने हेतु एक व्यापक रूप से उपयोग की जाने वाली प्रक्रिया है। इस प्रक्रिया में, एक बेस डिस्ट्रीब्यूशन (base distribution) से $N$ कैंडिडेट रिस्पॉन्स सैंपल किए जाते हैं, और एक ओरकल (मानव या मॉडल-आधारित) सबसे अच्छे रिस्पॉन्स को "चुने हुए" (chosen) उदाहरण के रूप में चुनता है। "अस्वीकृत" (rejected) उदाहरण को आमतौर पर शेष उम्मीदवारों में से समान रूप से (Best-vs-Random) या सबसे खराब उम्मीदवार के रूप में (Best-vs-Worst) चुना जाता है।

इसकी व्यापकता के बावजूद, इस तरह के डेटा से रिवॉर्ड लर्निंग के सैद्धांतिक गुण स्पष्ट नहीं हैं। विशेष रूप से, यह स्पष्ट नहीं है कि:

1. मानक ब्रैडली-टेली (Bradley-Terry - BT) ऑब्जेक्टिव के तहत परिणामी डेटासेट द्वारा कौन सा विशिष्ट रिवॉर्ड फंक्शन प्रेरित होता है?
2. लर्निंग दक्षता को अनुकूलित करने के लिए कैंडिडेट-सेट का आकार $N$ और बेस डिस्ट्रीब्यूशन का चयन कैसे किया जाना चाहिए?

सामान्य अंतर्ज्ञान (intuition) यह सुझाव देता है कि बड़ा $N$ बेहतर डेटा प्रदान करता है क्योंकि चुना गया रिस्पॉन्स पूर्ण गुणवत्ता (absolute quality) में उच्च होता है। हालांकि, यह पेपर तर्क देता है कि यह अंतर्ज्ञान अधूरा है, क्योंकि डेटा की उपयोगिता न केवल चुने गए रिस्पॉन्स की गुणवत्ता पर निर्भर करती है, बल्कि उन विशिष्ट तुलनाओं पर भी निर्भर करती है जो डेटासेट उपलब्ध कराता है।

कार्यप्रणाली (Methodology)

लेखक एक हालिया डिस्ट्रीब्यूशन-एग्नोस्टिक फ्रेमवर्क (Pukdee et al., 2026) पर आधारित कंडीशनल प्रेफरेंस डिस्ट्रीब्यूशन (Conditional Preference Distribution - CPRD) के दृष्टिकोण से रिवॉर्ड लर्निंग का विश्लेषण करते हैं। यह फ्रेमवर्क लक्षणित करता है कि कब प्रेफरेंस डेटा एक ब्रैडली-टेली प्रतिनिधित्व को स्वीकार करता है और यह पहचानता है कि परिमित-नमूना लर्निंग (finite-sample learning) दो प्रमुख मात्राओं द्वारा नियंत्रित होती है: मार्जिन (जोड़ियों के बीच अंतर करने की कठिनाई) और कनेक्टिविटी (तुलना के स्थान का कवरेज)।

यह पेपर Best-of-N डेटा के लिए इस फ्रेमवर्क को निम्नलिखित रूप में लागू करता है:

1. क्लोज्ड-फॉर्म टारगेट्स का व्युत्पत्ति (Deriving Closed-Form Targets): "इंडिपेंडेंट" वेरिएंट्स (Best-vs-Independent और Best-vs-Worst-Independent) का विश्लेषण जहाँ अस्वीकृत नमूना चुने गए नमूने से स्वतंत्र रूप से लिया जाता है। इन सेटिंग्स में, लेखक BT लॉस के पॉपुलेशन मिनिमाइज़र के लिए स्पष्ट क्लोज्ड-फॉर्म एक्सप्रेशन निकालते हैं।
2. व्यावहारिक वेरिएंट्स का विश्लेषण: व्यावहारिक Best-vs-Random और Best-vs-Worst सेटिंग्स तक विस्तार करना। यहाँ, चुना गया और अस्वीकृत रिस्पॉन्स आपस में जुड़े (coupled) होते हैं (एक ही $N$ उम्मीदवारों के सेट से लिए जाते हैं), जिसका अर्थ है कि सटीक BT प्रतिनिधित्व सामान्यतः विफल हो जाता है। लेखक दिखाते हैं कि जैसे-जैसे $N$ बढ़ता है, इन व्यावहारिक सेटिंग्स के मिनिमाइज़र इंडिपेंडेंट वेरिएंट्स के टारगेट्स की ओर अभिसरित (converge) होते हैं।
3. ट्रेड-ऑफ़ का लक्षण वर्णन (Characterizing Trade-offs): यह जांचना कि कैसे पैरामीटर $N$ प्रेरित प्रेफरेंस डिस्ट्रीब्यूशन के मार्जिन और कनेक्टिविटी को एक साथ प्रभावित करता है।
4. प्रायोगिक सत्यापन (Experimental Validation): सिंथेटिक डेटा और वास्तविक दुनिया के डेटासेट्स (UltraFeedback, PKU-SafeRLHF, GSM8K) पर $N$ को बदलकर और बेस डिस्ट्रीब्यूशन को नया आकार देकर सैद्धांतिक भविष्यवाणियों को सत्यापित करना।

मुख्य योगदान (Key Contributions)

1. रिवॉर्ड टारगेट्स का लक्षण वर्णन

• इंडिपेंडेंट वेरिएंट्स: Best-vs-Independent के लिए, प्रेरित रिवॉर्ड टारगेट $r^*_{BI}$ को बेस डिस्ट्रीब्यूशन के सापेक्ष Best-of-N डिस्ट्रीब्यूशन के लॉग-रेशियो के रूप में दिखाया गया है: $r^*_{BI}(x, y) = \log \frac{P_{BoN}(y|x)}{P_{base}(y|x)} + c(x)$। महत्वपूर्ण रूप से, यह टारगेट अंतर्निहित ग्राउंड-ट्रुथ रिवॉर्ड $r^*$ के रैंकिंग को सुरक्षित रखता है।
• व्यावहारिक वेरिएंट्स: Best-vs-Random और Best-vs-Worst के लिए, नमूनों के जुड़ाव (coupling) के कारण पॉपुलेशन मिनिमाइज़र सरल क्लोज्ड-फॉर्म प्रदान नहीं करते हैं। हालांकि, लेखक सिद्ध करते हैं कि जैसे-जैसे $N$ बढ़ता है, इन सेटिंग्स के मिनिमाइज़र मार्जिन सेमी-नॉर्म में इंडिपेंडेंट वेरिएंट्स के टारगेट्स के करीब पहुँच जाते हैं। विशेष रूप से, Best-vs-Random के लिए दूरी $O(1/N)$ के रूप में घटती है और Best-vs-Worst के लिए तेजी से (exponentially) घटती है।

2. मार्जिन-कनेक्टिविटी ट्रेड-ऑफ़ (The Margin-Connectivity Trade-off)

पेपर $N$ द्वारा नियंत्रित एक मौलिक ट्रेड-ऑफ़ की पहचान करता है:

• मार्जिन (Margin): $N$ बढ़ाने से पेयरवाइज मार्जिन बढ़ता है। दो परिणामों $y$ और $y'$ के बीच का मार्जिन $N$ के साथ रैखिक रूप से बढ़ता है, जो "बिटवीन मास" (दो रिवॉर्ड स्कोर के बीच स्थित बेस डिस्ट्रीब्यूशन का द्रव्यमान) द्वारा स्केल होता है। बड़े मार्जिन व्यक्तिगत तुलनाओं को अधिक सूचनात्मक और अनुमान त्रुटि (estimation error) के प्रति अधिक मजबूत बनाते हैं।
• कनेक्टिविटी (Connectivity): $N$ बढ़ाने से कनेक्टिविटी कम होती है। जैसे-जैसे $N$ बढ़ता है, BoN सैंपलिंग हाई-रिवॉर्ड परिणामों पर केंद्रित हो जाती है, जबकि Worst-of-N लो-रिवॉर्ड परिणामों पर केंद्रित हो जाती है। यह देखे गए तुलनाओं के दायरे को संकुचित कर देता है, जिससे मध्यवर्ती जोड़े (intermediate pairs) कम प्रतिनिधित्व वाले रह जाते हैं। कनेक्टिविटी की डिग्री $N$ के साथ तेजी से (exponentially) घटती है।

3. डिज़ाइन सिद्धांत (Design Principles)

इस ट्रेड-ऑफ़ के आधार पर, लेखक दो क्रियाशील डिज़ाइन सिद्धांत प्रस्तावित करते हैं:

• संसाधन बाधा सिद्धांत (Resource Bottleneck Principle): इष्टतम $N$ प्रेफरेंस लेबल की दुर्लभता पर निर्भर करता है।
  • लेबल-सीमित शासन (Label-Limited Regime): जब मानव एनोटेशन बाधा हो (छोटा सैंपल साइज $n$), तो बड़ा $N$ बेहतर होता है। बढ़ा हुआ मार्जिन सीमित डेटा के कारण होने वाली उच्च अनुमान त्रुटि को दूर करने में मदद करता है, भले ही कनेक्टिविटी कम हो जाए।
  • जेनरेशन-सीमित शासन (Generation-Limited Regime): जब लेबल सस्ते या स्वचालित हों (बड़ा $n$), तो छोटा $N$ बेहतर होता है। जब डेटा प्रचुर मात्रा में हो, तो बड़े $N$ से होने वाला कनेक्टिविटी नुकसान, मार्जिन के लाभ से अधिक प्रभावी होता है; बचे हुए कंप्यूट बजट का उपयोग छोटे $N$ के साथ अधिक ट्रिपलेट्स एकत्र करने के लिए करना अधिक कुशल है।
• बिटवीन-मास सिद्धांत (Between-Mass Principle): बेस डिस्ट्रीब्यूशन को मार्जिन को चुनिंदा रूप से बढ़ाने के लिए आकार दिया जा सकता है। दो रिस्पॉन्स के बीच प्रेरित मार्जिन रिवॉर्ड ऑर्डर में उनके बीच रखे गए बेस-डिस्ट्रीब्यूशन मास की मात्रा के साथ बढ़ता है। चिकित्सकों को बेस डिस्ट्रीब्यूशन को इस तरह आकार देना चाहिए कि वह लक्षित मूल्यांकन वितरण (target evaluation distribution) के लिए महत्वपूर्ण रिस्पॉन्स पेयर्स के बीच मास रखे (उदाहरण के लिए, सुरक्षा कार्यों के लिए हानिकारक और स्वीकार्य आउटपुट के बीच)।

परिणाम (Results)

• सिंथेटिक डेटा: प्रयोग अनुमानित ट्रेड-ऑफ़ की पुष्टि करते हैं। छोटे सैंपल साइज ($n$) के लिए, बड़ा $N$ उच्च टेस्ट सटीकता देता है। जैसे-जैसे $n$ बढ़ता है, इष्टतम $N$ कम होता जाता है, और पर्याप्त बड़े $n$ के लिए, छोटा $N$ (जैसे, $N=2$) बेहतर कनेक्टिविटी के कारण बड़े $N$ (जैसे, $N=8$) से बेहतर प्रदर्शन करता है।
• वास्तविक दुनिया का डेटा: UltraFeedback पर भी यही रुझान दिखता है: बड़ा $N$ छोटे-डेटा शासन में लाभ पहुँचाता है, जबकि छोटा $N$ बड़े-डेटा शासन में प्रतिस्पर्धी या बेहतर होता है।
• बेस डिस्ट्रीब्यूशन रीशेपिंग: सुरक्षा (PKU-SafeRLHF), रीजनिंग (GSM8K), और जनरल (UltraFeedback) कार्यों पर प्रयोग दर्शाते हैं कि टास्क-क्रिटिकल तुलनाओं के लिए "बिटवीन मास" बढ़ाने के लिए बेस डिस्ट्रीशन को आकार देने से टेस्ट सटीकता में सुधार होता है। उदाहरण के लिए, सुरक्षा कार्यों में, "औसत" (दोषपूर्ण लेकिन खतरनाक नहीं) रिस्पॉन्स को अपसैंपल करने से हानिकारक और स्वीकार्य आउटपुट के बीच मार्जिन बढ़ गया, जिससे प्रदर्शन में सुधार हुआ।

महत्व (Significance)

यह पेपर Best-of-N प्रेफरेंस डेटा से रिवॉर्ड लर्निंग के लिए एक लर्निंग-थ्योरेटिक आधार प्रदान करता है। यह "अधिक उम्मीदवार हमेशा बेहतर होते हैं" के ह्यूरिस्टिक विचार से आगे बढ़कर यह कठोरता से परिभाषित करता है कि प्रेरित रिवॉर्ड टारगेट्स क्या हैं और सैंपल कॉम्प्लेक्सिटी के ट्रेड-ऑफ़ क्या हैं।

इसका महत्व निम्नलिखित में है:

1. सिग्नल को स्पष्ट करना: यह पहचानता है कि रिवॉर्ड लर्निंग BoN डेटा से वास्तव में क्या सिग्नल प्राप्त करती है, यह दिखाते हुए कि जबकि रैंकिंग सुरक्षित रहती है, विशिष्ट रिवॉर्ड फंक्शन $N$ और बेस डिस्ट्रीब्यूशन पर निर्भर करता है।
2. डेटा डिज़ाइन का मार्गदर्शन करना: यह चिकित्सकों को संसाधन बाधाओं के आधार पर $N$ चुनने और विशिष्ट डाउनस्ट्रीम कार्यों के लिए लर्निंग दक्षता को अधिकतम करने के लिए बेस डिस्ट्रीब्यूशन को इंजीनियर करने के बारे में ठोस, सिद्धांतगत दिशानिर्देश प्रदान करता है।
3. सिद्धांत और व्यवहार को जोड़ना: यह मार्जिन और कनेक्टिविटी जैसी अमूर्त अवधारणाओं को Best-of-N सैंपलिंग की व्यावहारिक कार्यप्रणाली से जोड़ता है, यह समझाता है कि कुछ शासन में बहुत बड़े $N$ के साथ प्रदर्शन क्यों गिर सकता है और इसे कैसे कम किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि प्रेफरेंस-डेटा निर्माण केवल एक संग्रह विवरण नहीं है, बल्कि एक महत्वपूर्ण डिज़ाइन लीवर है जो यह आकार देता है कि क्या रिवॉर्ड सीखा जाता है और उसे कितनी कुशलता से सीखा जा सकता है।