PAIR: Pairwise-Aware Inclusion Reweighting for Adaptive Rollout Allocation in RLVR

कल्पना कीजिए कि आप एक रोबोट शेफ को एक आदर्श सूफ़ले (soufflé) बनाना सिखाने के लिए एक विशाल कुकिंग प्रतियोगिता चला रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "वेरिफिएबल रिवार्ड्स के साथ रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning with Verifiable Rewards - RLVR) कहा जाता है। रोबोट एक व्यंजन बनाने की कोशिश करता है, एक कंप्यूटर जज उसे चखता है, और यदि वह अच्छा है, तो रोबोट को एक अंक मिलता है। तेजी से सीखने के लिए, रोबोट केवल एक व्यंजन नहीं बनाता; वह एक साथ कई व्यंजनों का एक पूरा समूह बनाता है। फिर, वह उस समूह को देखता है और कहता है, "ठीक है, यह सबसे अच्छा था, और वह सबसे खराब था। मैं उनके बीच के अंतर से सीखूँगा।"

कठिन हिस्सा यह है कि ये व्यंजन बनाना महंगा है। रेसिपी का हर एक चरण उत्पन्न करने के लिए बहुत अधिक कंप्यूटर पावर और समय लगता है। इसलिए, शोधकर्ता यह तय करने में समझदारी दिखाने की कोशिश कर रहे हैं कि कौन सी रेसिपी पूरी की जाए। आमतौर पर, वे किसी रेसिपी की शुरुआत (प्रिफिक्स/prefix) को देखते हैं और अनुमान लगाते हैं, "यह आशाजनक लग रही है, चलिए इसे पूरा करते हैं," या "यह उबाऊ लग रही है, चलिए इसे यहीं रोक देते हैं।" वे प्रत्येक रेसिपी को एक अलग प्रतियोगी के रूप में देखते हैं। लेकिन क्या होगा अगर किसी रेसिपी का मूल्य अपने आप में कितना अच्छा है, इस पर नहीं, बल्कि अपने पड़ोसियों के साथ तुलना करने पर निर्भर करता है? क्या होगा अगर असली सबक एक रेसिपी में नहीं, बल्कि दो रेसिपीओं के जोड़े (pair) में छिपा हो? यह एक पहेली है जिसे एक नया पेपर हल करने की कोशिश कर रहा है।

PAIR (पैरवाइज़-अवेयर इंक्लूजन रीवेटिंग) नामक पेपर तर्क देता है कि रेसिपी चुनने का पुराना तरीका एक महत्वपूर्ण सांख्यिकीय ट्रिक को मिस कर रहा है। लेखकों ने पाया कि जब एक रोबोट एक समूह से सीखता है, तो वह वास्तव में व्यक्तिगत व्यंजनों से नहीं सीख रहा होता है; वह समूह में मौजूद हर संभावित जोड़ी के बीच के संबंधों से सीख रहा होता है। यह एक डांस फ्लोर की तरह है जहाँ मज़ा इस बात में नहीं है कि एक व्यक्ति कितनी अच्छी तरह नाचता है, बल्कि हर संभावित जोड़े के बीच के तालमेल (chemistry) में है।

वर्तमान तरीकों के साथ समस्या यह है कि वे एक ऐसे बाउंसर की तरह काम करते हैं जो केवल "सबसे अच्छे दिखने वाले" डांसर्स को ही अंदर आने देता है। यदि बाउंसर अपने पहले कुछ कदमों के आधार पर केवल शीर्ष डांसर्स को चुनता है, तो वे सभी एक ही तरह से नाचने वाले लोगों का समूह बन जाते हैं। इसमें कोई कंट्रास्ट (विपरीतता), कोई तनाव नहीं होता, और इसलिए सीखने के लिए कोई दिलचस्प सबक नहीं बचता। पेपर दिखाता है कि कुछ रेसिपी के लिए जनरेशन को जल्दी रोकने और दूसरों को पूरा करने से, शोधकर्ता अनजाने में एक पक्षपाती समूह बना रहे थे जहाँ "जोड़े" अब रैंडम (यादृच्छिक) नहीं रह गए थे। वे ऐसे जोड़े चुन रहे थे जो बहुत समान थे, जिससे गणित बिगड़ गया।

इसे ठीक करने के लिए, लेखकों ने PAIR नामक एक नया सिस्टम बनाया। केवल यह अनुमान लगाने के बजाय कि कौन सी एकल रेसिपी सबसे अच्छी है, PAIR पूरे समूह को कनेक्शन के एक विशाल जाल (web) के रूप में देखता है। कल्पना कीजिए कि एक ग्राफ है जहाँ हर रेसिपी एक बिंदु (vertex) है और दो रेसिपीओं के बीच की हर संभावित तुलना उन्हें जोड़ने वाली एक रेखा (edge) है। कंप्यूटर के काम की लागत बिंदुओं (रेसिपी) को उत्पन्न करने के लिए चुकाई जाती है, लेकिन सीखने का मूल्य रेखाओं (तुलनाओं) पर होता है।

व्यवहार में PAIR कैसे काम करता है, यहाँ दिया गया है:

1. टेस्ट ऑफ टेस्ट (स्वाद परीक्षण): सिस्टम प्रत्येक संभावित रेसिपी के लिए एक छोटा "प्रिफिक्स" उत्पन्न करता है—बस स्वाद का अहसास करने के लिए पर्याप्त।
2. क्रिस्टल बॉल (भविष्यवाणी): इन छोटे शुरुआती हिस्सों का उपयोग करके, एक छोटा प्रेडिक्टर दो चीजें अनुमानित करता है: "क्या यह रेसिपी संभवतः सफल होगी?" और "इसे पूरा करने में कितनी अधिक कंप्यूटर पावर लगेगी?"
3. स्मार्ट बजट: सबसे "अच्छे" लोगों को चुनने के बजाय, PAIR एक चतुर गणितीय तकनीक (कॉन्वेक्स डिज़ाइन) का उपयोग यह तय करने के लिए करता है कि किन रेसिपी को पूरा किया जाए। यह सुनिश्चित करता है कि भले ही कोई रेसिपी जोखिम भरी लगे, फिर भी उसे पूरा करने का एक छोटा सा मौका बना रहे। यह महत्वपूर्ण है क्योंकि यह "वेब" के कनेक्शनों को खुला रखता है।
4. करेक्शन (सुधार): यही जादुई सॉस है। क्योंकि सिस्टम ने हर रेसिपी को नहीं चुना, इसलिए कुछ कनेक्शन (जोड़े) गायब हैं। PAIR सटीक रूप से गणना करता है कि प्रत्येक जोड़ी को देखना कितना संभावित था और उस नंबर का उपयोग करके सीखने को "री-वेट" (पुनः भारित) करता है। यदि किसी जोड़ी को देखना कठिन था, तो उसके सबक को अधिक महत्व दिया जाता है ताकि गायब डेटा की भरपाई की जा सके।

परिणाम प्रभावशाली हैं। Qwen3-1.7B और Qwen3-4B जैसे AI मॉडल का उपयोग करके किए गए परीक्षणों में, PAIR ने मानक पद्धति की तुलना में लगभग 51% से 52% कम जेनरेटेड टोकन (कंप्यूटर स्टेप्स) का उपयोग करते हुए रोबोट शेफ को स्मार्ट बनाने में सफलता प्राप्त की। इसने मॉडल की औसत सटीकता को अगली सर्वश्रेष्ठ विधि की तुलना में +1.2 से +1.4 अंक तक सुधार दिया।

लेखक बहुत सावधानी से यह स्पष्ट करते हैं कि यह केवल एक तुक्का नहीं है। उन्होंने गणितीय रूप से सिद्ध किया है कि उनका तरीका "डिज़ाइन-अनबायस्ड" (design-unbiased) है, जिसका अर्थ है कि यदि आप प्रयोग को पर्याप्त बार चलाते हैं, तो औसत परिणाम बिल्कुल सही लक्ष्य तक पहुँचेगा, भले ही आप डेटा के केवल एक अंश को देख रहे हों। उन्होंने एक "फ्रोजन पॉपुलेशन" ऑडिट भी चलाया, जो रेसिपी के एक निश्चित समूह का स्नैपशॉट लेने और फिर हजारों बार चयन प्रक्रिया को दोबारा चलाने जैसा है ताकि यह देखा जा सके कि गणित काम करता है या नहीं। इसने काम किया।

हालाँकि, पेपर यह चेतावनी भी देता है कि यह सिस्टम इस बात पर निर्भर करता है कि "क्रिस्टल बॉल" (प्रेडिक्टर) कितनी सटीक है। यदि प्रेडिक्टर यह अनुमान लगाने में बहुत खराब है कि कौन सी रेसिपी सफल होगी, तो सिस्टम अपना बजट गलत जोड़ियों पर बर्बाद कर सकता है। लेकिन जब प्रेडिक्टर अच्छा होता है, तो PAIR AI ट्रेनिंग की अराजक प्रक्रिया को एक अत्यधिक कुशल, गणितीय रूप से सुदृढ़ 'कनेक्ट-द-डॉट्स' के खेल में बदल देता है, जो यह साबित करता है कि कभी-कभी, सबसे अधिक सीखने के लिए, आपको सब कुछ देखने की आवश्यकता नहीं होती—आपको बस सही कनेक्शन देखने की आवश्यकता होती है।