तकनीकी सारांश: कुशल PRP रेंकर के रूप में सक्रिय शिक्षार्थी (Active Learners)

समस्या विवरण

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) में, पहले चरण के रिट्रीवर द्वारा प्राप्त किए गए संभावित दस्तावेज़ों को फिर से रैंक करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का तेजी से उपयोग किया जा रहा है। मानक दृष्टिकोण, पेयरवाइज रैंकिंग प्रॉम्प्टिंग (PRP), एक LLM से पेयरवाइज प्राथमिकता निर्णय प्राप्त करता है और शास्त्रीय सॉर्टिंग एल्गोरिदम (जैसे BubbleSort, QuickSort, HeapSort) का उपयोग करके उन्हें एक रैंकिंग में एकत्रित करता है।

हालाँकि, यह पाइपलाइन एक संरचनात्मक विसंगति (structural mismatch) से ग्रस्त है। सॉर्टिंग एल्गोरिदम ट्रांसिटिव (transitive) और नियत (deterministic) तुलनाओं को मानते हैं, जबकि LLM के निर्णय स्टोकेस्टिक (stochastic), शोर युक्त (noisy) और अक्सर गैर-ट्रांसिटिव होते हैं। इसके अलावा, LLMs में महत्वपूर्ण 'ऑर्डर इफेक्ट्स' (पोजीशन बायस) देखे जाते हैं, जहाँ दस्तावेज़ों की प्रस्तुति क्रम को बदलने से प्राथमिकता बदल सकती है। इस समस्या को कम करने के लिए, मानक PRP अक्सर द्विदिश प्रॉम्प्टिंग (दो कॉल प्रति जोड़ा) का उपयोग करता है, जो अनुमान लागत (inference cost) को दोगुना कर देता है।

मुख्य समस्या यह है कि सॉर्टिंग एक पूर्ण क्रम (full permutation) को पुनः प्राप्त करने का लक्ष्य रखती है, जबकि RAG अनुप्रयोगों में, लक्ष्य आमतौर पर एक उच्च-गुणवत्ता वाला टॉप-$K$ उपसमुच्चय (subset) प्राप्त करना होता है। LLM कॉल्स के एक सख्त बजट (जहाँ लागत और विलंबता मुख्य रूप से इन्फरेंस द्वारा संचालित होती है) के तहत, सॉर्टिंग एक अस्थिर वैश्विक क्रम को "पॉलिश" करने में संसाधन बर्बाद करती है, बजाय इसके कि शीर्ष-$K$ वस्तुओं की पहचान करने पर ध्यान केंद्रित करे। इसके अतिरिक्त, ट्रांसिटिविटी की धारणा अविश्वसनीय रैंकिंग की ओर ले जाती है जब अंतर्निहित तुलनाएँ शोर युक्त होती हैं।

कार्यप्रणाली

लेखक PRP रेंकिंग को एक पूर्ण वैश्विक क्रम के बजाय शोर युक्त पेयरवाइज तुलनाओं से सर्वश्रेष्ठ-$K$ वस्तुओं की पहचान करने पर केंद्रित एक सक्रिय शिक्षण (active learning) समस्या के रूपए पुनर्गठित करते हैं।

1. सक्रिय रैंकिंग ढांचा (Active Ranking Framework)

एक निश्चित सॉटिंग शेड्यूल के बजाय, प्रस्तावित दृष्टिकोण एक निश्चित कॉल बजट ($B$) के भीतर सर्वश्रेष्ठ-$K$ वस्तुओं की पहचान करने के लिए यह चुनता है कि किन दस्तावेज़ जोड़ों (document pairs) को क्वेरी किया जाए। यह ढांचा तीन मानदंडों पर निर्भर करता है:

• टॉप-$K$ उद्देश्य: एल्गोरिदम पूरे वैश्विक क्रम के बजाय सर्वश्रेष्ठ-$K$ वस्तुओं की पहचान (प्रिफिक्स आइडेंटिफिकेशन) को लक्षित करता है।
• शोर सहिष्णुता (Noise Tolerance): विधि पेयर-कंसिस्टेंसी ($p_{ij} = 1 - p_{ji}$) के तहत कार्य करती है और किसी वैश्विक ट्रांसिटिव क्रम को नहीं मानती है।
• एनीटाइम व्यवहार (Anytime Behavior): सिस्टम तुलनाओं के संचय होने के साथ ही एक प्रतिस्पर्धी टॉप-$K$ सूची आउटपुट करता है।

दो सक्रिय रेंकर्स का मूल्यांकन सॉर्टिंग एल्गोरिदम के 'ड्रॉप-इन रिप्लेसमेंट' के रूप में किया गया है:

• मोहजेर (टूर्नामेंट-आधारित): मोहजेर एट अल. (2017) पर आधारित, यह एल्गोरिदम हीप एक्सट्रैक्शन के साथ टूर्नामेंट के माध्यम से सर्वश्रेष्ठ-$K$ की पहचान करता है। यह अनुकूल रूप से (adaptively) टॉप-$K$ सीमा के पास के उम्मीदवारों (वार्म-अप चरण) पर तुलनाओं को केंद्रित करता है और संभावित दावेदारों पर ध्यान केंद्रित करता है।
• PAC + Bubble (एंकर-आधारित): अग्रवाल एट अल. (2022) पर आधारित, यह विधि एक शून्य-लागत प्रायर (जैसे BM25 स्कोर) का उपयोग करके "एंकर" को परिभाषित करती है और उम्मीदवारों के एक उपसमुच्चय (शीर्ष $K \times m$) तक तुलनाओं को सीमित करती है। यह एक अव्यवस्थित सेट लौटाता है, जिसे फिर BubbleSort का उपयोग करके सॉर्ट किया जाता है।

2. रैंडमाइज्ड-डायरेक्शन ओरकल (Randomized-Direction Oracle)

ऑर्डर इफेक्ट्स को संबोधित करने के लिए, बिना द्विदिश प्रॉम्प्टिंग की लागत के, लेखक एक रैंडमाइज्ड-डायरेक्शन ओरकल पेश करते हैं।

• तंत्र: प्रत्येक जोड़े $\{d_i, d_j\}$ के लिए, LLM को एक बार क्वेरी किया जाता है। इनपुट क्रम को रैंडमाइज किया जाता है: $0.5$की प्रायिकता के साथ, प्रॉम्प्ट$(d_i, d_j)$होता है; अन्यथा, यह$(d_j, d_i)$ होता है। आउटपुट को सीधे लिया जाता है।
• सैद्धांतिक गारंटी: हालांकि व्यक्तिगत कॉल पोजीशन-बायस्ड हो सकते हैं, लेकिन रैंडमाइजेशन यह सुनिश्चित करता है कि एग्रीगेट एस्टीमेटर अपेक्षा में रेसिप्रोकल (reciprocal) है ($Pr[V_{ij}=1] = 1 - Pr[V_{ji}=1]$)। यह व्यवस्थित पोजीशन बायस को जीरो-मीन नॉइज़ में बदल देता है, जिससे प्रति जोड़ा केवल एक कॉल के साथ निष्पक्ष एग्रीगेट रैंकिंग संभव होती है, न कि दो।

मुख्य योगदान

1. रेंकिंग का पुनर्गठन: यह पेपर स्थापित करता है कि PRP रेंकिंग को नियत सॉर्टिंग के बजाय बजट वाले सक्रिय शिक्षण के रूप में बेहतर ढंग से मॉडल किया जा सकता है।
2. सक्रिय रेंकर्स: लेखक प्रदर्शित करते हैं कि सक्रिय रेंकर्स (विशेष रूप से मोहजेर एल्गोरिदम) कॉल-सीमित शासन में सॉर्टिंग एल्गोरिदम के प्रभावी ड्रॉप-इन रिप्लेसमेंट हैं, जो टॉप-$K$ गुणवत्ता में काफी सुधार करते हैं।
3. कुशल ओरकल: रैंडमाइज्ड-डायरेक्शन ओरकल का परिचय ऑर्डर इफेक्ट्स को संभालने की लागत को 50% (एक कॉल बनाम दो) कम कर देता है, जबकि एग्रीगेट अनबायस्डनेस बनाए रखता है।
4. अनुभवजन्य सत्यापन: व्यापक प्रयोग दिखाते हैं कि सक्रिय रेंकर्स सॉर्टिंग बेसलाइन्स की तुलना में कम कॉल्स के साथ उच्च NDCG@10 प्राप्त करते हैं।

परिणाम

प्रयोग TREC DL2019/2020 और BEIR-शैली के कार्यों पर Flan-T5-L/XL और Qwen मॉडल्स का उपयोग करके किए गए।

• कॉल-सीमित शासन ($B \approx 200\text{--}450$):
  • मोहजेर सॉर्टिंग बेसलाइन्स को काफी पीछे छोड़ देता है। $B=300$ कॉल्स पर Flan-T5-XL के साथ TREC DL2019/2020 पर, मोहजेर ने 66.09 NDCG@10 प्राप्त किया, जबकि BubbleSort ने 56.42 प्राप्त किया (+9.7 अंक की वृद्धि)।
  • सक्रिय रेंकर्स QuickSort की तुलना में 7$\times$ कम कॉल्स के साथ प्रतिस्पर्धी गुणवत्ता तक पहुँच जाते हैं।
• रैंडमाइज्ड-डायरेक्शन ओरकल का प्रभाव:
  • सॉर्टिंग बेसलाइन्स के लिए, रैंडमाइज्ड ओरकल समान बजट पर अधिक जोड़ों को कवर करके गुणवत्ता में सुधार करता है (उदाहरण के लिए, $B=300$ पर BubbleSort 56.4 से बढ़कर 62.0 हो गया)।
  • सक्रिय रेंकर्स के लिए, प्रभाव अधिक स्पष्ट है। रैंडमाइज्ड ओरकल के साथ मोहजेर ने $B=250$ पर अपनी पीक क्वालिटी (68.0) प्राप्त की, जबकि द्विदिश संस्करण को समान सीलिंग (66.96) तक पहुँचने के लिए $B=450$ की आवश्यकता थी। यह पीक प्रदर्शन तक पहुँचने के लिए आवश्यक कॉल्स में 44% की कमी का प्रतिनिधित्व करता है।
• उच्च बजट: जब बजट इतना बड़ा होता है ($B \ge 500$) कि वैश्विक परिशोधन (global refinement) की अनुमति मिल सके, तो सॉर्टिंग एल्गोरिदम (जैसे HeapSort) बराबरी कर सकते हैं या थोड़ा अधिक प्रदर्शन कर सकते हैं, क्योंकि पूर्ण क्रम को पॉलिश करने की लागत वहनीय हो जाती है।
• एंड-टू-एंड दक्षता: पूर्ण RAG पाइपलाइनों में, सक्रिय रेंकर्स (मोहजेर + रैंडमाइज्ड) ने औसत कॉल प्रति कार्य ~941 (BubbleSort) से घटाकर 232 कर दिया, जबकि NDCG@10 को बनाए रखा या सुधारा।

महत्व और दावे

यह पेपर तर्क देता है कि RAG पाइपलाइनों में PRP तैनात करने वाले पेशेवरों के लिए, इष्टतम रणनीति उपलब्ध कॉल बजट पर निर्भर करती है:

• कम से मध्यम बजट: सक्रिय रैंकिंग (विशेष रूप से मोहजेर) एक रैंडमाइज्ड-डायरेक्शन ओरकल के साथ, श्रेष्ठ विकल्प है, जो काफी कम विलंबता और लागत के साथ उच्च-गुणवत्ता वाले टॉप-$K$ परिणाम प्रदान करता है।
• बहुत कम बजट: यदि बजट "वार्म-अप थ्रेशोल्ड" (लगभग 100 कॉल्स $N=100, K=10$ के लिए) से नीचे है, तो सॉर्टिंग बेहतर हो सकती है, जहाँ सक्रिय एल्गोरिदम अभी तक अभिसरण (converge) नहीं हुए हैं।
• बहुत उच्च बजट: सॉर्टिंग फिर से व्यवहार्य हो जाती है क्योंकि वैश्विक परिशोधन का लाभ मिलता है।

लेखक दावा करते हैं कि उनका दृष्टिकोण कुशल रेंकिंग के लिए एक "सरल रेसिपी" प्रदान करता है: जब बजट वार्म-अप थ्रेशोल्ड से अधिक हो, तो मोहजेर के साथ रैंडमाइज्ड ओरकल का उपयोग करें, और केवल तभी सॉर्टिंग पर वापस जाएँ जब बजट अत्यंत छोटा हो या वैश्विक परिशोधन को उचित ठहराने के लिए पर्याप्त बड़ा हो। यह कार्य इस बात पर प्रकाश डालता है कि PRP में प्रमुख लागत स्वयं LLM कॉल है, और इन कॉल्स के शेड्यूल को अनुकूलित करना (सक्रिय शिक्षण के माध्यम से) केवल कंपैरेटर मॉडल को अनुकूलित करने की तुलना में अधिक लाभ देता है।

सीमाएँ

लेखक कई सीमाओं का उल्लेख करते हैं:

• अध्ययन एक विश्वसनीय पेयरवाइज LLM कंपैरेटर मानता है; परिणाम प्रॉम्प्ट डिज़ाइन या मॉडल परिवारों के साथ भिन्न हो सकते हैं।
• लागत मेट्रिक्स LLM कॉल्स को गिनते हैं लेकिन सिस्टम-स्तरीय ओवरहेड्स (बैचिंग, नेटवर्क विलंबता) को छोड़ देते हैं; विलंबता अनुमान अनुक्रमिक ऊपरी सीमाएँ (sequential upper bounds) हैं।
• ओरकल आउटपुट्स के लिए रैंडमाइज्ड-डायरेक्शन प्रॉम्प्टिंग का सैद्धांतिक लाभ अनुभवजन्य रूप से देखा गया है, लेकिन पूरी तरह से सिद्ध नहीं हुआ है।
• PAC पद्धति एक उम्मीदवार पूल आकार के लिए हाइपरपैरामीटर ($m$) पर निर्भर करती है, जिसका व्यवस्थित एब्लेशन नहीं किया गया था।
• वास्तविक दुनिया के LLM API छिपे हुए स्टेट्स या कैशिंग के कारण ओरकल आउटपुट्स की कंडीशनल इंडिपेंडेंस धारणा का उल्लंघन कर सकते हैं।