🤖 AI

Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration

यह शोध पत्र CapCal को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो कंटेंट-अग्नोस्टिक प्लेसहोल्डर्स का उपयोग करके लॉजिट्स (logits) को कैलिब्रेट करके जनरेटिव लिस्टवाइज रीरैंकर्स से अंतर्निहित स्थिति पूर्वाग्रह (intrinsic position bias) को यांत्रिक रूप से अलग करता है, जिससे बिना किसी इन्फरेंस लेटेंसी के रैंकिंग प्रदर्शन और हल्के मॉडल दक्षता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Hang Lv, Hongchao Gu, Ruiqing Yang, Liangyue Li, Zulong Chen, Defu Lian, Hao Wang, Enhong Chen

प्रकाशित 2026-04-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hang Lv, Hongchao Gu, Ruiqing Yang, Liangyue Li, Zulong Chen, Defu Lian, Hao Wang, Enhong Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नौकरी के लिए 10 उम्मीदवारों का साक्षात्कार ले रहे हैं एक भर्ती प्रबंधक (hiring manager) के रूप में। आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अजीब स्वभाव वाले AI सहायक से उन्हें सबसे अच्छे से सबसे खराब के क्रम में रैंक करने के लिए कहते हैं।

आदर्श रूप से, AI को प्रत्येक उम्मीदवार के बायोडाटा (resume) को देखना चाहिए और कहना चाहिए, "उम्मीदवार #3 सबसे अच्छा है, उसके बाद #7 आता है, फिर #1।"

समस्या: "मिडल चाइल्ड" सिंड्रोम (The "Middle Child" Syndrome)
दुर्भाग्य से, इस AI की एक अजीब सनक है। इसे इस बात की उतनी परवाह नहीं है कि उम्मीदवार क्या कह रहे हैं, जितना कि इस बात की कि वे लाइन में कहाँ बैठे हैं।

यदि एक बेहतरीन उम्मीदवार सूची के बिल्कुल शुरुआत में है, तो AI उसे पसंद करता है।
यदि एक बेहतरीन उम्मीदवार बिल्कुल अंत में है, तो भी AI उसे पसंद करता है (शायद इसलिए क्योंकि वह आखिरी चीज़ थी जो उसने सुनी)।
लेकिन यदि एक प्रतिभाशाली उम्मीदवार सूची के बीच में बैठा है? तो AI उसे अनदेखा करने लगता है। यह "खो जाने की प्रक्रिया" (Lost in the Middle) जैसा है। AI सूची के क्रम से प्रभावित होता है, न कि सामग्री की गुणवत्ता से।

यह सर्च इंजन के लिए एक बड़ी समस्या है। यदि आप "बेहतरीन पिज्जा" खोजते हैं, और AI उस बेहतरीन पिज्जा की जगह को अनदेखा कर देता है क्योंकि वह परिणामों के बीच में सूचीबद्ध था, तो आप कभी भी सबसे अच्छा पिज्जा नहीं ढूंढ पाएंगे।

पुराने समाधान (और वे क्यों विफल रहे)
वैज्ञानिकों ने इस समस्या को ठीक करने के दो तरीके आजमाए, लेकिन दोनों के बड़े नुकसान थे:

"शफल और एवरेज" (Shuffle and Average) विधि: उन्होंने AI को 10 बार सूची को रैंक करने के लिए कहा, जिसमें हर बार क्रम को बदला (shuffle किया) गया, और फिर उनके परिणामों का औसत निकाला।
- चुनौती: यह वैसा ही है जैसे किसी शेफ से एक ही भोजन को 10 बार बनाने के लिए कहना ताकि वह एकदम सही रेसिपी प्राप्त कर सके। इसमें बहुत समय लगता है और यह वास्तविक समय (real-time) के उपयोग के लिए बहुत धीमा है।
"दिमाग को फिर से प्रशिक्षित करना" (Retrain the Brain) विधि: उन्होंने AI को शफल किए गए डेटा के साथ नए सबक सिखाने की कोशिश की ताकि वह क्रम को अनदेखा करना सीख सके।
- चुनौती: इसके लिए भारी कंप्यूटिंग पावर और समय की आवश्यकता होती है। इसके अलावा, छोटे, तेज़ AI मॉडल (जो सस्ते और त्वरित होते हैं) जिद्दी होते हैं; वे इस बुरी आदत को आसानी से भूल नहीं पाते।

नया समाधान: CapCal (एक "मौन पर्यवेक्षक" वाली ट्रिक)
लेखकों ने एक चतुर, "ट्रेनिंग-फ्री" ट्रिक विकसित की जिसे CapCal कहा जाता है। उन्होंने महसूस किया कि उन्हें AI को फिर से प्रशिक्षित करने या सूची को शफल करने की आवश्यकता नहीं है। उन्हें बस AI से उसके पूर्वाग्रह (bias) को मापने के लिए एक विशिष्ट प्रश्न पूछने की आवश्यकता थी।

यह कैसे काम करता है, यहाँ एक सरल उपमा (analogy) दी गई है:

उपमा: "खाली कमरा" परीक्षण (The "Empty Room" Test)

कल्पना कीजिए कि आप जानना चाहते हैं कि एक जज बोलने वालों के क्रम से कितना पक्षपाती है।

चरण 1: मानक परीक्षण। आप जज के सामने वास्तविक सबूत रखते हैं। जज एक स्कोर देता है। (यह AI वास्तविक दस्तावेजों को रैंक कर रहा है)।
चरण 2: "खाली कमरे" का परीक्षण। आप जज के सामने बिल्कुल वही कोर्टरूम सेटअप रखते हैं, लेकिन आप सभी सबूतों को कोरे कागजों से बदल देते हैं। आप जज से कहते हैं, "यहाँ 10 कोरे कागज हैं, इन्हें रैंक करें।"
- चूंकि कागज कोरे हैं, इसलिए जज के पास सामग्री के आधार पर किसी एक को प्राथमिकता देने का कोई कारण नहीं है।
- हालांकि, अपने पूर्वाग्रह के कारण, वे अभी भी कह सकते हैं, "मुझे कागज #1 और कागज #10 सबसे ज्यादा पसंद हैं, और कागज #5 बहुत बुरा है।"
- यह जज के शुद्ध "क्रम पूर्वाग्रह" (order bias) को प्रकट करता है।
चरण 3: सुधार। अब, आप वास्तविक परीक्षण पर वापस जाते हैं। आप वास्तविक सबूतों के लिए जज के स्कोर लेते हैं और उसमें से "खाली कमरे" के परीक्षण में मिले पूर्वाग्रह को घटा देते हैं।
- यदि जज ने कागज #5 को केवल इसलिए कम स्कोर दिया क्योंकि वह बीच में था, तो आप उसमें अंक वापस जोड़ देते हैं।
- यदि जज ने कागज #1 को इसलिए उच्च स्कोर दिया क्योंकि वह पहले स्थान पर था, तो आप उससे अंक वापस ले लेते हैं।

परिणाम: आपको एक ऐसी रैंकिंग मिलती है जो पूरी तरह से सामग्री (बायोडाटा) पर आधारित है, जो इसे प्रस्तुत किए जाने के क्रम को पूरी तरह से अनदेखा करती है।

यह पेपर क्यों महत्वपूर्ण है

यह तेज़ है: इसके लिए केवल "कोरे" डेटा पर एक अतिरिक्त त्वरित नज़र की आवश्यकता होती है। इसके लिए सूची को 10 बार शफल करने की आवश्यकता नहीं है। यह एक बार जज के पूर्वाग्रह की जांच करने और फिर पूरी सूची को तुरंत ठीक करने जैसा है।
यह छोटे मॉडलों पर काम करता है: आमतौर पर, छोटे, तेज़ AI मॉडल सबसे अधिक पक्षपाती होते हैं। यह विधि उनकी क्षमता को अनलॉक करती है, जिससे एक छोटा, सस्ता AI एक विशाल, महंगे AI के समान प्रदर्शन कर पाता है।
यह "प्लग-एंड-प्ले" है: आपको AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस इस "कैलिब्रेशन" चरण को किसी भी मौजूदा सिस्टम में जोड़ सकते हैं।

संक्षेप में:
यह पेपर AI के खोज परिणामों को "डी-बायस" (de-bias) करने का एक तरीका पेश करता है, जिसमें AI से पूछा जाता है, "यदि ये सभी खाली होते तो आप इन्हें कैसे रैंक करते?" और फिर उस उत्तर का उपयोग उसके वास्तविक रैंकिंग को ठीक करने के लिए किया जाता है। यह खोज परिणामों के "मिडल चिल्ड्रन" (बीच वाले बच्चों) को अनदेखा करने से रोकने का एक सरल, तेज़ और प्रभावी तरीका है।

यहाँ शोध पत्र "Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration" (CapCal) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ: जेनेरेटिव लिस्टवाइज़ रीरैंकिंग (Generative listwise reranking), जो दस्तावेज़ों की एक सूची का मूल्यांकन करने और उन्हें रैंक करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करती है, ने पारंपरिक पॉइंटवाइज़ और पेयरवाइज़ विधियों को पीछे छोड़ दिया है क्योंकि यह दस्तावेज़ों के बीच वैश्विक अंतर्निर्भरता (global inter-document dependencies) को पकड़ सकती है।
मुख्य समस्या: अपने लाभों के बावजूद, यह प्रतिमान अंतर्निहित स्थिति पूर्वाग्रह (intrinsic position bias) से ग्रस्त है। LLMs वास्तविक प्रासंगिकता के स्वतंत्र रूप से, इनपुट क्रम के प्रति एक संरचनात्मक संवेदनशीलता प्रदर्शित करते हैं। यह "लॉस्ट इन द मिडल" (Lost in the Middle) घटना के रूप में प्रकट होता है, जहाँ मॉडल संदर्भ के आरंभ या अंत के दस्तावेज़ों को व्यवस्थित रूप से प्राथमिकता देते हैं और मध्य में स्थित अत्यधिक प्रासंगिक दस्तावेज़ों की अनदेखी करते हैं।
मौजूदा समाधानों की सीमाएँ:

अनुमान-समय एकत्रीकरण (Inference-time Aggregation - जैसे कि Permutation Self-Consistency): यह कई शफल किए गए इनपुट परम्यूटेशन पर भविष्यवाणियों का औसत निकालकर पूर्वाग्रह को कम करता है। हालाँकि, इसमें अत्यधिक विलंबता (latency) होती है (जैसे कि 10x इन्फरेंस कॉल), जिससे यह वास्तविक समय के अनुप्रयोगों के लिए अव्यावहारिक हो जाता है।
प्रशिक्षण-आधारित विधियाँ (Training-based Methods): ये डेटा ऑग्मेंटेशन या आर्किटेक्चरल परिवर्तनों के माध्यम से ऑर्डर इनवेरिएंस (order invariance) लागू करने का प्रयास करती हैं। ये अक्सर गहरे तक जमी हुई प्राथमिकताओं (ingrained priors) को पूरी तरह से समाप्त करने में विफल रहती हैं, विशेष रूप से कॉम्पैक्ट (छोटे) मॉडल्स में, और इनमें लचीलेपन की कमी होती है क्योंकि नए बैकबोन मॉडल्स के लिए इन्हें भारी पुन: प्रशिक्षण की आवश्यकता होती है।

लक्ष्य: एक कुशल, ट्रेनिंग-फ्री (training-free) समाधान विकसित करना जो लिस्टवाइज़ रीरैंकिंग की सिंगल-पास दक्षता से समझौता किए बिना, पोजीशनल बायस को रैंकिंग निर्णयों से अलग कर सके।

2. कार्यप्रणाली: CapCal फ्रेमवर्क (Methodology: CapCal Framework)

लेखक CapCal (Content-Agnostic Probability Calibration) प्रस्तावित करते हैं, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जो पोजीशनल बायस को एक लक्षण के बजाय एक मापने योग्य घटक मानकर उसे यांत्रिक रूप से अलग करता है। इस प्रक्रिया में दो मुख्य चरण शामिल हैं:

A. अंतर्निहित पोजीशनल प्रायर्स का अनुमान (Estimation of Intrinsic Positional Priors)

सामग्री के अर्थ (semantic content) पर निर्भर रहने के बजाय, CapCal एक कंटेंट-फ्री प्लेसहोल्डर (content-free placeholders) का उपयोग करके मॉडल के अंतर्निहित पूर्वाग्रह को अलग करता है।

इनपुट निर्माण: एक मानक प्रॉम्प्ट बनाया जाता है जहाँ क्वेरी को रखा जाता है, लेकिन सभी कैंडिडेट दस्तावेज़ों की टेक्स्टुअल सामग्री को एक अर्थहीन प्लेसहोल्डर (जैसे कि खाली स्ट्रिंग या एक निश्चित डमी स्ट्रिंग) से बदल दिया जाता है, जबकि मूल दस्तावेज़ पहचानकर्ताओं (जैसे कि [1], [2]) को बरकरार रखा जाता है।
प्रायर लॉजिट्स (Prior Logits): फ्रीज किया गया LLM इस "खाली" इनपुट को प्रोसेस करता है। चूंकि यहाँ कोई सिमेंटिक सिग्नल नहीं है, इसलिए दस्तावेज़ इंडेक्स पर कोई भी प्रोबेबिलिटी डिस्ट्रीब्यूशन मॉडल के अंतर्निहित पोजीशनल प्रायर (intrinsic positional prior) को दर्शाता है (जैसे कि इंडेक्स 1 को इंडेक्स 5 पर प्राथमिकता देना)।

B. प्रायर डीकंपोजिशन के माध्यम से एडेप्टिव कैलिब्रेशन (Adaptive Calibration via Prior Decomposition)

CapCal स्टैंडर्ड रैंकिंग लॉजिट्स को अनुमानित बायस को घटाकर सुधारता है।

आइडेंटिफायर-लेवल प्रोबेबिलिटी अलाइनमेंट: चूंकि दस्तावेज़ पहचानकर्ता (identifiers) के टोकन की लंबाई भिन्न होती है (जैसे "9" बनाम "10"), यह विधि निष्पक्ष तुलना सुनिश्चित करने के लिए प्रत्येक कैंडिडेट के पूर्ण टोकन सीक्वेंस की जॉइंट प्रोबेबिलिटी की गणना करती है।
बायस डीकंपोजिशन: कैलिब्रेटेड स्कोर $S(d_i)$ को मूल प्रोबेबिलिटी में से बायस घटक को घटाकर प्राप्त किया जाता है:
$S(d_i) = P(d_i | x) - \alpha \cdot \left( P(d_i | x_{empty}) - \frac{1}{|C_k|} \right)$
जहाँ $P(d_i | x_{empty})$ प्रायर प्रोबेबिलिटी है, और $\frac{1}{|C_k|}$ सैद्धांतिक यूनिफॉर्म बेसलाइन का प्रतिनिधित्व करता है।
एन्ट्रॉपी-आधारित एडेप्टिव पेनल्टी: एक स्थिर पेनल्टी के बजाय, CapCal प्रेडिक्शन डिस्ट्रीब्यूशन के शैनन एन्ट्रॉपी (Shannon entropy) द्वारा नियंत्रित एक डायनेमिक कोएफिशिएंट $\alpha_k$ $α_{k}$ का उपयोग करता है।
- उच्च अनिश्चितता (फ्लैट डिस्ट्रीब्यूशन): मॉडल संभवतः पोजीशनल शॉर्टकट पर निर्भर है; $\alpha_k$ मजबूत कैलिब्रेशन लागू करने के लिए बढ़ जाता है।
- उच्च आत्मविश्वास: मॉडल सिमेंटिक प्रासंगिकता के प्रति आश्वस्त है; $\alpha_k$ मूल सिग्नल को सुरक्षित रखने के लिए घट जाता है।
कंस्ट्रेंड डिकोडिंग (Constrained Decoding): अंतिम आउटपुट को कंस्ट्रेंड डिकोडिंग का उपयोग करके जेनरेट किया जाता है ताकि यह सुनिश्चित हो सके कि सीक्वेंस इनपुट दस्तावेज़ों का एक वैध परम्यूटेशन बनाता है।

3. मुख्य योगदान (Key Contributions)

CapCal फ्रेमवर्क: एक अभिनव, ट्रेनिंग-फ्री मैकेनिज्म पेश किया जो कंटेंट-अग्नोस्टिक प्लेसहोल्डर्स का उपयोग करके पोजीशनल बायस को स्पष्ट रूप से अलग और घटाता है, जिससे रिट्रेनिंग या महंगे एकत्रीकरण की आवश्यकता समाप्त हो जाती है।
छोटे मॉडल्स को सक्षम बनाना: यह प्रदर्शित किया गया कि स्पष्ट बायस सुधार छोटे मॉडल्स (जैसे 0.6B पैरामीटर्स) के प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है, जिससे वे बड़े बेसलाइन्स का मुकाबला करने में सक्षम होते हैं और जेनेरेटिव रीरैंकिंग की स्केलेबिलिटी को बढ़ाते हैं।
इम्प्लिसिट अडैप्टेशन पर श्रेष्ठता: यह प्रमाण दिया कि हाइ-बायस परिदृश्यों में, विशेष रूप से कॉम्पैक्ट मॉडल्स में, परम्यूटेशन-आधारित डेटा ऑग्मेंटेशन की तुलना में इन्फरेंस-टाइम कैलिब्रेशन अधिक प्रभावी है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन 10 बेंचमार्क (MS MARCO और BEIR) पर Qwen मॉडल्स (Qwen 0.6B से 8B तक) का उपयोग करके किया गया।

प्रदर्शन लाभ: CapCal ने ट्रेनिंग-फ्री विधियों में श्रेष्ठ प्रदर्शन किया। विशेष रूप से, Qwen3-0.6B मॉडल पर, इसने हाई-बायस परिदृश्यों (जैसे MS MARCO V2, Climate-FEVER) में 10 अंक से अधिक का एब्सोल्यूट NDCG गेन दिया।
दक्षता: एकत्रीकरण विधियों (जैसे Permutation Self-Consistency) के विपरीत, जिसमें 10+ फॉरवर्ड पास की आवश्यकता होती है, CapCal के लिए केवल एक अतिरिक्त फॉरवर्ड पास (खाली इनपुट के लिए) की आवश्यकता होती है और यह फाइनल रैंकिंग के लिए सिंगल-पास दक्षता बनाए रखता है।
बेसलाइन्स के साथ तुलना:
- एकत्रीकरण (Aggregation) के विरुद्ध: CapCal ने Permutation Self-Consistency के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन किया, जबकि यह काफी तेज़ था।
- प्रशिक्षण-आधारित (Training-based) के विरुद्ध: यहाँ तक कि परम्यूटेशन-ऑगमेंटेड डेटा (जैसे RankZephyr) के साथ फाइन-ट्यून किए गए मॉडल्स भी अवशेष बायस (residual bias) प्रदर्शित करते रहे, जिसे CapCal सफलतापूर्वक ठीक करने में सफल रहा।
मजबूती (Robustness): विधि निम्नलिखित के विरुद्ध मजबूत साबित हुई:
- इनपुट डिस्ट्रीब्यूशन शिफ्ट (विभिन्न रिट्राइवर क्वालिटी)।
- इनपुट ऑर्डर का रैंडम शफलिंग।
- प्लेसहोल्डर कंटेंट और लंबाई में भिन्नता।
- आइडेंटिफायर फॉर्मेट में बदलाव (जैसे नंबरों से अल्फाबेट में स्विच करना)।

5. महत्व और निहितार्थ (Significance and Implications)

व्यावहारिक तैनाती (Practical Deployment): CapCal उन प्रोडक्शन सिस्टम के लिए एक "प्लग-एंड-प्ले" समाधान प्रदान करता है जहाँ लेटेंसी महत्वपूर्ण है। यह पोजीशनल बायस के कारण रैंकिंग की गुणवत्ता से समझौता किए बिना छोटे, सस्ते मॉडल्स का उपयोग करने की अनुमति देता है।
सैद्धांतिक अंतर्दृष्टि: यह कार्य पोजीशनल बायस को केवल डेटा के माध्यम से सीखने वाली त्रुटि के रूप में नहीं, बल्कि एक ऐसी संरचनात्मक आर्टिफैक्ट के रूप में देखता है जिसे गणितीय रूप से अलग और घटाया जा सकता है। यह सुझाव देता है कि "खालीपन से सीखना" (कंटेंट के बिना व्यवहार को देखना) जेनेरेटिव मॉडल्स को डी-बायस करने के लिए एक शक्तिशाली रणनीति है।
सामान्यीकरण (Generalizability): हालांकि यह रिट्रीवल पर केंद्रित है, कंटेंट-अग्नोस्टिक प्रायर का उपयोग करके स्ट्रक्चरल बायस को ठीक करने की कार्यप्रणाली सिफारिश प्रणालियों (recommendation systems), पर्सनलाइज्ड एजेंट्स और अन्य रैंकिंग कार्यों पर भी लागू की जा सकती है।

निष्कर्ष: CapCal लिस्टवाइज़ रीरैंकिंग में दक्षता-लचीलापन दुविधा (efficiency-flexibility dilemma) को हल करता है, जो एक हल्का, ट्रेनिंग-फ्री मैकेनिज्म प्रदान करता है जो अंतर्निहित पोजीशनल बायस को प्रभावी ढंग से बेअसर करता है, जिससे बड़े और छोटे दोनों जेनेरेटिव मॉडल्स की विश्वसनीयता में काफी सुधार होता है।