💻 computer science

Attention Calibration for Position-Fair Dense Information Retrieval

यह शोध पत्र एक ट्यूनेबल स्ट्रेंथ कोएफिशिएंट (tunable strength coefficient) के साथ एक इन्फरेंस-टाइम अटेंशन कैलिब्रेशन विधि प्रस्तुत करता है जो कई भाषाओं और डोमेन में डेंस रिट्रीवल मॉडल्स में पोजीशनल बायस को प्रभावी ढंग से कम करता है, जिससे समग्र रिट्रीवल प्रदर्शन से समझौता किए बिना या मॉडल को पुन: प्रशिक्षित किए बिना पोजीशनल फेयरनेस में सुधार होता है।

मूल लेखक: Andrianos Michail, Elias Schuhmacher, Juri Opitz, Simon Clematide, Rico Sennrich

प्रकाशित 2026-06-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrianos Michail, Elias Schuhmacher, Juri Opitz, Simon Clematide, Rico Sennrich

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लाइब्रेरियन (एक कंप्यूटर मॉडल) है जिसका काम आपके द्वारा पूछे गए प्रश्न के आधार पर आपके लिए सही किताब ढूँढना है। यह लाइब्रेरियन अविश्वसनीय रूप से तेज़ है और शब्दों के अर्थ को अच्छी तरह समझता है। हालाँकि, इस शोध पत्र ने इस लाइब्रेरियन के सोचने के तरीके में एक मज़ेदार खामी खोजी है: उनका झुकाव किताब की शुरुआत की ओर बहुत अधिक है।

यदि उत्तर आपके प्रश्न के पहले कुछ पैराग्राफों में है, तो लाइब्रेरियन इसे आसानी से ढूँढ लेता है। लेकिन यदि उत्तर अंतिम अध्याय में छिपा है, तो लाइब्रेरियन उसे अक्सर मिस कर देता है, भले ही वह जानते हों कि उत्तर वहाँ है। वे बाकी हिस्से पर पर्याप्त ध्यान नहीं देते हैं।

शोधकर्ताओं ने पूछा: क्या हम लाइब्रेरियन को हटाकर नया लाइब्रेरियन रखे बिना इस पूर्वाग्रह (bias) को ठीक कर सकते हैं? क्या हम उन्हें काम करते समय बस एक त्वरित "कैलिब्रेशन" दे सकते हैं?

यहाँ उनके समाधान का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "शुरुआत की ओर झुका हुआ" लाइब्रेरियन

खोज के लिए उपयोग किए जाने वाले कंप्यूटर मॉडल (जिन्हें "डेंस रिट्रीवल मॉडल्स" कहा जाता है) एक दस्तावेज़ को एक लंबे पैराग्राफ की तरह देखते हैं। जब वे पूरी चीज़ को एक एकल "स्मृति" (एम्बेडिंग) में संक्षेपित करने की कोशिश करते हैं, तो वे पहले कुछ शब्दों पर बहुत अधिक ध्यान केंद्रित करते हैं और बाकी को अनदेखा कर देते हैं।

उपमा: कल्पना कीजिए कि एक छात्र एक लंबी कहानी के पहले वाक्य को पढ़ता है, अपना उत्तर लिखता है, और फिर पढ़ना बंद कर देता है। यदि उत्तर अंतिम वाक्य में है, तो वह गलत उत्तर देता है।

2. समाधान: "अटेंशन कैलिब्रेशन" (ध्यान का अंशांकन)

शोधकर्ताओं ने खोज प्रक्रिया के दौरान लाइब्रेरियन के ध्यान को धकेलने का एक तरीका खोजा (उन्हें फिर से प्रशिक्षित किए बिना)। वे इसे अटेंशन कैलिब्रेशन कहते हैं।

यह कैसे काम करता है: वे लाइब्रेरियन को पूरे दस्तावेज़ पर अपना ध्यान अधिक समान रूप से फैलाने के लिए मजबूर करते हैं। केवल पहले पृष्ठ को घूरने के बजाय, उन्हें बीच और अंत को भी देखने के लिए कहा जाता है।
"वॉल्यूम नॉब" (लैम्ब्डा $\lambda$ ): शोधकर्ताओं ने एक विशेष "शक्ति नॉब" (जिसे $\lambda$ $λ$ कहा जाता है) जोड़ा।
- यदि आप नॉब को 0 पर घुमाते हैं, तो लाइब्रेरियन सलाह को अनदेखा करता है और सामान्य रूप से कार्य करता है (शुरुआत की ओर झुकाव)।
- यदि आप नॉब को 1 पर घुमाते हैं, तो लाइब्रेरियन सलाह का पूरी तरह से पालन करता है और किताब के हर हिस्से को समान रूप से देखता है।
- खोज: शोधकर्ताओं ने पाया कि नॉब को पूरा 1 तक घुमाना वास्तव में बहुत चरम था। इससे लाइब्रेरियन अंत पर इतना केंद्रित हो गया कि वे शुरुआत को भूल गए। सही संतुलन (sweet spot) नॉब को 0.5 (आधे) पर घुमाना था। इस "आंशिक अंशांकन" ने लाइब्रेरियन को शुरुआती उत्तर खोजने में सक्षम बनाए रखते हुए देर से आने वाले उत्तरों को खोजने में भी बेहतर बना दिया।

3. "बास्केट" विधि

इसे करने के लिए, उन्होंने टेक्स्ट को "बास्केट" (टोकरियों) में विभाजित किया।

उपमा: कल्पना कीजिए कि दस्तावेज़ लोगों की एक लंबी कतार है। लाइब्रेरियन आमतौर पर केवल कतार के पहले कुछ लोगों को देखता है। शोधकर्ताओं ने लोगों को 128 लोगों के समूहों (बास्केट्स) में विभाजित किया। फिर उन्होंने लाइब्रेरियन से कहा: "आपको हर बास्केट को समान कुल मात्रा में ध्यान देना चाहिए, चाहे वह पहला समूह हो या आखिरी।"
परिणाम: इसने लाइब्रेरियन को कतार के पीछे के लोगों को अनदेखा करने से रोक दिया।

4. परिणाम: एक बेहतर संतुलन

शोधकर्ताओं ने तीन अलग-अलग प्रकार के "लाइब्रेरियन" (कंप्यूटर मॉडल) का उपयोग करके और दो अलग-अलग प्रकार की "किताबों" (डेटासेट) पर इसका परीक्षण किया:

छोटी किताबें (SQuAD): किताबें इतनी छोटी थीं कि "बास्केट" एक बार में ही पूरे दस्तावेज़ को कवर कर लेते थे, इसलिए इस सुधार से बहुत अधिक बदलाव नहीं आया।
लंबी किताबें (FineWeb): किताबें इतनी लंबी थीं कि बास्केट महत्वपूर्ण थे। यहाँ, यह समाधान खूबसूरती से काम आया।
- समझौता (Trade-off): लाइब्रेरियन शुरुआत में मिलने वाले उत्तरों को खोजने में थोड़ा खराब हो गया (क्योंकि वे अंत की ओर विचलित थे), लेकिन वे अंत में मिलने वाले उत्तरों को खोजने में बहुत बेहतर हो गए।
- शुद्ध लाभ (Net Gain): क्योंकि अंत में सुधार बहुत बड़ा था, इसलिए कुल स्कोर बढ़ गया। "हारमोनिक मीन" (एक स्कोर जो आपको दंडित करता है यदि आप कार्य के किसी भी हिस्से में खराब हैं) में उल्लेखनीय सुधार हुआ।

5. "यूनिवर्सल सेटिंग" (सार्वभौमिक सेटिंग)

सबसे अच्छी बात यह है कि उन्होंने पाया कि एक ही सेटिंग उनके द्वारा परीक्षण किए गए तीनों अलग-अलग कंप्यूटर मॉडलों के लिए काम करती है, भले ही उन मॉडलों को अलग तरह से बनाया गया हो (कुछ शुरुआत से पढ़ते हैं, कुछ अंत से)।

जादुई नुस्खा: 128 का बास्केट आकार उपयोग करें, शक्ति नॉब को 0.5 पर सेट करें, और इसे मॉडल के सोचने के अंतिम 50% पर लागू करें।
पैमाना परीक्षण: उन्होंने इस "जादुई नुस्खे" का एक विशाल वैश्विक बेंचमार्क (PosIR) पर परीक्षण किया जिसमें 10 भाषाएँ और 31 विभिन्न विषय (जैसे समाचार, विज्ञान और इतिहास) शामिल थे।
परिणाम: लगभग हर मामले में, इस सरल बदलाव ने टेक्स्ट की शुरुआत के प्रति पूर्वाग्रह को कम किया और जानकारी खोजने की समग्र क्षमता में सुधार किया, चाहे भाषा या दस्तावेज़ की लंबाई कुछ भी हो।

सारांश

यह शोध पत्र दिखाता है कि हमें अपने AI सर्च इंजन को ठीक करने के लिए उन्हें फिर से बनाने की आवश्यकता नहीं है। हमें बस उन्हें केवल पहले पृष्ठ के बजाय पूरी कहानी पर ध्यान देने के लिए धीरे से प्रेरित करने की आवश्यकता है। "आधी-शक्ति" के धक्के का उपयोग करके, हम उन्हें सही उत्तर खोजने की उनकी क्षमता को तोड़े बिना अधिक निष्पक्ष और प्रभावी बना सकते हैं।

तकनीकी सारांश: स्थिति-न्यायसंगत सघन सूचना पुनर्प्राप्ति के लिए अटेंशन कैलिब्रेशन (Attention Calibration)

समस्या विवरण

सघन पुनर्प्राप्ति मॉडल (Dense retrieval models), जो क्वेरी और दस्तावेज़ों को एक साझा एम्बेडिंग स्पेस में मैप करते हैं, एक व्यवस्थित स्थानिक पूर्वाग्रह (positional bias) प्रदर्शित करते हैं: जब प्रासंगिक जानकारी किसी पैसेज (passage) में बाद में आती है, तो पुनर्प्राप्ति प्रभावशीलता घट जाती है। ज़ेंग एट अल. (2025) के हालिया कार्य ने प्रदर्शित किया कि एम्बेडिंग मॉडल दस्तावेज़ के भीतर उत्तरों के स्थान के प्रति संवेदनशील होते हैं, जिससे मध्य या अंत के कंटेंट के लिए प्रदर्शन में महत्वपूर्ण गिरावट आती है।

जबकि शूहमैकर एट अल. (2026) ने एक इन्फरेंस-टाइम अटेंशन कैलिब्रेशन (attention calibration) विधि प्रस्तावित की थी, जो दस्तावेज़ खंडों में अटेंशन मास (attention mass) को अधिक समान रूप से पुनर्वितरित करती है (जो पूलिंग टोकन के "फ्रंट-लोडेड" अटेंशन को कम करती है), उनका कार्य प्रतिनिधित्व प्रोफाइल (representation profiles) पर केंद्रित था न कि डाउनस्ट्रीम पुनर्प्राप्ति प्रभावशीलता पर। इसके अलावा, उनकी विधि में इस पुनर्वितरण की तीव्रता को नियंत्रित करने का कोई तंत्र नहीं था, जिससे यह प्रश्न खुला रह गया कि क्या ऐसा कैलिब्रेशन समग्र पुनर्प्राप्ति गुणवत्ता से समझौता किए बिना स्थानिक पूर्वाग्रह को कम कर सकता है।

कार्यप्रणाली (Methodology)

यह कार्य एक ट्यून करने योग्य स्ट्रेंथ कोएफिशिएंट ( $\lambda$ ) पेश करके शूहमैकर एट अल. (2026) के अटेंशन कैलिब्रेशन फ्रेमवर्क का विस्तार करता है और विभिन्न आर्किटेक्चर और डेटासेट पर इसके प्रभाव का व्यवस्थित मूल्यांकन करता है।

मुख्य तंत्र (Core Mechanism)

यह विधि बिना रिट्रेनिंग के इन्फरेंस टाइम पर कार्य करती है। यह चुनिंदा ट्रांसफार्मर लेयर्स में पूलिंग टोकन (जैसे, <s> या अंतिम टोकन) के अटेंशन वेट्स को लक्षित करती है।

बास्केट विभाजन (Basket Partitioning): दस्तावेज़ के की-सीक्वेंस (key sequence) को आकार $B$ के निरंतर "बास्केट्स" में विभाजित किया जाता है। विशेष टोकन (जैसे <s> या <SEP>) को अपने स्वयं के बास्केट्स में अलग किया जाता है ताकि उनके अटेंशन को कंटेंट टोकन में पुनर्वितरित होने से रोका जा सके।
कैलिब्रेशन (Calibration): प्रत्येक बास्केट के भीतर, कुल अटेंशन मास को समान रखा जाता है, जबकि बास्केट के भीतर सापेक्ष भार (relative weights) को संरक्षित किया जाता है। बास्केट $b(k)$ में स्थिति $k$ पर एक टोकन के लिए कैलिब्रेटेड अटेंशन वेट है:
$a^{cal}_k = \frac{a_k}{\sum_{j \in b(k)} a_j} \cdot \frac{1}{n_{baskets}}$
स्ट्रेंथ कोएफिशिएंट ( $\lambda$ ): लेखक मूल अटेंशन वितरण ( $\alpha$ ) और पूर्णतः कैलिब्रेटेड वितरण ( $\hat{\alpha}_{cal}$ ) के बीच एक लीनियर इंटरपोलेशन पेश करते हैं:
$\hat{\alpha} = (1 - \lambda)\alpha + \lambda \hat{\alpha}_{cal}$
जहाँ $\lambda \in [0, 1]$ । $\lambda=0$ मूल मॉडल को पुनः प्राप्त करता है, और $\lambda=1$ पूर्ण कैलिब्रेशन लागू करता है।

प्रयोगात्मक सेटअप (Experimental Setup)

यह अध्ययन तीन एम्बेडिंग मॉडलों का मूल्यांकन करता है जो विभिन्न पूलिंग आर्किटेक्चर को कवर करते हैं:

<s>-pooled: gte-multilingual-base और bge-m3-dense|
Last-token pooled: Qwen3-Embedding-0.6B|

प्रयोग निम्नलिखित पर आयोजित किए गए थे:

SQuAD-PosQ: छोटे पैसेज (~117 शब्द) जहाँ उत्तरों को कैरेक्टर पोजीशन के आधार पर समूहीकृत किया गया है।
FineWeb-PosQ: लंबे पैसेज (500–1,024 शब्द) जहाँ उत्तरों को शुरुआत, मध्य और अंत के खंडों में समूहीकृत किया गया है।
PosIR बेंचमार्क: 10 भाषाओं, 31 डोमेन और चार दस्तावेज़-लंबाई वाले चतुर्थांशों (512 से 2,048 टोकन) को कवर करने वाला एक बड़े पैमाने का मूल्यांकन, जो बहुभाषी और क्रॉस-लिंगुअल सेटिंग्स दोनों को कवर करता है।

विश्लेषण किए गए प्रमुख पैरामीटरों में बास्केट आकार ( $B \in \{128, 256, 512\}$ ), कैलिब्रेटेड लेयर्स का सेट ( $L_C \in \{\text{last layer}, \text{last 50\%}\}$ ), और स्ट्रेंथ कोएफिशिएंट ( $\lambda$ ) शामिल हैं।

मुख्य योगदान (Key Contributions)

कैलिब्रेशन स्ट्रेंथ कोएफिशिएंट: $\lambda$ का परिचय स्थानिक पुनर्वितरण और पुनर्प्राप्ति प्रभावशीलता के बीच ट्रेड-ऑफ की नियंत्रित खोज को सक्षम बनाता है, जो "कैलिब्रेट या नहीं" के बाइनरी दृष्टिकोण से आगे बढ़ता है।
व्यवस्थित पैरामीटर विश्लेषण: पेपर विश्लेषण करता है कि कैसे बास्केट आकार, लेयर डेप्थ और स्ट्रेंथ मिलकर स्थानिक निष्पक्षता (positional fairness) और पुनर्प्राप्ति गुणवत्ता के बीच संतुलन को प्रभावित करते हैं, जिससे यह पहचान होती है कि आंशिक कैलिब्रेशन (partial calibration) अक्सर पूर्ण कैलिब्रेशन से बेहतर प्रदर्शन करता है।
मॉडल-एग्नोस्टिक डिफॉल्ट कॉन्फ़िगरेशन: लेखक एक एकल कॉन्फ़िगरेशन ( $B=128, \lambda=0.5$ , अंतिम 50% लेयर्स को कैलिब्रेट करना) की पहचान करते हैं जो बिना प्रति-मॉडल ट्यूनिंग के सभी तीन मूल्यांकित मॉडलों के लिए सभी पोजीशनल ग्रुप्स के लिए nDCG@10 के हार्मोनिक मीन में सुधार करता है। यह कॉन्फ़िगरेशन <s>-pooled और last-token-pooled दोनों आर्किटेक्चर पर लागू होता है।
बड़े पैमाने पर सामान्यीकरण: पहचाने गए कॉन्फ़िगरेशन को PosIR बेंचमार्क पर सत्यापित किया गया, जिसने 10 भाषाओं और 31 डोमेन में 'पोजीशन सेंसिटिविटी इंडेक्स' (PSI) में निरंतर कमी और समग्र पुनर्प्राप्ति प्रभावशीलता को बनाए रखते हुए क्रॉस-लिंगुअल सेटिंग्स में भी सुधार प्रदर्शित किया।

परिणाम (Results)

FineWeb-PosQ और SQuAD-PosQ

छोटे पैसेज (SQuAD-PosQ): कैलिब्रेशन सीमित लाभ देता है क्योंकि अधिकांश पैसेज बहुत छोटे हैं जिससे बास्केट-लेवल पुनर्वितरण का अर्थपूर्ण रूप से शुरुआती और बाद के कंटेंट को अलग करने के लिए पर्याप्त जगह नहीं मिलती। शुरुआती बिनों में होने वाली गिरावट अक्सर बाद के बिनों में सुधार को ऑफसेट कर देती है।
लंबे पैसेज (FineWeb-PosQ): कैलिब्रेशन nDCG@10 के हार्मोनिक मीन में निरंतर सुधार करता है। एक स्पष्ट ट्रेड-ऑफ उभरता है: कैलिब्रेशन आमतौर पर "शुरुआत" (beginning) समूह के प्रदर्शन को कम करता है जबकि "मध्य" (middle) और "अंत" (end) समूहों में महत्वपूर्ण सुधार करता है।
इष्टतम कॉन्फ़िगरेशन: कॉन्फ़िगरेशन $B=128, \lambda=0.5$ , 50% लेयर्स ने तीनों मॉडलों के लिए सर्वश्रेष्ठ हार्मोनिक मीन प्राप्त किया।
- Qwen3-Embedding-0.6B के लिए, इस सेटिंग ने शुरुआत और अंत के समूहों के बीच के अंतर को कम किया (begin: 88.54 $\to$ 83.46; end: 65.61 $\to$ 75.63) और हार्मोनिक मीन को 76.49 से बढ़ाकर 79.94 कर दिया।
- पूर्ण कैलिब्रेशन ( $\lambda=1.0$ ) अक्सर समग्र प्रदर्शन को नुकसान पहुँचाता है, विशेष रूप से <s>-pooled मॉडलों के लिए, क्योंकि यह शुरुआती स्थितियों को अत्यधिक ठीक (over-correct) कर देता है।

PosIR बेंचमार्क

स्थानिक निष्पक्षता (Positional Fairness): डिफॉल्ट कॉन्फ़िगरेशन ने सभी 16 परीक्षण किए गए संयोजनों (लंबाई चतुर्थांश $\times$ मॉडल $\times$ रिट्रीवल सेटिंग) में पोजीशन सेंसिटिविटी इंडेक्स (PSI) को कम किया।
पुनर्प्राप्ति प्रभावशीलता (Retrieval Effectiveness): समग्र nDCG@10 को सुरक्षित रखा गया या सुधारा गया। उदाहरण के लिए, मल्टीलिंगुअल रिट्रीवल में, gte-multilingual-base ने nDCG@10 में +1.14 पॉइंट की वृद्धि देखी, और bge-m3-dense ने +0.46 पॉइंट की वृद्धि देखी।
क्रॉस-लिंगुअल प्रदर्शन: क्रॉस-लिंगुअल सेटिंग्स (x $\to$ en) में भी समान रुझान देखे गए, जो भाषा बाधाओं के बावजूद कॉन्फ़िगरेशन की मजबूती की पुष्टि करते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सघन पुनर्प्राप्ति में स्थानिक पूर्वाग्रह को बिना रिट्रेनिंग या समग्र प्रभावशीलता से समझौता किए इन्फरेंस टाइम पर कम किया जा सकता है।

लेखक इस बात पर जोर देते हैं कि आंशिक कैलिब्रेशन (partial calibration), पूर्ण कैलिब्रेशन की तुलना में श्रेष्ठ है। जबकि पूर्ण कैलिब्रेशन सबसे अधिक पोजीशनल यूनिफॉर्म रिप्रजेंटेशन बनाता है, यह अक्सर शुरुआती-पोजीशन वाले कंटेंट को लाभ पहुँचाने वाले प्राकृतिक अटेंशन पैटर्न को बाधित करके पुनर्प्राप्ति प्रदर्शन को नुकसान पहुँचाता है। $\lambda=0.5$ के साथ इंटरपोलेट करके, यह विधि मूल मॉडल के व्यवहार को पर्याप्त बनाए रखते हुए (ताकि समग्र गुणवत्ता बनी रहे) बाद के स्थानों के लिए प्रदर्शन को पुनः प्राप्त करने हेतु अटेंशन को पर्याप्त रूप से पुनर्वितरित करती है।

यह कार्य प्रदर्शित करता है कि एक एकल, मामूली कॉन्फ़िगरेशन विभिन्न पूलिंग आर्किटेक्चर (फर्स्ट-टोकन बनाम लास्ट-टोकन), विभिन्न मॉडल आकार और विविध बहुभाषी/क्रॉस-लिंगुअल परिदृश्यों में सामान्यीकृत हो सकता है, जो सघन पुनर्प्राप्ति प्रणालियों में स्थिति-न्यायसंगतता (position-fairness) में सुधार के लिए एक व्यावहारिक, प्लग-एंड-प्ले समाधान प्रदान करता है।