💻 computer science

SHIFT: Semantic Harmonization via Index-side Feature Transformation for Multilingual Information Retrieval

यह शोध पत्र SHIFT का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free) इंडेक्सिंग विधि है जो दस्तावेज़ एम्बेडिंग्स से अनुमानित भाषा-विशिष्ट ऑफसेट्स को घटाकर बहुभाषी सूचना पुनर्प्राप्ति (multilingual information retrieval) में भाषाई पूर्वाग्रह को कम करती है, जिससे मॉडल को पुन: प्रशिक्षित किए बिना क्रॉस-लिंगुअल खोज प्रदर्शन में सुधार होता है।

मूल लेखक: Youngjoon Jang, Seongtae Hong, Hyeonseok Moon, Heuiseok Lim

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Youngjoon Jang, Seongtae Hong, Hyeonseok Moon, Heuiseok Lim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "SHIFT: Multilingual Information Retrieval के लिए Index-side Feature Transformation के माध्यम से Semantic Harmonization" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

समस्या: "लैंग्वेज क्लब" का पक्षपात (The "Language Club" Bias)

कल्पना कीजिए कि आप एक विशाल पुस्तकालय में जाते हैं जिसमें 100 अलग-अलग भाषाओं की किताबें हैं। आप लाइब्रेरियन से अंग्रेजी में एक सवाल पूछते हैं: "Operation Sealion के दौरान क्या हुआ था?"

आदर्श रूप से, लाइब्रेरियन को सबसे सटीक उत्तर खोजना चाहिए, चाहे वह अंग्रेजी, जर्मन, फ्रेंच या हिंदी में लिखा गया हो। हालाँकि, वर्तमान "AI लाइब्रेरियन" (बहुभाषी खोज मॉडल) की एक बुरी आदत है। वे एक ऐसे क्लब की तरह हैं जो केवल अंग्रेजी बोलने वालों को ही मुख्य दरवाजे से अंदर आने देता है।

भले ही जर्मन या हिंदी में कोई सटीक और विस्तृत उत्तर लिखा हो, AI उसे अनदेखा कर देता है। इसके बजाय, वह शीर्ष 10 परिणामों को अंग्रेजी दस्तावेजों से भर देता है, भले ही वे अंग्रेजी दस्तावेज अस्पष्ट, गलत या केवल आंशिक रूप से प्रासंगिक हों। यह ऐसा है जैसे AI सोचता हो, "मैं अंग्रेजी बोलता हूँ, इसलिए मैं केवल अंग्रेजी में लिखी किताबों पर ही भरोसा करता हूँ," और इस तथ्य को पूरी तरह से नजरअंदाज कर देता है कि जर्मन किताब में वही सटीक सत्य हो सकता है जिसे आप खोज रहे हैं।

इसे भाषा पक्षपात (Language Bias) कहा जाता है। इसका अर्थ है कि सर्च इंजन उत्तर के वास्तविक अर्थ के बजाय आपके प्रश्न की भाषा को प्राथमिकता देता है।

समाधान: SHIFT (द "ट्रांसलेशन ट्रांसलेटर")

लेखकों ने SHIFT नामक एक नई विधि प्रस्तावित की है। SHIFT को एक नए लाइब्रेरियन के रूप में नहीं, बल्कि लाइब्रेरी में प्रवेश करने से पहले किताबों के शेल्फ को पहले से व्यवस्थित करने के रूप में समझें।

यह कैसे काम करता है, इसके चरण यहाँ दिए गए हैं:

"ऑफसेट" (Offset) की समस्या: AI के मस्तिष्क में (इसके गणितीय स्थान में), अंग्रेजी में लिखा गया "Operation Sealion" का विचार एक स्थान पर स्थित है। जर्मन में लिखा गया "Operation Sealion" का विचार एक दूसरे स्थान पर, काफी दूर स्थित है। AI सोचता है कि वे अलग चीजें हैं क्योंकि शब्द अलग दिखते हैं।
अंतराल को मापना: शोधकर्ता "समानांतर" किताबों (एक ही टेक्स्ट जो विभिन्न भाषाओं में अनुवादित है) के एक सेट का उपयोग यह मापने के लिए करते हैं कि ये स्थान एक-दूसरे से कितनी दूर हैं। वे प्रत्येक भाषा के लिए एक "डिस्टेंस वेक्टर" (दूरी का वेक्टर) की गणना करते हैं। यह ऐसा है जैसे यह मापना कि "जर्मन सेक्शन" से "अंग्रेजी सेक्शन" तक पहुँचने के लिए आपको कितने कदम चलने की आवश्यकता है।
द शिफ्ट (जादुई चाल): खोज होने से पहले, शोधकर्ता लाइब्रेरी के हर दस्तावेज़ को भौतिक रूप से स्थानांतरित (move) करते हैं।
- यदि कोई दस्तावेज़ अंग्रेजी में है, तो वह वहीं रहता है।
- यदि कोई दस्तावेज़ जर्मन में है, तो वे "डिस्टेंस वेक्टर" को घटाते हैं और उसे अंग्रेजी सेक्शन के करीब ले आते हैं।
- यदि वह हिंदी में है, तो वे उसे भी करीब लाते हैं।

उपमा: कल्पना कीजिए कि सभी किताबें चुंबक हैं। मूल रूप से, अंग्रेजी चुंबक जर्मन चुंबकों को प्रतिकर्षित (repel) करते हैं। SHIFT एक सौम्य बल लगाता है जो सभी गैर-अंग्रेजी चुंबकों को अंग्रेजी वाले चुंबकों की ओर खींचता है, जिससे वे इस तरह संरेखित (align) हो जाते हैं कि वे सभी एक ही "सिमेंटिक पड़ोस" (semantic neighborhood) में बैठ सकें।

यह क्यों विशेष है

कोई री-ट्रेनिंग नहीं (No Re-training): आमतौर पर, एक पक्षपाती AI को ठीक करने के लिए, आपको उसे हजारों घंटों का नया डेटा खिलाना पड़ता है और उसे फिर से सिखाना पड़ता है (जो महंगा और धीमा है)। SHIFT ट्रेनिंग-फ्री है। यह घर बनाने के बजाय कमरे में फर्नीचर को फिर से व्यवस्थित करने जैसा है।
त्वरित समाधान (Instant Fix): क्योंकि वे यह "पुनर्व्यवस्था" लाइब्रेरी बनते समय ही कर देते हैं (इंडेक्सिंग चरण के दौरान), वास्तविक खोज उतनी ही तेज़ होती है जितनी पहले थी। उपयोगकर्ता को अधिक प्रतीक्षा नहीं करनी पड़ती।
निष्पक्षता (Fairness): SHIFT लागू करने के बाद, खोज परिणाम एक वास्तविक मिश्रण बन जाते हैं। यदि आप अंग्रेजी में पूछते हैं, तो आपको अंग्रेजी, जर्मन, हिंदी और फ्रेंच में सबसे अच्छे उत्तर मिलते हैं, जो उनकी भाषा के बजाय उनकी सत्यता के आधार पर रैंक किए जाते हैं।

परिणाम

शोधकर्ताओं ने विभिन्न AI मॉडलों का उपयोग करके चार अलग-अलग खोज बेंचमार्क पर परीक्षण किया। उन्होंने पाया कि:

बेहतर सटीकता: खोज परिणाम काफी सटीक हो गए।
अधिक विविधता: शीर्ष परिणाम अब 90% अंग्रेजी होने के बजाय अन्य भाषाओं के प्रासंगिक दस्तावेज़ों को शामिल करने लगे।
सार्वभौमिक (Universal): यह लगभग हर प्रकार के सर्च मॉडल पर काम किया जिसे उन्होंने आजमाया, छोटे से लेकर बड़े और जटिल मॉडल्स तक।

सफलता को मापने का एक नया तरीका

पेपर में एक नया "स्कोरकार्ड" भी पेश किया गया है जिसे TLR@k (टारगेट-लैंग्वेज रिकॉल) कहा जाता है।

पुराना स्कोरकार्ड: "क्या आपने कोई भी प्रासंगिक दस्तावेज़ ढूँढा?" (AI केवल अंग्रेजी वाले दस्तावेज़ ढूँढकर धोखाधड़ी कर सकता था)।
नया स्कोरकार्ड (TLR): "क्या आपने अन्य भाषाओं में प्रासंगिक दस्तावेज़ ढूँढे?"
यह नया स्कोर सिद्ध करता है कि SHIFT वास्तव में इस पक्षपात को ठीक करता है, न कि केवल इसे छिपाता है।

सारांश

SHIFT एक चतुर, कम लागत वाला तरीका है जो बहुभाषी खोज इंजन को ठीक करता है। यह महसूस करता है कि AI प्रश्न की भाषा के प्रति पक्षपाती है, इसलिए यह बस सभी विदेशी-भाषा के दस्तावेज़ों को AI के मन में प्रश्न की भाषा के करीब "धकेलता" (nudge) है। यह सुनिश्चित करता है कि जब आप खोज करें, तो आपको सबसे अच्छा उत्तर मिले, चाहे वह किसी भी भाषा में लिखा गया हो।

तकनीकी सारांश: SHIFT - बहुभाषी सूचना पुनर्प्राप्ति के लिए इंडेक्स-साइड फीचर ट्रांसफॉर्मेशन के माध्यम से सिमेंटिक हार्मनाइजेशन (Semantic Harmonization)

1. समस्या विवरण

बहुभाषी सूचना पुनर्प्राप्ति (MLIR) का लक्ष्य उपयोगकर्ताओं को एकल-भाषा क्वेरी का उपयोग करके बहुभाषी टेक्स्ट संग्रहों से अर्थपूर्ण रूप से प्रासंगिक दस्तावेज़ों को खोजने में सक्षम बनाना है। हालाँकि, अत्याधुनिक बहुभाषी डेंस रिट्रीवल मॉडल गंभीर भाषा पूर्वाग्रह (language bias) से ग्रस्त हैं। अर्थपूर्ण प्रासंगिकता को प्राथमिकता देने के बजाय, ये मॉडल क्वेरी की समान भाषा में लिखे गए दस्तावेज़ों के प्रति अत्यधिक झुकाव प्रदर्शित करते हैं।

जैसा कि पेपर के Belebele डेटासेट के विश्लेषण में दर्शाया गया है, एक अंग्रेजी क्वेरी के परिणामस्वरूप अक्सर शीर्ष-रैंक वाले दस्तावेज़ अंग्रेजी सामग्री द्वारा हावी हो जाते हैं, भले ही अन्य भाषाओं में अर्थपूर्ण रूप से समकक्ष ग्राउंड-ट्रुथ दस्तावेज़ मौजूद हों। यह घटना एम्बेडिंग स्पेस (embedding space) को विकृत करती है, जहाँ "भाषा की पहचान" (language identity) "अर्थपूर्ण संकेतों" (semantic signals) पर हावी हो जाती है, जिससे सूचना तक पहुँच असमान हो जाती है और गैर-क्वेरी भाषाओं के लिए इष्टतम पुनर्प्राप्ति प्रदर्शन विफल हो जाता है। पारंपरिक मेट्रिक्स जैसे nDCG और Recall अक्सर स्रोत-भाषा के दस्तावेज़ों को खोजने के लिए पुरस्कृत करके इस पूर्वाग्रह को छिपा देते हैं, और परिणामों में विविधता की कमी को पकड़ने में विफल रहते हैं।

2. कार्यप्रणाली: SHIFT

लेखक SHIFT (Semantic Harmonization via Index-side Feature Transformation) का प्रस्ताव करते हैं, जो एक प्रशिक्षण-मुक्त (training-free) विधि है जिसे इंडेक्सिंग चरण के दौरान भाषा पूर्वाग्रह को कम करने के लिए डिज़ाइन किया गया है। उन दृष्टिकोणों के विपरीत जिनमें गणनात्मक रूप से महंगी पुन: प्रशिक्षण (retraining) की आवश्यकता होती है या जो इन्फरेंस-टाइम लेटेंसी (inference-time latency) पेश करते हैं, SHIFT एम्बेडिंग स्पेस में स्थानिक मिसअलाइनमेंट (spatial misalignment) को ठीक करने के लिए एक लीनियर डिस्प्लेसमेंट रणनीति का उपयोग करता है।

मुख्य तंत्र

यह विधि दो प्राथमिक चरणों में कार्य करती है:

सापेक्ष भाषा वेक्टर (Relative Language Vectors) का अनुमान लगाना:
- SHIFT mMARCO डेटासेट (14 भाषाओं में अंग्रेजी सामग्री के मशीन-अनुवादित संस्करण) से समानांतर अनुवाद युग्मों (parallel translation pairs) का उपयोग करता है।
- एक लक्षित भाषा $\ell_{tgt}$ और एक स्रोत भाषा $\ell_{src}$ के लिए, मॉडल समानांतर दस्तावेज़ युग्मों $(D^{\ell_{src}}_i, D^{\ell_{tgt}}_i)$ को एम्बेडिंग्स $z^{\ell_{src}}_i$ और $z^{\ell_{tgt}}_i$ में एनकोड करता है।
- अंतर $\Delta^{\ell_{tgt}}_i = z^{\ell_{tgt}}_i - z^{\ell_{src}}_i$ केवल भाषा परिवर्तन के कारण होने वाले प्रतिनिधित्व संबंधी ऑफसेट (representational offset) का अनुमान लगाता है।
- एक सापेक्ष भाषा वेक्टर $V_{\ell_{tgt}}$ सभी $N$ अनुवाद युग्मों में इन ऑफसेट्स के औसत द्वारा कंप्यूट किया जाता है:
  $V_{\ell_{tgt}} = \frac{1}{N} \sum_{i=1}^{N} (z^{\ell_{tgt}}_i - z^{\ell_{src}}_i)$
इंडेक्स-साइड लैंग्वेज शिफ्ट:
- एक दस्तावेज़ संग्रह के इंडेक्सिंग के दौरान, भाषा लेबल $\ell$ वाले प्रत्येक दस्तावेज़ $d$ को प्रोसेस किया जाता है।
- यदि $\ell \neq \ell_{src}$ , तो संबंधित सापेक्ष भाषा वेक्टर को दस्तावेज़ एम्बेडिंग से घटाया जाता है:
  $\tilde{z} = z - \alpha V_{\ell}$
- यहाँ, $\alpha$ एक ग्लोबल स्केल फैक्टर ( $\alpha \in [0, 1]$ ) है जो शिफ्ट की मात्रा को नियंत्रित करता है।
- स्रोत भाषा के दस्तावेज़ों में कोई संशोधन नहीं किया जाता है।
- पुनर्प्राप्ति (Retrieval): क्वेरी को बिना किसी संशोधन के उसी मॉडल का उपयोग करके एनकोड किया जाता है। पुनर्प्राप्ति स्कोर क्वेरी एम्बेडिंग और शिफ्ट किए गए दस्तावेज़ एम्बेडिंग्स $\tilde{z}$ के बीच समानता (जैसे, कोसाइन सिमिलैरिटी) के रूप में कैलकुलेट किया जाता है। यह प्रक्रिया क्वेरी समय पर शून्य अतिरिक्त विलंबता (zero additional latency) पेश करती है।

3. प्रमुख योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

SHIFT विधि: एक सार्वभौमिक रूप से प्रभावी, प्रशिक्षण-मुक्त समाधान जो विविध डेंस रिट्रीवल मॉडल (दोनों एनकोडर-आधारित और डिकोडर-आधारित आर्किटेक्चर) में MLIR प्रदर्शन में लगातार सुधार करता है और भाषा पूर्वाग्रह को कम करता है।
टारगेट-लैंग्वेज रिकॉल@k (TLR@k): एक नया मूल्यांकन मेट्रिक जिसे भाषा पूर्वाग्रह को स्पष्ट रूप से मापने के लिए पेश किया गया है। मानक मेट्रिक्स के विपरीत, TLR@k क्वेरी भाषा के अन्य भाषाओं में लिखे गए प्रासंगिक दस्तावेज़ों की रिकॉल को मापता है, जो क्रॉस-लिंगुअल रिट्रीवल प्रभावशीलता की एक स्पष्ट तस्वीर प्रदान करता है।
अनुभवजन्य साक्ष्य (Empirical Evidence): व्यापक प्रयोग जो प्रदर्शित करते हैं कि SHIFT सफलतापूर्वक अर्थपूर्ण आधार पर बहुभाषी दस्तावेज़ों को पुनर्गठित (realign) करता है, जिससे मॉडल पुन: प्रशिक्षण की आवश्यकता के बिना एम्बेडिंग स्पेस की विषम ज्यामिति को ठीक किया जाता है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार MLIR बेंचमार्क (Belebele, XQuAD, MLQA, MultiEuP-v2) और छह विविध डेंस रिट्रीवल मॉडल (जिसमें multilingual-e5-large, bge-m3, Qwen3-Embedding, और llama-nemotron-embed शामिल हैं) में SHIFT का मूल्यांकन किया।

प्रदर्शन लाभ: SHIFT ने निरंतर पुनर्प्राप्ति प्रदर्शन में सुधार किया। उदाहरण के लिए, multilingual-e5-large का उपयोग करते हुए, औसत nDCG@20 0.633 से बढ़कर 0.737 हो गया।
पूर्वाग्रह शमन (Bias Mitigation): सबसे महत्वपूर्ण सुधार TLR@20 में देखा गया। multilingual-e5-large के लिए, MultiEuP-v2 डेटासेट पर TLR@20 0.095 से बढ़कर 0.268 हो गया, जो गैर-अंग्रेजी प्रासंगिक दस्तावेज़ों के एक्सपोज़र में पर्याप्त वृद्धि को दर्शाता है।
सार्वभौमिकता: विधि स्रोत भाषा के बावजूद प्रभावी साबित हुई। चीनी, वियतनामी और हिंदी को स्रोत क्वेरी के रूप में उपयोग करने वाले प्रयोगों ने निरंतर सुधार दिखाया, जिससे पुष्टि हुई कि SHIFT अंग्रेजी-केंद्रित संरेखण तक सीमित नहीं है।
मजबूती (Robustness): संवेदनशीलता विश्लेषण (Sensitivity analysis) से पता चला कि हालांकि इष्टतम $\alpha$ मान मॉडल के अनुसार भिन्न होते हैं (जैसे, multilingual-e5-large के लिए $\alpha=0.6$ बनाम अन्य के लिए $\alpha=1.0$ ), SHIFT पूरे $\alpha$ रेंज में बेसलाइन से बेहतर प्रदर्शन करता है।
बेसलाइन के साथ तुलना: SHIFT ने भाषा-वार सेंट्रिंग (Libovický et al., 2020) और लैंग्वेज इंफॉर्मेशन रिमूवल (Yang et al., 2021) जैसे अन्य प्रशिक्षण-मुक्त डीबायसिंग तरीकों की तुलना में, विशेष रूप से TLR@20 के मामले में, बेहतर प्रदर्शन किया, जबकि समग्र nDCG को बनाए रखा या सुधारा।

5. महत्व और दावे

पेपर का दावा है कि SHIFT आधुनिक MLIR सिस्टमों की एक महत्वपूर्ण खामी के लिए एक व्यावहारिक, कम लागत वाला समाधान प्रदान करता है। दस्तावेज़ एम्बेडिंग्स को इंडेक्स साइड पर शिफ्ट करके, यह मॉडलों को भाषाई सतही रूपों के बजाय अंतर्निहित अर्थपूर्ण संकेतों पर निर्भर करने के लिए मजबूर करता है।

दक्षता (Efficiency): इस विधि के लिए कोई अतिरिक्त प्रशिक्षण आवश्यक नहीं है और यह इन्फरेंस-टाइम ओवरहेड भी पेश नहीं करती है, जिससे इसे लेटेंसी-सेंसिटिव सिस्टम में तैनात करना अत्यधिक आसान हो जाता है।
निष्पक्षता (Fairness): यह सीधे "भाषा पूर्वाग्रह" को संबोधित करता है जो गैर-क्वेरी भाषाओं में प्रासंगिक दस्तावेज़ों के कम एक्सपोज़र का कारण बनता है, जिससे अधिक न्यायसंगत सूचना पहुंच को बढ़ावा मिलता है।
स्केलेबिलिटी (Scalability): दृष्टिकोण मॉडल-एग्नोस्टिक है और विभिन्न आर्किटेक्चर और स्केल पर काम करता है।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि शिफ्ट वेक्टर्स की गुणवत्ता समानांतर संग्रह (mMARCO) की अनुवाद गुणवत्ता पर निर्भर करती है और इस विधि के लिए पूर्व-लेबल वाले दस्तावेज़ भाषाओं की आवश्यकता होती है। हालाँकि, वे तर्क देते हैं कि वेक्टर अनुमान की एकमुफ़्त लागत और रूपांतरण की ऑफलाइन प्रकृति इसे वास्तविक दुनिया के रिट्रीवल सिस्टम में अर्थपूर्ण संरेखण और भाषा प्राथमिकता के बीच संतुलन प्रबंधित करने के लिए एक मजबूत उपकरण बनाती है।