💻 computer science

Improving BM25 Code Retrieval Under Fixed Generic Tokenization: Adaptive q-Log Odds as a Drop-In BM25 Fix

यह शोध पत्र 'एडैप्टिव q-लॉग ऑड्स' (adaptive q-Log Odds) नामक एक ड्रॉप-इन BM25 सुधार प्रस्तावित करता है, जो मानक लॉगरिदमिक IDF के स्थान पर q-लॉगारिदम का उपयोग करता है ताकि स्थिर जेनेरिक टोकनाइज़ेशन के तहत आइडेंटिफायर टेल्स (identifier tails) को बेहतर ढंग से अलग करके कोड रिट्रीवल प्रदर्शन को महत्वपूर्ण रूप से बढ़ाया जा सके, जबकि टेक्स्ट रिट्रीवल पर नगण्य प्रभाव बनाए रखा जाता है और क्वेरी लेटेंसी में किसी भी बदलाव की आवश्यकता नहीं होती है।

मूल लेखक: Santosh Kumar Radha, Oktay Goktas

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Santosh Kumar Radha, Oktay Goktas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए पेपर का स्पष्टीकरण दिया गया है।

समस्या: "अनुवाद में खोई हुई" खोज (The "Lost in Translation" Search)

कल्पना कीजिए कि आप एक जासूस (एक कोडिंग AI) हैं जो एक अपराध को सुलझाने की कोशिश कर रहे हैं। आपके पास 50,000 फाइलों का एक विशाल पुस्तकालय है, और आपको वह एक विशिष्ट फ़ाइल ढूँढनी है जिसमें सुराग है: एक फंक्शन जिसका नाम handleWebSocketUpgrade है।

आपका वर्तमान टूल एक मानक लाइब्रेरी सर्च इंजन (जिसे BM25 कहा जाता है) है। यह टूल मूल रूप से प्राकृतिक भाषा (natural language) खोजने के लिए बनाया गया था, जैसे समाचार लेख या किताबें। यह "the," "run," या "happy" जैसे शब्दों के लिए अच्छा काम करता है। लेकिन कोड अलग होता है। कोड विशिष्ट, विशेष नामों (identifiers) से भरा होता है जो गुप्त कोड की तरह काम करते हैं।

समस्या:
मानक खोज इंजन एक अद्वितीय कोड नाम (जैसे handleWebSocketUpgrade, जो केवल एक फ़ाइल में दिखाई देता है) को एक थोड़े कम सामान्य नाम (जैसे logger, जो 50 फ़ाइलों में दिखाई देता है) के लगभग समान मानता है।

उपमा: एक पुस्तकालय की कल्पना करें जहाँ लाइब्रेरियन किताबों को एक "प्रासंगिकता स्कोर" (relevance score) देता है। यदि आप एक बहुत ही विशिष्ट, एक-मात्र शीर्षक वाली किताब की तलाश में हैं, तो लाइब्रेरियन को चिल्लाना चाहिए, "यही वह किताब है!" लेकिन वर्तमान लाइब्रेरियन फुसफुसाता है, "यह एक अच्छी किताब है, लेकिन वह दूसरी भी है।"
परिणाम: AI विचलित हो जाता है। वह गलत फ़ाइलें पढ़ता है, भ्रमित हो जाता है, और बग को ठीक करने में विफल रहता है। पेपर का तर्क है कि विफलता AI की गलती नहीं है; यह सर्च इंजन की गलती है क्योंकि वह अद्वितीय "कोड नामों" को पर्याप्त महत्व नहीं देता।

कारण: एक "जमी हुई" डिक्शनरी (A "Frozen" Dictionary)

लेखक बताते हैं कि कई कंपनियों में, सर्च इंजन एक इंफ्रास्ट्रक्चर टीम द्वारा एक "जमी हुई" डिक्शनरी (tokenizer) का उपयोग करके बनाया जाता है। यह डिक्शनरी शब्दों को इस आधार पर तोड़ती है कि इंसान कैसे बोलते हैं, न कि इस आधार पर कि कोड कैसे लिखा जाता है।

सीमा: जो लोग सर्च इंजन का उपयोग कर रहे हैं (AI डेवलपर्स), वे डिक्शनरी को नहीं बदल सकते। वे "जमी हुई" सेटअप के साथ फंसे हुए हैं। उन्हें एक ऐसे समाधान की आवश्यकता है जो पूरे पुस्तकालय को फिर से बनाए बिना काम कर सके।

समाधान: "वॉल्यूम नॉब" (The "Volume Knob" - q-Log)

लेखक सर्च इंजन के स्कोरिंग सिस्टम में एक चतुर, एक-लाइन वाला गणितीय बदलाव प्रस्तावित करते हैं। वे इसे Adaptive q-Log Odds कहते हैं।

उपमा:
सर्च इंजन के स्कोरिंग सिस्टम को विभिन्न प्रकार के शब्दों के लिए एक वॉल्यूम नॉब (आवाज़ नियंत्रित करने वाला बटन) के रूप में सोचें।

सामान्य शब्द (जैसे "function" या "return") को कम रखा जाता है क्योंकि वे हर जगह दिखाई देते हैं।
दुर्लभ शब्द (अद्वितीय कोड नाम) को बहुत ऊँचा रखने की आवश्यकता है।
समस्या: मानक वॉल्यूम नॉब (logarithm) टूटा हुआ है। यह दुर्लभ शब्दों की आवाज़ तो बढ़ाता है, लेकिन पर्याप्त नहीं। यह एक बार दिखने वाले शब्द और 50 बार दिखने वाले शब्द के बीच के अंतर को लगभग समान मानता है।

सुधार:
लेखक मानक वॉल्यूम नॉब को एक नए नॉब से बदलते हैं जिसे q-log कहा जाता है।

इस नए नॉब में एक विशेष सेटिंग (पैरामीटर q) है जो दुर्लभ शब्दों के लिए एक "सुपर-एम्पलीफायर" (अति-प्रवर्धक) के रूप में कार्य करता है।
यदि आप q = 1 सेट करते हैं, तो यह बिल्कुल पुराने, टूटे हुए नॉब की तरह काम करता है (मानक BM25)।
यदि आप q < 1 (जैसे 0.05) सेट करते हैं, तो यह उन शब्दों के लिए चिल्लाता है "यही वह है!" जो केवल एक बार दिखाई देते हैं। यह एक अद्वितीय आइडेंटिफायर और एक सामान्य एक के बीच के अंतर को हजारों गुना बढ़ा देता है।

व्यवहार में यह कैसे काम करता है

पेपर का परीक्षण Go भाषा के कोड (182,000 फ़ाइलें) के एक विशाल संग्रह पर किया गया।

पहले: सर्च इंजन शीर्ष 10 परिणामों में केवल 25% बार सही फ़ाइल ढूंढ पाता था।
बाद में: नए "वॉल्यूम नॉब" को सही सेटिंग पर सेट करने के बाद, यह 48% बार सही फ़ाइल ढूंढ सका।
जादू: यह सटीकता में 89% का सुधार है। AI अब लगभग दोगुने रूप से अधिक बार सही फ़ाइल ढूंढ सकता है, केवल अद्वितीय कोड नामों की आवाज़ बढ़ाकर।

"स्मार्ट" हिस्सा: ऑटो-ट्यूनिंग (Auto-Tuning)

आप पूछ सकते हैं, "हमें कैसे पता चलेगा कि कौन सी सेटिंग (q) का उपयोग करना है?"
लेखकों ने एक सरल फॉर्मूला बनाया है जो सेटिंग तय करने के लिए खुद पुस्तकालय को देखता है।

नियम: वे पुस्तकालय में कितने "एक-मात्र" (hapaxes) शब्दों मौजूद हैं, उन्हें गिनते हैं।
तर्क:
- यदि पुस्तकालय अद्वितीय कोड नामों (जैसे Go) से भरा है, तो फॉर्मूला वॉल्यूम नॉब को "सुपर एम्पलीफाई" (q = 0.05) पर सेट करता है।
- यदि पुस्तकालय में ज्यादातर सामान्य शब्द हैं (जैसे Python या सामान्य टेक्स्ट), तो फॉर्मूला नॉब को वापस "सामान्य" (q = 1) पर सेट कर देता है।
यह क्यों महत्वपूर्ण है: इसका मतलब है कि यह सुधार स्वचालित रूप से काम करता है। यह टेक्स्ट सर्च (जहाँ अद्वितीय शब्द महत्वपूर्ण नहीं हैं) को खराब नहीं करता है और इसे हर नए प्रोजेक्ट के लिए मानव विशेषज्ञों द्वारा ट्यून करने की आवश्यकता नहीं होती है।

एक चुनौती: टोकनाइज़र (Tokenizers)

पेपर ने एक सीमा भी खोजी। यदि आप डिक्शनरी (tokenizer) को बदल सकते हैं ताकि वह कोड को बेहतर ढंग से समझ सके (जैसे handleWebSocketUpgrade को handle, web, socket, upgrade में तोड़ना), तो मानक सर्च इंजन ठीक से काम करता है, और इस विशेष "वॉल्यूम नॉब" की आवश्यकता नहीं होती है।

सीख: यह सुधार विशेष रूप से उन स्थितियों के लिए है जहाँ आप डिक्शनरी को नहीं बदल सकते। यह एक लॉक-डाउन सिस्टम के लिए "सबसे अच्छा संभव समाधान" है।

सारांश

समस्या: मानक सर्च इंजन अद्वितीय कोड नामों को अनदेखा करते हैं, जिससे AI कोडिंग एजेंट विफल हो जाते हैं।
समाधान: एक गणितीय बदलाव जो उन शब्दों के महत्व को भारी रूप से बढ़ाता है जो केवल एक बार दिखाई देते हैं।
परिणाम: सही कोड फ़ाइलों को खोजने में भारी उछाल (शीर्ष परिणामों में ~25% से ~48% सफलता दर)।
लाभ: यह स्वचालित रूप से काम करता है, मौजूदा सर्च इंफ्रास्ट्रक्चर में कोई बदलाव नहीं करता है, और गणना के लिए मुफ्त है।

संक्षेप में, यह पेपर हमें सिखाता है कि पुस्तकालय में "गुप्त कोडों" की आवाज़ कैसे बढ़ाई जाए, जिससे यह सुनिश्चित हो सके कि जासूस (AI) उन्हें स्पष्ट रूप से सुन सके और सही फ़ाइल ढूंढ सके।

तकनीकी सारांश: फिक्स्ड जेनेरिक टोकनाइजेशन के तहत BM25 कोड रिट्रीवल में सुधार

1. समस्या विवरण (Problem Statement)

रिट्रीवल-ऑगमेंटेड कोडिंग सिस्टम्स में, एक महत्वपूर्ण विफलता बिंदु तब होता है जब प्रासंगिक सोर्स फ़ाइल रिट्रीव किए गए कॉन्टेक्स्ट से अनुपस्थित होती है। यह अक्सर "फ्रोजन जेनेरिक टोकनाइजेशन" (frozen generic tokenization) व्यवस्थाओं में होता है, जहाँ एक BM25 इंडेक्स एक ऐसे सर्च इंफ्रास्ट्रक्चर (जैसे Lucene, Elasticsearch, Tantivy) द्वारा बनाया जाता है जिसका एनालाइज़र नेचुरल लैंग्वेज के लिए ट्यून किया गया है, न कि कोड के लिए। अभ्यासकर्ता (practitioners) अक्सर इस टोकनाइज़र को संशोधित नहीं कर पाते हैं।

इन बाधाओं के तहत, मानक BM25 अद्वितीय कोड आइडेंटिफायर्स (जैसे handleWebSocketUpgrade) और सामान्य, बार-बार आने वाले टोकन के बीच पर्याप्त अंतर करने में विफल रहता है। मानक रोबर्टसन-स्पार्क-जोन्स (RSJ) इनवर्स डॉक्यूमेंट फ्रीक्वेंसी (IDF) एक लॉगरिदमिक फंक्शन का उपयोग करता है: $\log((N - n_t + 0.5)/(n_t + 0.5))$ । क्योंकि लॉगरिदम धीरे-धीरे बढ़ता है, यह डिस्ट्रीब्यूशन के 'टेल' (tail) को पर्याप्त रूप से अलग नहीं कर पाता है। एक टर्म जो केवल एक फ़ाइल में आता है ($df=1$) और एक टर्म जो 50 फ़ाइलों में आता है, उन्हें प्राप्त होने वाले IDF वेट्स के बीच केवल एक छोटे स्थिरांक (constant) का अंतर होता है, न कि एक ऑर्डर ऑफ मैग्नीट्यूड का। फलस्वरूप, "गोल्ड" फ़ाइलें जिनमें अद्वितीय आइडेंटिफायर्स होते हैं, अक्सर उन "डिस्ट्रैक्टर" फ़ाइलों से नीचे रैंक हो जाती हैं जो कुछ सामान्य, गैर-अद्वितीय टोकन साझा करती हैं, जिससे एजेंट के कॉन्टेक्स्ट विंडो में अप्रासंगिक कोड भर जाता है।

2. कार्यप्रणाली: एडेप्टिव q-लॉग ऑड्स (Methodology: Adaptive q-Log Odds)

पेपर एक "ड्रॉप-इन" समाधान प्रस्तावित करता है जो केवल BM25 IDF की बाहरी लॉगरिदम गणना को संशोधित करता है, जिससे टर्म-फ्रीक्वेंसी सैचुरेशन और टोकनाइजेशन अपरिवर्तित रहते हैं।

परिवर्तन (The Transformation): लेखक मानक लॉगरिदम को त्सालिस q-लॉग (Tsallis q-log या $q$ -log) से बदलते हैं, जिसे इस प्रकार परिभाषित किया गया है:
$\ln_q(x) = \frac{x^{1-q} - 1}{1 - q}$
नया IDF बनता है:
$idf_{RSJ}^q(t) = \ln_q\left(\frac{N - n_t + \delta}{n_t + \delta}\right)$
जहाँ $\delta = 0.5$ है।
गणितीय गुण (Mathematical Properties):
- BM25 की रिकवरी: $q=1$ पर, यह ट्रांसफॉर्म L'Hôpital's rule के माध्यम से क्लासिकल BM25 IDF को सटीक रूप से रिकवर करता है ( $\lim_{q \to 1} \ln_q(x) = \log x$ )।
- पावर-लॉ एम्प्लीफिकेशन (Power-Law Amplification): $q < 1$ के लिए, यह ट्रांसफॉर्म RSJ ऑड्स के एक बॉक्स-कॉक्स ट्रांसफॉर्म (Box-Cox transform) के रूप में कार्य करता है जहाँ $\lambda = 1-q$ है। अत्यंत दुर्लभ टोकन ( $n_t \ll N$ ) के मामले में, IDF एक पावर लॉ ( $x^{1-q}$ ) के रूप में बढ़ता है, जो कम दुर्लभ टोकन की तुलना में $df=1$ वाले 'हैपाक्स' (hapaxes - अद्वितीय आइडेंटिफायर्स) के वेट को काफी बढ़ा देता है।
- सैचुरेशन (Saturation): $q > 1$ के लिए, IDF सैचुरेट हो जाता है, जिससे दुर्लभ टोकन के लिए विभेदन (discrimination) समाप्त हो जाता है।
कार्यान्वयन (Implementation): इसके लिए केवल इंडेक्स लोड के समय स्पार्स स्कोर मैट्रिक्स पर एक सिंगल पास की आवश्यकता होती है ताकि IDF कॉलम को रीस्केल किया जा सके। क्वेरी लेटेंसी अपरिवर्तित रहती है।

3. मुख्य योगदान (Key Contributions)

q-Log RSJ-odds IDF: BM25 IDF का एक वन-पैरामीटर विरूपण (deformation) जो $q=1$ पर ठीक BM25 को रिकवर करता है और $q < 1$ होने पर दुर्लभ टोकन के लिए पावर-लॉ एम्प्लीफायर के रूप में कार्य करता है।
ओरेकल परफॉरमेंस बाउंड्स: फ्रोजन जेनेरिक टोकनाइजेशन के साथ CoIR CodeSearchNet Go कॉर्पस (182K डॉक्यूमेंट्स) पर, $q$ को $0.05$ ट्यून करने से NDCG@10 0.2575 से बढ़कर 0.4874 (+89.3% रिलेटिव गेन) हो जाता है। यह परिणाम 10,000 पेयर्ड-बूटस्ट्रैप रिसैंपल्स में शून्य साइन रिवर्सल के साथ सांख्यिकीय रूप से महत्वपूर्ण ( $p \le 10^{-4}$ ) है।
कॉर्पस-एडेप्टिव प्रेडिक्टर: एक क्लोज्ड-फॉर्म, लेबल-फ्री प्रेडिक्टर $q_{pred} = 1 - 7.28 \cdot h_{tok}$ (जहाँ $h_{tok}$ है हैपाक्स डेंसिटी) जो केवल कॉर्पस स्टैटिस्टिक्स से इष्टतम $q$ का अनुमान लगाता है। यह प्रेडिक्टर लीव-वन-लैंग्वेज-आउट रिकवरी 0.72 प्राप्त करता है और उन कॉर्प्रा के लिए सही ढंग से $q \approx 1$ पर डिफॉल्ट होता है जहाँ BM25 पहले से ही इष्टतम है (जैसे Python)।
टोकनाइज़र एब्लेशन (Tokenizer Ablation): अध्ययन दर्शाता है कि $q$ -IDF से होने वाला प्रदर्शन लाभ काफी हद तक टोकनाइज़र पर निर्भर है। जब एक आइडेंटिफायर-अवेयर टोकनाइज़र (जो handleWebSocketUpgrade को सब-टोकन्स में विभाजित करता है) का उपयोग किया जाता है, तो $q$ -IDF से मिलने वाला वृद्धिशील लाभ समाप्त हो जाता है। यह पुष्टि करता है कि इस पद्धति का मूल्य "फ्रोजन टोकनाइज़र" व्यवस्था के लिए विशिष्ट है।
एजेंट-रेलेवेंट प्रॉक्सीज़ (Agent-Relevant Proxies): यह विधि Recall@K-tokens (कॉन्टेक्स्ट विंडो एफिशिएंसी) में महत्वपूर्ण लाभ दिखाती है, जिससे गो (Go) पर 8K-टोकन बजट के भीतर गोल्ड फ़ाइल के आने की संभावना 48.1% से बढ़कर 68.8% हो जाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

कोड बनाम टेक्स्ट: यह विधि भारी आइडेंटिफायर टेल (Go, Java, Ruby) वाले कोड कॉर्प्रा पर भारी लाभ देती है, लेकिन नेचुरल लैंग्वेज टेक्स्ट (BEIR डेटासेट्स) और Python पर लगभग शून्य लाभ देती है।
- Go: $q_{opt} = 0.05$ , +89.3% NDCG@10 गेन।
- Java/Ruby: महत्वपूर्ण सकारात्मक लाभ ( $q_{opt} \approx 0.70-0.90$ )।
- Python: $q_{opt} = 1.00$ । Python के आइडेंटिफायर्स अक्सर डिक्शनरी-जैसे शब्द होते हैं जो कई फ़ाइलों में पुन: उपयोग किए जाते हैं; सिग्नल मिड-$df$ बिन्स में होता, जिसे स्टैंडर्ड लॉग-IDF पहले से ही इष्टतम रूप से हैंडल करता है। $q=1$ से विचलन इन बिन्स को विकृत कर देता है।
- BEIR (Text): कोई महत्वपूर्ण लाभ नहीं; ओरेकल $q$ या तो 1 के पास है या उससे ऊपर है, जिससे विधि BM25 में सिमट जाती है।
स्केलिंग: प्रदर्शन लाभ कॉर्पस के आकार के साथ मोनोटोनिक रूप से बढ़ता है। Go पर, एब्सोल्यूट गेन 1K डॉक्यूमेंट्स पर +0.061 से बढ़कर 182K डॉक्यूमेंट्स पर +0.227 हो जाता है।
बेसलाइन्स: $q$ -log विधि सरल पावर-लॉ IDF रीस्केलिंग ( $idf_\gamma$ ) और डाइवर्जेंस-फ्रॉम-रैंडमनेस (DFR-DPH) मॉडल्स को पीछे छोड़ देती है, जो टर्म-फ्रीक्वेंसी नॉर्मलाइजेशन के मिसकैलिब्रेटेड होने के कारण कोड पर विफल रहते हैं।

5. महत्व और दायरा (Significance and Scope)

यह पेपर इस कार्य को उचित टोकनाइजेशन के विकल्प के रूप में नहीं, बल्कि एक आवश्यक हस्तक्षेप के रूप में प्रस्तुत करता है जब इंफ्रास्ट्रक्चर संबंधी बाधाएं इसकी अनुमति नहीं देतीं।

व्यावहारिक उपयोगिता: उन प्रबंधित सर्च क्लस्टर्स (Elasticsearch, OpenSearch) का उपयोग करने वाले अभ्यासकर्ताओं के लिए जहाँ एनालाइज़र फिक्स्ड है, यह विधि IDF गणना में एक "वन-लाइन" परिवर्तन प्रदान करती है जो कोड सर्च के लिए रिट्रीवल प्रभावशीलता को लगभग दोगुना कर सकती है।
तंत्र (Mechanism): सुधार $df=1$ हैपाक्स (अद्वितीय आइडेंटिफायर्स जैसे handleWebSocketUpgrade) के प्रवर्धन द्वारा संचालित है, जो कोड रिट्रीवल के प्राथमिक डिस्क्रिमिनेटर हैं लेकिन स्टैंडर्ड लॉगरिदमिक वेटिंग द्वारा फ्लैट कर दिए जाते हैं।
सीमाएँ: लेखक स्पष्ट रूप से कहते हैं कि यदि ऑपरेटर के पास टोकनाइज़र का नियंत्रण है, तो सबसे अच्छा दृष्टिकोण एक आइडेंटिफायर-अवेयर एनालाइज़र का उपयोग करना और $q=1$ रखना है। $q$ -IDF को आइडेंटिफायर-अवेयर टोकनाइजेशन के ऊपर जोड़ने से नगण्य या नकारात्मक रिटर्न मिलता है। यह विधि भाषा-निर्भर भी है; यह कम हैपाक्स डेंसिटी वाली भाषाओं (जैसे Python या PHP) के पूर्ण स्केल पर कोई लाभ नहीं देती है (और संभावित रूप से थोड़ा नुकसान पहुँचा सकती है)।

संक्षेप में, यह पेपर फ्रोजन टोकनाइजेशन के तहत कोड रिट्रीवल में एक विशिष्ट विफलता मोड की पहचान करता है और एक गणितीय रूप से सुदृढ़, कम लागत वाला और एडेप्टिव समाधान प्रदान करता है जो बिना री-इंडेक्सिंग या टोकनाइज़र बदलावों के अद्वितीय आइडेंटिफायर्स की विभेदन शक्ति को बहाल करता है।