💻 computer science

Bag of Bags: Adaptive Visual Vocabularies for Genizah Join Image Retrieval

यह शोध पत्र 'बैग ऑफ बैग्स' (BoB) को प्रस्तुत करता है, जो एक अनुकूलन योग्य विजुअल वोकैबुलरी पद्धति है जो वैश्विक कोडबुक्स के स्थान पर खंड-विशिष्ट स्थानीय वोकैबलरीज का उपयोग करती है, जिससे स्टेट-ऑफ-द-आर्ट 'बैग ऑफ वर्ड्स' बेसलाइन्स की तुलना में टॉप-1 सटीकता में 6.1% की सापेक्ष वृद्धि प्राप्त करते हुए काइरो जेनिज़ा पांडुलिपि खंडों की खोज (रिट्रीवल) में महत्वपूर्ण सुधार होता है।

मूल लेखक: Sharva Gogawale, Gal Grudka, Daria Vasyutinsky-Shapira, Omer Ventura, Berat Kurar-Barakat, Nachum Dershowitz

प्रकाशित 2026-04-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sharva Gogawale, Gal Grudka, Daria Vasyutinsky-Shapira, Omer Ventura, Berat Kurar-Barakat, Nachum Dershowitz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, सदियों पुराने पहेली को सुलझाने की कोशिश कर रहे हैं। इसके टुकड़े कार्डबोर्ड के नहीं हैं; वे हाथ से लिखे गए पांडुलिपियों के प्राचीन, फटे हुए, दागदार और बिखरे हुए अंश हैं जो काहिरा जेनिज़ा (एक ऐतिहासिक संग्रह कक्ष) से आए हैं।

आपका काम है पांडुलिपि जोड़ पुनर्प्राप्ति (Manuscript Join Retrieval): आप कागज का एक फटा हुआ टुकड़ा उठाते हैं और पूछते हैं, "दुनिया के किन अन्य टुकड़ों में मूल रूप से एक ही किताब के अंश थे?"

यह काम अविश्वसनीय रूप से कठिन है क्योंकि:

टुकड़े क्षतिग्रस्त हैं: कुछ के कोने गायब हैं, कुछ फीके पड़ गए हैं, और कुछ केवल धब्बे मात्र हैं।
लिखावट सूक्ष्म है: दो टुकड़े इसलिए समान दिख सकते हैं क्योंकि वे दोनों पुराने और पीले हो चुके हैं, लेकिन उन्हें अलग-अलग लोगों ने लिखा होगा। इसके विपरीत, एक ही किताब के दो टुकड़े अलग दिख सकते हैं क्योंकि एक को तेज़ रोशनी में लिखा गया था और दूसरे को अंधेरे में, या स्याही अलग तरह से फीकी पड़ी है।

पुराना तरीका: "ग्लोबल डिक्शनरी" (Bag of Words)

लंबे समय तक, कंप्यूटर वैज्ञानिकों ने इसे Bag of Words (BoW) नामक एक विधि का उपयोग करके हल करने का प्रयास किया।

उपमा: कल्पना कीजिए कि प्रत्येक पांडुलिपि का अंश मोतियों का एक थैला है। पुराने तरीके में, सभी एक एक विशाल, वैश्विक शब्दकोश (global dictionary) पर सहमत होते हैं (जैसे, "लाल," "नीला," "हरा," "चितकबरा")।

आप अपने अंश के मोतियों को थैले में डालते हैं।
आप गिनते हैं कि आपके पास कितने "लाल" मोती हैं, कितने "नीले" आदि।
आप अपने काउंट की तुलना बाकी सभी के काउंट से करते हैं।

समस्या: यह बहुत ही सतही है।

यदि दो अंशों में "लाल" मोतियों की संख्या समान है, तो कंप्यूटर सोचता है कि वे बिल्कुल एक जैसे हैं। लेकिन शायद एक अंश में "लाल" मोती एक आदर्श घेरे में व्यवस्थित हैं, और दूसरे में वे बेतरतीब ढंग से बिखरे हुए हैं। यहाँ पैटर्न मायने रखता है, न कि केवल उनकी गिनती।
यदि कोई अंश क्षतिग्रस्त है और उसके "नीले" मोती गायब हैं, तो कंप्यूटर सोच सकता है कि यह पूरी तरह से एक अलग किताब है, भले ही शेष "लाल" मोती पूरी तरह मेल खाते हों।
यह हर अद्वितीय, अव्यवस्थित पांडुलिपि को एक ही कठोर ढांचे में फिट होने के लिए मजबूर करता है, जिससे लेखक का विशिष्ट "फिंगरप्रिंट" खो जाता है।

नया तरीका: "बैग ऑफ बैग्स" (Bag of Bags - BoB)

लेखक इस शोध पत्र में एक अधिक स्मार्ट, अधिक लचीला दृष्टिकोण प्रस्तावित करते हैं जिसे Bag of Bags (BoB) कहा जाता है।

उपमा: एक ही विशाल शब्दकोश का उपयोग करने के बजाय, प्रत्येक एकल अंश का अपना कस्टम शब्दकोश होता है।

यह प्रणाली चरण-दर-चरण इस प्रकार काम करती है:

सूक्ष्मदर्शी (Connected Components):
सबसे पहले, कंप्यूटर अंश पर ज़ूम करता है और जितने भी अक्षर या स्याही के धब्बे वह ढूंढ सकता है, उन्हें अलग करता है। इन्हें "कैरेक्टर पैचेस" (character patches) के रूप में सोचें।
अनुवादक (Sparse Autoencoder):
कंप्यूटर प्रत्येक पैच को देखता है और उसे एक गणितीय "फिंगरप्रिंट" (एम्बेडिंग) में अनुवादित करता है। यह हाथ से लिखे गए अक्षर को एक अद्वितीय कोड में बदलने जैसा है जो उसके आकार, ढलान और बनावट को पकड़ता है।
कस्टम डिक्शनरी (Local Vocabulary):
यह जादुई कदम है। इन फिंगरप्रिंट्स को एक वैश्विक सूची में डालने के बजाय, कंप्यूटर केवल इसी एक पृष्ठ को देखता है और समान फिंगरप्रिंट्स को एक साथ समूहबद्ध करता है।

उदाहरण: इस विशिष्ट पृष्ठ पर, यह पा सकता है कि लेखक का "A" लिखने का एक अनूठा तरीका है जो एक त्रिकोण जैसा दिखता है, और दूसरा तरीका एक वृत्त जैसा दिखता है।
यह केवल इस पृष्ठ के लिए एक मिनी-डिक्शनरी बनाता है: "त्रिकोण-A" और "वृत्त-A।"
यह भी गिनता है कि प्रत्येक की कितनी संख्या है (यानी "मास")।

मैचमेकर (Set-to-Set Distance):
अब, यह देखने के लिए कि क्या दो अंश एक साथ जुड़ते हैं, कंप्यूटर केवल काउंट की तुलना नहीं करता है। यह कस्टम डिक्शनरी की तुलना करता है।

यह पूछता है: "क्या अंश A का 'त्रिकोण-A', अंश B के 'त्रिकोण-A' से मेल खाता है?"
यह Chamfer Distance नामक एक चतुर गणितीय ट्रिक का उपयोग करता है। इसे "निकटतम मिलान" के खेल की तरह समझें। यदि अंश A में एक "त्रिकोण-A" है और अंश B में भी एक "त्रिकोण-A" है, तो उन्हें एक अंक मिलता है। यदि अंश A में एक "वृत्त-A" है लेकिन अंश B में यह गायब है (क्योंकि वह फटा हुआ है), तो कंप्यूटर उन्हें बहुत अधिक दंडित नहीं करता है। यह बस कहता है, "ठीक है, हमने त्रिकोण के लिए एक मिलान ढूंढ लिया है, यह काफी अच्छा है।"

यह बेहतर क्यों है?

यह क्षति को संभालता है: यदि कोई टुकड़ा फटा हुआ है और उसके आधे अक्षर गायब हैं, तो पुराना तरीका घबरा जाता है। नया तरीका कहता है, "कोई समस्या नहीं, हमारे पास जो अक्षर बचे हैं, वे अभी भी मौजूद हैं और वे पूरी तरह मेल खाते हैं।"
यह "हाथ की शैली" को पकड़ता है: यह केवल सभी पुराने कागजों के सामान्य गुणों पर ध्यान केंद्रित करने के बजाय, उस विशिष्ट पृष्ठ पर लेखक की विशिष्ट शैली पर ध्यान केंद्रित करता है।
यह कुशल है: लेखकों ने दो-चरणीय प्रणाली बनाई है। पहले, यह पूरे पुस्तकालय को "पुराने तरीके" के साथ जल्दी से स्कैन करता है ताकि 30 उम्मीदवारों की एक छोटी सूची मिल सके। फिर, यह उन 30 को रैंक करने और विजेता चुनने के लिए सुपर-स्मार्ट "Bag of Bags" पद्धति का उपयोग करता है। यह इसे विशाल संग्रहों के लिए उपयोग करने के लिए पर्याप्त तेज़ बनाता है।

परिणाम

जब उन्होंने काहिरा जेनिज़ा के अंशों पर इसका परीक्षण किया:

पुराने तरीके (BoW) ने लगभग 74% बार सही उत्तर दिया।
नए तरीके (BoB-Chamfer) ने 78.4% बार सही उत्तर दिया।

यह सुनने में एक छोटा सा नंबर लग सकता है, लेकिन प्राचीन पांडुलिपियों की दुनिया में, जहाँ हर टुकड़ा अद्वितीय और क्षतिग्रस्त है, यह एक बड़ी छलांग है। इसका मतलब है कि विद्वान अब उन अंशों को स्वचालित रूप से जोड़ सकते हैं जो सदियों से अलग थे, जिससे वे खोए हुए इतिहास का पुनर्निर्माण मानव विशेषज्ञों की तुलना में बहुत तेज़ी से कर सकते हैं।

संक्षेप में: प्रत्येक प्राचीन पृष्ठ को एक ही भाषा बोलने के लिए मजबूर करने के बजाय, "Bag of Bags" विधि प्रत्येक पृष्ठ की अनूठी बोली सीखती है और फिर उन अन्य पृष्ठों को खोजती है जो उसी बोली को बोलते हैं।

यहाँ शोध पत्र "Bag of Bags: Adaptive Visual Vocabularies for Genizah Join Image Retrieval" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र कैरो जेनिज़ाह (Cairo Genizah) के संदर्भ में पांडुलिपि जॉइन रिट्रिवल (manuscript join retrieval) की चुनौती को संबोधित करता है, जो दुनिया भर के पुस्तकालयों में बिखरे हुए मध्यकालीन पांडुलिपियों (11वीं-19वीं शताब्दी) का एक विशाल संग्रह है।

लक्ष्य: एक पांडुलिपि खंड (fragment) की क्वेरी इमेज दी जाने पर, सिस्टम को अन्य उन खंडों को खोजना चाहिए जो मूल रूप से एक ही भौतिक पांडुलिपि से निकले थे (एक "जॉइन")।
चुनौती:
- विखंडन (Fragmentation): खंड अक्सर क्षतिग्रस्त, अधूरे, दागदार या कटे हुए होते हैं।
- सूक्ष्म संकेत (Subtle Signals): एक ही पांडुलिपि के खंड विशिष्ट हस्तलेखन शैलियाँ (handwriting styles) साझा करते हैं, जबकि अलग-अलग पांडुलिपियों के खंड साझा उम्र बढ़ने, पृष्ठभूमि की बनावट या क्षरण के कारण वैश्विक रूप से समान दिख सकते हैं।
- मानक विधियों की सीमाएँ: पारंपरिक Bag of Words (BoW) दृष्टिकोण सभी छवियों को एक एकल वैश्विक विजुअल कोडबुक (global visual codebook) में मैप करते हैं। यह वैश्विक क्वांटाइजेशन (quantization) इमेज-विशिष्ट हस्तलेखन शैली के संकेतों को मिटा देता है। दो खंड जिनका शब्द आवृत्ति (word frequency) समान है, लेकिन जिनके ज्यामितीय वर्ण वितरण (geometric character distributions) भिन्न हैं, उन्हें समान (दूरी शून्य) माना जाता है; जबकि एक ही पांडुलिपि के दो खंड, जिनमें लाइटिंग या लेआउट अलग हो सकता है, उन्हें अलग माना जा सकता है।

2. कार्यप्रणाली: बैग ऑफ बैग्स (Methodology: Bag of Bags - BoB)

लेखक Bag of Bags (BoB) का प्रस्ताव करते हैं, जो एक नवीन इमेज-लेवल रिप्रजेंटेशन है जो वैश्विक कोडबुक के स्थान पर खंड-विशिष्ट शब्दावलियों (fragment-specific vocabularies) का उपयोग करता है।

A. पाइपलाइन अवलोकन (Pipeline Overview)

चर-आधारित पैच निष्कर्षण (Character-Anchored Patch Extraction):
- छवियों का बाइनराइजेशन (Otsu thresholding द्वारा) किया जाता है।
- कनेक्टेड कंपोनेंट एनालिसिस (Connected Component Analysis) व्यक्तिगत वर्ण उदाहरणों को अलग करता है।
- फिल्टरिंग: शोर (noise) और बड़े संलयित ब्लॉब्स को हटाने के लिए घटकों को क्षेत्र (area: 300–3000 पिक्सल) के आधार पर फ़िल्टर किया जाता है।
- नॉर्मलाइजेशन: घटकों को 64×64 के पैच में स्केल किया जाता है, जबकि आस्पेक्ट रेशियो (aspect ratio) को सुरक्षित रखा जाता है (जीरो-पैडिंग के साथ), जिससे हिब्रू अक्षरों की ज्यामितीय अखंडता सुनिश्चित होती है।
स्पार्स कॉन्वोल्यूशनल ऑटोएनकोडर (Sparse Convolutional Autoencoder):
- एक स्पार्स ऑटोएनकोडर ( $f_\theta$ ) नॉर्मलाइज्ड पैच को 128-डायमेंशनल लेटेंट स्पेस में एनकोड करता है।
- प्रशिक्षण उद्देश्य (Training Objective): मीन स्क्वेयर्ड एरर (रिकंस्ट्रक्शन) + $L_1$ स्पैरसिटी पेनल्टी ( $\lambda = 10^{-5}$ ) को कम करना। यह नेटवर्क को वर्ण के स्ट्रोक्स (strokes) के लिए स्पार्स, डिस्क्रिमिनेटिव फीचर्स सीखने के लिए मजबूर करता है।
पेज-एडेप्टिव शब्दावली निर्माण (Page-Adaptive Vocabulary Construction):
- सभी पैच को एक वैश्विक डिक्शनरी में मैप करने के बजाय, BoB उस विशिष्ट खंड से निकाले गए एम्बेडिंग्स के सेट पर प्रति पेज $K$ -means क्लस्टरिंग करता है।
  तुलनात्मक रूप से, यह एक "बैग" के रूप में स्थानीय प्रोटोटाइप (सेंट्रॉइड्स) और उनके संबंधित द्रव्यमान (क्लस्टर जनसंख्या) उत्पन्न करता है जो उस खंड के लिए अद्वितीय होते हैं।
- रिप्रजेंटेशन: $B(I) = \{(\mu_a, \pi_a)\}_{a=1}^K$ , जहाँ $\mu_a$ प्रोटोटाइप है और $\pi_a$ द्रव्यमान (mass) है।

B. दूरी मेट्रिक्स (Distance Metrics: Set-to-Set Matching)

दो खंडों के बीच समानता उनके स्थानीय शब्दावलियों के बीच की दूरी द्वारा गणना की जाती है:

BoB-Chamfer (सॉफ्ट मैचिंग):
- दोनों दिशाओं में निकटतम-पड़ोसी (nearest-neighbor) दूरियों के योग की गणना करता है।
- लाभ: यह सख्त एक-से-एक मैपिंग लागू नहीं करता है। यह आंशिक ओवरलैप को पुरस्कृत करता है, जो क्षतिग्रस्त खंडों के लिए महत्वपूर्ण है जहाँ दोनों में से केवल एक उपसमुच्चय (subset) के वर्ण शैलियाँ मौजूद हो सकती हैं।
- प्रदर्शन: अनुभवजन्य रूप से सबसे मजबूत मेट्रिक।
BoB-Hungarian (स्ट्रिक्ट असाइनमेंट):
- हंगेरियन एल्गोरिदम का उपयोग करके एक सख्त एक-से-एक द्विपक्षीय असाइनमेंट लागू करता है।
- यह मेट्रिक गुणों (ट्रायंगल इनइक्वेलिटी) को संतुष्ट करता है लेकिन आंशिक क्षति के प्रति कम मजबूत है।
BoB-OT (मास-वेटेड ऑप्टिमल ट्रांसपोर्ट):
- क्लस्टर जनसंख्या भार ( $\pi$ ) को ट्रांसपोर्ट प्लान में शामिल करता है।
- सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि BoB-OT और पूर्ण घटक-स्तरीय ऑप्टिमल ट्रांसपोर्ट के बीच विचलन $K$ -means क्वांटाइजेशन त्रुटियों ( $\epsilon_I + \epsilon_J$ ) के योग द्वारा सीमित है। यह एक औपचारिक अनुमान गारंटी (formal approximation guarantee) प्रदान करता है।

C. दो-चरणीय रिट्रिवल पाइपलाइन (Two-Stage Retrieval Pipeline)

बड़े पैमाने के संग्रहों को संभालने के लिए जहाँ $N \times N$ BoB दूरी मैट्रिक्स की गणना करना महंगा है:

चरण 1 (उम्मीदवार पीढ़ी - Candidate Generation): एक तेज़ BoW-Cosine बेसलाइन का उपयोग करके एक शॉर्टलिस्ट (जैसे, शीर्ष 30 उम्मीदवार) प्राप्त करें।
चरण 2 (रीरैंकिंग - Reranking): केवल शॉर्टलिस्ट पर गणनात्मक रूप से भारी BoB-OT लागू करें।

जटिलता (Complexity): कुल गैलरी आकार $N$ से स्वतंत्र, ऑनलाइन लागत को $O(M \cdot K^3)$ तक कम करता है।

3. मुख्य योगदान (Key Contributions)

Bag of Bags (BoB) रिप्रजेंटेशन: वैश्विक क्वांटाइजेशन से पेज-एडेप्टिव लोकल वोकैबुलरी की ओर बदलाव, जो विशिष्ट हस्तलेखन शैलियों को संरक्षित करता है जिन्हें वैश्विक कोडबुक खो देती है।
मजबूत दूरी मेट्रिक्स: सेट-टू-सेट मैचिंग के लिए Chamfer, Hungarian, और Mass-Weighted OT दूरियों का परिचय और मूल्यांकन, जो यह दर्शाता है कि सॉफ्ट नेरेस्ट-नेबर मैचिंग (Chamfer) आंशिक रूप से क्षतिग्रस्त दस्तावेजों के लिए बेहतर है।
सैद्धांतिक गारंटी: पूर्ण घटक-स्तरीय ऑप्टिमल ट्रांसपोर्ट के सापेक्ष मास-वेटेड BoB-OT वेरिएंट की अनुमान त्रुटि (approximation error) को सीमित करने वाला एक औपचारिक प्रमाण।
कुशल स्केलेबिलिटी (Efficient Scalability): एक दो-चरणीय पाइपलाइन जो उच्च रिट्रिवल सटीकता और कम्प्यूटेशनल व्यवहार्यता के बीच संतुलन बनाती है।
व्यापक एब्लेशन (Comprehensive Ablation): विस्तृत विश्लेषण जो दिखाता है कि लाभ केवल एनकोडर की गुणवत्ता से नहीं, बल्कि एडेप्टिव शब्दावली संरचना (क्लस्टरिंग + सेट मैचिंग) से आता है।

4. परिणाम (Results)

287 कैरो जेनिज़ाह खंडों (100 जॉइन क्लस्टर्स) के बेंचमार्क पर मूल्यांकन किया गया:

प्रदर्शन (Performance):
- BoB-Chamfer ने Hit@1 = 0.784 और MRR = 0.841 प्राप्त किया।
- इसने सबसे मजबूत बेसलाइन, BoW-RawPatches- $\chi^2$ (Hit@1 = 0.739, MRR = 0.800) को पछाड़ दिया, जो टॉप-1 सटीकता में 6.1% की सापेक्ष सुधार को दर्शाता है।
- BoB ने पूलिंग बेसलाइन्स (MeanPool/MaxPool) और ग्लोबल कोडबुक वेरिएंट (BoW-centroids) को काफी पीछे छोड़ दिया, जो पेज-विशिष्ट क्लस्टरिंग के महत्व को सिद्ध करता है।
एब्लेशन अंतर्दृष्टि (Ablation Insights):
- शब्दावली का आकार ( $K$ ): प्रदर्शन $K=32$ पर चरम पर पहुँचा (हालाँकि लागत को संतुलित करने के लिए मुख्य परिणामों के लिए $K=20$ का उपयोग किया गया था)।
- स्पैरसिटी (Sparsity): ऑटोएनकोडर में $L_1$ स्पैरसिटी को सक्षम करने से सभी मेट्रिक्स में सुधार हुआ।
- नॉर्मलाइजेशन: पैच निष्कर्षण के दौरान आस्पेक्ट रेशियो को बनाए रखना महत्वपूर्ण था; आइसोट्रोपिक रिसाइज़िंग (isotropic resizing) ने प्रदर्शन को कम कर दिया।
कम्प्यूटेशनल लागत (Computational Cost):
- प्रीकंप्यूटेड BoB लुकअप प्रभावी रूप से मुफ्त है (<0.01ms)।
- दो-चरणीय पाइपलाइन (BoW $\to$ BoB-OT) प्रति क्वेरी ~11ms खर्च करती है और गैलरी के आकार से स्वतंत्र रूप से स्केल करती है।

5. महत्व (Significance)

पेलियोग्राफिक विश्लेषण (Paleographic Analysis): यह कार्य प्रदर्शित करता है कि ऐतिहासिक दस्तावेज़ रिट्रिवल के लिए, यह मॉडल करना कि एक पृष्ठ अपने स्थानीय विजुअल मोड को कैसे व्यवस्थित करता है, एक साझा शब्दावली में सभी पृष्ठों को फिट करने की तुलना में अधिक प्रभावी है।
क्षति को संभालना (Handling Damage): "Bag of Bags" दृष्टिकोण, विशेष रूप से Chamfer दूरी के साथ, क्षतिग्रस्त पांडुलिपियों की आंशिक-ओवरलैप (partial-overlap) प्रकृति के लिए अनूठे रूप से उपयुक्त है, जहाँ सख्त एक-से-एक मिलान विफल हो जाता है।
व्यापक प्रयोज्यता (Broader Applicability): यह कार्य जेनिज़ाह रिट्रिवल से परे किसी भी कंप्यूटर विज़न कार्य तक विस्तृत है जिसमें बारीक पहचान (fine-grained recognition) शामिल है जहाँ उदाहरण वैश्विक रूप से समान होते हैं लेकिन सूक्ष्म, स्थानीय या आंशिक विजुअल संकेतों में भिन्न होते हैं (जैसे, जैविक नमूने, सामग्री दोष)।
व्यावहारिक तैनाती (Practical Deployment): प्रस्तावित दो-चरणीय पाइपलाइन अत्यधिक कम्प्यूटेशनल लागत के बिना विशाल, असंरचित ऐतिहासिक अभिलेखागार (250k+ खंड) पर उन्नत डीप लर्निंग रिट्रिवल विधियों को लागू करने का एक व्यवहार्य मार्ग प्रदान करती है।