Improving Robustness of Tabular Retrieval via Representational Stability

तकनीकी सारांश: प्रतिनिधित्व स्थिरता के माध्यम से सारणीबद्ध पुनर्प्राप्ति (Tabular Retrieval) की सुदृढ़ता में सुधार

1. समस्या विवरण: सीरियलाइजेशन (Serialization) की बाधा

ट्रांसफॉर्मर-आधारित रिट्रीवल मॉडल एक-आयामी टोकन अनुक्रमों को संसाधित करने के लिए डिज़ाइन किए गए हैं। हालाँकि, तालिकाएँ (tables) स्वाभाविक रूप से बहु-आयामी, संबंधपरक संरचनाएँ होती हैं। इस अंतर को पाटने के लिए, तालिकाओं को सीरियलाइजेशन (जैसे, तालिका को CSV, HTML, JSON, या Markdown में बदलना) के माध्यम से स्ट्रिंग्स में "फ्लैटन" (flatten) करना आवश्यक होता है।

लेखक एक महत्वपूर्ण, कम शोधित समस्या की पहचान करते हैं: सीरियलाइजेशन संवेदनशीलता (Serialization Sensitivity)। भले ही तालिका की अंतर्निहित अर्थपूर्ण सामग्री (semantic content) समान रहे, विभिन्न सीरियलाइजेशन प्रारूप काफी भिन्न एम्बेडिंग उत्पन्न करते हैं। यह "प्रतिनिधित्व विचलन" (representation drift) रिट्रीवर को एक ही तालिका के लिए उसके प्रारूप के आधार पर अलग-अलग निकटतम पड़ोसियों (nearest neighbors) को असाइन करने के लिए मजबूर करता है, जिससे पुनर्प्राप्ति प्रदर्शन (Recall@1) में महत्वपूर्ण भिन्नता आती है। यह अस्थिरता ओपन-डोमेन सेटिंग्स (जैसे, NQ-Tables) में विशेष रूप से तीव्र होती है जहाँ क्वेरी और तालिकाओं के बीच लेक्सिकल गैप बड़ा होता है, जो मॉडल को सीरियलाइजेशन द्वारा पेश किए गए संरचनात्मक संकेतों (structural cues) पर अत्यधिक निर्भर होने के लिए मजबूर करता है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र सीरियलाइजेशन-अपरिवर्तनीय (serialization-invariant) पुनर्प्राप्ति प्राप्त करने के लिए एक दो-चरणीय दृष्टिकोण प्रस्तावित करता है:

A. सैद्धांतिक ढांचा: सेंट्रॉइड-आधारित प्रतिनिधित्व (Centroid-Based Representations)
लेखक एक ही तालिका के कई सीरियलाइजेशन को एक ही अर्थपूर्ण संकेत के विभिन्न "व्यूज़" (views) के रूप में मानते हैं। वे एक सीरियलाइजेशन $s$ की एम्बेडिंग को इस प्रकार मॉडल करते हैं:
$$z_s(T) = \mu(T) + \delta_s(T)$$
जहाँ $\mu(T)$ स्थिर अर्थपूर्ण संकेत है और $\delta_s(T)$ प्रारूप-विशिष्ट बदलाव (format-specific shift) है।

• परिकल्पना: विभिन्न सीरियलाइजेशन के माध्यम से एम्बेडिंग का औसत लेने से, प्रारूप-विशिष्ट बदलाव ($\delta_s$) मोटे तौर पर एक-दूसरे को रद्द कर देंगे, जिससे सेंट्रॉइड $c(T)$ तालिका के अर्थों के एक स्थिर, मानक प्रतिनिधित्व के रूप में बचेगा।
• ज्यामितीय इष्टतमता (Geometric Optimality): वे सिद्ध करते हैं कि सेंट्रॉइड वह अद्वितीय बिंदु है जो सभी सीरियलाइजेशन एम्बेडिंग्स के वर्ग यूक्लिडियन दूरी (squared Euclidean distance) को एक साथ न्यूनतम करता है।

B. व्यावहारिक कार्यान्वयन: रेसिडुअल बॉटलनेक एडैप्टर (Residual Bottleneck Adapter)
चूंकि अनुमान (inference) के समय प्रत्येक सीरियलाइजेशन वेरिएंट को एनकोड करना कम्प्यूटेशनल रूप से निषेध है, इसलिए लेखक एक हल्का पोस्ट-हॉक रेसिडुअल बॉटलनेक एडैप्टर पेश करते हैं।

• आर्किटेक्चर: एक छोटा MLP जिसमें बॉटलनेक संरचना और एक स्केल्ड रेसिडुअल कनेक्शन है। यह एक सिंगल-फॉर्मेट एम्बेडिंग को इनपुट के रूप में लेता है और उसे लक्षित सेंट्रॉइड की ओर "परिवहन" (transport) करता है।
• ऑब्जेक्टिव फंक्शन (VICReg-प्रेरित): एडैप्टर को सभी एम्बेडिंग्स को एक एकल बिंदु में ढहने (collapse) या मूल स्पेस से भटकने से रोकने के लिए, वे एक मिश्रित लॉस (loss) का उपयोग करते हैं:
  1. इनवेरिएंस लॉस ($L_{inv}$): एक ही तालिका के विभिन्न सीरियलाइजेशन को उनके साझा सेंट्रॉइड की ओर खींचता है।
  2. आइडेंटिटी लॉस ($L_{id}$): अनुकूलित एम्बेडिंग को मूल फ्रोजन एनकोडर के स्पेस के साथ बांधता है ताकि फ्रोजन क्वेरी एम्बेडिंग्स के साथ अनुकूलता बनी रहे।
  3. वैरिएंस/कोवेरिएंस रेगुलराइजेशन ($L_{var}, L_{cov}$): आयामी पतन (dimensional collapse) को रोकता है और फीचर रिडंडेंसी को कम करता है, जिससे यह सुनिश्चित होता है कि एम्बेडिंग स्पेस पुनर्प्राप्ति के लिए अभिव्यंजक बना रहे।

3. मुख्य योगदान

1. व्यवस्थित परिमाणीकरण (Systematic Quantification): कई रिट्रीवर परिवारों (डेंस, स्पार्स, और रीजनिंग-ओरिएंटेड) में तालिका पुनर्प्राप्ति में सीरियलाइजेशन विकल्प कैसे एक प्रथम-क्रम चर (first-order variable) के रूप में कार्य करता है, इसका कठोरता से मापन करने वाला पहला अध्ययन।
2. सैद्धांतिक आधार: इस बात का गणितीय आधार प्रदान करना कि क्यों सेंट्रॉइड औसत (centroid averaging) स्थिर अर्थपूर्ण संकेतों को पुनः प्राप्त करता है और उन स्थितियों को परिभाषित करना जिनके तहत यह सेंट्रिंग प्रभावी रहती है।
3. एडैप्टर मॉड्यूल: केवल एक सिंगल सीरियलाइजेशन का उपयोग करके सेंट्रॉइड-स्तर की सुदृढ़ता प्राप्त करने का एक हल्का, प्रशिक्षण-कुशल तरीका।

4. मुख्य परिणाम

• सेंट्रॉइड श्रेष्ठता: अनुभवजन्य युग्म तुलनाएं (empirical pairwise comparisons) दिखाती हैं कि सेंट्रॉइड-आधारित प्रतिनिधित्व सभी परीक्षण किए गए मॉडलों और डेटासेट में व्यक्तिगत प्रारूपों (जैसे, HTML या JSON) की तुलना में लगातार बेहतर प्रदर्शन करते हैं।
• डेंस रिट्रीवर लाभ: एडैप्टर MPNet, BGE-M3, और ReasonIR जैसे डेंस रिट्रीवर्स के लिए सुदृढ़ता में महत्वपूर्ण सुधार करता है। उदाहरण के लिए, WTQ डेटासेट पर, एडैप्टर का उपयोग करने पर MPNet का HTML पर Recall@1 0.09 से बढ़कर 0.18 हो गया।
• परिवर्तन (Perturbations) के प्रति सुदृढ़ता: एडैप्टर प्रदर्शन में सुधार करता है भले ही तालिकाओं को एक ही तालिका के भीतर विभिन्न प्रारूपों को मिलाकर "दूषित" (corrupted) किया गया हो (जैसे, कुछ पंक्तियाँ CSV में, अन्य JSON में)।
• स्पार्स रिट्रीवर असंगतता: यह विधि SPLAVE (एक स्पार्स लेक्सिकल रिट्रीवर) पर खराब प्रदर्शन करती है। लेखक इसे एक ज्यामितीय बेमेल (geometric mismatch) के कारण बताते हैं: डेंस एडैप्टर की निर्देशांकों को "मिक्स" करने की प्रवृत्ति उस स्पार्स, उच्च-आयामी सक्रियण संरचना को बाधित करती जो लेक्सिकल मिलान के लिए आवश्यक है।
• सामान्यीकरण (Generalization): एक "सबसेट एडैप्टर" (जो WTQ और WikiSQL पर प्रशिक्षित था) ने अनदेखे NQ-Tables डेटासेट पर सामान्यीकरण करने की क्षमता प्रदर्शित की, जो यह सिद्ध करता है कि सीखा गया रूपांतरण डेटासेट-विशिष्ट शोर के बजाय संरचनात्मक अपरिवर्तनीयताओं (structural invariants) को कैप्चर करता है।

5. महत्व

यह कार्य सारणीबद्ध पुनर्प्राप्ति के प्रति दृष्टिकोण को "सीरियलाइजेशन को एक मामूली प्रीप्रोसेसिंग विवरण" के रूप में देखने के बजाय इसे एक मौलिक मॉडलिंग चर के रूप में मानने की दिशा में बदल देता है। यह प्रदर्शित करके कि प्रतिनिधित्व अस्थिरता पुनर्प्राप्ति भिन्नता का एक प्रमुख स्रोत है, यह शोध पत्र अधिक सुदृढ़, प्रारूप-अज्ञेयवादी (format-agnostic) पुनर्प्राप्ति प्रणाली बनाने का मार्ग प्रशस्त करता है। प्रस्तावित एडैप्टर मौजूदा फ्रोजन एनकोडर्स को महंगे पूर्ण-मॉडल पुन: प्रशिक्षण या बहु-प्रारूप इंडेक्सिंग की आवश्यकता के बिना, संरचित डेटा को अधिक विश्वसनीय रूप से संभालने के लिए अपग्रेड करने का एक व्यावहारिक, कम लागत वाला तरीका प्रदान करता है।