TabRank: Chain-of-Thought Distillation for Table Re-Rankers
यह शोध पत्र TabRank प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो लार्ज रीजनिंग मॉडल्स से चेन-ऑफ-थॉट रीजनिंग को कॉम्पैक्ट टेबल रीरैंकर्स में डिस्टिल करता है, जिससे विविध टैबुलर QA बेंचमार्क पर रिट्रीवल सटीकता और सामान्यीकरण में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप डिजिटल स्प्रेडशीट्स के एक विशाल पुस्तकालय के भीतर छिपे किसी विशिष्ट तथ्य को खोजने की कोशिश कर रहे हैं। आप एक प्रश्न पूछते हैं, और एक सुपर-फास्ट लाइब्रेरियन (रिट्रीवर) जल्दी से 20 या 30 तालिकाओं का एक ढेर उठा लेता है जिनमें उत्तर हो सकता है। लेकिन यहाँ एक पेंच है: लाइब्रेरियन तेज़ है, बुद्धिमान नहीं। वे ऐसी तालिका उठा सकते हैं जो दिखने में समान हो लेकिन जिसमें गलत वर्ष हो, या ऐसी जो केवल आधी कहानी हो। सही उत्तर पाने के लिए, आपको एक दूसरे लाइब्रेरियन, एक "रीरैंकर" की आवश्यकता है, जो धीमा है लेकिन बहुत अधिक बुद्धिमान है। यह विशेषज्ञ उस ढेर को देखता है, विवरणों को पढ़ता है, और तालिकाओं को फिर से व्यवस्थित करता है ताकि सबसे प्रासंगिक तालिका सबसे ऊपर आ जाए।
लंबे समय तक, ये स्मार्ट रीरैंकर्स उन छात्रों की तरह थे जो उत्तर तो याद कर सकते थे लेकिन यह समझाने में संघर्ष करते थे कि उन्होंने उन्हें क्यों चुना। हाल ही में, एक नए प्रकार के "सुपर-स्मार्ट" एआई (जिसे लार्ज रीजनिंग मॉडल कहा जाता है) ने अपना काम दिखाना शुरू किया, जो उत्तर देने से पहले अपने लंबे, चरण-दर-चरण विचार लिखता है। यह उस छात्र की तरह है जो केवल यह नहीं कहता कि "उत्तर 42 है," बल्कि उत्तर देने से पहले गणित को समझाने के लिए एक पूरा निबंध लिखता है। वैज्ञानिकों ने सोचा: यदि हम अपने टेबल-रीरैंकिंग विशेषज्ञों को इस तरह से सोचने के लिए प्रशिक्षित करें, तो क्या वे बेहतर होंगे? बड़ा सवाल यह था कि क्या उन्हें इन लंबे विचारों को लिखने के लिए मजबूर करने से वास्तव में सीखने में मदद मिलेगी, या क्या इससे वे गलत पैटर्न को रट लेंगे और कठिन होने पर विफल हो जाएंगे।
यहीं पर TabRank पेपर आता है। शोधकर्ता एक ऐसा सिस्टम बनाना चाहते थे जो एक प्रश्न के लिए सही तालिका खोज सके, भले ही तालिकाएं अव्यवस्थित हों, विभिन्न विषयों (जैसे खेल आँकड़े या वित्तीय रिपोर्ट) से जुड़ी हों, या कई शीट्स से जानकारी जोड़ने की आवश्यकता हो। उन्होंने 6,700 से अधिक उदाहरणों का एक विशाल डेटासेट बनाया जहाँ एक "शिक्षक" एआई (DeepSeek-R1) ने तालिकाओं को रैंक करने के लिए अपने तर्क को विस्तार से लिखा। फिर, उन्होंने इन उदाहरणों का उपयोग करके एक छोटे "छात्र" मॉडल को सिखाने के दो अलग-अलग तरीके आजमाए।
पहला तरीका, जिसे वे CoTGen कहते हैं, वैसा ही था जैसे छात्र को उत्तर देने से पहले शिक्षक के निबंध की शब्द-दर-शब्द नकल करने के लिए मजबूर करना। दूसरा तरीका, जिसे वे CoTCond (और यह मुख्य आकर्षण है) कहते हैं, अलग था। इस पद्धति में, शिक्षक का निबंध छात्र को एक संकेत के रूप में दिया गया था, इससे पहले कि छात्र को अपना चुनाव करना होता। छात्र को निबंध लिखना नहीं था; उसे बस संकेत पढ़ना था और फिर तय करना था कि कौन सी तालिका सबसे अच्छी है।
परिणाम आश्चर्यजनक और महत्वपूर्ण थे। टीम ने पाया कि "संकेत-आधारित" दृष्टिकोण (CoTCond), छात्र को विचार कॉपी करने के लिए मजबूर करने की तुलना में बहुत बेहतर था। जब उन्होंने अपने नए सिस्टम, TabRank, का परीक्षण उन कठिन प्रश्नों पर किया जहाँ पुराने मॉडल आमतौर पर विफल हो जाते थे, तो सुधार बहुत बड़ा था। TabFact नामक डेटासेट पर, सटीकता 52.9% बढ़ गई। HybridQA पर, यह 30.5% बढ़ गई, और SQA तथा TATQA पर क्रमशः 15.2% और 13.1% का सुधार हुआ।
शायद सबसे रोमांचक खोज यह थी कि भले ही उन्होंने मॉडल को केवल एकल-तालिका वाले प्रश्नों पर प्रशिक्षित किया था, लेकिन यह स्वाभाविक रूप से बहु-तालिका (multi-table) प्रश्नों (जहाँ उत्तर खोजने के लिए आपको कई शीट्स को देखने की आवश्यकता होती है) को संभालने में बहुत अच्छा हो गया, बिना किसी विशेष अतिरिक्त प्रशिक्षण के। इसने गलतियाँ भी कम कीं, जैसे कि गलती से एक ही तालिका को दो बार दोहराना या अर्थहीन शब्द उत्पन्न करना, जो अन्य तरीकों के साथ अक्सर होता था। लेखक सुझाव देते हैं कि मॉडल को तर्क "लिखने" के बजाय तर्क "पढ़ने" देने से, मॉडल ने रैंकिंग के वास्तविक कार्य पर ध्यान केंद्रित करना सीख लिया, बजाय इसके कि वह शिक्षक की लेखन शैली की नकल करने में फंस जाए। यह सुझाव देता है कि टेबल रिट्रीवल के लिए, एक स्मार्ट गाइड का होना एक ऐसे छात्र से अधिक महत्वपूर्ण है जो लंबा निबंध लिख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।