Understanding the Surprising Generalization Properties of Tabular Foundation Models
यह शोध पत्र प्रकट करता है कि टैबुलर फाउंडेशन मॉडल्स एक एकल वास्तविक टेबल पर सेल्फ-सुपरवाइज्ड प्री-ट्रेनिंग के माध्यम से मजबूत सामान्यीकरण (जनरलाइजेशन) प्राप्त कर सकते हैं, जो यह दर्शाता है कि उनका प्रदर्शन विशाल डेटासेट के बजाय कार्यों और विशेषताओं की संख्या और गुणवत्ता पर अधिक निर्भर करता है, और यह सुझाव देता है कि उनकी इन-कॉन्टेक्स्ट लर्निंग प्रक्रिया मौलिक रूप से रिट्रीवल-आधारित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, एक निरंतर धारणा रही है कि डेटा अलग-अलग, पृथक दुनियाओं में आता है। यह माना जाता है कि हस्तलिखित अंकों को पहचानने के लिए प्रशिक्षित एक कंप्यूटर प्रोग्राम को रियल एस्टेट एजेंट को घरों की कीमतें अनुमानित करने में मदद करने की कोई उम्मीद नहीं होनी चाहिए, क्योंकि इन दोनों कार्यों के बीच कुछ भी समान नहीं दिखता। यह दृष्टिकोण डेटा तालिकाओं (data tables) को कठोर, विशिष्ट पहेलियों के रूप में मानता है जहाँ एक के नियम दूसरे पर लागू नहीं हो सकते। हालाँकि, 'टेबुलर फाउंडेशन मॉडल्स' के रूप में जानी जाने वाली एआई मॉडल्स की एक नई पीढ़ी ने इस धारणा को चुनौती देना शुरू कर दिया है। ये सिस्टम किसी समस्या को हल करने के लिए पूछे जाने के क्षण में प्रस्तुत किए गए उदाहरणों के प्रवाह से सीखने के लिए डिज़ाइन किए गए हैं, न कि किसी एकल डेटासेट को स्थायी रूप से याद करने के लिए। वे उस समय दिए गए कुछ लेबल वाले उदाहरणों को देखने और उस संदर्भ का उपयोग करके नए, बिना लेबल वाली पंक्तियों के लिए उत्तरों की भविष्यवाणी करने के माध्यम से कार्य करते हैं। शोधकर्ताओं के लिए केंद्रीय प्रश्न यह रहा है कि क्या इन मॉडल्स को सामान्यीकरण (generalize) करने के लिए हजारों अलग-अलग वास्तविक दुनिया के डेटासेट्स के एक विशाल, विविध पुस्तकालय की आवश्यकता है, या इसके पीछे कोई सरल, अधिक मौलिक तंत्र काम कर रहा है।
एक टीम ने इस सीखने की प्रक्रिया की सीमाओं का परीक्षण करने के लिए हाथ डाला, जिसकी शुरुआत एक आश्चर्यजनक और विरोधाभासी प्रयोग से हुई। उन्होंने केवल एक वास्तविक दुनिया के डेटासेट का उपयोग करके एक शक्तिशाली एआई मॉडल को प्रशिक्षित किया: एक तालिका जिसमें हस्तलिखित अंकों की वेक्टरकृत छवियां (vectorized images) थीं। एक मानक सेटअप में, कोई अपेक्षा करेगा कि ऐसा मॉडल कैलिफोर्निया के हाउसिंग प्राइस या कॉलेज नामांकन सांख्यिकी जैसी असंबंधित चीज़ों की भविष्यवाणी करने के लिए बुरी तरह विफल हो जाएगा। फिर भी, परिणामों ने इस अपेक्षा को धता बता दिया। मॉडल ने, केवल अंकों के डेटा को देखे होने के बावजूद, इन पूरी तरह से अलग कार्यों पर सटीक भविष्यवाणियां करने की मजबूत क्षमता प्रदर्शित की। इस निष्कर्ष ने सुझाव दिया कि मॉडल केवल अंकों के तथ्यों को याद नहीं कर रहा था, बल्कि उसने एक अधिक सामान्य कौशल सीख लिया था: यह देखना कि उदाहरणों का एक सेट कैसे देखा जाए, कौन से महत्वपूर्ण हैं, उन्हें ढूँढा जाए, और एक नई समस्या को हल करने के लिए उनका उपयोग किया जाए।
यह समझने के लिए कि यह क्यों हुआ, शोधकर्ताओं ने इस बात की जांच की कि इन मॉडल्स को सिखाने के लिए एक "अच्छा" डेटासेट क्या बनाता है। उन्होंने दर्जनों अलग-अलग तालिकाओं का विश्लेषण किया, जो छोटे संग्रहों से लेकर विशाल अभिलेखागारों तक विस्तृत थीं, यह देखने के लिए कि किन गुणों से सर्वोत्तम प्रदर्शन होता है। उन्होंने पाया कि एक तालिका में पंक्तियों (rows), या उदाहरणों (instances) की संख्या आश्चर्यजनक रूप से महत्वहीन थी। लाखों पंक्तियों वाली तालिका जिसमें कम कॉलम थे, वह कई कॉलमों वाली छोटी तालिका की तुलना में मॉडल को बेहतर तरीके से नहीं सिखा सकी। इसके बजाय, मुख्य कारक उपलब्ध विशेषताओं (features), या कॉलमों की संख्या थी। बहुत विभिन्न प्रकार की जानकारी वाली एक तालिका ने मॉडल को तार्किक संबंधों की एक विस्तृत विविधता का अभ्यास करने की अनुमति दी। शोधकर्ताओं ने पाया कि सफलता का असली चालक डेटा की विशाल मात्रा नहीं थी, बल्कि उन कार्यों की विविधता थी जिनका मॉडल अभ्यास कर सकता था। कॉलमों के विभिन्न संयोजनों को अलग-अलग समस्याओं के रूप में मानकर, एक एकल तालिका हजारों अद्वितीय सीखने के अवसर प्रदान कर सकती थी। मॉडल प्रशिक्षण के दौरान जितने अधिक विशिष्ट कार्यों को हल कर सकता था, वह नए, अनदेखे चुनौतियों को संभालने में उतना ही बेहतर होता गया।
इस अंतर्दृष्टि ने टीम को यह सोचने पर मजबूर किया कि इन मॉडल्स को वास्तविक दुनिया के लिए कैसे तैयार किया जाए। पारंपरिक धारणा यह थी कि एक मजबूत मॉडल बनाने के लिए, एक विशाल डेटासेट्स का संग्रह तैयार करना चाहिए, सावधानीपूर्वक डुप्लिकेट को हटाना चाहिए और उन तालिकाओं को फ़िल्टर करना चाहिए जो बहुत सरल या खराब संरचित लगती हों। शोधकर्ताओं ने एक बड़े कॉर्पस पर मॉडल्स को प्रशिक्षित करके इसका परीक्षण किया। उन्होंने पाया कि सटीक डुप्लिकेट को हटाने से अंतिम प्रदर्शन पर कोई अंतर नहीं पड़ा, और "कमजोर" डेटासेट्स को आक्रामक रूप से फ़िल्टर करने से वास्तव में मॉडल की सामान्यीकरण करने की क्षमता को नुकसान पहुँचा। यह पता चला कि यहाँ तक कि कम विशेषताओं वाली एक साधारण तालिका भी विशिष्ट प्रकार के तार्किक तर्क के लिए मूल्यवान अभ्यास प्रदान कर सकती थी। सबसे प्रभावी रणनीति डेटा को त्यागना नहीं, बल्कि सूक्ष्म स्तर पर उसे साफ करना था। उन कॉलमों को हटाने से जो एक-दूसरे के लगभग समान थे या जिनमें बहुत अधिक मिसिंग वैल्यूज थीं, शोधकर्ताओं ने पुस्तकालय को छोटा किए बिना अभ्यास कार्यों की गुणवत्ता में सुधार किया। इस सूक्ष्म-स्तरीय सफाई ने लगातार विभिन्न बेंचमार्क पर मॉडल के प्रदर्शन को बढ़ाया।
यह शोध पत्र इस बात को समझने का एक नया तरीका प्रदान करते हुए समाप्त होता है कि ये मॉडल वास्तव में कैसे काम करते हैं। एक विशाल विश्वकोश के रूप में कार्य करने के बजाय जो हर संभावित स्थिति के लिए एक सार्वभौमिक नियम संग्रहीत करता है, मॉडल एक कुशल लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह कार्य करता है। जब किसी नई समस्या के सामने प्रस्तुत किया जाता है, तो यह पहले से लिखे गए उत्तर कुंजी पर निर्भर नहीं करता है। इसके बजाय, यह उस क्षण में दिए गए उदाहरणों को स्कैन करता है, पहचानता है कि वर्तमान प्रश्न के लिए कौन से सबसे समान हैं, और भविष्यवाणी करने के लिए उनके उत्तरों को एकत्रित करता है। शोधकर्ताओं ने इस बात का पुख्ता प्रमाण दिया कि जो मॉडल सबसे अच्छा सामान्यीकरण करते थे, वे उन उदाहरणों से सही जानकारी निकालने में भी सबसे अधिक सक्षम थे जो उन्हें दिए गए थे। उन्होंने पाया कि मॉडल को सरल समानता मिलान (similarity matching) पर निर्भर करने के लिए मजबूर करने से वह टूटा नहीं; वास्तव में, कमजोर मॉडल्स के लिए, प्रक्रिया को समान पड़ोसियों की सीधी खोज जैसा बनाना वास्तव में उनके परिणामों में सुधार करता है। यह सुझाव देता है कि इन प्रणालियों का जादू नियमों के एक जटिल, पूर्व-परिकलित ब्रह्मांड को संग्रहीत करने में नहीं, बल्कि उन्हें दिए गए संदर्भ से सही जानकारी को खोजने और उपयोग करने में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।