डेटा की दुनिया में, जानकारी अक्सर साफ-सुथरे, आयताकार ग्रिड के रूप में आती है: ग्राहकों की पंक्तियाँ (rows), लेनदेन के कॉलम, और संख्याओं या श्रेणियों से भरे सेल। दशकों से, इन ग्रिडों में पैटर्न खोजने का सबसे विश्वसनीय तरीका एक विशिष्ट प्रकार के कंप्यूटर प्रोग्राम का उपयोग करना रहा है जिसे 'ग्रेडिएंट-बूस्टेड डिसीजन ट्री' (gradient-boosted decision tree) कहा जाता है। ये प्रोग्राम विशेषज्ञों की एक टीम की तरह होते हैं जो डेटा को छाँटने के लिए हाँ या ना के सरल प्रश्नों की एक श्रृंखला पूछते हैं, और एक जटिल निर्णय लेने वाली संरचना को टुकड़ों में निर्मित करते हैं। वे अविश्वसनीय रूप से प्रभावी हैं, लेकिन उनकी एक महत्वपूर्ण सीमा है: उन्हें प्रत्येक नए डेटासेट के लिए शून्य से प्रशिक्षित किया जाना चाहिए। यदि कोई कंपनी एक उत्पाद के लिए ग्राहक मंथन (customer churn) की भविष्यवाणी करना चाहती है और फिर दूसरे के लिए ऋण चूक (loan defaults) की भविष्यवाणी करने के लिए स्विच करना चाहती है, तो मॉडल को फिर से प्रशिक्षित करना होगा, जो एक ऐसी प्रक्रिया है जिसमें समय, कंप्यूटिंग शक्ति और सेटिंग्स के ट्यूनिंग की आवश्यकता होती है।

हाल ही में, एक नया दृष्टिकोण उभरा है जो भाषा के अध्ययन से एक तकनीक उधार लेता है। हर कार्य के लिए एक नया मॉडल प्रशिक्षित करने के बजाय, ये नए सिस्टम एक एकल, पूर्व-प्रशिक्षित फाउंडेशन मॉडल का उपयोग करते हैं जो मौके पर दिए गए उदाहरणों से सीख सकता है। इस पद्धति को 'इन-कॉन्टेक्स्ट लर्निंग' (in-context learning) कहा जाता है, जो मॉडल को उस समस्या के कुछ उदाहरण देखने की अनुमति देती है जिसे वह हल करने की कोशिश कर रहा है, और फिर बिना अपने आंतरिक सेटिंग्स को बदले एक नए मामले के लिए भविष्यवाणी करने की अनुमति देती है। हालांकि यह सारणीबद्ध डेटा (tabular data) के लिए एक सार्वभौमिक उपकरण की ओर एक आशाजनक मार्ग प्रदान करता है, लेकिन एक बड़ी बाधा अभी भी बनी हुई है। जैसे-जैसे ऐतिहासिक डेटा की मात्रा बढ़ती है जिसकी मॉडल को विचार करने की आवश्यकता होती है, एक एकल भविष्यवाणी करने में लगने वाला समय तेजी से बढ़ता जाता है। मॉडल को हर नए प्रश्न की तुलना अपने द्वारा देखे गए हर एक पिछले डेटा के विरुद्ध करनी पड़ती है, जिससे एक कम्प्यूटेशनल बाधा उत्पन्न होती है जो इसे बड़े पैमाने पर, वास्तविक समय के उपयोग के लिए अव्यावहारिक बना देती है।

कैम्ब्रिज विश्वविद्यालय के शोधकर्ताओं ने इस बाधा को एक विधि से संबोधित किया है जिसे वे 'लोकलाइज्ड TabICLv2' (Localized TabICLv2) कहते हैं। उनका कार्य इन-कॉन्टेक्स्ट लर्निंग मॉडल के एक विशिष्ट संस्करण पर केंद्रित है जिसे TabICLv2 कहा जाता है, जिसने विभिन्न वर्गीकरण कार्यों पर पहले से ही अत्याधुनिक प्रदर्शन दिखाया है। मूल मॉडल के साथ मुख्य समस्या यह है कि इसके भविष्यवाणी के अंतिम चरण के दौरान, यह प्रत्येक नए डेटा बिंदु को एक साथ पूरे प्रशिक्षण डेटासेट पर ध्यान केंद्रित करने के लिए मजबूर करता है। यदि किसी डेटासेट में लाखों पंक्तियाँ हैं, तो मॉडल को प्रत्येक क्वेरी के लिए सूचना की एक विशाल मात्रा को प्रोसेस करना पड़ता है, जिससे धीमी प्रतिक्रिया समय और उच्च ऊर्जा लागत होती है। शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या एक अच्छी भविष्यवाणी करने के लिए मॉडल को वास्तव में पिछले हर उदाहरण को देखने की आवश्यकता है, या क्या यह उन उदाहरणों के एक छोटे, अधिक प्रासंगिक समूह को खोज सकता है जिनमें आवश्यक सुराग मौजूद हों?

इसका उत्तर देने के लिए, टीम ने एक 'रिट्रीवल स्टेप' (retrieval step) पेश किया जो अंतिम भविष्यवाणी किए जाने से पहले एक फिल्टर के रूप में कार्य करता है। डेटा की पूरी हिस्ट्री को मॉडल में डालने के बजाय, वे पहले डेटा की प्रत्येक पंक्ति को एक गणितीय प्रतिनिधित्व (mathematical representation) में बदलते हैं जो इसकी आवश्यक विशेषताओं को पकड़ता है। जब एक नई क्वेरी आती है, तो सिस्टम संग्रहीत इतिहास में खोज करता है ताकि उन कुछ दर्जन पंक्तियों को ढूँढा जा सके जो नए मामले के सबसे समान हैं। फिर यह केवल इन निकटतम मिलानों को, पूरे डेटासेट के बजाय, प्रेडिक्शन इंजन में फीड करता है। यह दृष्टिकोण इस तरह है जैसे कोई मानव अपने जीवन की हर एक घटना को याद करने के बजाय कुछ प्रासंगिक पिछले अनुभवों को याद करके किसी समस्या को हल करता है। इन 'नियरएस्ट नेबर्स' (nearest neighbors) तक संदर्भ को सीमित करके, शोधकर्ताओं ने जानकारी की उस मात्रा को नाटकीय रूप रूप से कम कर दिया जिसे मॉडल को एक बार में प्रोसेस करना पड़ता है।

हालाँकि, केवल डेटा को कम करना मूल प्रणाली की उच्च सटीकता बनाए रखने के लिए पर्याप्त नहीं था। मॉडल को पूर्ण संदर्भ की अपेक्षा करने के लिए प्रशिक्षित किया गया था, इसलिए अधिकांश को हटाने से शुरू में इसके प्रदर्शन में गिरावट आई। इसे ठीक करने के लिए, शोधकर्ताओं ने मॉडल के आंतरिक तंत्र को फाइन-ट्यून किया। उन्होंने मॉडल के डेटा के प्रतिनिधित्व बनाने के तरीके और उन प्रतिनिधित्वों का उपयोग करके भविष्यवाणी करने के तरीके को समायोजित किया, विशेष रूप से इसे इस छोटे, स्थानीयकृत दृश्य के साथ अच्छी तरह से काम करने के लिए प्रशिक्षित किया। इस प्रक्रिया ने यह सुनिश्चित किया कि मॉडल केवल कुछ उदाहरणों से सबसे महत्वपूर्ण जानकारी निकालने में सक्षम हो जाए, बजाय इसके कि वह पैटर्न खोजने के लिए डेटा की विशाल मात्रा पर निर्भर रहे।

इस दृष्टिकोण के परिणामों को क्रेडिट कार्ड धोखाधड़ी का पता लगाने से लेकर ग्राहक मंथन तक, विविध वास्तविक दुनिया के डेटासेट्स के विरुद्ध मापा गया। जब शोधकर्ताओं ने अपने लोकलाइज्ड मॉडल का परीक्षण तीस-आठ अलग-अलग डेटासेट्स वाले एक मानक बेंचमार्क पर किया, तो उन्होंने पाया कि फाइन-ट्यून किया गया संस्करण मूल मॉडल की लगभग पूरी सटीकता को बनाए रखता है। विशेष रूप से, इसने 98.64 प्रतिशत प्रदर्शन को संरक्षित किया, जिसका अर्थ है कि इसने बहुत धीमी, पूर्ण-संदर्भ वाली संस्करण की तुलना में लगभग उतनी ही सही भविष्यवाणियाँ कीं। इसका व्यापार (trade-off) गति में एक बड़ी उपलब्धि थी। उन परिदृश्यों में जहाँ मॉडल को डेटा के बैचों को प्रोसेस करने के लिए कहा गया था, यह दोगुने से अधिक तेज़ चला। उन स्थितियों में जहाँ मॉडल को एक समय में एक प्रश्न का उत्तर देना था, गति में सुधार और भी नाटकीय था, जो मूल प्रणाली की तुलना में 249 गुना बेहतर औसत सुधार तक पहुँच गया।

अध्ययन ने यह भी खुलासा किया कि डेटासेट का आकार इन गति लाभों के लिए महत्वपूर्ण था। प्रशिक्षण सेट जितना बड़ा होगा, लोकलाइजेशन उतना ही अधिक फायदेमंद होगा। छोटे डेटासेट्स के लिए, सही पड़ोसियों को खोजने में लगने वाला समय कभी-कभी कम डेटा को प्रोसेस करने से होने वाली बचत को निष्प्रभावी कर देता था। लेकिन जैसे-जैसे प्रशिक्षण पंक्तियों की संख्या लाखों में पहुँची, लोकलाइज्ड विधि अधिक कुशल होती गई, जिससे यह सिद्ध हुआ कि यह दृष्टिकोण उन डेटा आकारों के साथ अच्छी तरह से स्केल करता है जो आमतौर पर इन मॉडलों को धीमा कर देते हैं। इसके अलावा, शोधकर्ताओं ने अपनी विधि की तुलना सरल विकल्पों से की, जैसे कि केवल रिट्रीव किए गए पड़ोसियों पर एक मानक डिसीजन ट्री का उपयोग करना या एक बुनियादी वोटिंग सिस्टम। उनका लोकलाइज्ड मॉडल लगातार इन सरल बेसलाइन्स से बेहतर प्रदर्शन करता रहा, जो यह दर्शाता है कि स्मार्ट रिट्रीवल और एक विशेष प्रेडिक्शन इंजन का संयोजन ही सफलता की कुंजी थी।

यह कार्य यह सुझाव देता है कि टेबलर मशीन लर्निंग का भविष्य अधिक ऊर्जा खपत करने वाले बड़े मॉडल बनाने में नहीं, बल्कि मौजूदा मॉडलों को इस बारे में स्मार्ट बनाने में है कि उन्हें किस जानकारी की आवश्यकता है। एक शक्तिशाली फाउंडेशन मॉडल को केवल सबसे प्रासंगिक उदाहरणों पर ध्यान केंद्रित करने के लिए सिखाकर, शोधकर्ताओं ने दिखाया है कि अत्यधिक कम्प्यूटेशनल लागत के बिना उच्च सटीकता प्राप्त करना संभव है। निष्कर्ष बताते हैं कि इन मॉडलों को वास्तविक दुनिया के परिनियोजन (deployment) के लिए व्यावहारिक बनाया जा सकता है, जहाँ गति और दक्षता उतनी ही महत्वपूर्ण है जितनी कि प्रेडिक्टिव पावर। हालाँकि यह विधि इस धारणा पर आधारित है कि सबसे समान पिछले उदाहरण सबसे अधिक सूचनात्मक होते हैं, परिणाम दिखाते हैं कि यह धारणा डेटा के एक विस्तृत श्रृंखला में सही साबित होती है। अध्ययन इस निष्कर्ष के साथ समाप्त होता है कि सही समायोजन के साथ, टेबलर डेटा के लिए इन-कॉन्टेक्ट लर्निंग का वादा बड़े पैमाने के अनुप्रयोगों के लिए आवश्यक दक्षता से समझौता किए बिना साकार किया जा सकता है।