🤖 machine learning

Pocket Foundation Models: Distilling TFMs into CPU-Ready Gradient-Boosted Trees

यह शोधपत्र लेबल लीकेज को रोकने के लिए स्ट्रैटिफाइड आउट-ऑफ-फोल्ड लेबलिंग का उपयोग करके, धीमे, GPU-निर्भर टैबुलर फाउंडेशन मॉडल्स को तेज़, CPU-नेटिव ग्रेडिएंट-बूस्टेड ट्रीज़ में डिस्टिल करने की एक विधि प्रस्तुत करता है, जो धोखाधड़ी का पता लगाने जैसे वास्तविक समय के अनुप्रयोगों के लिए ८६० गुना तक की गति वृद्धि के साथ शिक्षक (टीचर) मॉडल के करीब सटीकता प्राप्त करता है।

मूल लेखक: Aditya Tanna, Nassim Bouarour, Mohamed Bouadi, Vinay kumar Sankarapu, Pratinav Seth

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aditya Tanna, Nassim Bouarour, Mohamed Bouadi, Vinay kumar Sankarapu, Pratinav Seth

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: वह जीनियस जो दौड़ नहीं सकता

कल्प Imagine कीजिए कि आपके पास एक जीनियस प्रोफेसर (फाउंडेशन मॉडल) है जो पहेलियाँ सुलझाने में अविश्वसनीय रूप से स्मार्ट है। यह प्रोफेसर पुराने पहेलियों के एक विशाल पुस्तकालय को देख सकता है और तुरंत किसी नई पहेली का उत्तर निकाल सकता है।

हालाँकि, यहाँ एक पेंच है:

वे धीमे हैं: एक पहेली सुलझाने के लिए, प्रोफेसर को हर बार अपने नोट्स के पूरे पुस्तकालय को फिर से पढ़ना पड़ता है। इसमें काफी समय लगता है (लगभग 150 मिलीसेकंड से एक सेकंड से अधिक)।
वे महंगे हैं: प्रोफेसर को काम करने के लिए एक सुपर-कंप्यूटर (एक शक्तिशाली GPU) की आवश्यकता होती है।
वास्तविक दुनिया अधीम है: क्रेडिट कार्ड धोखाधड़ी रोकने या मरीजों की प्राथमिकता तय करने जैसी स्थितियों में, आपको 2 मिलीसेकंड से कम समय में उत्तर चाहिए। प्रोफेसर यहाँ उपयोगी होने के लिए बहुत धीमे और बहुत भारी हैं।

समाधान: "पॉकेट" छात्र

लेखकों चाहते थे कि एक ऐसा छात्र बनाया जाए जो प्रोफेसर जितना ही स्मार्ट हो, लेकिन एक साधारण लैपटॉप (CPU) पर चल सके और पलक झपकते ही उत्तर दे सके।

उन्होंने नॉलेज डिस्टिलेशन (Knowledge Distillation) नामक तकनीक का उपयोग किया। इसे ऐसे समझें कि प्रोफेसर छात्र को एक "चीट शीट" (cheat sheet) दे रहा है। छात्र को केवल सही उत्तर बताने के बजाय (जैसे, "हाँ, यह धोखाधड़ी है"), प्रोफेसर उसे यह भी समझाता है कि उसने उस तक कैसे पहुँचा (जैसे, "मुझे 90% यकीन है कि यह धोखाधड़ी है, लेकिन 10% संभावना है कि यह एक गलत अलार्म है")। यह बारीकी छात्र को केवल उत्तर रटने के बजाय बेहतर तरीके से सीखने में मदद करती है।

जाल: "मिरर" (दर्पण) की समस्या

यही वह पेचीदा हिस्सा है जिसे इस शोध पत्र ने खोजा।

यदि आप प्रोफेसर से उन्हीं पहेलियों को ग्रेड करने के लिए कहते हैं जिनका उपयोग उन्होंने अभी-अभी अध्ययन के लिए किया था, तो वे भ्रमित हो जाते हैं। क्योंकि प्रोफेसर के पास उनके "कॉन्टेक्स्ट" (संदर्भ) में उत्तर बिल्कुल सामने होते हैं, वे वास्तव में सोचते नहीं हैं; वे बस याद करते (recall) हैं। वे कहते हैं, "मैं इसे जानता हूँ! यह निश्चित रूप से धोखाधड़ी है!" 100% निश्चितता के साथ।

यदि छात्र इससे सीखता है, तो उसे एक खराब चीट शीट मिलती है। प्रोफेसर कोई "ज्ञान" या "अनिश्चितता" साझा नहीं कर रहे हैं; वे बस उत्तर कुंजी (answer key) को दोहरा रहे हैं। छात्र कुछ भी नया नहीं सीख पाता और वह उस स्थिति से भी कम बुद्धिमान हो जाता यदि उसने सीधे उत्तर कुंजी का अध्ययन किया होता।

समाधान: "ब्लाइंड" टेस्ट (अंधा परीक्षण)

इसे ठीक करने के लिए, लेखकों ने स्ट्रैटिफाइड आउट-ऑफ-फोल्ड (OOF) लेबलिंग पद्धति का उपयोग किया।

कल्पना कीजिए कि पहेलियों के पुस्तकालय को 5 अलग-अलग ढेरों में विभाजित किया गया है।
प्रोफेसर 4 ढेरों का अध्ययन करता है और फिर केवल 5वें ढेर पर परीक्षण किया जाता है जिसे उसने अभी तक नहीं देखा है।
फिर, वे ढेरों को बदलते हैं। वे नए 4 ढेरों का अध्ययन करते हैं और अगले अनदेखे ढेर पर परीक्षण किया जाता है।
ऐसा करने से, प्रोफेसर को वास्तव में सोचने और अनुमान लगाने के लिए मजबूर होना पड़ता है, न कि केवल याद करने के लिए। यह एक उच्च-गुणवत्ता वाली, ईमानदार चीट शीट बनाता है।

परिणाम: एक तेज़, स्मार्ट छात्र

टीम ने 153 विभिन्न डेटासेट्स पर इसका परीक्षण किया (छोटे मेडिकल रिकॉर्ड से लेकर बड़े वित्तीय डेटा तक)। उन्हें क्या मिला:

गति: नया छात्र (एक मॉडल जिसे XGBoost कहा जाता है) प्रोफेसर की तुलना में 38 से 860 गुना तेज़ चलता है। यह एक मानक कंप्यूटर पर लगभग 1.9 मिलीसेकंड में उत्तर देता है, जो सख्त "2ms से कम" की आवश्यकता को पूरा करता है।
बुद्धिमत्ता: छात्र प्रोफेसर की बुद्धिमत्ता का 96.5% बनाए रखता है। वास्तव में, 51% परीक्षणों में, छात्र ने एक मानक, अच्छी तरह से ट्यून्ड मॉडल (CatBoost) को भी पीछे छोड़ दिया, जो आमतौर पर इस प्रकार के काम के लिए गोल्ड स्टैंडर्ड माना जाता है।
"लो-डायमेंशन" का स्वीट स्पॉट: छात्र उन समस्याओं पर सबसे अच्छा प्रदर्शन करता है जिनमें कम फीचर्स (जैसे 21 से कम टुकड़ों वाली पहेली) होते हैं। इन पर, छात्र प्रतिस्पर्धा से काफी बेहतर है। हालाँकि, हजारों फीचर्स वाले विशाल, जटिल पहेलियों पर, छात्र को मानक मॉडलों की तुलना में बहुत अधिक लाभ नहीं मिलता है।
टीमवर्क (मल्टी-टीचर):
- ट्री-बेस्ड छात्रों (जैसे XGBoost) के लिए, कई प्रोफेसरों से सलाह लेना बहुत मददगार नहीं रहा। एक मजबूत प्रोफेसर ही पर्याप्त था।
- न्यूरल नेटवर्क छात्रों (MLPs) के लिए, कई प्रोफेसरों की सलाह का औसत लेना मददगार साबित हुआ, जिसने एक "स्मूथिंग" प्रभाव पैदा किया जिससे छात्र अधिक सटीक हो गया।

निचोड़

यह शोध पत्र सिद्ध करता है कि वास्तविक समय के कार्यों के लिए दुनिया के सबसे स्मार्ट AI मॉडल का उपयोग करने के लिए आपको सुपर-कंप्यूटर की आवश्यकता नहीं है। एक चतुर "ब्लाइंड टेस्ट" पद्धति का उपयोग करके एक चीट शीट तैयार करके, आप एक हल्का, तेज़ "छात्र" मॉडल प्रशिक्षित कर सकते हैं जो एक साधारण CPU पर चलता है।

यदि प्रोफेसर अच्छा है: तो छात्र एक तेज़, सटीक विकल्प बन जाता है।
यदि प्रोफेसर बुरा है: तो छात्र भी बुरा होगा (यह विधि एक कमजोर प्रोफेसर को जादुई रूप से ठीक नहीं कर सकती)।
स्वर्ण नियम: आपको यह सुनिश्चित करना होगा कि प्रोफेसर टेस्ट डेटा के प्रति "ब्लाइंड" (अनजान) हो, अन्यथा छात्र कुछ भी नहीं सीख पाएगा।

लेखकों ने इन सभी टूल्स को ओपन-सोर्स कर दिया है, ताकि कोई भी अपना खुद का "पॉकेट फाउंडेशन मॉडल" बना सके।

तकनीकी सारांश: पॉकेट फाउंडेशन मॉडल्स (Pocket Foundation Models)

समस्या विवरण (Problem Statement)

टेबुलर फाउंडेशन मॉडल्स (TFMs) जैसे कि TabICLv2, TabPFNv2.6, और LimiX ने बड़े ट्रांसफॉर्मर्स के माध्यम से इन-कॉन्टेक्स्ट लर्निंग (ICL) का उपयोग करके छोटे संरचित (structured) डेटासेट्स पर अत्याधुनिक सटीकता (state-of-the-art accuracy) प्रदर्शित की है। हालाँकि, ये मॉडल एक गंभीर परिनियोजन बाधा (deployment barrier) का सामना करते हैं: इन्हें क्वेरी के समय पूरे ट्रेनिंग सेट पर ध्यान केंद्रित (attend) करने की आवश्यकता होती है, जिसके परिणामस्वरूप GPU पर इन्फरेंस लेटेंसी (inference latencies) 151 ms से 1,275 ms के बीच होती है। यह लेटेंसी धोखाधड़ी का पता लगाने (fraud detection), क्रेडिट स्कोरिंग, या पेशेंट ट्राइएज (patient triage) जैसे रियल-टाइम अनुप्रयोगों के साथ असंगत है, जिन्हें अक्सर सब-2 ms प्रतिक्रिया की आवश्यकता होती है। इसके अलावा, GPU लागत और CPU-ओनली प्रोडक्शन प्रतिबंध सीधे TFM परिनियोजन को अव्यावहारिक बनाते हैं।

जबकि नॉलेज डिस्टिलेशन (knowledge distillation) इन मॉडल्स को तेज़ ग्रेडिएंट-बूस्टेड डिसीजन ट्री (GBDT) छात्रों में संकुचित करने का एक मार्ग प्रदान करता है, ICL-आधारित शिक्षकों (teachers) के साथ एक विशिष्ट तकनीकी बाधा उत्पन्न होती है। जब एक ICL शिक्षक उन उदाहरणों को स्कोर करता है जो पहले से ही उसके कॉन्टेक्स्ट (अर्थात, उसके अपने ट्रेनिंग सेट) में मौजूद हैं, तो उसके भविष्यवाणियाँ (predictions) लगभग 'नियर-वन-हॉट' वेक्टर्स में ढह (collapse) जाती हैं और उनकी एंट्रॉपी (entropy) लगभग शून्य हो जाती है। यह "लीकेज" (leakage) उस इंटर-क्लास स्ट्रक्चर (सॉफ्ट लेबल्स) को नष्ट कर देता है जो प्रभावी डिस्टिलेशन के लिए आवश्यक है, जिससे छात्र केवल हार्ड लेबल्स से उतना ही सीख पाता है जितना वह मानक प्रशिक्षण से सीखता, और अक्सर मानक प्रशिक्षण से भी खराब प्रदर्शन करता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक लीकेज-अवेयर डिस्टिलेशन पाइपलाइन का प्रस्ताव करता है जो TFM शिक्षकों को CPU-रेडी GBDT या MLP छात्रों में परिवर्तित करता है। मुख्य नवाचार स्ट्रैटिफाइड आउट-ऑफ-फोल्ड (OOF) लेबलिंग का उपयोग है ताकि कॉन्टेक्स्ट लीकेज को रोका जा सके।

OOF लेबलिंग: ट्रेनिंग डेटासेट $D$ को $K=5$ स्ट्रैटिफाइड फोल्ड्स में विभाजित किया जाता है। प्रत्येक फोल्ड $k$ के लिए, शिक्षक मॉडल को $D \setminus D_k$ पर फिट किया जाता है और केवल होल्ड-आउट सेट $D_k$ के लिए संभावनाओं (probabilities) की भविष्यवाणी करने के लिए उपयोग किया जाता है। यह सुनिश्चित करता है कि शिक्षक अपने कॉन्टेक्स्ट में क्वेरी उदाहरणों को कभी नहीं देखता, जिससे डिस्टिलेशन के लिए आवश्यक सॉफ्ट-लेबल सिग्नल (inter-class structure) सुरक्षित रहता है।
मल्टी-टीचर एवरेजिंग: मल्टी-टीचर सेटिंग्स में, विभिन्न TFM परिवारों (जैसे, TabPFN, TabICL, LimiX) के OOF प्रेडिक्शन्स को टारगेट के रूप में उपयोग करने से पहले समान भार (equal weights) के साथ औसत निकाला जाता है।
स्टूडेंट ऑब्जेक्टिव: छात्र (XGBoost, CatBoost, LightGBM, या MLP) को एक हिंटन-शैली (Hinton-style) के मिश्रित लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है:
$\mathcal{L} = \alpha \sum_i w_i T_i^2 \text{KL}(\hat{p}_i^{T_i} \parallel q_i^{T_i}) + (1-\alpha) \sum_i w_i \ell_{\text{CE}}(y_i, q_i)$
जहाँ $\alpha=0.7$ , $T_i$ शिक्षक की एंट्रॉपी के साथ प्रति-नमूना तापमान स्केलिंग (per-sample temperature scaling) है, और $w_i$ एक कॉन्फिडेंस वेट है जो अत्यधिक आत्मविश्वासी (overconfident) या लगभग रैंडम भविष्यवाणियों को कम महत्व देता है। ट्री-आधारित छात्रों के लिए, KL टर्म सॉफ्ट-लेबल लॉजिट्स पर प्रति-क्लास MSE रिग्रेशन में सरल हो जाता है।
शिक्षक चयन: शोध पत्र पाता है कि एक होल्ड-आउट सैंपल पर एकल AUC द्वारा शिक्षकों की रैंकिंग ठीक उसी तरह ट्रांसफर होती है जैसे कि परिणामी छात्रों की रैंकिंग। अतः, सर्वश्रेष्ठ शिक्षक का चयन करने के लिए किसी जटिल आर्किटेक्चर सर्च की आवश्यकता नहीं है; आप बस उस शिक्षक को चुनते हैं जिसका एकल AUC उच्चतम है।

प्रमुख योगदान (Key Contributions)

अनिवार्य OOF लेबलिंग: लेखकों ने पहचान की है कि ICL-आधारित TFMs के लिए OOF लेबलिंग वैकल्पिक नहीं है। इसके बिना, सॉफ्ट-लेबल सिग्नल ढह जाता है, और डिस्टिलेशन ऐसे छात्र प्रदान करता है जो हार्ड-लेबल बेसलाइन से भी निम्नतर होते हैं।
प्रदर्शन बनाम लेटेंसी: TabICLv2 को XGBoost में डिस्टिल करने से 0.882 का मैक्रो-मीन AUC प्राप्त होता है (शिक्षक के AUC का 96.5%) और एकल CPU कोर पर 1.9 ms की लेटेंसी प्राप्त होती है। यह शिक्षक की तुलना में 38× से 860× तक की गति वृद्धि (speedup) का प्रतिनिधित्व करता है, और 153 डेटासेट्स में से 51% पर ट्यून्ड CatBoost बेसलाइन को सांख्यिकीय रूप से पछाड़ता है (Wilcoxon $p=0.0008$ )।
अनुमानित लाभ (Predictable Gains): डिस्टिलेशन के लाभ डेटा की आयावता (dimensionality) के आधार पर अत्यधिक अनुमानित हैं:
- कम-आयावली डेटा ( $\le$ 21 फीचर्स): डिस्टिलेशन महत्वपूर्ण लाभ प्रदान करता (+1.011 AUC over CatBoost)।
- उच्च-आयावली डेटा ( $>$ 21 फीचर्स): लाभ नगण्य हैं (+0.001 AUC), और यदि शिक्षक स्वयं CatBoost से खराब प्रदर्शन करता है, तो डिस्टिलेशन प्रदर्शन को और खराब कर सकता है।
मल्टी-टीचर डायनेमिक्स:
- ट्री छात्र (Tree Students): मल्टी-टीचर एवरेजिंग सांख्यिकीय रूप से पता लगाने योग्य लेकिन व्यावहारिक रूप से नगण्य लाभ (+0.0006 AUC) प्रदान करती है। एक एकल मजबूत शिक्षक पर्याप्त है।
- MLP छात्र: मल्टी-टीचर एवरेजिंग प्रभावी लेबल स्मूथिंग (label smoothing) के रूप में कार्य करती है, जो सिंगल-टीचर ट्रेनिंग की तुलना में महत्वपूर्ण लाभ (+0.006 AUC, $p=0.003$ ) देती है।
ओपन-सोर्स पाइपलाइन: पूर्ण पाइपलाइन को TabTune लाइब्रेरी के हिस्से के रूप में लागू और रिलीज़ किया गया है।

परिणाम (Results)

मूल्यांकन TALENT, OpenML-CC18, TabZilla, और TabArena से 153 क्लासिफिकेशन डेटासेट्स को कवर करता है।

सटीकता (Accuracy): सर्वश्रेष्ठ डिस्टिल्ड कॉन्फ़िगरेशन (TabICLv2 $\to$ XGBoost) 0.882 AUC प्राप्त करता है, जो शिक्षक के प्रदर्शन का 96.5% बनाए रखता है।
लेटेंसी (Latency): डिस्टिल्ड ट्री छात्र CPU पर 1.9–4.0 ms में चलते हैं, जबकि शिक्षकों के लिए GPU पर 151–1,275 ms लगता है।
बेसलाइन्स (Baselines): डिस्टिल्ड मॉडल्स 51% डेटासेट्स पर ट्यून्ड CatBoost बेसलाइन को हराते हैं। इसके विपरीत, OrionMSP, जो एक कमजोर शिक्षक है, ऐसे छात्र बनाता है जो केवल 22.6% बार जीतते हैं।
एब्लेशन (Ablation): लो-डायमेंशनल डेटा पर MLP छात्रों के लिए, OOF ( $\alpha=0$ ) के साथ हार्ड लेबल्स का उपयोग वास्तव में पूर्ण हिंटन सॉफ्ट-लेबल पाइपलाइन से बेहतर रहा (0.034 AUC), जो सुझाव देता है कि साफ, लो-डायमेंशनल डेटा के लिए, जटिल सॉफ्ट-लेबल मशीनरी वैकल्पिक है, लेकिन OOF लेबलिंग महत्वपूर्ण बनी रहती है।

महत्व (Significance)

यह शोध पत्र प्रदर्शित करता है कि टेबुलर फाउंडेशन मॉडल्स की "परिनियोजन समस्या" को उनके सटीकता लाभों से समझौता किए बिना हल किया जा सकता है। ICL शिक्षकों में निहित विशिष्ट लीकेज मुद्दे को संबोधित करके, लेखक दिखाते हैं कि एक हल्के, CPU-नेटिव GBDT में TFM के "इंटर-क्लास स्ट्रक्चर" को डिस्टिल करना संभव है।

इस दृष्टिकोण की सार्थकता इसकी अनुमानयोग्यता (predictability) और ग्रेसफुल फेल्योर (graceful failure) में निहित है:

यदि एक TFM मजबूत है, तो डिस्टिलेशन उस मजबूती को एक तेज़ छात्र में स्थानांतरित करता है।
यदि एक TFM कमजोर है (या डेटा हाई-डायमेंशनल है), तो डिस्टिलेशन प्रदर्शन को कृत्रिम रूप से नहीं बढ़ाता है; यह स्पष्ट रूप से विफल होता है, अक्सर मानक GBDT से खराब प्रदर्शन करता है, जो संकेत देता है कि शिक्षक एक अच्छा उम्मीदवार नहीं था।
इस पद्धति के लिए छात्र के लिए कोई जटिल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं है; प्राथमिक निर्णय केवल सर्वश्रेष्ठ प्रदर्शन करने वाले शिक्षक को चुनने का है।

लेखक निष्कर्ष निकालते हैं कि कम-आयावली संरचित डेटा के लिए, अभ्यासकर्ता शिक्षक की सटीकता के करीब पहुँच सकते हैं, बशर्ते वे सिग्नल कोलैप्स से बचने के लिए OOF लेबलिंग प्रोटोकॉल का सख्ती से पालन करें।