💬 NLP

TAKE: Trajectory-Aware Knowledge Estimation for Text Dataset Distillation

यह शोध पत्र TAKE का प्रस्ताव करता है, जो एक प्रक्षेपवक्र-जागरूक (trajectory-aware) ज्ञान अनुमान ढांचा है जो टेक्स्ट कॉर्पोरा को उनके मूल आकार के 0.1% तक कम करने के लिए इन्फ्लुएंस फंक्शन्स और ऑप्टिमल ट्रांसपोर्ट का उपयोग करता है, जबकि डाउनस्ट्रीम टास्क प्रदर्शन को सुरक्षित रखता है।

मूल लेखक: Tri-Nhan Vo, Dang Nguyen, Sunil Gupta

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tri-Nhan Vo, Dang Nguyen, Sunil Gupta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास लाखों किताबों वाला एक विशाल पुस्तकालय है, और आपका लक्ष्य एक रोबोट को मानव भाषा समझना सिखाना है। समस्या क्या है? पुस्तकालय इतना विशाल है कि रोबोट को प्रशिक्षित करने में अनंत समय लगता है, बिजली का भारी खर्च आता है, और यह एक बड़ा कार्बन फुटप्रिंट पैदा करता है। आप इस पूरे भवन के समान ही प्रभावी एक छोटी, उत्तम "चीट शीट" (cheat sheet) में इस पुस्तकालय को सिकोड़ना चाहते हैं।

यही टेक्स्ट डेटासेट डिस्टिलेशन (Text Dataset Distillation) की चुनौती है। लंबे समय तक, वैज्ञानिकों ने या तो यादृच्छिक (random) पन्ने चुनने या सबसे अच्छे वाक्यों को खोजने के लिए जटिल गणित का उपयोग करने की कोशिश की। लेकिन उनके तर्क में एक बड़ी खामी थी।

"नोइज़ी नेबर" (Noisy Neighbor) की समस्या

पुराने तरीकों में एक छिपी हुई खामी थी जिसे हार्ड-सैंपल बायस (Hard-Sample Bias) कहा जाता है। कल्पना कीजिए कि आप एक परीक्षा के लिए पढ़ाई कर रहे हैं। यदि आप केवल अपने अध्ययन सत्र के बिल्कुल अंत में देखते हैं, तो आपको लग सकता है कि सबसे कठिन, सबसे भ्रमित करने वाले प्रश्न सबसे महत्वपूर्ण हैं क्योंकि आप अभी भी उनसे जूझ रहे हैं। लेकिन वास्तव में, वे भ्रमित करने वाले प्रश्न केवल गलतियाँ या "शोर" (जैसे किताब में टाइपिंग की गलती) हो सकते हैं। इस बीच, वे स्पष्ट, सहायक उदाहरण जो वास्तव में नियम सिखाते हैं, उन्हें अनदेखा कर दिया जाता है क्योंकि आपने उन्हें पहले ही मास्टर कर लिया है।

इस शोध पत्र के लेखक, TAKE (ट्रैजेक्टरी-अवेयर नॉलेज एस्टीमेशन), ने खोजा कि पिछले तरीके उन छात्रों की तरह थे जो केवल यह तय करने के लिए कि उन्हें क्या पढ़ना चाहिए, अपने अंतिम ग्रेड को देखते थे। वे "शोर वाले" नमूनों (noisy samples) को चुनते थे—भ्रमित करने वाले, त्रुटिपूर्ण उदाहरण—क्योंकि वे ही प्रशिक्षण के बिल्कुल अंत में परेशानी पैदा कर रहे थे। इससे उनकी छोटी "चीट शीट" लाइब्रेरी खराब उदाहरणों से भर जाती थी।

TAKE का समाधान: पूरी फिल्म देखना

TAKE इसे केवल अंतिम ग्रेड देखने के बजाय, रोबोट की सीखने की प्रक्रिया की पूरी फिल्म देखकर ठीक करता है।

रोबोट के ज्ञान को केवल एक क्षण पर जाँचने के बजाय, TAKE ट्रैक करता है कि प्रत्येक वाक्य ने पहले दिन से लेकर आखिरी दिन तक रोबोट के सीखने में कितना योगदान दिया। वे इसे एक ट्रैजेक्टरी-अवेयर (trajectory-aware) दृष्टिकोण कहते हैं।

उपमा: कल्पना कीजिए कि एक शिक्षक एक महीने तक हर दिन एक छात्र के होमवर्क को ग्रेड दे रहा है। एक "शोर वाला" छात्र आखिरी दिन भ्रमित होने के कारण खराब स्कोर प्राप्त कर सकता है। लेकिन एक "अच्छा" छात्र शुरुआत में संघर्ष कर सकता था लेकिन उसने इसे जल्दी समझ लिया होगा। यदि आप केवल अंतिम दिन देखते हैं, तो आप सोचेंगे कि भ्रमित होने वाला छात्र अध्ययन के लिए सबसे महत्वपूर्ण था। पूरी महीने को देखकर, आप महसूस करेंगे कि वह छात्र जिसने शुरुआत में संघर्ष किया लेकिन तेजी से सीखा, वास्तव में सबसे मूल्यवान उदाहरण था।

TAKE इस पूरे टाइमलाइन के आधार पर प्रत्येक वाक्य के लिए एक "नॉलेज स्कोर" (knowledge score) की गणना करता है। यह स्कोर उन्हें शोर वाले, भ्रमित करने वाले कचरे को अनदेखा करने और स्पष्ट, सूचनात्मक रत्नों को रखने में मदद करता है।

जादुई फ़िल्टर: ऑप्टिमल ट्रांसपोर्ट (Optimal Transport)

एक बार जब उनके पास ये स्कोर हो जाते हैं, तो उन्हें यह तय करने के लिए कि अंतिम 20 वाक्य (या 0.1% डेटा) छोटी लाइब्रेरी में कौन से होंगे, उन्हें चुनना होता है। वे केवल उच्चतम स्कोर वाले शीर्ष 20 वाक्यों को नहीं चुनते हैं, क्योंकि इससे आपको ऐसे 20 वाक्य मिल सकते हैं जो बिल्कुल एक ही बात कहते हों।

इसके बजाय, वे ऑप्टिमल ट्रांसपोर्ट (Optimal Transport) नामक एक गणितीय उपकरण का उपयोग करते हैं। इसे एक बहुत ही स्मार्ट डिलीवरी सेवा के रूप में सोचें।

लक्ष्य: आपके पास "ज्ञान" का एक बड़ा ढेर (मूल लाइब्रेरी) है और एक छोटा खाली बॉक्स (डिस्टिल्ड डेटासेट) है।
कार्य: आपको उस ज्ञान को बॉक्स में इस तरह ले जाना है कि बॉक्स पूरे ढेर का सटीक प्रतिनिधित्व करे।
चाल: डिलीवरी सेवा (ऑप्टिमल ट्रांसपोर्ट) "नॉलेज स्कोर" को देखती है और सबसे महत्वपूर्ण वस्तुओं को बॉक्स में ले जाती है, लेकिन यह भी सुनिश्चित करती है कि वे वस्तुएं फैली हुई हों। यह 20 समान वस्तुओं को चुनने के बजाय, ऐसी 20 वस्तुएं चुनती है जो मूल लाइब्रेरी के सभी विभिन्न "फ्लेवर्स" (flavors) को कवर करती हैं।

परिणाम: छोटा लेकिन शक्तिशाली

टीम ने समाचार वर्गीकरण और दो वाक्यों का अर्थ एक जैसा है या नहीं, यह समझने सहित छह अलग-अलग भाषा कार्यों पर इसका परीक्षण किया। उन्होंने डेटा को इसके मूल आकार के 0.1% (जो कि एक 120,000 पन्नों की किताब को केवल 120 पन्नों में सिकोड़ने जैसा है) या प्रति श्रेणी 20 नमूने तक संकुचित कर दिया।

यहाँ उन्हें क्या मिला:

सटीकता (Accuracy): TAKE द्वारा बनाई गई छोटी लाइब्रेरी ने पिछले तरीकों द्वारा बनाई गई लाइब्रेरी के समान या उससे बेहतर प्रदर्शन किया। उदाहरण के लिए, एक समाचार वर्गीकरण कार्य पर, TAKE ने BERT मॉडल के साथ 89.82% सटीकता प्राप्त की, जो पिछले सर्वश्रेष्ठ तरीके (DaLLME) को पीछे छोड़ देती है जिसने 88.30% प्राप्त किया था।
स्थिरता (Stability): जब उन्होंने प्रयोग को कई बार चलाया, तो परिणाम बहुत सुसंगत थे। यादृच्छिक चयन अक्सर बहुत अलग परिणाम देता था (कभी शानदार, कभी भयानक), लेकिन TAKE स्थिर था, जिसमें त्रुटियां अन्य तरीकों की तुलना में 5 से 7 गुना कम थीं।
मानव-पठनीय (Human-Readable): कुछ पुराने तरीकों के विपरीत जो "सिंथेटिक" डेटा बनाते थे जो कि गिजबिश कोड जैसा दिखता था, TAKE का तरीका ऐसे वाक्य बनाता है जिन्हें मनुष्य वास्तव में पढ़ और समझ सकते हैं।

वे क्या दावा नहीं करते हैं

लेखक अपनी बातों को लेकर सावधान हैं। वे स्पष्ट रूप से कहते हैं कि:

उन्होंने गोपनीयता की समस्या को पूरी तरह से हल नहीं किया है। यदि मूल लाइब्रेरी में निजी रहस्य हैं, तो छोटी लाइब्रेरी गलती से उन्हें प्रकट कर सकती है। वे सुझाव देते हैं कि सिंथेटिक टेक्स्ट की जांच करें ताकि यह सुनिश्चित हो सके कि यह किसी निजी रिकॉर्ड की सीधी प्रति नहीं है।
उन्होंने यह दावा नहीं किया कि यह बिना किसी सीमा के हर संभव स्थिति के लिए काम करता है। यह विधि "सिंथेटिक पूल" (भाषा मॉडल द्वारा उत्पन्न उम्मीदवार वाक्यों) की गुणवत्ता पर निर्भर करती है। यदि उस पूल में पर्याप्त विविधता नहीं है, तो अंतिम छोटी लाइब्रेरी पूर्ण नहीं होगी।
उन्होंने गणितीय रूप से सिद्ध किया कि उनका तरीका "नोइजी नेबर" बायस को कम करता है, लेकिन वे नोट करते हैं कि अंतिम सटीकता उस विशिष्ट मॉडल पर निर्भर करती है जो छोटी लाइब्रेरी को पढ़ता है।

निचोड़ (The Bottom Line)

TAKE विशाल टेक्स्ट डेटासेट को छोटी, सुपर-एफिशिएंट "चीट शीट्स" में सिकोड़ने का एक नया तरीका है, बिना रोबोट को सिखाने की क्षमता खोए। पूरी सीखने की यात्रा को देखने और सर्वोत्तम उदाहरणों को चुनने के लिए एक स्मार्ट डिलीवरी सिस्टम का उपयोग करके, वे डेटा के आकार को 99.9% तक कम करने में सफल रहे जबकि प्रदर्शन को उच्च बनाए रखा। यह AI प्रशिक्षण को तेज़, सस्ता और कम अपव्ययी बनाने के लिए एक व्यावहारिक उपकरण है, बिना सीखने की गुणवत्ता से समझौता किए।

तकनीकी सारांश: TAKE (ट्रैजेक्टरी-अवेयर नॉलेज एस्टीमेशन) - टेक्स्ट डेटासेट डिस्टिलेशन के लिए

1. समस्या विवरण (Problem Statement)

यह शोध पत्र आधुनिक एनएलपी (NLP) में बड़े पैमाने के टेक्स्ट कॉर्पोरा की बाधा को संबोधित करता है, जहाँ प्रशिक्षण, फाइन-ट्यूनिंग और निरंतर सीखने (continual learning) की संचयी लागत मॉडल के आकार की तुलना में कॉर्पस के आकार से अधिक संचालित होती है। लेखक टेक्स्ट डेटासेट डिस्टिलेशन (DD) का प्रस्ताव करते हैं, जो एक बड़े डेटासेट $D$ को एक काफी छोटे सरोगेट (surrogate) $\tilde{D}$ (उदाहरण के लिए, मूल आकार का 0.1%) से बदलने का कार्य है, ताकि $\tilde{D}$ पर प्रशिक्षित एक मॉडल $D$ पर प्रशिक्षित मॉडल के समान प्रदर्शन प्राप्त कर सके।

मौजूदा टेक्स्ट DD विधियों को तीन महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

समान वेटिंग (Uniform Weighting): वे सभी प्रशिक्षण नमूनों (samples) को समान रूप रूप से सूचनात्मक मानते हैं। अत्यधिक संपीड़न (extreme compression) के स्तर पर, यह बजट अनइंफॉर्मेटिव नमूनों पर समाप्त कर देता है, जिससे मजबूती के लिए आवश्यक बाउंड्री केसेस (boundary cases) को प्राथमिकता देने में विफलता होती है।
ग्लोबल ऑप्टिमाइजेशन का अभाव: कई विधियाँ बैच-दर-बैच अनुकूलन करती हैं या प्रॉक्सी उद्देश्यों (जैसे सिंगल चेकपॉइंट पर ग्रेडिएंट मैचिंग) पर निर्भर करती हैं जिनमें ग्लोबल टास्क अलाइनमेंट की कमी होती है।
गैर-व्याख्यात्मक आउटपुट (Non-Interpretable Outputs): पिछले दृष्टिकोण अक्सर ऐसे सिंथेटिक एम्बेडिंग्स (embeddings) उत्पन्न करते हैं जो मानव-पठनीय, ऑडिट करने योग्य या विभिन्न आर्किटेक्चरों के बीच हस्तांतरणीय (transferable) नहीं होते हैं।

इसके अलावा, शोध पत्र ग्रेडिएंट-आधारित डिस्टिलेशन में एक विशिष्ट विफलता मोड की पहचान करता है जिसे हार्ड-सैंपल बायस (HSB) कहा जाता है। अभिसरण (convergence) के समय, क्लीन (clean) नमूनों के ग्रेडिएंट लगभग शून्य हो जाते हैं, जबकि शोर वाले (noisy) या कठिन नमूने बड़े रेसिडुअल ग्रेडिएंट बनाए रखते हैं। फलस्वरूप, सिंगल-चेकपॉइंट इन्फ्लुएंस स्कोर संरचनात्मक रूप से शोर वाले नमूनों की ओर पक्षपाती होते हैं, जो एक मजबूत डिस्टिल्ड डेटासेट के लिए आवश्यक क्लीन और सूचनात्मक नमूनों को दबा देते हैं।

2. कार्यप्रणाली: TAKE फ्रेमवर्क (Methodology: TAKE Framework)

लेखक TAKE (ट्रैजेक्टरी-अवेयर नॉलेज एस्टीमेशन) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो HSB को ठीक करने के लिए पूरी ट्रेनिंग ट्रैजेक्टरी के साथ इन्फ्लुएंस स्कोर को एकीकृत करता है और ग्लोबल प्रोटोटाइप चयन के लिए ऑप्टिमल ट्रांसपोर्ट (OT) का उपयोग करता है। यह पाइपलाइन तीन अलग-अलग चरणों से बनी है:

चरण 1: ट्रैजेक्टरी-अवेयर नॉलेज स्कोरिंग

HSB को संबोधित करने के लिए, TAKE केवल एक चेकपॉइंट पर निर्भर नहीं रहता है। इसके बजाय, यह पूरी ट्रेनिंग ट्रैजेक्टरी $\{\theta_t\}_{t=0}^{T-1}$ के माध्यम से ग्रेडिएंट सिग्नल को एकीकृत करके प्रत्येक नमूने के लिए एक नॉलेज स्कोर ( $\kappa_n$ ) की गणना करता है।

इन्फ्लुएंस मैट्रिक्स: विधि प्रत्येक चेकपॉइंट $t$ पर प्रत्येक नमूने के लिए ग्रेडिएंट नॉर्म $\|\nabla_\theta \ell(z_n; \theta_t)\|$ की गणना करती है। यह हर स्टेप पर महंगी हेसियन इनवर्जन (Hessian inversion) की आवश्यकता के बिना इन्फ्लुएंस सेल्फ-स्कोर का अनुमान लगाता है।
रेसिप्रोकल रीवेटिंग (Reciprocal Reweighting): चूंकि वेल-फिटेड (क्लीन) नमूनों के ग्रेडिएंट छोटे होते हैं, इसलिए विधि रैंकिंग को उलटने के लिए ग्रेडिएंट नॉर्म का रेसिप्रोकल ( $1/\|\nabla\|$ ) लेती है, जिससे यह सुनिश्चित होता है कि क्लीन नमूनों को उच्च स्कोर मिले।
टेम्पोरल वेटिंग (Temporal Weighting): एक घटते हुए टेम्पोरल कर्नेल $k(t)$ (जैसे, एक्सपोनेंशियल) को लागू किया जाता है। यह वजन को शुरुआती-से-मध्य प्रशिक्षण चरणों पर केंद्रित करता है जहाँ बायस-करेक्टिंग सिग्नल सबसे मजबूत होता है, जबकि बाद के चरणों को कम महत्व देता है जहाँ शोर वाले नमूनों का मेमोराइजेशन ग्रेडिएंट को बढ़ा देता है।
परिणाम: अंतिम स्कोर $\kappa_n = \sum k(t) / I(n,t)$ प्रत्येक नमूने के लिए एक टास्क-अलाइन्ड, बायस-करेक्टेड वेट प्रदान करता है।

चरण 2: सिंथेटिक कैंडिडेट पूल जनरेशन

मूल कॉर्पस से सीधे चयन करने के बजाय, TAKE मानव-पठनीय कैंडिडेट इंस्टेंस ( $D_{synth}$ ) का एक पूल बनाता है।

एक छोटे लैंग्वेज मॉडल को मूल डेटासेट $D$ पर फाइन-ट्यून किया जाता है और $M$ सिंथेटिक कैंडिडेट उत्पन्न करने के लिए सैंपल किया जाता है।
यह चरण अंडर-सैम्प्ल्ड क्षेत्रों में कवरेज का विस्तार करता है और स्वाभाविक रूप से उन शोर वाले नमूनों को दबा देता है जिन्हें जनरेटर धाराप्रवाह रूप से पुनरुत्पादित नहीं कर सकता है, और वर्batim (शब्दशः) ट्रेनिंग रिकॉर्ड से डिस्टिल्ड सेट को अलग करता है ताकि गोपनीयता जोखिमों को कम किया जा सके।

चरण 3: डिस्क्रीट ऑप्टिमल ट्रांसपोर्ट सिलेक्शन

डिस्टिल्ड कॉर्पस $\tilde{D}$ को डिस्क्रीट ऑप्टिमल ट्रांसपोर्ट (OT) ऑब्जेक्टिव का उपयोग करके $D_{synth}$ से चुना जाता है।

ऑब्जेक्टिव: विधि रीवेटेड सोर्स डिस्ट्रीब्यूशन (जो $\kappa_n$ द्वारा परिभाषित है) और कैंडिडेट पूल डिस्ट्रीब्यूशन के बीच वासेरस्टीन-1 (Wasserstein-1) दूरी को कम करती है।
मैकेनिज्म: एक एंट्रोपिक रेगुलराइज्ड OT समस्या को सिंकहॉर्न-नोप (Sinkhorn-Knopp) इटरेशन के माध्यम से हल किया जाता है। यह एक ट्रांसपोर्ट प्लान बनाता है जो मूल नमूनों से सिंथेटिक प्रोटोटाइप को मास असाइन करता है।
चयन: उच्चतम मास प्राप्त करने वाले टॉप- $K$ सिंथेटिक कैंडिडेट को अंतिम डिस्टिल्ड कॉर्पस के रूप में चुना जाता है। यह ग्लोबल डिस्ट्रीब्यूशनल कवरेज सुनिश्चित करता है और स्वतंत्र टॉप- $K$ चयन की रेडंडेंसी (redundancy) से बचता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक (Theoretical):
- हार्ड-सैंपल बायस (HSB) को औपचारिक रूप देता है, यह सिद्ध करता है कि सिंगल-चेकपॉइंट इन्फ्लुएंस स्कोर अभिसरण के दौरान क्लीन नमूनों के वैनिशिंग ग्रेडिएंट्स के कारण शोर वाले नमूनों की ओर पक्षपाती होते हैं।
- एक औपचारिक गैप बाउंड (gap bound) निकालता है जो दिखाता है कि ट्रैजेक्टरी इंटीग्रेशन सिंगल-चेकपॉइंट बेसलाइन्स की तुलना में शोर-से-क्लीन गैप को सख्ती से कम करता है।
- एक थ्योरिटिकल बाउंड स्थापित करता है जो डाउनस्ट्रीम लॉस गैप को ऑप्टिमल ट्रांसपोर्ट कॉस्ट से जोड़ता है, जिससे डिस्टिलेशन प्रक्रिया के लिए एंड-टू-एंड गारंटी मिलती है।
कार्यप्रणाली संबंधी (Methodological):
- पहला टेक्स्ट DD मेथड पेश करता है जो सैंपल वेटिंग (ट्रैजेक्टरी-इंटीग्रेटेड नॉलेज स्कोर के माध्यम से) और डिस्ट्रीब्यूशनल कवरेज (डिस्क्रीट OT के माध्यम से) को संयुक्त रूप से संबोधित करता है।
- मानव-पठनीय, ऑडिट करने योग्य और हस्तांतरणीय डिस्टिल्ड कॉर्पस उत्पन्न करता है, जो एम्बेडिंग-आधारित डिस्टिलेशन की "ब्लैक बॉक्स" प्रकृति को दूर करता है।
अनुभवजन्य (Empirical):
- अत्यधिक संपीड़न (0.1% या 20 सैंपल्स/क्लास) पर छह बेंचमार्क (AG News, IMDb, SST-2, MNLI-m, QNLI, QQP) पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्रदर्शित करता है।
- दिखाता है कि TAKE बिना स्कोरर को फिर से प्रशिक्षित किए विविध बैकबोन फैमिलीज़ (Logistic Regression, TextCNN, TextRNN, BERT) में सामान्यीकृत (generalize) होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

शोध पत्र का मूल्यांकन रैंडम सिलेक्शन, EDA (डेटा ऑग्मेंटेशन), DiLM, और DaLLME सहित बेसलाइन्स के विरुद्ध किया गया है।

वर्गीकरण (Classification): AG News और IMDb (0.1% बजट) पर, TAKE, DaLLME और Random से काफी अधिक बेहतर प्रदर्शन करता है (जैसे, Logistic Regression के साथ AG News पर +2.5%)। SST-2 (20 सैंपल्स/क्लास) पर, यह BERT पर DiLM के बराबर या उससे अधिक प्रदर्शन करता है, जबकि यह उन अन्य बैकबोन्स के लिए भी परिणाम प्रदान करता है जहाँ DiLM विफल रहा था।
नैचुरल लैंग्वेज इंफरेंस (NLI): MNLI-m और QQP पर, TAKE BERT पर DiLM से +2.5% से +3.4% बेहतर है। विशेष रूप से, TAKE का डिस्टिल्ड डेटा सियामीज लॉजिस्टिक रिग्रेशन (Siamese Logistic Regression) को BERT का उपयोग करके रैंडम सिलेक्शन से बेहतर प्रदर्शन करने में सक्षम बनाता है, जो उच्च सूचनात्मक गुणवत्ता वाले जोड़े (pairs) का संकेत देता है।
स्थिरता (Stability): OT ट्रांसपोर्ट प्लान की नियत (deterministic) प्रकृति के कारण TAKE विभिन्न रन के बीच काफी कम वेरिएंस प्रदर्शित करता है (स्टैंडर्ड एरर बेसलाइन्स की तुलना में 5–7 गुणा कम है), जो कवरेज को लागू करता है न कि स्वतंत्र सैंपलिंग को।
एब्लेशन (Ablation): ट्रैजेक्टरी-अवेयर स्कोर ( $\kappa$ ) को हटाना या सिंगल-चेकपॉइंट बेसलाइन का उपयोग करने से प्रदर्शन में गिरावट आती है, जो पुष्टि करता है कि HSB को ठीक करना महत्वपूर्ण है। एक्सपोनेंशियल टेम्पोरल कर्नेल सबसे अच्छे परिणाम देता है, जो शुरुआती-चरण एकाग्रता की सैद्धांतिक प्राथमिकता को मान्य करता है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र TAKE को कुशल एनएलपी के लिए एक व्यावहारिक, डेटा-केंद्रित टूल के रूप में स्थापित करता है। इसका प्राथमिक महत्व इसमें निहित है:

HSB समस्या का समाधान: यह ग्रेडिएंट-आधारित चयन में एक संरचनात्मक पूर्वाग्रह (structural bias) की पहचान करता है और उसे ठीक करता है जिसे पिछले टेक्स्ट DD साहित्य में अनदेखा किया गया था।
डेटा दक्षता: यह प्रदर्शित करता है कि टास्क अलाइनमेंट से समझौता किए बिना केवल 0.1% मूल डेटा के साथ उच्च-निष्ठा वाला डाउनस्ट्रीम प्रदर्शन प्राप्त किया जा सकता है।
व्याख्यात्मकता और शासन (Interpretability and Governance): सिंथेटिक एम्बेडिंग्स के बजाय मानव-पठनीय टेक्स्ट बनाकर, TAKE ऑडिटिंग और हस्तांतरणीयता को सुगम बनाता है, जो डेटा गवर्नेंस और निरंतर सीखने (continual learning) में प्रमुख चिंताओं को संबोधित करता है।
सैद्धांतिक आधार: यह इन्फ्लुएंस फंक्शन्स, ट्रैजेक्टरी इंटीग्रेशन और ऑप्टिमल ट्रांसपोर्ट को डाउनस्ट्रीम लॉस को बाउंड करने के लिए एक कठोर सैद्धांतिक ढांचा प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि TAKE संसाधन-बाधित सेटिंग्स के लिए कॉम्पैक्ट, उच्च-गुणवत्ता वाले कोरेसेट्स (coresets) के निर्माण को सक्षम बनाता है, जिसके कोरेसेट निर्माण और निरंतर सीखने के लिए व्यापक निहितार्थ हैं।