💬 NLP

Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning

यह शोध पत्र बड़े भाषा मॉडलों के सुपरवाइज्ड फाइन-ट्यूनिंग के लिए एक जेनेरिक टोकन क्लीनिंग पाइपलाइन प्रस्तावित करता है जो मॉडल अपडेट पर उनके प्रभाव के आधार पर गैर-सूचनात्मक टोकनों को फ़िल्टर करता है, जिससे टोकन स्तर पर डेटा की मात्रा के बजाय गुणवत्ता को प्राथमिकता देकर डाउनस्ट्रीम प्रदर्शन में सुधार होता है।

मूल लेखक: Jinlong Pang, Na Di, Zhaowei Zhu, Jiaheng Wei, Hao Cheng, Chen Qian, Yang Liu

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinlong Pang, Na Di, Zhaowei Zhu, Jiaheng Wei, Hao Cheng, Chen Qian, Yang Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े विचलित रहने वाले छात्र (Large Language Model) को एक आदर्श निबंध लिखना सिखाने की कोशिश कर रहे हैं। आपके पास नमूना निबंधों का एक विशाल पुस्तकालय (training data) है जिसे आप उसे दिखा सकते हैं।

लंबे समय तक, नियम यह था: "जितनी अधिक किताबें तुम पढ़ोगे, उतने ही बुद्धिमान बनोगे।" इसलिए, शोधकर्ताओं ने छात्र के सामने लाखों निबंध फेंक दिए।

लेकिन यह नया शोध पत्र, "Token Cleaning," तर्क देता है कि मात्रा से कहीं अधिक गुणवत्ता मायने रखती है। यह सुझाव देता है कि एक "अच्छे" निबंध में भी ऐसे हिस्से होते हैं जो बेकार, दोहराव वाले या भ्रमित करने वाले होते हैं। यदि छात्र उन बेकार हिस्सों को पढ़ता रहता है, तो वह भ्रमित हो सकता है या बुरी आदतें सीख सकता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इस शोध पत्र का विवरण दिया गया है:

1. समस्या: "शोर भरा" क्लासरूम

कल्पना कीजिए कि आपका छात्र एक इतिहास का निबंध पढ़ रहा है।

अच्छे हिस्से: "नेपोलियन 1815 में वाटरलू में हार गया।" (यह उपयोगी जानकारी है)।
बुरे हिस्से: "शब्द 'the' 50 बार आता है," या "निष्कर्ष में, संक्षेप में, हम निष्कर्ष निकालते हैं कि..." (यह दोहराव वाला फालतू हिस्सा है)।
हानिकारक हिस्से: कभी-कभी, निबंध में एक सूक्ष्म टाइपो (typo) या एक भ्रामक वाक्यांश हो सकता है जो सुनने में सही लगता है लेकिन गलत है।

अतीत में, शिक्षक (AI शोधकर्ता) कहते थे, "पूरा निबंध पढ़ो!" लेकिन यह पेपर कहता है: "रुको! छात्र को उस फालतू सामग्री को पढ़ने के लिए मजबूर न करें। यह उनका समय बर्बाद करता है और उन्हें भ्रमित करता है।"

AI की भाषा में, इन "फालतू" शब्दों को uninformative tokens कहा जाता है। ये कक्षा में बैकग्राउंड शोर की तरह हैं जो शिक्षक की आवाज़ को दबा देते हैं।

2. समाधान: "Token Cleaning" पाइपलाइन

लेखक छात्र को सिखाने का एक नया तरीका प्रस्तावित करते हैं। पूरे खराब निबंधों को फेंकने के बजाय (जो अन्य तरीके करते हैं), वे शब्द-दर-शब्द (token-by-token) जाकर कचरे को फ़िल्टर करते हैं।

वे एक चतुर तकनीक का उपयोग करते हैं जिसे Influence Scoring कहा जाता है। यह कैसे काम करता है, यहाँ देखें:

उपमा: कल्पना कीजिए कि आपके पास दो शिक्षक हैं।
- शिक्षक A (Base Model): छात्र का वर्तमान शिक्षक।
- शिक्षक B (Reference Model): एक अत्यंत बुद्धिमान, विशेषज्ञ शिक्षक।
परीक्षण: आप दोनों शिक्षकों को एक विशिष्ट वाक्य दिखाते हैं।
- यदि शिक्षक A (छात्र) उस वाक्य को समझने में संघर्ष करता है, लेकिन शिक्षक B (विशेषज्ञ) इसे तुरंत समझ जाता है, तो वह वाक्य अत्यंत मूल्यवान है। यह एक "सीखने का क्षण" (learning moment) है।
- यदि दोनों शिक्षक पहले से ही उस वाक्य को पूरी तरह से जानते हैं, या यदि शिक्षक A बिना किसी मदद के इसे आसानी से समझ लेता है, तो वह वाक्य उबाऊ और बेकार है। यह सिर्फ "फिलर" (filler) है।

सिस्टम हर एक शब्द के लिए एक "स्कोर" की गणना करता है। यदि शब्द उबाऊ या भ्रमित करने वाला है, तो उसे कम स्कोर मिलता है और उसे हटा (delete) दिया जाता है। यदि यह एक "सीखने का क्षण" है, तो इसे उच्च स्कोर मिलता है और इसे रखा जाता है।

3. डेटा को साफ करने के दो तरीके

यह शोध पत्र इस सफाई प्रक्रिया के लिए दो अलग-अलग रणनीतियाँ सुझाता है:

रणनीति A: "Static" क्लीनर (Fixed-Model)

यह कैसे काम करता है: आप निबंधों के पूरे पुस्तकालय को एक बार ग्रेड करने के लिए एक विशेषज्ञ शिक्षक का उपयोग करते हैं। आप खराब शब्दों को फ़िल्टर करते हैं, और फिर आप छात्र को केवल साफ शब्दों का उपयोग करके पढ़ाते हैं।
पक्ष (Pros): यह स्थिर और सुसंगत है।
विपक्ष (Cons): यह थोड़ा कठोर है। विशेषज्ञ शिक्षक को यह पता नहीं हो सकता कि आपके विशिष्ट छात्र को आगे क्या सीखने की आवश्यकता है।

रणनीति B: "Self-Evolving" क्लीनर (सबसे शानदार वाला)

यह कैसे काम करता है: यह एक वीडियो गेम लेवल-अप सिस्टम की तरह है।
1. आप साफ डेटा के एक छोटे बैच के साथ शुरू करते हैं और छात्र को पढ़ाते हैं।
2. छात्र थोड़ा स्मार्ट हो जाता है (नया "Reference Model" बन जाता है)।
3. अब, आप इस नए, थोड़े स्मार्ट छात्र का उपयोग निबंधों के अगले बैच को ग्रेड करने के लिए करते हैं।
4. क्योंकि छात्र स्मार्ट हो गया है, वे उन सूक्ष्म, उपयोगी शब्दों को भी पहचान सकते हैं जिन्हें पुराने शिक्षक ने छोड़ दिया था।
5. आप इस चक्र को दोहराते हैं। छात्र स्मार्ट होता जाता है, फ़िल्टर स्मार्ट होता जाता है, और डेटा और भी साफ होता जाता है।
"मैथ्यू प्रभाव" (The Matthew Effect): पेपर इसे "अमीर और अमीर होता जाता है" कहता है। छात्र जितना अधिक सीखता है, वह यह पहचानने में उतना ही बेहतर होता जाता है कि क्या सीखने लायक है, जिससे वह और भी तेज़ी से सीखता है।

4. परिणाम: कम ही अधिक है (Less is More)

शोधकर्ताओं ने विभिन्न AI मॉडलों (जैसे LLaMA और Mistral) पर इसका परीक्षण किया।

निष्कर्ष: लगभग 30% से 40% शब्दों (उबाऊ, दोहराव वाले या भ्रमित करने वाले शब्दों) को हटाकर, AI वास्तव में अधिक बुद्धिमान हो गया।
उपमा: यह एक डाइट की तरह है। यदि आप खाली कैलोरी (जंक डेटा) से भरा एक बड़ा भोजन खाते हैं, तो आप सुस्त महसूस करते हैं। यदि आप शुद्ध प्रोटीन (साफ डेटा) वाला छोटा भोजन करते हैं, तो आप ऊर्जावान महसूस करते हैं और बेहतर प्रदर्शन करते हैं।

सारांश

यह पेपर AI डेवलपर्स के लिए एक चेतावनी है। यह कहता है: "AI मॉडलों पर भारी मात्रा में डेटा डालना बंद करें। इसके बजाय, एक सख्त संपादक बनें। फालतू सामग्री को काटें, असली सोना रखें, और देखें कि AI कैसे तेज़, स्मार्ट और अधिक सटीक बनता है।"

यह पता चला है कि AI के लिए, शोर जितना कम होगा, सिग्नल उतना ही अधिक होगा, और कभी-कभी, शब्दों को हटा देना ही मशीन को सोचने के लिए सिखाने का सबसे अच्छा तरीका होता है।

यहाँ शोध पत्र "Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जबकि हाल के अध्ययन पुष्टि करते हैं कि लार्ज लैंग्वेज मॉडल्स (LLMs) के सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के लिए डेटा की मात्रा से अधिक डेटा की गुणवत्ता महत्वपूर्ण है, मौजूदा डेटा क्लीनिंग विधियाँ मुख्य रूप से सैंपल स्तर (sample level) पर कार्य करती हैं। वे पर्प्लेक्सिटी (perplexity) या LLM-जनित रेटिंग जैसे मेट्रिक्स के आधार पर पूरे निम्न-गुणवत्ता वाले निर्देश-अनुक्रिया (instruction-response) जोड़ों को फ़िल्टर कर देती हैं।

लेखकों का तर्क है कि यह दृष्टिकोण टोकन-स्तरीय शोर (token-level noise) की अनदेखी करता है। उच्च-गुणवत्ता वाले नमूनों के भीतर भी, विशिष्ट टोकन (जैसे, सामान्य वाक्यांश, अनावश्यक संरचनाएं, या सूचनाहीन फिलर शब्द) शोरपूर्ण, सूचनाहीन या हानिकारक हो सकते हैं। इन टोकनों पर फाइन-ट्यूनिंग जारी रखने से भ्रामक ग्रेडिएंट्स उत्पन्न होते हैं, सिग्नल-टू-नॉइज़ अनुपात कम होता है, और डाउनस्ट्रीम टास्क प्रदर्शन में गिरावट आ सकती है। मूल समस्या यह है कि पूरे सैंपल को हटाए बिना, सूचनात्मक टोकनों (informative tokens) को कैसे पहचाना और संरक्षित किया जाए जो कार्य-विशिष्ट ज्ञान ले जाते हैं, जबकि गैर-सूचनात्मक टोकनों (uninformative tokens) को कैसे फ़िल्टर किया जाए।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक जेनेरिक टोकन क्लीनिंग पाइपलाइन प्रस्तावित करता है जिसे नॉइजी लेबल लर्निंग (noisy label learning) के दृष्टिकोण से देखा गया है। मुख्य विचार यह है कि प्रत्येक टोकन की "गुणवत्ता" का मूल्यांकन मॉडल अपडेट पर उसके प्रभाव के आधार पर किया जाए।

A. इन्फ्लुएंस-गाइडेड स्कोरिंग (Influence-Guided Scoring)

यह विधि एक बेस मॉडल ( $\theta$ ) और एक रेफरेंस मॉडल ( $\theta'$ ) के बीच लॉस डिस्पैरिटी (loss disparity) के आधार पर एक टोकन का गुणवत्ता स्कोर परिभाषित करती है।

स्कोर फंक्शन: $Score(x_{i,j}) = -Infl(x_{i,j}) = \ell(x_{i,j} | \theta) - \ell(x_{i,j} | \theta')$ ।
तर्क: यदि कोई टोकन बेस मॉडल से एक बेहतर रेफरेंस मॉडल की ओर बढ़ने पर लॉस में महत्वपूर्ण कमी लाता है, तो इसे "सूचनात्मक" (उच्च स्कोर) माना जाता है। यदि लॉस उच्च बना रहता है या बढ़ता है, तो वह टोकन संभवतः "गैर-सूचनात्मक" या शोरपूर्ण है।
थ्रेशोल्डिंग (Thresholding): स्कोर के आधार पर टोकनों को रैंक किया जाता है, और एक निश्चित अनुपात (जैसे, शीर्ष 60%) को "क्लीन" टोकन ( $\hat{y}_{i,j}=1$ ) के रूप में रखा जाता है, जबकि बाकी को प्रशिक्षण के दौरान मास्क आउट ( $\hat{y}_{i,j}=0$ ) कर दिया जाता है।

B. दो क्लीनिंग रणनीतियाँ (Two Cleaning Strategies)

पेपर बेस और रेफरेंस मॉडल चुनने के लिए दो कार्यान्वयन पेश करता है:

फिक्स्ड-मॉडल क्लीनिंग (एक बार में - One-Shot):
- पूरे डेटासेट के लिए एक फिक्स्ड बेस मॉडल और एक फिक्स्ड रेफरेंस मॉडल (जैसे, एक मजबूत प्री-ट्रेंड मॉडल) का उपयोग करता है।
- सभी टोकनों के लिए एक ही पास में स्कोर की गणना करता है।
- बेस मॉडल को वैश्विक रूप से फ़िल्टर किए गए टोकनों पर फाइन-ट्यून करता है।
- लाभ: स्थिर, गणनात्मक रूप से कुशल। हानि: स्टेटिक (static) रेफरेंस मॉडल की गुणवत्ता तक सीमित।
सेल्फ-इवॉल्विंग क्लीनिंग (पुनरावृत्ति - Iterative):
- तंत्र: डेटासेट को $T$ $T$ उपसमूहों में विभाजित किया जाता है।
  - इटरेशन 0: पहले उपसमूह (पूर्ण टोकन) पर बेस मॉडल को वार्म-अप करने के लिए, जिससे प्रारंभिक रेफरेंस मॉडल ( $\theta_1$ ) बनता है।
  - इटरेशन $t$ : अगले उपसमूह ( $D_t$ ) को स्कोर और क्लीन करने के लिए बेस मॉडल ( $\theta_0$ ) और वर्तमान रेफरेंस मॉडल ( $\theta_t$ ) का उपयोग करें।
  - अपडेट: $\theta_t$ को क्लीन किए गए उपसमूह पर फाइन-ट्यून करके $\theta_{t+1}$ प्राप्त करें, जो अगले इटरेशन के लिए रेफरेंस बनेगा।
- परिणाम: अंतिम मॉडल अंतिम इटरेशन का रेफरेंस मॉडल होता है।
- लाभ: डेटा वितरण के अनुकूल होता है, प्रगतिशील रूप से सुपरविजन सिग्नल को परिष्कृत करता है (मैथ्यू इफेक्ट)।

3. मुख्य योगदान (Key Contributions)

नया पाइपलाइन: SFT के लिए टोकन-स्तरीय डेटा चयन हेतु एक जेनेरिक फ्रेमवर्क, जो ध्यान को सैंपल-स्तरीय फ़िल्टरिंग से बदलकर ग्रैनुलर (granular) टोकन फ़िल्टरिंग पर केंद्रित करता है।
सेल्फ-इवॉल्विंग रणनीति: एक पुनरावृत्ति दृष्टिकोण जो क्लीनिंग प्रक्रिया के दौरान रेफरेंस मॉडल को अपडेट करता है, जो सैद्धांतिक रूप से बेहतर सुपरविजन सिग्नल प्रदान करने की अनुमति देता है।
सैद्धांतिक विश्लेषण:
- पूर्ण टोकनों के साथ सीखने के लिए एक एरर अपर बाउंड (error upper bound) स्थापित किया (थ्योरम 5.1), जो दिखाता है कि एरर नॉइज़ रेट और डेटा की मात्रा पर निर्भर करता है।
- सिद्ध किया कि टोकन क्लीनिंग प्रदर्शन में सुधार करती है यदि शोर दर (noise rate) में कमी, डेटा वॉल्यूम में कमी से अधिक हो (कोरोलरी 5.2)।
- सेल्फ-इवॉल्विंग क्लीनिंग में मैथ्यू इफेक्ट (Matthew Effect) का विश्लेषण: "अमीर और अमीर होते हैं" (उच्च-गुणवत्ता वाले डेटा समूह तेजी से सुधरते हैं) बनाम "गरीब और गरीब होते हैं" (निम्न-गुणवत्ता वाले समूह खराब हो जाते हैं यदि रेफरेंस मॉडल कमजोर हो)।
व्यापक अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न मॉडल आकारों (3B, 7B, 8B) और विविध बेंचमार्क (MMLU, TruthfulQA, आदि) में व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रदर्शन लाभ: प्रस्तावित विधियों ने बेसलाइन (Full Tokens, Random Selection, और RHO टोकन सिलेक्शन सहित) को लगातार पछाड़ दिया।
- LLaMA-3.2-3B मॉडल पर, सेल्फ-इवॉल्विंग क्लीनिंग ने Full Tokens बेसलाइन की तुलना में 6.3% औसत सुधार प्राप्त किया।
- LLaMA-3.1-8B और Mistral-7B पर, सुधार 2.0% से 4.4% के बीच रहा।
ग्लोबल बनाम लोकल रैंकिंग: पेपर ने प्रदर्शित किया कि ग्लोबल रैंकिंग (पूरे डेटासेट में टोकनों को रैंक करना, जैसा कि Fixed-Model Cleaning में है) लोकल रैंकिंग (प्रत्येक सैंपल के भीतर टोकनों को रैंक करना, जैसा कि RHO में है) से बेहतर है। लोकल रैंकिंग खराब नमूनों से शोर को हटाने में प्रभावी ढंग से विफल रहती है।
इष्टतम टोकन अनुपात (Optimal Token Proportion): प्रयोगों ने दिखाया कि लगभग 50%–70% टोकनों को बनाए रखना सर्वोत्तम परिणाम देता है। ~30–40% टोकनों को फ़िल्टर करना (गैर-सूचनात्मक शोर को हटाना) प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।
पुनरावृत्ति व्यवहार (Iterative Behavior): सेल्फ-इवॉल्विंग क्लीनिंग में, तथ्यात्मक ज्ञान (जैसे, MMLU) वाले कार्यों ने बाद के इटरेशन में मामूली गिरावट दिखाई, जबकि रीजनिंग कार्यों (जैसे, TruthfulQA) ने निरंतर सुधार ("अमीर और अमीर होते हैं") दिखाया।

5. महत्व और निहितार्थ (Significance and Implications)

डेटा दक्षता को पुनर्परिभाषित करना: यह पेपर इस धारणा को चुनौती देता है कि "अधिक डेटा हमेशा बेहतर होता है," यह प्रदर्शित करते हुए कि SFT के लिए सूक्ष्म-स्तरीय शोर हटाना (fine-grained noise removal) अत्यंत महत्वपूर्ण है। यह सुझाव देता है कि कच्चे नमूनों के एक बड़े सेट की तुलना में टोकनों का एक छोटा, अत्यधिक क्यूरेटेड सेट अधिक मूल्यवान है।
सैद्धांतिक आधार: टोकन चयन को नॉइजी लेबल समस्या के रूप में फ्रेम करके और एरर बाउंड प्रदान करके, यह कार्य एक सैद्धांतिक औचित्य प्रदान करता है कि टोकन फ़िल्टरिंग क्यों काम करती है, जो अनुभवजन्य सफलता और सैद्धांतिक समझ के बीच के अंतर को पाटता है।
व्यावहारिक प्रयोज्यता: यह पाइपलाइन मानक प्रशिक्षण प्रतिमानों (जैसे, LoRA) के साथ संगत है और इसके लिए जटिल पुनः एनोटेशन (re-annotation) की आवश्यकता नहीं है। सेल्फ-इवॉल्विंग रणनीति मानवीय हस्तक्षेप के बिना उच्च-गुणवत्ता वाले प्रशिक्षण सिग्नल को स्वचालित रूप से क्यूरेट करने का मार्ग प्रदान करती है।
भविष्य की दिशाएँ: लेखक रेखांकित करते हैं कि हालांकि यह विधि प्रभावी है, इटरैटिव क्लीनिंग में "गरीब और गरीब होते हैं" की घटना यह सुझाव देती है कि इवोल्यूशन प्रक्रिया के दौरान रेफरेंस मॉडल की गुणवत्ता की सावधानीपूर्वक निगरानी करने की आवश्यकता है।

संक्षेप में, Token Cleaning पूर्ण डेटासेट पर प्रशिक्षण की तुलना में कम कंप्यूटेशनल ओवरहेड के साथ, टोकन स्तर पर गैर-सूचनात्मक शोर को फ़िल्ट करके LLM SFT को बढ़ाने के लिए एक मजबूत, सैद्धांतिक रूप से आधारित विधि प्रदान करता है।