💬 NLP

Supervised Fine-Tuning Needs to Unlock the Potential of Token Priority

यह शोध पत्र "टोकन प्रायोरिटी" (Token Priority) को सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) में ग्रैनुलैरिटी अंतराल को पाटने के लिए एक ढांचे के रूप में प्रस्तावित करता है, जो इसे सरल डेटा फिटिंग से बदलकर एक सटीक वितरण पुनर्गठन प्रक्रिया में परिवर्तित करता है जो लक्षित टोकन-स्तरीय अनुकूलन के माध्यम से मॉडल जनरेशन को मानवीय उपयोगिता के साथ संरेखित करती है।

मूल लेखक: Zhanming Shen, Zeyu Qin, Jiaqi Hu, Wentao Ye, Hao Chen, Xiaomeng Hu, Haokai Xu, Gang Chen, Yi R. Fung, Haobo Wang

प्रकाशित 2026-02-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhanming Shen, Zeyu Qin, Jiaqi Hu, Wentao Ye, Hao Chen, Xiaomeng Hu, Haokai Xu, Gang Chen, Yi R. Fung, Haobo Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बच्चे को दुनिया का सर्वश्रेष्ठ शेफ (chef) बनने के बारे में सिखाने की कोशिश कर रहे हैं।

वर्तमान में, जिस तरह से हम AI को प्रशिक्षित करते हैं (जिसे सुपरवाइज्ड फाइन-ट्यूनिंग या SFT कहा जाता है), वह उस बच्चे को एक विशाल, पहाड़ के आकार की कुकबुक (रेसिपी की किताब) देने जैसा है। इस कुकबुक में सब कुछ है: बीफ वेलिंगटन की बेहतरीन रेसिपी भी, लेकिन साथ ही हजारों पन्ने "फिलर" के भी हैं जैसे कि पानी कैसे उबालें, चम्मच कैसे पकड़ें, और यहाँ तक कि कुछ पन्ने पूरी तरह से बकवास या गलत सलाह के भी हैं।

समस्या यह है कि बच्चा उस किताब के हर एक शब्द को समान महत्व दे रहा है। वे अपनी 90% ऊर्जा यह याद करने में बिता देते हैं कि "नमक" और "मिर्च" कैसे कहना है, और केवल 10% ऊर्जा एक बेहतरीन सॉस के असली रहस्य को सीखने में लगाते हैं।

यह पेपर तर्क देता है कि हम अपना समय बर्बाद कर रहे हैं। वास्तविक बुद्धिमत्ता बनाने के लिए, हमें यह मानना बंद करना होगा कि सभी "टोकन" (भाषा के छोटे निर्माण खंड) समान हैं। हमें टोकन प्रायोरिटी (Token Priority) की आवश्यकता है।

यहाँ रोजमर्रा के उपमाओं (analogies) का उपयोग करके पेपर के बड़े विचारों का विवरण दिया गया है:

1. तीन बड़ी समस्याएँ (क्यों वर्तमान तरीका टूटा हुआ है)

"सूचना अंतराल" (सूई और घास का ढेर - The Needle in the Haystack): हम AI को जो डेटा देते हैं, उसका अधिकांश हिस्सा "फालतू" (fluff) होता है। यह एक लाख किराने की सूचियों को पढ़कर भौतिक विज्ञान (physics) सीखने की कोशिश करने जैसा है। वास्तविक "बुद्धिमत्ता" शानदार तर्क के छोटे, दुर्लभ क्षणों में छिपी होती है। यदि हम किराने की सूचियों और भौतिकी के समीकरणों को समान रूप से महत्वपूर्ण मानते हैं, तो वह चमक दब जाती है।
"ग्रेडिएंट स्टारवेशन" (आसान कार्य का जाल - The Easy-Task Trap): कल्पना कीजिए कि एक छात्र केवल टेस्ट के "सही/गलत" वाले सवालों के जवाब देता है क्योंकि वे आसान हैं, और जटिल निबंध वाले सवालों को पूरी तरह से अनदेखा कर देता है। AI प्रशिक्षण में, मॉडल आसान, दोहराव वाले पैटर्न (जैसे व्याकरण और सामान्य वाक्यांश) में महारत हासिल करने में "फँस" जाता है और कठिन तर्क वाले मस्तिष्क के हिस्सों को "भूखा" (starve) रख देता है क्योंकि वह कठिन चीजों तक पहुँचने से पहले ही अपनी "सीखने की ऊर्जा" (gradients) खत्म कर देता है।
"एक्सपोज़र बायस" (ट्रेनिंग व्हील्स की समस्या - The Training Wheels Problem): जब हम AI को प्रशिक्षित करते हैं, तो हम "टीचर फोर्सिंग" (Teacher Forcing) का उपयोग करते हैं। यह एक शिक्षक द्वारा छात्र का हाथ पकड़ने और हर छोटी ठोकर पर उसे तुरंत सुधारने जैसा है। छात्र तब तक एक "परफेक्ट" नकलची बन जाता है जब तक शिक्षक वहां है, लेकिन जैसे ही शिक्षक हाथ छोड़ता है (वास्तविक दुनिया के उपयोग के दौरान), छात्र घबरा जाता है, एक छोटी सी गलती करता है, और फिर पूरी तरह से टूट जाता है क्योंकि उसने कभी गलती से उबरना नहीं सीखा।

2. समाधान: "प्रायोरिटी फ़िल्टर" (The Priority Filter)

लेखक प्रशिक्षण को देखने का एक नया तरीका प्रस्तावित करते हैं। केवल AI को डेटा खिलाने के बजाय, हमें एक प्रायोरिटी फंक्शन ( $\Phi$ ) का उपयोग करना चाहिए। इसे एक हाई-टेक हाइलाइटर के रूप में समझें।

वे इस "हाइलाइटिंग" को दो मुख्य शैलियों में वर्गीकृत करते हैं:

रेजीम I: निर्माण दल (सकारात्मक प्राथमिकता - Positive Priority): यह डेटा में "सोना" खोजने के बारे में है।
- हार्ड सिलेक्शन (Hard Selection): एक सख्त संपादक की तरह जो कुकबुक के उबाऊ पन्नों को फेंक देता है और केवल मास्टर रेसिपी रखता है।
- सॉफ्ट रीवेटिंग (Soft Rewetting): एक शिक्षक की तरह जो कहता है, "तुम जानते हो कि पानी कैसे उबालना है, इसलिए उस पर अब और समय मत बिताओ। इसके बजाय, मैं तुम्हें उस जटिल सॉस पर काम करते समय 10 गुना अधिक ध्यान दूँगा।"
रेजीम II: सुधार दल (साइन वाला प्राथमिकता - Signed Priority): यह बुरी आदतों को "अनलर्न" (unlearn) करने के बारे में है।
- यदि AI कुछ जहरीला या झूठ सीखता है (एक मतिभ्रम/hallucination), तो हम इसे केवल अनदेखा नहीं करते; हम इसे नेगेटिव प्रायोरिटी देते हैं। यह एक कोच की तरह है जो एथलीट को बताता है, "जब तुम अपना पैर इस तरह से हिलाते हो, तो तुम गलत दिशा में जा रहे होते हो—बिल्कुल इसके विपरीत करो!"

3. बड़ा तर्क: "स्केल ही सब कुछ नहीं है" (Scale is NOT All You Need)

AI में अभी एक लोकप्रिय धारणा है कि यदि हम अपने मॉडल्स को बड़ा बनाते हैं और उन्हें अधिक डेटा देते हैं, तो वे अंततः जीनियस बन जाएंगे। लेखक इसे "स्केल इज ऑल यू नीड" परिकल्पना कहते हैं।

वे असहमत हैं।

उनका तर्क है कि केवल डेटा जोड़ना एक शेफ को बेहतर बनाने के लिए उसे दस मिलियन और कुकबुक देने जैसा है, भले ही उनमें से अधिकांश कचरा हो। आपको अधिक डेटा की आवश्यकता नहीं है; आपको बेहतर-प्राथमिकता वाले डेटा की आवश्यकता है। आपको AI को "नकल" करना सिखाना बंद करना होगा और उसे भाषा के सबसे महत्वपूर्ण, कठिन और सार्थक हिस्सों पर ध्यान केंद्रित करके "तर्क" करना सिखाना शुरू करना होगा।

एक वाक्य में सारांश:

AI को एक लाइब्रेरी के हर शब्द को रटने के बजाय, हमें सबसे महत्वपूर्ण विचारों को हाइलाइट करके और उसकी गलतियों को आक्रामक रूप से सुधारकर सिखाना चाहिए।

तकनीकी सारांश: टोकन प्रायोरिटी (Token Priority) की क्षमता को अनलॉक करने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) की आवश्यकता

1. समस्या विवरण: ग्रैनुलैरिटी मिसमैच (Granularity Mismatch)

यह शोध पत्र सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के वर्तमान प्रतिमान (paradigm) में एक मौलिक दोष की पहचान करता है। जबकि SFT पोस्ट-ट्रेनिंग अलाइनमेंट का आधार स्तंभ है, प्रचलित विधि इसे एक समान मैक्सिमम लाइकलीहुड एस्टीमेशन (Uniform MLE) समस्या के रूप में मानती है। यह मानती है कि डेटासेट का प्रत्येक टोकन मॉडल की बुद्धिमत्ता में समान योगदान देता है।

लेखक तर्क देते हैं कि यह "समतावादी धारणा" (egalitarian assumption) सूक्ष्म ऑटोरिग्रेसिव जनरेशन और स्थूल, समान सुपरविजन सिग्नल्स के बीच एक ग्रैनुलैरिटी मिसमैच पैदा करती है। यह मिसमैच तीन महत्वपूर्ण विकृतियों (pathologies) के रूप में प्रकट होता है:

सूचना-घनत्व अंतराल (The Information-Density Gap): उच्च-गुणवत्ता वाली बुद्धिमत्ता विरल (sparse) होती है। विशाल, बिना क्यूरेट किए गए डेटासेट पर प्रशिक्षण देने से ग्रेडिएंट कम सिग्नल वाले "सिंटैक्टिक फिलर्स" (syntactic fillers) के कारण पतला हो जाता है, जिससे मॉडल के लिए वास्तविक तर्क (true reasoning) के "सपोर्ट सेट" को खोजना कठिन हो जाता है।
ग्रेडिएंट स्टार्वेशन (Gradient Starvation): अनुकूलन (optimization) उच्च-आवृत्ति वाले, "आसान" टोकनों (जैसे सामान्य व्याकरण/सिंटैक्स) की ओर पक्षपाती होता है। ये "इमिटेशन एंकर्स" (imitation anchors) ग्रेडिएंट बजट पर कब्जा कर लेते हैं, जिससे वे दुर्लभ, उच्च-एन्ट्रॉपी वाले टोकनों को दबा देते हैं जो महत्वपूर्ण तर्क संबंधी मोड़ों (reasoning pivots) का प्रतिनिधित्व करते हैं।
एक्सपोज़र बायस (The Comfort Zone Trap): "टीचर फोर्सिंग" (Teacher Forcing) के कारण, मॉडल ग्राउंड-ट्रुथ हिस्ट्री पर प्रशिक्षित होते हैं और कभी भी अपनी गलतियों से उबरना नहीं सीखते। यह प्रशिक्षण और अनुमान वितरण (inference distribution) के बीच एक अंतर (Covariate Shift) पैदा करता है, जिससे कैस्केडिंग मतिभ्रम (hallucinations) की स्थिति उत्पन्न होती है।

2. कार्यप्रणाली: टोकन प्रायोरिटी फ्रेमवर्क (The Token Priority Framework)

लेखक एक एकीकृत मेटा-फ्रेमवर्क प्रस्तावित करते हैं जो SFT को केवल नकल के रूप में नहीं, बल्कि एक डिस्ट्रीब्यूशन रीशेपिंग प्रक्रिया के रूप में पुनर्परिभाषित करता है। वे इसे एक टोकन प्रायोरिटी फंक्शन $\Phi(x)$ का उपयोग करके औपचारिक रूप देते है, जो एम्पिरिकल डेटा वितरण ( $P_{data}$ ) और आदर्श अलाइनमेंट मैनिफोल्ड ( $P_{ideal}$ ) के बीच के अंतर को पाटने के लिए एक डेंसिटी रेश्यो एस्टिमेटर के रूप में कार्य करता है।

मुख्य गणितीय उद्देश्य को मानक NLL से बदलकर प्रायोरिटी-वेटेड लॉस में परिवर्तित किया गया है:
$\mathcal{L}(\theta) = -\mathbb{E}_{x \sim P_{data}} \left[ \sum_{t} \Phi(x_t | x_{<t}) \cdot \log \pi_\theta(x_t | x_{<t}) \right]$

पेपर सभी मौजूदा और भविष्य के SFT सुधारों को $\Phi$ के मान के आधार पर एक टोकन प्रायोरिटी स्पेक्ट्रम में वर्गीकृत करता है:

रेजीम I: पॉजिटिव प्रायोरिटी ( $\Phi \geq 0$ ) — निर्माण (Construction)
- हार्ड सिलेक्शन ( $\Phi \in \{0, 1\}$ ): यह एक हाई-पास फिल्टर के रूप में कार्य करता है। यह गुणवत्ता, कठिनाई या सूचना लाभ के आधार पर टोकनों को या तो रखता है या हटा देता है (जैसे, "प्रमुख" तर्क चरणों पर ध्यान केंद्रित करने के लिए गैर-सूचनात्मक टोकनों को मास्क करना)।
- सॉफ्ट रीवेटिंग ( $\Phi \in \mathbb{R}^+$ ): यह प्रति-टोकन लर्निंग रेट को नियंत्रित करता है। यह महत्वपूर्ण संकेतों (उच्च एन्ट्रॉपी/महत्व) को बढ़ाता है और अनावश्यक या "आसान" टोकनों को दबाता है ताकि ग्रेडिएंट स्टार्वेशन को रोका जा सके।
रेजीम II: साइन्ड प्रायोरिटी ( $\Phi \in \mathbb{R}$ ) — सुधार (Correction)
- अनलर्निंग/रेक्टिफिकेशन ( $\Phi < 0$ ): यह SFT को सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के साथ जोड़ता है। यह नकारात्मक ग्रेडिएंट्स का उपयोग करके मॉडल को टॉक्सिक मोड, मतिभ्रम (hallucinations), या गलत तर्क पथों से सक्रिय रूप से दूर धकेलने के लिए करता है।

3. मुख्य योगदान

एकीकृत वर्गीकरण (Unified Taxonomy): पेपर पोस्ट-ट्रेनिंग विधियों का एक कठोर गणितीय वर्गीकरण प्रदान करता है, उन्हें उनके "प्रायोरिटी रेजीम" (रचनात्मक बनाम सुधारात्मक) और "सिग्नल स्रोत" (आंतरिक बनाम बाहरी) के आधार पर वर्गीकृत करता है।
सैद्धांतिक औपचारिकता (Theoretical Formalization): यह SFT और सुदृढीकरण शिक्षण (RL) के बीच के संबंध को औपचारिक रूप देता है, यह सुझाव देते हुए कि SFT को एक ऑफ-पॉलिसी ऑप्टिमाइजेशन समस्या के रूप में देखा जा सकता है जहाँ टोकन प्रायोरिटी एक इम्पोर्टेंस सैंपलिंग वेट के रूप में कार्य करती है।
संरचनात्मक बाधाओं की पहचान: लेखक इस बात पर प्रकाश डालते हैं कि केवल डेटा वॉल्यूम को बढ़ाना पर्याप्त नहीं है और यदि टोकन प्रायोरिटी को संबोधित नहीं किया गया, तो यह "मॉडल कोलैप्स" या "इनवर्स स्केलिंग" की ओर भी ले जा सकता है।

4. परिणाम और चर्चा

चूंकि यह एक पोजीशन पेपर है (जिसका अर्थ है कि यह एक नया बेंचमार्क प्रस्तुत करने के बजाय एक नया सैद्धांतिक दृष्टिकोण प्रस्तावित करता है), यह अपने दावों को मान्य करने के लिए हालिया एम्पिरिकल सफलताओं का संश्लेषण करता है:

यह दर्शाता है कि Rho-1 (लॉस गैप का उपयोग करके) और T-Shirt (सूचना लाभ का उपयोग करके) जैसे तरीके प्रायोरिटी फ्रेमवर्क के व्यावहारिक कार्यान्वयन हैं।
यह दिखाता है कि प्रायोरिटी-आधारित "रिकवरी ट्रेनिंग" के माध्यम से एक्सपोज़र बायस को संबोधित करने से SFT और RL के बीच के प्रदर्शन अंतर को पाटा जा सकता है।
यह "स्केल इज ऑल यू नीड" परिकल्पना को चुनौती देता है, यह तर्क देते हुए कि बुद्धिमत्ता कच्चे टोकन वॉल्यूम के बजाय प्रायोरिटी-वेटेड टोकन काउंट का एक फलन (function) है।

5. महत्व

यह पेपर महत्वपूर्ण है क्योंकि यह LLM अलाइनमेंट के अनुसंधान फोकस को "अधिक डेटा" से बदलकर "बेहतर ग्रैनुलैरिटी" की ओर ले जाता है। एक गणितीय भाषा प्रदान करके कि कुछ प्रशिक्षण विधियाँ क्यों काम करती हैं, यह निम्नलिखित के लिए एक रोडमैप प्रदान करता है:

डेटा दक्षता (Data Efficiency): छोटे, उच्च-घनत्व वाले डेटासेट के साथ उच्च बुद्धिमत्ता प्राप्त करना।
मजबूती (Robustness): मॉडलों को त्रुटियों को पहचानने और उनसे उबरने के लिए प्रशिक्षित करके मतिभ्रम (hallucinations) को कम करना।
सुरक्षा (Safety): सरल फ़िल्टरिंग से आगे बढ़कर साइन्ड ग्रेडिएंट्स के माध्यम से हानिकारक व्यवहारों के सक्रिय "अनलर्निंग" की ओर बढ़ना।

संक्षेप में, पेपर का तर्क है कि LLM क्षमता में अगली छलांग बड़े क्लस्टर्स से नहीं, बल्कि वितरण में सबसे अधिक सूचनात्मक टोकनों की ओर अनुकूलन (optimization) को सर्जिकल सटीकता के साथ निर्देशित करने की क्षमता से आएगी।