🤖 machine learning

Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models

यह शोध पत्र प्रदर्शित करता है कि जबकि प्रक्रियात्मक-कौशल (procedural-skill) SFT, 0.8B–4B Qwen3.5 मॉडलों में समान पूर्ण लाभ (uniform absolute gains) प्रदान करता है, परिणामी प्रदर्शन प्रक्षेपवक्र (performance trajectory) एक W-आकार का पैटर्न अनुसरण करता है जो शासन-असममित आधार क्षमताओं (regime-asymmetric base capabilities) द्वारा संचालित होता है, जहाँ SFT उन मॉडलों को सबसे महत्वपूर्ण पूर्ण सुधार प्रदान करता है जो प्रारंभ में प्रक्रिया के साथ संघर्ष करते हैं।

मूल लेखक: Igor Strozzi

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Igor Strozzi

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: अलग-अलग रसोइयों को एक रेसिपी सिखाना

कल्पना कीजिए कि आपके पास अलग-अलग अनुभव स्तरों के तीन रसोइये (cooks) हैं:

नौसिखिया (0.8B): एक रसोई सहायक जो उत्साही तो है लेकिन जल्दी घबरा जाता है।
शिक्षु (2B): एक रसोइया जिसे बुनियादी बातें पता हैं, लेकिन कभी-कभी वह आलसी हो जाता है या चरणों को छोड़ देता है।
सू-शेफ (4B): एक बहुत ही सक्षम रसोइया जो आमतौर पर चीजों को खुद समझ लेता है।

शोधकर्ताओं ने यह देखना चाहा कि क्या होता है यदि वे इन तीनों रसोइयों को 200 अलग-अलग कुकिंग चुनौतियों के लिए एक विशिष्ट, लिखित 5-चरणीय रेसिपी (एक "प्रक्रियात्मक कौशल") का पालन करने के लिए देते हैं। वे जानना चाहते थे: क्या उन्हें रेसिपी देने से वास्तव में वे बेहतर खाना बना पाते हैं, या वे बस उसका पालन करने का नाटक करते हैं?

मुख्य खोज: "W" आकार

शोधकर्ताओं ने कुछ आश्चर्यजनक पाया। इससे पहले कि वे किसी को भी रेसिपी देते, रसोइयों की कार्य करने की क्षमता जब आपने उन्हें छोटे से बड़े क्रम में देखा, तो एक अजीब "W" आकार का पालन करती थी:

नौसिखिया (0.8B): प्रशिक्षण से पहले रेसिपी दिए जाने पर, उन्होंने वास्तव में खराब प्रदर्शन किया। 5 चरण बहुत जटिल थे; वे पहले ही चरण में उलझ गए और पूरा व्यंजन खराब कर दिया। रेसिपी उनके लिए एक बोझ बन गई।
शिक्षु (2B): जब उन्हें रेसिपी दी गई, तो उन्होंने बेहतर प्रदर्शन किया। वे "स्वीट स्पॉट" में थे। रेसिपी ने ट्रेनिंग व्हील्स की तरह काम किया, जिससे उन्हें अपना काम चेक करने और उन गलतियों से बचने में मदद मिली जो वे आमतौर पर करते थे।
सू-शेफ (4B): जब उन्हें प्रशिक्षण से पहले रेसिपी दी गई, तो उन्होंने थोड़ा खराब प्रदर्शन किया (या समान रहा)। वे पहले से ही खाना बनाने में इतने अच्छे थे कि रेसिपी पढ़ना उन्हें अतिरिक्त कागजी कार्रवाई जैसा लगा। इसने उन्हें बिना किसी मूल्य के धीमा कर दिया।

ट्विस्ट: जब शोधकर्ताओं ने रसोइयों को रेसिपी का उपयोग करके प्रशिक्षित (SFT) किया, तो कुछ जादुई हुआ। सुधार की मात्रा तीनों रसोइयों के लिए लगभग एक समान थी।

नौसिखिया ने चरणों का पालन करना सीख लिया बिना उलझे।
शिक्षु थोड़ा और निखर गया।
सू-शेफ ने रेसिपी को परेशान करने वाली कागजी कार्रवाई के रूप में देखना बंद कर दिया और इसे एक सहायक उपकरण के रूप में उपयोग करना सीख लिया।

सबक: प्रशिक्षण (SFT) वहां सबसे अधिक काम करता है जहां रसोइया संघर्ष कर रहा होता है। यह नौसिखिए के भ्रम को दूर करता है और सू-शेफ के आलस्य को ठीक करता है, जिससे सभी के लिए एक समान "बूस्ट" मिलता है, भले ही वे बहुत अलग जगहों से शुरू हुए हों।

"फॉर्मेट" का जाल (एक बड़ी गलती जिसे उन्होंने सुधारा)

पेपर एक बड़ी गलती को उजागर करता है जो वे लगभग कर बैठे थे।

कल्पना कीजिए कि एक सख्त जज है जो केवल एक विशिष्ट लाइन पर लिखे उत्तरों को स्वीकार करता है: "ANSWER: [व्यंजन का नाम]"।

नौसхиया और सू-शेफ अक्सर उत्तर एक वाक्य में लिखते थे जैसे, "मेरा निष्कर्ष है कि व्यंजन पिज्जा है।"
सख्त जज (एक कंप्यूटर स्क्रिप्ट) को "ANSWER" शब्द नहीं मिला और उसने उन्हें असफल घोषित कर दिया, भले ही उन्होंने सही उत्तर दिया था।
शिक्षु संयोग से ठीक उसी फॉर्मेट में लिखता था जैसा जज चाहता था, इसलिए वह विजेता दिखाई दिया।

शोधकर्ताओं को एहसास हुआ कि उनका "जज" पक्षपाती था। यह कुकिंग स्किल को नहीं माप रहा था; यह टाइपिंग स्किल को माप रहा था।

सुधार: उन्होंने एक इंसान जैसे जज (एक AI जो पूरे वाक्य को पढ़ सकता है) में स्विच किया।

परिणाम: नौसिखिए और सू-शेफ के स्कोर बढ़ गए!
पक्षपात: सख्त जज अनजाने में उन रसोइयों को दंडित कर रहा था जो "फ्री-फॉर्म" वाक्यों में लिखते थे क्योंकि उनके विस्तृत स्पष्टीकरण अक्सर अंतिम उत्तर को टेक्स्ट के बीच कहीं दबा देते थे।

"सीलिंग" (सीमा) और "फ्रंटियर" (सीमांत)

शोधकर्ताओं ने अपने प्रशिक्षित सू-शेफ (4B) की तुलना एक विश्व-स्तरीय सेलिब्रिटी शेफ (जिसे "Haiku-4-5" कहा गया) से की।

प्रशिक्षण से पहले, सू-शेफ अच्छे थे, लेकिन सेलिब्रिटी शेफ के स्तर तक नहीं थे।
रेसिपी के साथ प्रशिक्षण के बाद, सू-शेफ ने सेलिब्रिटी शेफ के साथ टाई (बराबरी) कर ली। दोनों ने 200 में से 197 व्यंजन एकदम सही बनाए।
यह साबित करता है कि प्रशिक्षण ने केवल सू-शेफ को चरणों का पालन करते हुए "दिखाया" नहीं, बल्कि वास्तव में उन्हें इन विशिष्ट कार्यों के लिए दुनिया के सर्वश्रेष्ठ लोगों के बराबर बना दिया।

क्या काम नहीं आया (नकारात्मक परिणाम)

शोधकर्ताओं ने रेसिपी बदलकर (टेक्स्ट बदलना, चरणों के हिस्सों को हटाना आदि) नौसिखिए (0.8B) को बेहतर बनाने की कोशिश की।

परिणाम: कुछ भी काम नहीं आया। नौसिखिया अभी भी व्यंजनों को पूरी तरह से नहीं बना सका।
क्यों: नौसिखिए के पास वास्तव में इतनी दिमागी शक्ति (क्षमता) नहीं थी कि वह सभी चरणों को एक साथ अपने दिमाग में रख सके। वे चाहे कितनी भी कोशिश करें, "सीलिंग" (सीमा) नौसिखिए की अपनी क्षमता ही थी, न कि सिखाने का तरीका।

मुख्य निष्कर्षों का सारांश

प्रशिक्षण सभी के लिए मदद करता है, लेकिन अलग-अलग कारणों से: यह भ्रमित लोगों को बचाता है, सक्षम लोगों को निखारता है, और अति-आत्मविश्वासी लोगों को फिर से सक्रिय करता है। "बूस्ट" आश्चर्यजनक रूप से सभी के लिए समान है।
कठोर जजों पर भरोसा न करें: यदि आप केवल विशिष्ट फॉर्मेटिंग (जैसे "ANSWER: X") की जांच करते हैं, तो आप इस तथ्य को मिस कर सकते हैं कि मॉडल ने वास्तव में समस्या को सही ढंग से हल किया है।
आकार मायने रखता है, लेकिन वैसे नहीं जैसा आप सोचते हैं: एक छोटा मॉडल भी प्रक्रिया का उपयोग करना उतना ही अच्छी तरह सीख सकता है जितना कि एक बड़ा मॉडल, लेकिन वह पूरे कार्य को पूरी तरह से निष्पादित (execute) नहीं कर सकता यदि कार्य उसके दिमाग के आकार के हिसाब से बहुत कठिन हो।
"W" कर्व: छोटे मॉडल प्रक्रियाओं से उलझ जाते हैं, मध्यम मॉडल उन्हें पसंद करते हैं, और बड़े मॉडल उन्हें तब तक परेशानी भरा समझते हैं जब तक कि उन्हें इसका मूल्य समझने के लिए प्रशिक्षित न किया जाए।

संक्षेप में: यह पेपर दिखाता है कि स्टेप-बाय-स्टेप प्रक्रिया सिखाना एक शक्तिशाली उपकरण है, लेकिन आपको इसे निष्पक्ष रूप से मापना होगा (कठोर फॉर्मेटिंग नियमों को अनदेखा करते हुए) और यह समझना होगा कि मॉडल का आकार यह निर्धारित करता है कि वह चरणों को कितनी अच्छी तरह निष्पादित कर सकता है, भले ही वह एक बड़े मॉडल की तरह उन्हें फॉलो करना भी उतनी ही अच्छी तरह सीख ले।

तकनीकी सारांश: क्षमता स्तरों के माध्यम से प्रक्रियात्मक-कौशल (Procedural-Skill) SFT

समस्या विवरण
यह शोध पत्र इस बात की जांच करता है कि क्या सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के दौरान स्पष्ट प्रक्रियात्मक निर्देश (procedural instructions) छोटे भाषा मॉडलों को अनुमान (inference) के समय प्रभावी ढंग से तर्क प्रक्रियाओं का उपयोग करना सिखाते हैं, या वे केवल मॉडलों को प्रतिक्रिया के स्वरूप (फॉर्मेट लर्निंग) की नकल करने के लिए प्रेरित करते हैं। विशेष रूप से, यह Qwen3.5 डेन्स सीरीज़ के विभिन्न मॉडल क्षमता स्तरों (0.8B, 2B, और 4B पैरामीटर्स) में प्रक्रियात्मक-कौशल SFT के योगदान का परीक्षण करता है। एक केंद्रीय चुनौती जो संबोधित की गई है, वह है मूल्यांकन संबंधी आर्टिफैक्ट्स (artifacts), विशेष रूप से नियतात्मक जजों (deterministic judges) में फॉर्मेट-अनुपालन पूर्वाग्रह (format-compliance biases), जो वास्तविक प्रक्रियात्मक अनुप्रयोग को केवल फॉर्मेट लर्निंग के साथ मिला सकते हैं।

कार्यप्रणाली (Methodology)
अध्ययन एक स्व-निहित पाइपलाइन का उपयोग करता है जिसमें शामिल हैं:

डेटा निर्माण: 40 घोषणात्मक कौशलों (तार्किक दोषों, निगमनात्मक रूपों, संज्ञानात्मक पूर्वाग्रहों आदि को कवर करते हुए) का एक हस्त-क्यूरेटेड कैटलॉग जिसे Opus 4.7 द्वारा प्रक्रियात्मक रूपों में पुनर्गठित किया गया है। एक सिंथेसाइज़र ने 600 कार्य (400 प्रशिक्षण, 200 होल्डआउट) उत्पन्न किए, जिससे 1:1 टास्क-टू-स्किल मैपिंग सुनिश्चित हुई।
SFT कॉर्पस: एक 353-पंक्ति वाला क्यूरेटेड चैट-फॉर्मेट कॉर्पस, जिसे प्रक्रियात्मक कौशल ब्लॉक्स को इंजेक्ट करते हुए Opus 4.7 के रिस्पॉन्स को ट्रेस करके बनाया गया है। कॉर्पस में (स्किल ब्लॉक के साथ सिस्टम प्रॉम्प्ट, यूजर टास्क, असिस्टेंट चेन-ऑफ-थॉट + ANSWER लाइन) प्रदर्शन शामिल हैं।
मॉडल: LoRA का उपयोग करके फाइन-ट्यून किए गए तीन Qwen3.5 डेन्स मॉडल (0.8B, 2B, 4B)। तुलना के लिए एक फ्रंटियर संदर्भ, Claude Haiku 4.5 को शामिल किया गया था।
मूल्यांकन प्रोटोकॉल:
- स्थितियाँ (Conditions): बेसलाइन (स्किल ब्लॉक के बिना सॉल्वर प्रॉम्प्ट) बनाम क्यूरेटेड (मैचिंग प्रक्रियात्मक स्किल ब्लॉक के साथ सॉल्वर प्रॉम्प्ट)।
- स्कोरिंग: दो पथों का उपयोग किया गया: (1) स्ट्रक्चर्ड उत्तरों के लिए रेगुलर एक्सट्रैक्टर्स (regex extractors) और फ्री-फॉर्म के लिए Opus 4.7 का उपयोग करते हुए नेटिव बेंच डिस्पैच के साथ 'डिटरमिनिस्टिक-मिक्सड', और (2) LLM-ओनली (फॉर्मेट-अनुपालन गेट्स को बायपास करने के लिए सभी कार्य प्रकारों के लिए Opus 4.7 जज के रूप में), जो LLM-ओनली है।
- मेट्रिक्स: पास रेट और डिफरेंशियल लिफ्ट ( $\Delta = \text{pass\_rate}_{\text{curated}} - \text{pass\_rate}_{\text{baseline}}$ )।
- वैलिडेशन: जज-ओवरलैप बायस को सीमित करने के लिए 2,800 पेयर्ड एपिसोड पर GPT-5.4 का उपयोग करके क्रॉस-फैमिली वैलिडेशन।

मुख्य निष्कर्ष

समान SFT योगदान ( $\Delta$ -लिफ्ट): मैच-पाथ LLM-ओनली स्कोरिंग के तहत, SFT-अट्रिब्यूटेबल प्रक्रियात्मक लिफ्ट मॉडल के आकार के अनुसार लगभग समान है: +0.070 (0.8B), +0.040 (2B), और +0.075 (4B)। यह सुझाव देता है कि SFT द्वारा किया गया डिफरेंशियल कार्य (मॉडल को प्रक्रिया का उपयोग करना सिखाना बनाम उसका उपयोग न करना) 4 प्रतिशत अंक के बैंड के भीतर क्षमता-अपरिवर्तनीय (capacity-invariant) है।
W-आकार का Pre-SFT प्रक्षेपवक्र (Trajectory): Post-SFT प्रदर्शन में भिन्नता एक नॉन-मोनोटोनिक Pre-SFT बेस प्रक्षेपवक्र द्वारा नियंत्रित होती है।
- 0.8B: गहरा गड्ढा ( $\Delta = -0.075$ )। बेस में 5-स्टेप प्रक्रिया का पालन करने की क्षमता की कमी है, जिससे संचयी त्रुटियां (compounding errors) होती हैं।
- 2B: पॉजिटिव पीक ( $\Delta = +0.060$ )। बेस एक "स्वीट स्पॉट" में है जहाँ प्रक्रिया एक स्कैफोल्ड के रूप में कार्य करती है जो उन चेक्स को सक्षम बनाती है जिन्हें मॉडल अन्यथा छोड़ देता।
- 4B: उथला गड्ढा ( $\Delta = -0.010$ )। बेस सीधे कार्यों को हल करने के लिए पर्याप्त सक्षम है; प्रक्रिया अतिरिक्त ओवरहेड जोड़ती है, जिससे कभी-कभी कम रक्षात्मक निष्कर्ष निकलते हैं।
- फ्रंटियर (Haiku-4-5): मामूली सकारात्मक ( $\Delta = +0.030$ )।
रिजीम-एसिमेट्रिक मैकेनिज्म (Regime-Asymmetric Mechanism): SFT वहां सबसे अधिक काम करता है जहां बेस स्ट्रगल करता है। यह 0.8B मॉडल को प्रक्रिया-अक्षम रिजीम से न्यूट्रल की ओर लाता है और 4B मॉडल को प्रक्रिया-ओवरहेड रिजीम से प्रक्रिया-सहायक रिजीम की ओर बदल देता है। मैकेनिज्म रिजीम-एसिमेट्रिक है न कि पूरी तरह से क्षमता-सशर्त (capacity-conditional)।
फॉर्मेट-अनुपालन आर्टिफैक्ट: अध्ययन ने 83.5% बेंच में उपयोग किए जाने वाले नियतात्मक ANSWER-लाइन एक्सट्रैक्टर में एक व्यवस्थित पूर्वाग्रह की पहचान की है। यह एक्सट्रैक्टर फ्री-फॉर्म प्रोज़ कंक्लूजन को कम गिनता है, जो व्यवस्थित रूप से क्यूरेटेड कंडीशन (जहाँ निष्कर्ष अक्सर प्रक्रियात्मक नैरेशन में एम्बेडेड होते हैं) और फ्रंटियर संदर्भ (HaikU) को दंडित करता है। LLM-ओनली री-जज ने इस बायस को उजागर किया, जिससे दिखाया कि फॉर्मेट बाधाओं को हटाने पर Haiku का प्रदर्शन क्यूरेटेड कंडीशन पर +18.5 pp सुधरा।
0.8B क्षमता की सीमा (Ceiling): 0.8B पर इटरेटिव रेसिपी वेरिएशंस (कॉर्पस कंपोजिशन, पार्शियल फाइन-ट्यूनिंग, स्किल-ब्लॉक स्ट्रिपिंग) 2 pp बैंड से परे एब्सोल्यूट पास रेट को ऊपर उठाने में विफल रहे। यह पुष्टि करता है कि 0.8B का एब्सोल्यूट सीलिंग बेस रीजनिंग क्षमता द्वारा बाध्य है, न कि SFT रेसिपी द्वारा। हालांकि, डिफरेंशियल लिफ्ट ( $\Delta$ ) बड़े मॉडलों के साथ सुसंगत रही।
फ्रंटियर समानता: SFT (v2.0) के साथ 4B मॉडल, फेयर स्कोरिंग के तहत बेंच के प्रभावी सीलिंग (0.985 पास रेट) पर Haiku-4-5 संदर्भ के बराबर है। इसका श्रेय SFT प्लस बेस स्केलिंग को दिया जाता है, क्योंकि Pre-SFT 4B बेस (0.840) Haiku के बराबर नहीं था।

महत्व और दावे
यह शोध पत्र दो पिछले फ्रेमिंग को प्रतिस्थापित करने का दावा करता है: "0.8B पर फॉर्मेट-ओनली लर्निंग" (जिसे पाथ-मिसमैच आर्टिफैक्ट के रूप में प्रकट किया गया) और "4B पर SFT योगदान कम होता है" (जिसे Pre-SFT बेस प्रक्षेपवक्र की गलत समझ के रूप में प्रकट किया गया)।

अनुभवजन्य योगदान (Empirical Contribution): यह प्रमाण प्रदान करता है कि प्रक्रियात्मक-कौशल SFT विभिन्न पैमानों पर एक सुसंगत डिफरेंशियल लिफ्ट प्रदान करता है, लेकिन नेट लाभ काफी हद तक बेस मॉडल के पूर्व-मौजूदा प्रक्रियात्मक रिजीम पर निर्भर करता है।
कार्यप्रणाली संबंधी योगदान (Methodological Contribution): यह एक महत्वपूर्ण फॉर्मेट-अनुपालन आर्टिफैक्ट को उजागर करता है जो मानक बेंचमार्क में क्यूरेटेड कंडीशंस और फ्रंटियर मॉडल्स के खिलाफ SFT दावों को पक्षपाती बनाता है। यह फॉर्मेट लर्निंग को प्रक्रियात्मक अनुप्रयोग से अलग करने के लिए फॉर्मेट-टोलोरेंट इवैल्यूएशन (LLM-ओनली जजिंग) की आवश्यकता को प्रदर्शित करता है।
असत्य सिद्ध करने योग्य भविष्यवाणी (Falsifiable Prediction): शोध पत्र भविष्यवाणी करता है कि बड़े पैमाने (8B/14B) पर, Pre-SFT प्रक्षेपवक्र सकारात्मक मूल्यों की ओर वापस लौटेगा (Haiku के समान), और SFT $\Delta$ -लिफ्ट 2B स्तरों की ओर सिकुड़ जाएगा क्योंकि बेस स्वाभाविक रूप से प्रक्रिया-फ्रेंडली हो जाएगा।

सीमाएं
लेखकों ने स्पष्ट रूप से कुछ सीमाओं का उल्लेख किया है:

सिंगल-सीड इवैल्यूएशन: परिणाम मल्टी-सीड रेप्लिकेशन के बिना पॉइंट एस्टीमेट्स हैं।
कॉर्पस-जज ओवरलैप: टास्क सिंथेसिस, ट्रेस जनरेशन और जजिंग के लिए Opus 4.7 का उपयोग किया गया था। हालांकि क्रॉस-फैमिली वैलिडेशन (GPT-5.4) जजिंग-स्टेज बायस को सीमित करता है, कॉर्पस-जेनरेशन ओवरलैप संरचनात्मक रूप से अनबाउंड रहता है।
टास्क अलाइनमेंट: बेंच प्रक्रिया-अलाइन्ड कार्यों पर प्रक्रियात्मक अनुप्रयोग को मापता है, न कि जेनेरिक स्किल रूटिंग या कंपोजिशनल स्किल उपयोग को।
कोई जेनेरिक कंट्रोल नहीं: अध्ययन में फॉर्मेट बनाम प्रक्रिया योगदान को मात्रात्मक रूप से डीकंपोज़ करने के लिए जेनेरिक इंस्ट्रक्शन-ट्यूनिंग डेटा पर कोई कंट्रोल ट्रेनिंग शामिल नहीं की गई थी, हालांकि डिफरेंशियल लिफ्ट को इसके प्रमाण के रूप में तर्क दिया गया है।