How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data
यह शोध पत्र TESSY का प्रस्ताव करता है, जो एक शिक्षक-छात्र सहयोग ढांचा (teacher-student cooperation framework) है जो शिक्षक और छात्र मॉडलों को आपस में जोड़कर प्रशिक्षण डेटा को संश्लेषित करता है ताकि शिक्षक की उन्नत तर्क क्षमताओं और छात्र की शैलीगत निरंतरता (stylistic consistency) के साथ अनुक्रमों को उत्पन्न किया जा सके, जिससे मानक सिंथेटिक डेटा फाइन-ट्यूनिंग में शैलीगत विचलन (stylistic divergence) के कारण होने वाले प्रदर्शन ह्रास पर विजय प्राप्त की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "How to Fine-Tune a Reasoning Model?" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ी समस्या: "मास्टर शेफ" बनाम "होम कुक"
कल्पना कीजिए कि आपके पास एक मास्टर शेफ (शिक्षक मॉडल, जैसे GPT-OSS-120B) है जो जटिल गणित की समस्याओं को हल करने और कोड लिखने में जीनियस है। वे एक बेहतरीन 5-स्टार भोजन बना सकते हैं।
अब, कल्पना कीजिए कि आपके पास एक होम कुक (छात्र मॉडल, जैसे Qwen3-8B) है जो इन शानदार व्यंजनों को बनाना सीखने की कोशिश कर रहा है। होम कुक को सिखाने का मानक तरीका यह है कि उन्हें मास्टर शेफ की सटीक रेसिपी दें और कहें, "इसे बिल्कुल ऐसे ही कॉपी करो।"
शोध का निष्कर्ष:
जब शोधकर्ताओं ने यह आज़माया, तो होम कुक बेहतर नहीं हुआ। वास्तव में, वह और भी खराब हो गया। क्यों?
क्योंकि मास्टर शेफ न केवल सामग्री (तर्क/logic) लिखते हैं, बल्कि खाना बनाते समय वे एक बहुत ही विशिष्ट, फैंसी तरीके से बात भी करते हैं। वे "आणविक संरचना का अवलोकन करें," या "आइए ऊष्मप्रवैगिकी के निहितार्थों का अनुमान लगाएं" जैसे वाक्यांशों का उपयोग करते हैं।
हालाँकि, होम कुक आमतौर पर एक सामान्य व्यक्ति की तरह बात करता है: "ठीक है, देखते हैं," या "हम्म, शायद मुझे यह आज़माना चाहिए।"
जब होम कुक मास्टर शेफ की इस फैंसी बातचीत को रटने की कोशिश करता है, तो वह भ्रमित हो जाता है। वे सोचने का अपना स्वाभाविक तरीका भूल जाते हैं और एक रोबोट की तरह लगने लगते हैं जो स्मार्ट दिखने की कोशिश कर रहा है। यह भ्रम उनके वास्तविक खाना बनाने (कोड/गणित) के काम को बिगाड़ देता है। इसे कैटास्ट्रोफिक फॉरगेटिंग (Catastrophic Forgetting) कहा जाता है।
समाधान: TESSY (एक "कुकिंग क्लास" फ्रेमवर्क)
लेखकों ने एक नया तरीका बनाया जिसे TESSY (Teacher–Student Cooperation Data Synthesis) कहा जाता है। केवल मास्टर शेफ की नकल करने के बजाय, उन्होंने एक सहकारी कुकिंग क्लास (Cooperative Cooking Class) बनाई।
TESSY कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:
1. "विचार" बनाम "चैटर" (The "Idea" vs. The "Chatter")
हर बार जब मॉडल किसी समस्या को हल करता है, तो उसके दो भाग होते हैं:
- तर्क (The Logic - "विचार"): वास्तविक गणित, कोड, चरण-दर-चरण समाधान। यह सटीक होना चाहिए।
- शैली (The Style - "चैटर"): जोड़ने वाले शब्द जैसे "ठीक है," "रुको," "सोचते हैं," या "लेकिन वास्तव में।" यह केवल मॉडल का व्यक्तित्व है।
2. हैंड-ऑफ (The Hand-Off)
TESSY फ्रेमवर्क में, मास्टर शेफ और होम कुक एक ही समस्या पर मिलकर काम करते हैं, लेकिन वे काम को विभाजित करते हैं:
- मास्टर शेफ केवल तर्क (Logic) लिखते हैं। वे सही गणित और कोड प्रदान करते हैं।
- होम कुक केवल चैटर (Chatter) लिखता है। वे जोड़ने वाले वाक्य ("ठीक है, देखते हैं...") प्रदान करते हैं जो उनके लिए स्वाभाविक लगें।
3. "रोलबैक" ट्रिक (The "Rollback" Trick)
उन्हें कैसे पता चलता है कि तर्क लिखना कब बंद करना है और चैटर लिखना कब शुरू करना है?
कल्पना कीजिए कि मास्टर शेफ एक वाक्य लिखना शुरू करते हैं। अचानक, सिस्टम (एक स्मार्ट रेफरी) कहता है, "रुको! अगला शब्द होम कुक के लिए बहुत ज्यादा फैंसी है। इसे यहीं काट दो।"
सिस्टम वाक्य को ठीक वहीं काट देता है जहाँ "तर्क" समाप्त होता है और "चैटर" शुरू होता है। फिर, यह पेन होम कुक को अपनी आवाज़ में वाक्य पूरा करने के लिए सौंप देता है।
वे पेन को आपस में पास करते रहते हैं:
- होम कुक: "ठीक है, चलिए समस्या को देखते हैं..." (शैली)
- मास्टर शेफ: "समाधान के लिए डायनेमिक प्रोग्रामिंग दृष्टिकोण की आवश्यकता है..." (तर्क)
- होम कुक: "हम्म, यह समझ में आता है। चलिए इसे आज़माते हैं।" (शैली)
- मास्टर शेफ: "इसलिए, उत्तर 42 है।" (तर्क)
परिणाम: एक बेहतर छात्र
इस पद्धति का उपयोग करके, होम कुक मास्टर शेफ की तरह बोलने के लिए मजबूर हुए बिना उनकी जीनियस लॉजिक (Genius Logic) सीख जाता है।
- TESSY के बिना: होम कुक फैंसी दिखने की कोशिश करता है, भ्रमित हो जाता है, और खाना बनाना भूल जाता है। (प्रदर्शन गिर जाता है)।
- TESSY के साथ: होम कुक अपनी स्वाभाविक आवाज़ बनाए रखता है लेकिन मास्टर शेफ की गुप्त रेसिपी सीख लेता है। (प्रदर्शन काफी बढ़ जाता है)।
यह क्यों महत्वपूर्ण है
यह शोध पत्र दिखाता है कि "रीज़निंग मॉडल्स" (AI जो गहराई से सोचता है) के लिए, तत्व (Substance) जितना महत्वपूर्ण है, शैली (Style) भी उतनी ही मायने रखती है।
यदि आप एक छोटे, बातूनी AI को केवल उसके टेक्स्ट को कॉपी करके एक विशाल, गंभीर AI की तरह सोचने के लिए सिखाने की कोशिश करते हैं, तो आप उस छोटे AI को तोड़ देते हैं। लेकिन यदि आप छोटे AI को अपनी "आवाज़" बनाए रखने देते हैं और साथ ही बड़े AI के "दिमाग" को उधार लेने देते हैं, तो आपको दोनों का सर्वश्रेष्ठ परिणाम मिलता है।
संक्षेप में: छात्र को प्रोफेसर की तरह बोलने के लिए मजबूर न करें। उन्हें खुद की तरह बोलने दें, लेकिन उन्हें प्रोफेसर के उत्तर सिखाएं। इसी तरह आप एक ऐसा जीनियस प्राप्त करते हैं जो एक इंसान की तरह लगता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।