Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning
यह शोध पत्र यह प्रदर्शित करता है कि, मानक अंतर्ज्ञान के विपरीत, चेन-ऑफ-थॉट डेटा पर सुपरवाइज्ड फाइन-ट्यूनिंग, एकल इपोक के लिए डेटासेट के आकार को बढ़ाने के बजाय, पूर्ण स्मृति (मेमोराइजेशन) तक पहुँचने के लिए छोटे डेटासेट पर बार-बार प्रशिक्षण लेकर बेहतर तर्क प्रदर्शन प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान लेकिन विचलित छात्र को अविश्वसनीय रूप से कठिन पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं, जैसे जटिल गणित की समस्याएँ या गहरे विज्ञान के प्रश्न। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ऐसा छात्र एक "लैंग्वेज मॉडल" है, जो टेक्स्ट पढ़कर सीखता है। इन मॉडल्स को तर्क करने में कुशल बनाने के लिए, वैज्ञानिक "सुपरवाइज्ड फाइन-ट्यूनिंग" (SFT) नामक प्रक्रिया का उपयोग करते हैं। इसे इस तरह समझें जैसे आप छात्र को एक मास्टर शिक्षक द्वारा लिखे गए उदाहरणों का ढेर दे रहे हैं। छात्र इन उदाहरणों को पढ़ता है और सोचने की प्रक्रिया की नकल करने की कोशिश करता है, कदम-दर-कदम, जब तक कि वह अपने आप समान समस्याओं को हल करने में सक्षम न हो जाए।
लंबे समय से, मशीन लर्निंग में स्वर्णिम नियम रहा है "जितना अधिक हो, उतना बेहतर है।" अंतर्ज्ञान सरल है: यदि आप चाहते हैं कि छात्र अच्छी तरह से सीखे, तो आपको उसे अद्वितीय पुस्तकों का एक विशाल पुस्तकालय देना चाहिए। वे जितने अधिक अलग-अलग उदाहरण देखेंगे, वे नई स्थितियों में उतने ही बेहतर होंगे। यह ऐसा ही है जैसे यह मानना कि 10,000 अलग-अलग कहानियाँ पढ़ना हमेशा 100 कहानियों को बार-बार पढ़ने से बेहतर है। लेकिन क्या होगा अगर यह नियम गलत है? क्या होगा यदि इस विशिष्ट प्रकार के "तर्क" (reasoning) प्रशिक्षण के लिए, रहस्य एक बड़ी लाइब्रेरी नहीं, बल्कि एक छोटी लाइब्रेरी की गहरी समझ है? यह सवाल COLM 2026 सम्मेलन का एक नया शोध पत्र उठाता है, जो हमारी सीखने की बुनियादी धारणाओं को चुनौती देता है।
इस अध्ययन के पीछे के शोधकर्ताओं ने "अधिक ही बेहतर है" के नियम का परीक्षण करने के लिए नियंत्रित प्रयोगों की एक श्रृंखला चलाने का निर्णय लिया। उन्होंने एक मानक AI मॉडल लिया और उसे "चेन-ऑफ-थॉट" डेटा पर प्रशिक्षित किया—जो लंबे, विस्तृत तर्क पथ हैं जहाँ मॉडल उत्तर देने से पहले किसी समस्या के बारे में गहराई से सोचना सीखता है। उन्होंने एक सख्त बजट निर्धारित किया: "कंप्यूटिंग प्रयास" (जैसे कि छात्र को अध्ययन करने के लिए दी जाने वाली निश्चित घंटों की संख्या) की एक निश्चित मात्रा। इसके बाद उन्होंने दो रणनीतियों की तुलना की। रणनीति A में छात्र को अद्वितीय उदाहरणों का एक बड़ा ढेर (51,200 नमूने) दिया गया, लेकिन उन्हें उस पूरे ढेर को केवल एक बार पढ़ने दिया गया। रणनीति B में छात्र को उदाहरणों का एक छोटा ढेर (200 या 400 नमूनों के रूप में कम से कम) दिया गया, लेकिन उसी छोटे ढेर को कई, बहुत बार—128 बार तक—पढ़ने दिया गया।
परिणाम आश्चर्यजनक और विरोधाभासी थे। शोध पत्र में पाया गया कि जिस छात्र ने छोटे ढेर को बार-बार पढ़ा (रणनीति B), वह नए, कठिन समस्याओं को हल करने में उस छात्र की तुलना में काफी बेहतर बन गया जिसने विशाल पुस्तकालय को केवल एक बार जल्दी से पढ़ा था। AIME गणित प्रतियोगिताओं और GPQA विज्ञान क्विज़ जैसे कठिन बेंचमार्क पर, 400 नमूनों को 128 युगों (epochs/repetitions) तक प्रशिक्षित किए गए मॉडल ने केवल 1 युग के लिए 51,200 नमूनों पर प्रशिक्षित मॉडल की तुलना में भारी अंतर से बेहतर प्रदर्शन किया—सटीकता में 12 से 26 प्रतिशत अंक की वृद्धि हुई। यह ऐसा ही है जैसे वह छात्र जिसने कुछ प्रमुख कहानियों को पूरी तरह से याद कर लिया, वह एक हजार किताबों को सरसरी तौर पर पढ़ने वाले छात्र की तुलना में नए रहस्यों को बेहतर ढंग से सुलझा सकता है।
शोध पत्र ने यह भी पता लगाया कि यह क्यों होता है और इसकी सीमाएँ क्या हैं। उन्होंने पाया कि सुधार नए तथ्यों को सीखने से नहीं आया, बल्कि मॉडल द्वारा तर्क की संरचना को "याद" करने से आया। जैसे-जैसे मॉडल ने छोटे डेटासेट को दोहराया, वह एक ऐसे बिंदु पर पहुँच गया जहाँ वह प्रशिक्षण उदाहरणों में अगले शब्द की लगभग पूर्ण सटीकता (100%) के साथ भविष्यवाणी कर सकता था। एक बार जब मॉडल ने प्रशिक्षण डेटा का "पूर्ण आत्मसातीकरण" (full memorization) कर लिया, तो नए परीक्षणों पर उसका प्रदर्शन सुधरना बंद हो गया और स्थिर हो गया। यह सुझाव देता है कि इस प्रकार के प्रशिक्षण के लिए, लक्ष्य अधिक से अधिक विभिन्न उदाहरण देखना नहीं है, बल्कि तर्क के पैटर्न को तब तक आत्मसात करना है जब तक कि वह स्वाभाविक न हो जाए।
दिलचस्प रूप से, शोधकर्ताओं ने जाँच की कि क्या इस "दोहराव" के कारण मॉडल अन्य सभी चीजों को भूल गया (एक समस्या जिसे "कैटास्ट्रोफिक फॉरगेटिंग" कहा जाता है)। उन्होंने पाया कि छोटे डेटासेट को दोहराने से विशाल डेटासेट को एक बार पढ़ने की तुलना में कम विस्मृति (forgetting) हुई। ऐसा लगता है कि तर्क की संरचना का गहराई से अभ्यास करके, मॉडल अपने स्वयं के तर्क के प्रति अधिक आत्मविश्वासी हो गया, जिससे उसे अपने सामान्य ज्ञान को खोए बिना कार्य पर टिके रहने में मदद मिली।
हालाँकि, लेखक सावधान हैं कि वे इसे हर चीज़ को हल करने वाला "जादुई समाधान" न कहें। वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि यह सभी डेटा के लिए काम करता है; उदाहरण के लिए, यदि उदाहरण प्रदान करने वाला शिक्षक कमजोर है या उदाहरण गलत हैं, तो लाभ बदल जाते हैं। वे यह भी नोट करते हैं कि जबकि "दोहराव का लाभ" मजबूत है, इस बात का सटीक कारण कि प्रशिक्षण डेटा को याद करने से सामान्यीकरण (generalization) में मदद क्यों मिलती है, अभी भी एक रहस्य है। वे सुझाव देते हैं कि मॉडल शायद उन छिपी हुई क्षमताओं को अनलॉक कर रहा है जो उसके पास पहले से ही थीं, बजाय इसके कि वह कुछ पूरी तरह से नया सीख रहा हो।
संक्षेप में, यह शोध पत्र सुझाव देता है कि AI को तर्क करना सिखाने के लिए, हम अपना समय बड़े और बड़े डेटासेट खोजने में बर्बाद कर रहे होंगे। इसके बजाय, हमें तर्क के एक छोटे, उच्च-गुणवत्ता वाले सेट को लेना चाहिए और मॉडल को उन्हें तब तक पढ़ाने देना चाहिए जब तक कि वह उन्हें पूरी तरह से जान न ले। लेखक एक नया व्यावहारिक नियम प्रस्तावित करते हैं: छोटे डेटासेट पर तब तक प्रशिक्षण जारी रखें जब तक कि मॉडल प्रशिक्षण टेक्स्ट की सटीक भविष्यवाणी न कर सके, और फिर रुक जाएँ। हालाँकि उन्होंने पूरी तरह से यह स्पष्ट नहीं किया है कि इस घटना के पीछे का "क्यों" क्या है, लेकिन उन्होंने यह भी दिखाया है कि कभी-कभी, AI की दुनिया में, 100 अलग-अलग पृष्ठों को सरसरी तौर पर पढ़ने से एक ही पृष्ठ को 100 बार पढ़ना कहीं अधिक शक्तिशाली होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।