Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics
यह शोध पत्र "क्वेश्चन बेगेट्स क्वेश्चन" (QbQ) को प्रस्तुत करता है, जो एक स्व-विकसित पाठ्यक्रम है जो डेटा की कमी और रीजनिंग ट्रेस की सीमाओं को दूर करने के लिए मॉडल की वर्तमान शक्तियों से पुनरावृत्ति रूप से समस्या वेरिएंट उत्पन्न करता है, और प्रतियोगिता गणित फाइन-ट्यूनिंग में AIME पर 16.5% का पास@1 स्कोर प्राप्त करके प्रदर्शन की बाधाओं को सफलतापूर्वक तोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन छात्र को दुनिया की सबसे कठिन पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं। आपके पास पहेलियों का एक पुस्तकालय है, लेकिन यह बहुत छोटा है, और आपके पास चरण-दर-चरण स्पष्टीकरण के साथ उत्तर कुंजियाँ (answer keys) नहीं हैं—केवल अंतिम उत्तर हैं। आप छात्र को अधिक पहेलियाँ देकर उसे सिखाने की कोशिश करते हैं, लेकिन चाहे आप कितनी भी पहेलियाँ जोड़ दें, छात्र एक स्तर के कौशल पर आकर अटक जाता है और बेहतर होने से इनकार कर देता है, भले ही उसे और अभ्यास कराया जाए। यह आर्टिफिशियल इंटेलिजेंस (AI) पर काम करने वाले वैज्ञानिकों के लिए एक आम सिरदर्द है। वे चाहते हैं कि AI गणित या कानून जैसे जटिल कौशल सीखे, लेकिन अक्सर उनके पास अच्छे अभ्यास प्रश्नों की कमी होती है, विस्तृत "विचार प्रक्रिया" (thought processes) का अभाव होता है जो AI को सोचने का तरीका दिखा सके, और वे देखते हैं कि AI एक निराशाजनक "सीलिंग" (छत) से टकरा जाता है जहाँ वह बस रुक जाता है और बेहतर होना बंद कर देता है।
यह शोध पत्र ठीक इसी समस्या की गहराई में जाता है। शोधकर्ता यह देखना चाहते थे कि क्या वे बिना किसी मानव शिक्षक द्वारा समाधान के हर चरण को लिखे बिना उस सीखने की सीमा (learning ceiling) को तोड़ सकते हैं। उन्होंने एक स्मार्ट कंप्यूटर प्रोग्राम (एक AI मॉडल) और गणित प्रतियोगिता के कठिन प्रश्नों के एक सेट का उपयोग किया। केवल AI को एक ही तरह के अधिक प्रश्न खिलाने के बजाय, उन्होंने एक चतुर तकनीक ईजाद की जिसे "क्वेश्चन-बेगेट्स-क्वेश्चन" (Question-begets-Question) कहा गया। इसे ऐसे समझें जैसे एक मास्टर शेफ अपने प्रशिक्षु को केवल और अधिक रेसिपी देने के बजाय, एक ऐसी रेसिपी लेता है जिसे प्रशिक्षु लगभग सही कर रहा है और उसमें सामग्री को थोड़ा सा बदल देता है ताकि एक नया, थोड़ा अलग व्यंजन बनाया जा सके। इन नए, थोड़े विविध चुनौतियों को लगातार बनाने के माध्यम से, जो कि उन समस्याओं पर आधारित हैं जिन्हें AI लगभग महारत हासिल कर रहा है, शोधकर्ताओं ने AI को उसकी सीमाओं से आगे धकेलने का एक तरीका खोजा।
स्व-विकसित पाठ्यक्रम की कहानी
शोधकर्ताओं ने Qwen2.5-Math-7B नामक एक कंप्यूटर मॉडल से शुरुआत की। शुरुआत में, यह मॉडल उच्च विद्यालय की एक विशिष्ट प्रकार की गणित प्रतियोगिता जिसे AIME कहा जाता है, में बहुत खराब था। यह अपने आप में केवल 5.6% समस्याओं को हल कर सकता था। टीम यह देखना चाहती थी कि क्या वे इसे बेहतर बनाना सिखा सकते हैं, लेकिन उन्हें तीन बड़ी बाधाओं का सामना करना पड़ा: अभ्यास के लिए पर्याप्त समस्याओं की कमी, "उत्तर कुंजियों" का अभाव जिनमें विचार प्रक्रिया लिखी हो, और यह डर कि मॉडल बस एक दीवार से टकरा जाएगा और सीखना बंद कर देगा।
समस्याओं की कमी को दूर करने के लिए, उन्होंने क्वेश्चन-बेगेट्स-क्वेश्चन (QbQ) नामक एक विधि का उपयोग किया। कल्पना कीजिए कि आपके पास त्रिभुज का क्षेत्रफल निकालने के बारे में एक गणित का प्रश्न है। अधिक अभ्यास प्रश्न बनाने का एक सामान्य तरीका यह होगा कि आप केवल संख्याओं को बदल दें (त्रिभुज को बड़ा या छोटा कर दें)। लेकिन शोधकर्ताओं के "शिक्षक" AI ने कुछ स्मार्ट किया। उसने एक ऐसा प्रश्न लिया जिसे छात्र लगभग सही कर रहा था और उस पर विशिष्ट "रूपांतरण नियम" (transformation rules) लागू किए। उदाहरण के लिए, वह प्रश्न को क्षेत्रफल खोजने से बदलकर उसी त्रिभुज के भीतर एक वृत्त की त्रिज्या खोजने में बदल सकता है, या वह उत्तर को एक अलग संख्या प्रणाली में मांग सकता है। ये नए प्रश्न ताज़ा और विविध थे, लेकिन वे अभी भी बिल्कुल उसी मूल कौशल का परीक्षण करते थे।
हालाँकि, केवल इन नए प्रश्नों का एक विशाल ढेर बनाने मात्र से काम नहीं चला। जब उन्होंने मॉडल को वास्तविक और कृत्रिम समस्याओं के एक स्थिर मिश्रण पर प्रशिक्षित किया, तो मॉडल एक सीलिंग से टकरा गया। यह 5.6% से सुधरकर लगभग 12.5% या 14.5% तक पहुँचा, और फिर रुक गया। चाहे वे इसे कितना भी डेटा खिलाते, मॉडल बेहतर नहीं हो सका। यह एक ऐसे छात्र की तरह था जिसने विशिष्ट अभ्यास परीक्षणों के उत्तर तो रट लिए लेकिन उसी प्रश्न पर एक नया मोड़ आने पर उसे संभाल नहीं पाया।
ब्रेकथ्रू तब आया जब उन्होंने प्रशिक्षण डेटा को एक स्थिर ढेर के रूप में मानने के बजाय एक स्व-विकसित पाठ्यक्रम (self-evolving curriculum) के रूप में मानना शुरू किया। मॉडल को मिश्रित समस्याओं की एक विशाल थैली देने के बजाय, उन्होंने प्रशिक्षण को राउंड्स (चरणों) में व्यवस्थित किया। यहाँ जादू कैसे हुआ:
- चेक-इन: प्रत्येक राउंड के अंत में, उन्होंने मॉडल का परीक्षण उन समस्याओं पर किया जिन्हें उसने अभी सीखा था।
- स्वीट स्पॉट (सही बिंदु): उन्होंने उन समस्याओं को देखा जिन्हें मॉडल अधिकांश समय सही कर पा रहा था, लेकिन हर बार नहीं। उन्होंने इसे "ज्यादातर-सही" (mostly-right) ज़ोन कहा।
- बीज (Seed): उन्होंने उन विशिष्ट "ज्यादातर-सही" समस्याओं को लिया और उनका उपयोग अगले बैच के नए, थोड़े कठिन वेरिएंट उत्पन्न करने के लिए 'बीज' के रूप में किया।
- लूप: उन्होंने इस नए बैच पर मॉडल को प्रशिक्षित किया, फिर से जांच की, नए "ज्यादातर-सही" समस्याओं को खोजा, और इस प्रक्रिया को दोहराया।
सबसे आश्चर्यजनक बात? शोधकर्ताओं ने पाया कि मॉडल सबसे तेज़ी से उन समस्याओं पर अभ्यास करके सुधरा जिन्हें वह पहले से ही अच्छा कर रहा था, न कि उन समस्याओं पर जिनमें वह बुरी तरह विफल हो रहा था। आमतौर पर, हम सोचते हैं कि आप अपनी सबसे बड़ी गलतियों को सुधारकर सीखते हैं। लेकिन यहाँ, AI ने अपने "निकट-विफलताओं" (near-misses) को लेकर, उन्हें थोड़ा बदलकर, और उन्हें महारत हासिल करके सबसे अच्छा सीखा। यह एक टेनिस खिलाड़ी की तरह था जो बार-बार नेट में गेंद मारकर सुधार करने के बजाय, एक ऐसी सर्विस को लेकर सुधार कर रहा है जिसे वह सफलतापूर्वक वापस लौटा सकता है और उसमें थोड़ा सा स्पिन जोड़ रहा है।
इस स्व-विकसित लूप का 20 राउंड तक उपयोग करके, मॉडल ने दीवार नहीं टकराई। वह ऊपर चढ़ता रहा। जबकि अन्य विधियाँ लगभग 14.5% पर रुक गईं, इस स्व-विकसित दृष्टिकोण ने मॉडल की सफलता दर को 16.5% (विशेष रूप से उनके अंतिम परीक्षणों में 16.46%) तक पहुँचा दिया, बिना कभी रुकने के संकेत दिए। इससे भी अधिक प्रभावशाली बात यह है कि मॉडल ने उन कठिन समस्याओं को हल करना सीख लिया जिन्हें उसने पहले कभी नहीं देखा था, जिससे यह सिद्ध हुआ कि "सीलिंग" मॉडल के दिमाग की सीमा नहीं थी, बल्कि इस बात की सीमा थी कि प्रशिक्षण को कैसे व्यवस्थित किया गया था।
शोधकर्ताओं ने यह भी सुनिश्चित किया कि AI केवल शिक्षक की "विचार प्रक्रिया" की नकल न कर रहा हो। उन्होंने कभी भी AI को शिक्षक का चरण-दर-चरण तर्क नहीं दिखाया; उन्होंने केवल प्रश्न और अंतिम उत्तर दिखाया। इसका मतलब है कि AI ने खुद के लिए सोचना सीखा, न कि केवल नकल करना। अध्ययन सुझाव देता है कि AI अक्सर क्यों अटक जाता है, इसका कारण यह नहीं है कि वह और अधिक सीखने के लिए बहुत कम बुद्धिमान है, बल्कि यह है कि हम अक्सर उसे गलत प्रकार का अभ्यास करा रहे होते हैं। पाठ्यक्रम को लगातार AI के वर्तमान स्तर के अनुसार ढालकर, हम उसे उसकी अपनी सीमाओं को तोड़ने में मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।