Transferability for General Reasoning: An Automated Curriculum for Multi-Domain RLVR
यह शोध पत्र ट्रांसफर-अवेयर करिकुलम (TAC) को प्रस्तुत करता है, जो वेरिफिएबल रिवार्ड्स (RLVR) वाले मल्टी-डोमेन रीइन्फोर्समेंट लर्निंग के लिए एक स्वचालित, लो-ओवरहेड बैंडिट-शैली की विधि है, जो ग्रेडिएंट-ज्यामिति संरेखण (gradient-geometry alignment) के माध्यम से क्रॉस-डोमेन ट्रांसफर क्षमता के आधार पर प्रशिक्षण डोमेन को गतिशील रूप से प्राथमिकता देता है, जिससे यह मैक्रो-एवरेज्ड रीजनिंग सटीकता में फिक्स्ड शेड्यूल्स और लर्नैबिलिटी-ओनली दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कोच हैं जो एथलीटों की एक टीम को सर्व-समावेशी सुपर-सॉल्वर (all-around super-solvers) बनाने के लिए प्रशिक्षित कर रहे हैं। आपकी टीम को छह अलग-अलग खेलों में कुशल होना चाहिए: गणित (Math), कोडिंग (Coding), तर्क (Logic), सिमुलेशन (Simulation), टेबल्स (Tables), और विज्ञान (Science)।
अतीत में, कोचों के पास प्रशिक्षण निर्धारित करने के दो मुख्य तरीके थे:
- रैंडम मिक्सर (The Random Mixer): बस एथलीटों को हर दिन अलग-अलग खेलों में बेतरतीब ढंग से डाल देना।
- "लर्नैबिलिटी" कोच (The "Learnability" Coach): केवल उसी खेल पर प्रशिक्षण देना जिसमें एथलीट वर्तमान में सबसे तेज़ी से सुधार कर रहा है। यदि वे गणित में बहुत अच्छा प्रदर्शन कर रहे हैं, तो गणित करते रहें।
समस्या:
यह शोध पत्र तर्क देता है कि दोनों तरीकों में एक अंधा मोड़ (blind spot) है। सिर्फ इसलिए कि एक एथलीट गणित में तेज़ी से सुधार कर रहा है, इसका मतलब यह नहीं है कि गणित का अभ्यास करने से उसे तर्क या विज्ञान में मदद मिलेगी। वास्तव में, शोध पत्र में पाया गया कि कुछ डोमेन (जैसे गणित) इतने विशिष्ट हैं कि उनका अभ्यास करने से आप केवल गणित में ही बेहतर होते हैं, और इससे टीम के बाकी हिस्सों को अधिक मदद नहीं मिलती है। इसके विपरीत, अन्य डोमेन (जैसे तर्क या टेबल्स) शुरू में सीखने में कठिन हो सकते हैं, लेकिन उनका अभ्यास करने से सभी अन्य खेलों को बढ़ावा मिलता है।
यदि आप केवल "लर्नैबिलिटी" कोच की बात सुनते हैं, तो आप गणित पर अत्यधिक प्रशिक्षण देंगे और उन खेलों की अनदेखी करेंगे जो वास्तव में पूरी टीम के विकास में मदद करते हैं।
समाधान: "ट्रांसफर-अवेयर" कोच (The "Transfer-Aware" Coach - TAC)
लेखक एक नया कोच प्रस्तावित करते हैं जिसे TAC (Transfer-Aware Curriculum) कहा जाता है। इसे एक स्मार्ट कोच के रूप में समझें जो आज के लिए एक खेल चुनने से पहले दो प्रश्न पूछता है:
- "क्या वे अभी सीख रहे हैं?" (लर्नैबिलिटी सिग्नल)
- यदि एथलीट संघर्ष कर रहा है लेकिन प्रगति कर रहा है, तो हमें अभ्यास जारी रखना चाहिए।
- "क्या इस खेल का अभ्यास करने से अन्य खेलों में मदद मिलती है?" (ट्रांसफरेबिलिटी सिग्नल)
- यह नया तरीका है। कोच एथलीट के सुधार की "दिशा" को देखता है। क्या तर्क के लिए बनाई जा रही मानसिक मांसपेशी विज्ञान में भी मदद करती है?
- यदि उत्तर हाँ है, तो इस खेल को अतिरिक्त प्राथमिकता दी जाएगी, भले ही एथलीट इसमें गणित की तुलना में उतनी तेज़ी से सुधार न कर रहा हो।
यह कैसे काम करता है (द "मैजिक" मेटाफर)
कल्पना कीजिए कि एथलीट का मस्तिष्क कई रास्तों वाला एक विशाल मानचित्र है।
- पुराना तरीका: कोच बस उस रास्ते को चुनता है जिस पर एथलीट सबसे तेज़ चल रहा है।
- TAC तरीका: कोच रास्तों की ज्यामिति (geometry) को देखता है।
- कुछ रास्ते (जैसे गणित) एक खड़ी, संकीर्ण चट्टान की तरह हैं। इस पर चढ़ने से आप चट्टानों पर चढ़ने में महान बनते हैं, लेकिन यह आपको तैरने या दौड़ने में मदद नहीं करता है।
- अन्य रास्ते (जैसे टेबल्स या तर्क) एक चौड़े, सपाट राजमार्ग की तरह हैं। उन पर चलना शुरू में धीमा लग सकता है, लेकिन यह ऐसी मांसपेशियां बनाता है जो चढ़ने, तैरने और दौड़ने, तीनों में मदद करती हैं।
TAC एथलीट की प्रगति के "कोण" (angle) को मापने के लिए एक विशेष उपकरण (ग्रेडिएंट ज्योमेट्री) का उपयोग करता है। यदि उनके गणित की प्रगति का कोण उनके तर्क की प्रगति के बिल्कुल अलग दिशा में है, तो TAC जानता है: "ठीक है, आज के लिए पर्याप्त गणित हो गया है; अब तर्क की ओर चलते हैं क्योंकि यह पथ पूरी टीम की मदद करेगा।"
परिणाम: क्या हुआ?
शोधकर्ताओं ने इसे दो अलग-अलग "एथलीटों" (AI मॉडल जिन्हें Qwen और Llama नाम दिया गया है) पर सभी छह खेलों के लिए परखा।
- विजेता: TAC हर बार जीता। इसने सर्वश्रेष्ठ समग्र टीम प्रदर्शन दिया।
- आश्चर्य: "केवल लर्नैबिलिटी" वाला कोच (जो केवल इस बात पर ध्यान देता था कि कौन सबसे तेज़ी से सुधार कर रहा है) वास्तव में फंस गया। वह गणित और विज्ञान के प्रति जुनूनी होता रहा क्योंकि वे शुरुआत में सुधार के लिए "आसान" थे, लेकिन इसने टीम के समग्र संतुलन को नुकसान पहुँचाया।
- दक्षता (Efficiency): TAC को किसी अतिरिक्त डेटा या महंगे परीक्षणों की आवश्यकता नहीं थी। इसने सबसे अच्छा शेड्यूल खुद ही बना लिया, जो प्रशिक्षण के दौरान मिलने वाले संकेतों को देखकर ही संभव हुआ। यह एक कोच की खेल नियमावली (playbook) को मुफ्त अपग्रेड पाने जैसा था।
निष्कर्ष (The Takeaway)
यह शोध पत्र निष्कर्ष निकालता है कि एक वास्तव में स्मार्ट AI बनाने के लिए, आप केवल उसे वह डेटा नहीं खिला सकते जिससे वह सबसे तेज़ी से सीखता है। आपको इस बारे में स्मार्ट होना होगा कि कौन सा डेटा अन्य चीज़ों में सबसे अधिक मदद करता है।
"हम अभी क्या सीख रहे हैं" और "हम सब कुछ सीखने में कितनी मदद करते हैं" के बीच संतुलन बनाकर, TAC कोच एक अधिक मजबूत, अधिक बहुमुखी तर्क करने वाली प्रणाली (reasoner) बनाता है। यह एक विशेषज्ञ (specialist) को प्रशिक्षित करने और एक सामान्यज्ञ (generalist) को प्रशिक्षित करने के बीच का अंतर है जो किसी भी चीज़ को संभाल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।