DARC: Decoupled Asymmetric Reasoning Curriculum for LLM Evolution
DARC एक दो-चरणीय, मॉडल-अज्ञेय (model-agnostic) ढांचा है जो एक कठिनाई-कैलिब्रेटेड प्रश्नकर्ता (Questioner) और एक असममित रूप से स्व-निष्पादित (asymmetrically self-distilled) सॉल्वर (Solver) के प्रशिक्षण को अलग करके LLM स्व-विकास को स्थिर करता है, जिससे मानव एनोटेशन पर निर्भर किए बिना रीजनिंग बेंचमार्क में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को जटिल पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं। आपके पास दो रोबोट हैं: एक प्रश्नकर्ता (Questioner) (जो पहेलियाँ बनाता है), और दूसरा समाधानकर्ता (Solver) (जो उन्हें हल करने की कोशिश करता है)।
लक्ष्य यह है कि वे एक-दूसरे को सिखा सकें और बिना किसी मानवीय सहायता के अधिक स्मार्ट बन सकें। इसे "सेल्फ-प्ले" (self-play) कहा जाता है। हालाँकि, यह पेपर तर्क देता है कि करने का पुराना तरीका एक अराजक नृत्य की तरह है जहाँ साथी एक-दूसरे के पैरों पर बार-बार पैर रखते हैं, जिससे भ्रम और प्रगति की कमी होती है।
यहाँ इस पेपर की नई विधि, DARC, इस गड़बड़ी को एक सरल, दो-चरणीय पाठ्यक्रम (curriculum) का उपयोग करके कैसे ठीक करती है, इसका विवरण दिया गया है।
समस्या: "चलते लक्ष्य" वाला नृत्य (The "Moving Target" Dance)
पिछले तरीकों में, प्रश्नकर्ता और समाधानकर्ता आपस में मजबूती से जुड़े हुए थे, जो एक-दूसरे के नवीनतम प्रदर्शन के आधार पर लगातार बदल रहे थे।
- समस्या: कल्पना कीजिए कि प्रश्नकर्ता समाधानकर्ता के वर्तमान कौशल स्तर के लिए "बिल्कुल सही" पहेली बनाने की कोशिश करता है। लेकिन जैसे ही समाधानकर्ता थोड़ा बेहतर होता है, प्रश्नकर्ता का "बिल्कुल सही" का विचार गलत हो जाता है। प्रश्नकर्ता एक चलते हुए लक्ष्य का पीछा कर रहा है।
- परिणाम: रोबोट भ्रमित हो जाते हैं। पहेलियाँ बहुत आसान से बहुत कठिन के बीच झूलती रहती हैं, और समाधानकर्ता अपनी ही गलतियों से सीखने लगता है (जैसे एक छात्र अपने दोस्त से गलत उत्तर की नकल करता है और फिर उसे दूसरे छात्र को पढ़ाता है)। इससे एक अस्थिर प्रशिक्षण प्रक्रिया होती है जहाँ रोबots सुधार करना बंद कर देते हैं या यहाँ तक कि बदतर हो जाते हैं।
समाधान: DARC (Decoupled Asymmetric Reasoning Curriculum)
लेखक इस नृत्य को दो अलग-अलग, स्थिर चरणों में तोड़ने का प्रस्ताव देते हैं। इसे पाठ्यक्रम डिजाइनर (Curriculum Designer) और छात्र (Student) को अलग करने के रूप में समझें।
चरण 1: पाठ्यक्रम डिजाइनर (प्रश्नकर्ता)
समाधानकर्ता को क्या पूछना है, यह तय करने के लिए उसे देखने के बजाय, प्रश्नकर्ता को एक निश्चित मानचित्र (दस्तावेजों की एक बाहरी लाइब्रेरी) और एक स्पष्ट लक्ष्य (एक विशिष्ट कठिनाई स्तर, जैसे "आसान", "मध्यम", या "कठिन") का उपयोग करके प्रशिक्षित किया जाता है।
- उपमा: कल्पना कीजिए कि एक शिक्षक के पास एक पाठ्यपुस्तक और एक ग्रेडिंग रूब्रिक (grading rubric) है। वे पाठ्यपुस्तक के आधार पर विशेष रूप से "मध्यम कठिनाई" के लिए एक प्रश्न लिखते हैं, बिना यह देखे कि छात्र वर्तमान में कितना अच्छा कर रहा है।
- लाभ: प्रश्न स्थिर और वास्तविक जानकारी पर आधारित होते हैं। कठिनाई शिक्षक द्वारा नियंत्रित होती है, न कि छात्र के उतार-चढ़ाव वाले प्रदर्शन द्वारा।
चरण 2: छात्र (समाधानकर्ता)
अब, समाधानकर्ता को चरण 1 में बनाए गए प्रश्नों पर प्रशिक्षित किया जाता है। लेकिन यहाँ एक चतुर मोड़ है: एसिमेट्रिक सेल्फ-डिस्टिलेशन (Asymmetric Self-Distillation)।
- सेटअप: समाधानकर्ता वास्तव में अपने स्वयं के दो संस्करणों वाला होता है।
- विशेषाधिकार प्राप्त शिक्षक (The Privileged Teacher): इसे प्रश्न और स्रोत दस्तावेज़ (पाठ्यपुस्तक) दोनों देखने का अधिकार मिलता है। यह समस्या को हल करता है और सही उत्तर पर वोट देता है।
- छात्र (The Student): यह केवल प्रश्न देखता है। इसे पाठ्यपुस्तक देखे बिना समस्या को हल करना होता है।
- उपमा: कल्पना कीजिए कि एक मास्टर शेफ (शिक्षक) के पास सभी सामग्रियाँ और एक रेसिपी है। वह एक व्यंजन बनाता है और कहता है, "यह एकदम सही स्वाद है।" फिर, एक छात्र शेफ (छात्र) को केवल व्यंजन का विवरण दिया जाता है और उसे अपनी स्मृति और कौशल से, बिना सामग्री देखे, उसे फिर से बनाना होता है। छात्र मास्टर के परिणाम से मेल खाने की कोशिश करके सीखता है।
- लाभ: क्योंकि शिक्षक के पास स्रोत सामग्री होती है, इसलिए उत्तर उच्च गुणवत्ता वाले होते हैं और उनके गलत होने की संभावना कम होती है। छात्र केवल प्रश्न के आधार पर समस्याओं को हल करना सीखता है, जिससे वह केवल पाठ्यपुस्तक को रटने या त्रुटियों की नकल करने से बच जाता है।
यह क्यों काम करता है (परिणाम)
इस पेपर ने विभिन्न AI मॉडलों (जैसे Qwen और LLaMA) पर गणित और सामान्य तर्क कार्यों के माध्यम से इस पद्धति का परीक्षण किया।
- स्थिरता (Stability): अराजक "चलते लक्ष्य" वाले नृत्य के विपरीत, यह विधि स्थिर है। प्रशिक्षण पुरस्कार बिना क्रैश हुए सुचारू रूप से ऊपर जाता है।
- प्रदर्शन (Performance): रोबोटों में महत्वपूर्ण सुधार हुआ। औसतन, वे तर्क परीक्षणों पर अपने शुरुआती संस्करणों की तुलना में 10.9 अंक अधिक प्राप्त करते हैं।
- मानव की आवश्यकता नहीं: उन्होंने बिना किसी मानव-लिखित उत्तर या लेबल के यह हासिल किया।
- प्रतिस्पर्धा को पछाड़ना: DARC अन्य "सेल्फ-टीचिंग" विधियों से बेहतर प्रदर्शन करता है और उन मॉडलों के करीब भी पहुँच गया जिन्हें भारी मात्रा में मानव-एनोटेटेड डेटा पर प्रशिक्षित किया गया था।
मुख्य बातें
- डिकपलिंग (Decoupling) महत्वपूर्ण है: प्रश्नों के निर्माण को प्रश्नों को हल करने से अलग करने से "चलते लक्ष्य" की समस्या को रोका जा सकता है।
- असममिति (Asymmetry) मदद करती है: स्रोत दस्तावेजों तक पहुंच रखने वाला एक "विशेषाधिकार प्राप्त" शिक्षक, उस छात्र के लिए बेहतर प्रशिक्षण लेबल बनाता जिसके पास उस तक पहुंच नहीं है।
- यह एक पाठ्यक्रम (Curriculum) है: यह प्रणाली सीखने को आसान से कठिन की ओर व्यवस्थित करती है, ठीक वैसे ही जैसे एक अच्छा स्कूल सिलेबस, न कि AI को यादृच्छिक (random) समस्याएं फेंकना।
संक्षेप में, DARC एक AI को एक सख्त शिक्षक द्वारा डिजाइन किए गए एक संरचित, विश्वसनीय स्कूल पाठ्यक्रम देने जैसा है, बजाय इसके कि उसे खुद के साथ एक अराजक, असंबद्ध खेल खेलने के लिए छोड़ दिया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।