Reasoning Core: Designing Broad Procedural Data for Completion-Supervised Reasoning Training
यह शोध पत्र रीजनिंग कोर (Reasoning Core) को प्रस्तुत करता है, जो सिमेंटिक स्कोरर्स (semantic scorers) और डिफिकल्टी कंट्रोल्स (difficulty controls) के साथ 50 प्रोसीजरल जनरेटर्स का एक व्यापक संग्रह है, जो जब कंप्लीशन-सुपरवाइज्ड फाइन-ट्यूनिंग (completion-supervised fine-tuning) के लिए उपयोग किया जाता है, तो प्रमुख रीजनिंग बेंचमार्क्स पर मौजूदा प्रोसीजरल डेटासेट्स से बेहतर प्रदर्शन करता है और यह प्रदर्शित करता है कि कॉम्पैक्ट टारगेट्स (compact targets) और कैलिब्रेटेड डिफिकल्टी (calibrated difficulty) के बिना केवल सिमेंटिक वैधता ही अपर्याप्त है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को सोचना सिखाने की कोशिश कर रहे हैं। लंबे समय से, वैज्ञानिक इन रोबोटों को किताबों, लेखों और बातचीत के विशाल पुस्तकालय खिलाते रहे हैं, इस उम्मीद में कि वे तर्क करने की क्षमता स्वाभाविक रूप से सीख लेंगे। लेकिन कभी-कभी, रोबोट तर्क के पीछे के विज्ञान को समझे बिना केवल उत्तरों को रट लेता है। इसे ठीक करने के लिए, शोधकर्ताओं ने "सिम्युलेटेड दुनिया" (simulated worlds) बनाना शुरू किया जहाँ रोबोट को पहेलियाँ सुलझानी पड़ती हैं, खेल खेलने पड़ते हैं, या गणित करना पड़ता है। इन दुनियाओं में, एक स्पष्ट सही या गलत उत्तर होता है, जैसे कि एक वीडियो गेम लेवल जहाँ या तो आप बॉस को हरा देते हैं या नहीं। इसे प्रोसीजरल जनरेशन (procedural generation) कहा जाता है: एक इंसान को दस लाख गणित के सवाल लिखने के लिए काम पर रखने के बजाय, आप एक कंप्यूटर प्रोग्राम लिखते हैं जो उन्हें चलते-फिरते (on the fly) बनाता है, यह सुनिश्चित करते हुए कि हर एक सवाल हल करने योग्य और सत्यापन योग्य हो।
बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: हम इन सिम्युलेटेड दुनियाओं को इस तरह कैसे डिजाइन करें कि वे वास्तव में रोबोट को स्मार्ट बनाएं? यह पाया गया है कि केवल एक ऐसी पहेली होना पर्याप्त नहीं है जिसे हल किया जा सके। यदि पहेली बहुत भ्रमित करने वाली है, उत्तर बहुत लंबा है, या निर्देश पेचीदा हैं, तो रोबोट निराश हो सकता है या गलत सबक सीख सकता है। यह शोध पत्र इन पहेलियों की "रेसिपी" में गहराई से उतरता है, यह पूछते हुए कि क्या इन निर्देशों और उत्तरों को लिखने का तरीका उतना ही महत्वपूर्ण है जितना कि स्वयं पहेली।
तर्क की रसोई: REASONING CORE का परिचय
एक स्मार्ट AI को प्रशिक्षित करने को एक छात्र को बड़ी परीक्षा के लिए पढ़ाने जैसा समझें। आप उन्हें वास्तविक दुनिया की पाठ्यपुस्तकों का ढेर दे सकते हैं (जो अधिकांश AI प्रशिक्षण जैसा होता है), या आप उन्हें अभ्यास प्रश्नों की एक कार्यपुस्तिका (workbook) दे सकते हैं। इस पेपर के लेखकों ने एक परम अभ्यास कार्यपुस्तिका बनाने का निर्णय लिया, जिसे वे REASONING CORE कहते हैं।
उन्होंने केवल यादृच्छिक (random) समस्याएँ नहीं फेंकीं। उन्होंने एक विशाल रसोई बनाई जिसमें 50 अलग-अलग "जनरेटर" (इन्हें आप स्वचालित शेफ मान सकते हैं) थे। प्रत्येक शेफ तर्क के एक अलग प्रकार में विशेषज्ञ है:
- गणित के शेफ (Math Chefs) जो अंकगणित और ज्यामिति की समस्याएँ बनाते हैं।
- तर्क के शेफ (Logic Chefs) जो सत्य, झूठ और कारण-प्रभाव (cause-and-effect) के बारे में पहेलियाँ बनाते हैं।
- कोड के शेफ (Code Chefs) जो छोटे प्रोग्राम लिखते हैं और AI से पूछते हैं कि वे क्या करते हैं।
- गेम के शेफ (Game Chefs) जो बोर्ड-गेम के परिदृश्य सेट करते हैं जहाँ AI को जीतने वाली चाल ढूंढनी होती है।
लक्ष्य यह देखना था कि क्या AI को इन विशिष्ट, सत्यापन योग्य पहेलियों का नियमित आहार देने से वह केवल यादृच्छिक टेक्स्ट (text) खिलाने की तुलना में तर्क करने में बेहतर बनता है।
महान स्वाद परीक्षण (The Great Taste Test)
यह पता लगाने के लिए कि उनकी नई "REASONING CORE" कुकबुक कितनी अच्छी थी, शोधकर्ताओं ने एक बड़ा स्वाद परीक्षण आयोजित किया। उन्होंने चार अलग-अलग AI मॉडल लिए (छोटे से मध्यम आकार तक) और उन्हें सामान्य टेक्स्ट और चार अलग-अलग प्रकार के पहेली संग्रहों में से एक का मिश्रण खिलाया:
- REASONING CORE (नया, सावधानीपूर्वक डिज़ाइन किया गया संग्रह)।
- PROCEDURAL WARMUP (अमूर्त तर्क पहेलियों का एक पुराना संग्रह)।
- REASONING GYM (एल्गोरिदम संबंधी पहेलियों का एक लोकप्रिय संग्रह)।
- SYNLOGIC (तार्किक खेलों पर केंद्रित एक संग्रह)।
उन्होंने मॉडलों को अलग-अलग समय के लिए प्रशिक्षित किया और फिर उन्हें पढ़ने की समझ (reading comprehension), तर्क पहेली और गणित की समस्याओं जैसे मानक तर्क चुनौतियों पर परखा।
परिणाम: मात्रा से अधिक गुणवत्ता
परिणाम स्पष्ट थे। जब उन्होंने मॉडलों का परीक्षण 3-बिलियन-पैरामीटर स्केल (AI के लिए एक मध्यम आकार का मस्तिष्क) पर किया, तो REASONING CORE शीर्ष पर रहा। इसने AI को DROP, LogiQA, और ARC-Challenge जैसे कठिन परीक्षणों पर अन्य किसी भी संग्रह, या केवल सामान्य टेक्स्ट पर प्रशिक्षण लेने की तुलना में अधिक स्कोर करने में मदद की।
लेकिन सबसे दिलचस्प बात यह है: यह केवल अधिक पहेलियाँ होने के बारे में नहीं था। शोधकर्ताओं ने पाया कि पहेलियाँ कैसे लिखी गई थीं, यह अत्यंत महत्वपूर्ण था।
- "छोटा उत्तर" का रहस्य: उन्होंने पाया कि AI से किसी समस्या को हल करने के कैसे के बारे में लंबी, चरण-दर-चरण व्याख्या मांगना अक्सर उसे बदतर बना देता है। इसके बजाय, AI तब सबसे अच्छा सीखता है जब पहेलियाँ एक संक्षिप्त, सीधा उत्तर (जैसे कि एक संख्या, एक विशिष्ट शब्द, या एक छोटा कोड स्निपेट) मांगती हैं। यह एक छात्र से गणित की समस्या हल करने के तरीके पर पांच पन्नों का निबंध लिखने के बजाय केवल अंतिम संख्या माँगने के अंतर जैसा है। निबंध ने उन्हें विचलित कर दिया; संख्या ने उन्हें केंद्रित रखा।
- "कठिनाई" का डायल: उन्होंने यह भी सीखा कि पहेलियाँ "बिल्कुल सही" होनी चाहिए। यदि वे बहुत आसान थीं, तो AI ऊब गया। यदि वे बहुत कठिन थीं, तो AI भ्रमित हो गया। सबसे अच्छे परिणाम उन पहेलियों से मिले जो चुनौतीपूर्ण थीं लेकिन हल करने योग्य थीं।
- "ऑडिट" का आश्चर्य: टीम इतनी सावधान थी कि उन्होंने केवल अपने काम पर भरोसा नहीं किया। उन्होंने अन्य पहेली संग्रहों (REASONING GYM और SYNLOGIC) पर एक "सुरक्षा ऑडिट" चलाया और कुछ छिपी हुई गलतियाँ पाईं। उदाहरण के लिए, एक संग्रह में, एक पहेली का "सही" उत्तर वास्तव में गलत हो सकता था क्योंकि उत्तर की जाँच करने वाले कंप्यूटर प्रोग्राम में एक बग (bug) था। इसने साबित कर दिया कि केवल इसलिए कि एक पहेली कंप्यूटर द्वारा उत्पन्न की गई है, इसका मतलब यह नहीं है कि वह सही है। आपको काम की दोबारा जाँच करनी होगी।
यह क्यों मायने रखता है
यह पेपर सुझाव देता है कि यदि हम स्मार्ट AI बनाना चाहते हैं, तो हमें उन्हें केवल अधिक डेटा नहीं देना चाहिए। हमें इस बारे में अधिक स्मार्ट होना चाहिए कि हम उन्हें क्या डेटा दे रहे हैं।
इसे एक खेल के लिए प्रशिक्षण की तरह सोचें। यदि आप बास्केटबॉल में बेहतर होना चाहते हैं, तो आप केवल जिम में बेतरतीब ढंग से नहीं दौड़ते हैं। आप विशिष्ट अभ्यास करते हैं: फ्री थ्रो मारना, शंकु (cones) के बीच से ड्रिबल करना और डिफेंस खेलना। REASONING CORE अभ्यासों के एक खूबसूरती से डिज़ाइन किए गए सेट की तरह है। यह दिखाता है कि समस्याओं (अभ्यास) और उत्तरों (स्कोर) को सावधानीपूर्वक तैयार करके, हम AI मॉडलों को बहुत अधिक प्रभावी ढंग से सोचने में मदद कर सकते हैं।
लेखकों ने केवल यह नहीं कहा, "हे, यह काम करता है।" उन्होंने इसे मापा, विभिन्न मॉडलों में इसका परीक्षण किया, और यहाँ तक कि अपने बिंदु को सिद्ध करने के लिए दूसरों के काम में खामियां भी पाईं। उन्होंने दिखाया कि प्रशिक्षण डेटा का डिज़ाइन स्वयं डेटा जितना ही महत्वपूर्ण है। हालाँकि उन्होंने अभी तक सुपर-इंटेलिजेंट AI बनाने के रहस्य को हल नहीं किया है, लेकिन उन्होंने निश्चित रूप से उन्हें बुनियादी बातें सिखाने का एक बेहतर तरीका खोज लिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।