Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning
यह शोध पत्र G-Vendi प्रस्तुत करता है, जो एक ग्रेडिएंट-आधारित विविधता मीट्रिक (diversity metric) है जो आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण (out-of-distribution generalization) की भविष्यवाणी करता है, और विविध सिंथेटिक डेटा उत्पन्न करने के लिए इसका लाभ उठाते हुए प्रिजमैटिक सिंथेसिस (Prismatic Synthesis) विकसित करता है, जो अनसीन बेंचमार्क पर LLM रीजनिंग प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है और विशाल प्रोप्राइटरी डेटासेट्स पर प्रशिक्षित मॉडलों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को पहेलियाँ सुलझाना सिखाने की कोशिश कर रहे हैं। आपके पास पहेलियों की किताबों का एक विशाल पुस्तकालय है, लेकिन वे सभी एक ही उबाऊ शैली में लिखी गई हैं, जिनमें एक ही तरह के चुटकुले और एक ही प्रकार की पहेलियाँ हैं। यदि आप रोबोट को केवल वे किताबें खिलाते हैं, तो वह उन विशिष्ट पहेलियों का मास्टर बन सकता है, लेकिन यदि आप उसे कोई नई, अजीब पहेली देते हैं जिसे उसने पहले कभी नहीं देखा है, तो वह संभवतः अटक जाएगा। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो आज के कई सबसे स्मार्ट चैटबॉट्स के पीछे के AI दिमाग हैं। वैज्ञानिक लंबे समय से जानते हैं कि इन रोबोटों को वास्तव में स्मार्ट बनाने के लिए, उन्हें "विविध" (diverse) ट्रेनिंग डेटा की आवश्यकता होती—यानी विभिन्न प्रकार के उदाहरणों की बड़ी संख्या। लेकिन पेचीदा बात यह है कि: आप विविधता को वास्तव में मापते कैसे हैं? क्या यह केवल अलग-अलग शब्दों के बारे में है? या अलग-अलग विषयों के बारे में? या कोई गहरा, अदृश्य गुण है जो एक डेटासेट को वास्तव में उपयोगी बनाता है ताकि रोबोट को सोचने में मदद मिल सके? यह शोध पत्र उस रहस्य में गोता लगाता है, यह पूछते हुए कि क्या हम डेटा में कोई "सीक्रेट सॉस" (गुप्त नुस्खा) पा सकते हैं जो यह भविष्यवाणी कर सके कि रोबोट अनजाने में सामना करने वाली स्थितियों को कितनी अच्छी तरह संभालेगा।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जो NVIDIA और विश्वविद्यालयों की एक टीम है, अनुमान लगाना छोड़ दिया और मापना शुरू कर दिया। उन्होंने G-Vendi नामक एक नया टूल बनाया, जो ट्रेनिंग डेटा के लिए एक विशेष एक्स-रे की तरह काम करता है। सतह के स्तर को देखने के बजाय—जैसे कि कितने अलग-अलग शब्दों का उपयोग किया गया है या यह जांचने के बजाय कि क्या कहानियाँ अलग लगती हैं—G-Vendi "ग्रेडिएंट्स" (gradients) को देखता है। ग्रेडिएंट्स को ऐसे सोचें जैसे कि डेटा का एक टुकड़ा पीछे छोड़े गए सूक्ष्म, अदृश्य पदचिह्न (footprints) हैं जब रोबोट उससे सीखने की कोशिश करता है। यदि दो पहेलियाँ बहुत समान पदचिह्न छोड़ती हैं, तो वे संभवतः रोबोट को एक ही चीज़ एक ही तरीके से सिखा रही हैं। यदि वे बहुत अलग पदचिह्न छोड़ती हैं, तो वे रोबोट को कुछ नया सिखा रही हैं। इन पदचिह्नों की "एन्ट्रॉपी" (या अराजकता/chaos) को मापकर, G-Vendi बता सकता है कि एक डेटासेट वास्तव में कितना विविध है।
टीम ने एक विशाल प्रयोग चलाया, जिसमें 3 मिलियन सिंथेटिक पहेली नमूनों पर 300 से अधिक अलग-अलग संस्करणों वाले एक रोबोट को प्रशिक्षित किया गया। उन्होंने पाया कि G-Vendi सामान्यीकरण (generalization) के लिए एक क्रिस्टल बॉल की तरह है। जब उन्होंने उच्च G-Vendi स्कोर वाले डेटासेट्स चुने (जिसका अर्थ है कि पदचिह्न हर जगह फैले हुए थे, सोचने के कई अलग-अलग तरीकों को कवर कर रहे थे), तो परिणामी रोबोट उन नई पहेलियों को हल करने में अविश्वसनीय रूप से कुशल हो गए जिन्हें उन्होंने पहले कभी नहीं देखा था। वास्तव में, सहसंबंध इतना मजबूत था (1.0 में से लगभग 0.9) कि विविधता स्कोर ने लगभग पूरी तरह से भविष्यवाणी कर दी कि रोबोट अनदेखे परीक्षणों पर कैसा प्रदर्शन करेगा। यह सुझाव देता है कि "सीक्रेट सॉस" केवल बहुत सारा डेटा होना नहीं है, बल्कि ऐसा डेटा है जो रोबोट को अपने मस्तिष्क को कई अलग-अलग दिशाओं में खींचने के लिए मजबूर करता है।
इस खोज से लैस होकर, टीम ने Prismatic Synthesis नामक एक नई विधि का आविष्कार किया। कल्पना कीजिए कि आप एक शेफ हैं जो सबसे स्वादिष्ट सूप बनाने की कोशिश कर रहे हैं। केवल बर्तन में और अधिक सामग्रियां डालने के बजाय, आप सूप को चखते हैं, महसूस करते हैं कि आपको एक विशिष्ट स्वाद की कमी है, और फिर विशेष रूप से उस लापता सामग्री को खोजने के लिए निकलते हैं। Prismatic Synthesis AI डेटा के लिए बिल्कुल यही करता है। यह "ग्रेडिएंट स्पेस" (पदचिह्नों) को देखता है, उन खाली जगहों को ढूंढता है जहाँ रोबोट ने बहुत कम सीखा है, और फिर उन अंतरालों को भरने के लिए विशेष रूप से डिज़ाइन किए गए नए पहेली नमूने उत्पन्न करने के लिए एक शक्तिशाली AI का उपयोग करता है। यह एक फीडबैक लूप की तरह है: डेटा उत्पन्न करें, जांचें कि रोबोट कहाँ कमजोर है, उस कमजोरी को ठीक करने के लिए और अधिक डेटा उत्पन्न करें, और दोहराएं।
परिणाम आश्चर्यजनक थे। उन्होंने इस पद्धति का उपयोग करके दो नए डेटासेट बनाए: गणितीय तर्क (math reasoning) के लिए एक (PrismMath) और प्राकृतिक भाषा निष्कर्ष (natural language inference) के लिए एक (PrismNLI)। भले ही उनका डेटा पूरी तरह से AI द्वारा उत्पन्न किया गया था जिसमें किसी मानवीय हस्तक्षेप की आवश्यकता नहीं थी, फिर भी जिन मॉडल्स को इस पर प्रशिक्षित किया गया, वे अविश्वसनीय रूप से मजबूत थे। उदाहरण के लिए, उनके PrismMath-7B मॉडल ने, जिसे 32-बिलियन-पैरामीटर वाले AI द्वारा उत्पन्न डेटा पर प्रशिक्षित किया गया था, 7 में से 6 चुनौतीपूर्ण गणितीय बेंचमार्क पर एक विशाल 671-बिलियन-पैरामीटर वाले AI द्वारा उत्पन्न डेटा पर प्रशिक्षित अत्याधुनिक (state-of-the-art) मॉडल को हरा दिया। यह एक बड़ी बात है क्योंकि यह सुझाव देता है कि एक स्मार्ट छात्र बनाने के लिए आपको आवश्यक रूप से एक विशाल, महंगे "शिक्षक" AI की आवश्यकता नहीं है; आपको बस सही तरह के विविध डेटा की आवश्यकता है।
यह पेपर कुछ लोकप्रिय विचारों को स्पष्ट रूप से खारिज भी करता है। उन्होंने "नेइव स्केलिंग" (naive scaling) का परीक्षण किया, जो केवल बिना किसी रणनीति के अधिक से अधिक डेटा उत्पन्न करना है, और पाया कि यह जल्दी ही एक दीवार से टकरा जाता है; एक निश्चित बिंदु के बाद रोबлот ऊब जाता है या भ्रमित हो जाता है। उन्होंने "पर्सोना-गाइडेड" (persona-guided) जनरेशन का भी परीक्षण किया, जहाँ आप AI को विभिन्न पात्रों (एक समुद्री डाकू, एक रोबोट, एक कवि) के रूप में कार्य करने के लिए कहते हैं ताकि विविधता पैदा हो सके। हालांकि इसने शुरू में थोड़ी मदद की, लेकिन अंततः यह स्थिर हो गया क्योंकि इसने केवल टेक्स्ट की शैली को बदला, न कि समस्या को हल करने के लिए आवश्यक सोचने की प्रक्रिया को। पेपर दिखाता है कि सतह के स्तर के स्वाद को बदलना पर्याप्त नहीं है; आपको अंतर्निहित संज्ञानात्मक प्रक्रिया (cognitive process) को बदलना होगा।
अंत में, अध्ययन यह सुझाव देता है कि स्मार्ट AI का मार्ग केवल अधिक डेटा या बड़े कंप्यूटरों के बारे में नहीं है। यह रणनीतिक होने के बारे में है। G-Vendi जैसे उपकरणों का उपयोग करके डेटा की वास्तविक "सोचने की विविधता" को मापने और Prismatic Synthesis जैसी विधियों का उपयोग करके रोबोट के ज्ञान के अंतराल को लक्षित करके, हम ऐसे मॉडल बना सकते हैं जो बहुत बेहतर सामान्यीकरण (generalize) कर सकें। लेखकों ने पाया कि एक छोटा, सावधानीपूर्वक क्यूरेट किया गया डेटासेट, उच्च विविधता वाला, अक्सर दस गुना बड़े डेटासेट से बेहतर प्रदर्शन कर सकता है जिसमें वह विविधता नहीं है। यह एक याद दिलाता है कि AI की दुनिया में, विचार की गुणवत्ता शब्दों की मात्रा से अधिक महत्वपूर्ण हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।