Unfolding Scientific Papers into Multi-Turn Generation Trajectories for Continued Pre-Training
यह शोध पत्र एक ऐसी पाइपलाइन प्रस्तुत करता है जो संरचित वैज्ञानिक शोध पत्रों को निरंतर पूर्व-प्रशिक्षण (continued pre-training) और बेंचमार्किंग के लिए मल्टी-टर्न जनरेशन प्रक्षेपवक्रों (multi-turn generation trajectories) में परिवर्तित करती है, जो यह प्रदर्शित करता है कि यह दृष्टिकोण सामान्य तर्क और दीर्घ-दस्तावेज़ समझ को बनाए रखते हुए शैक्षणिक लेखन क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स, जो शक्तिशाली कंप्यूटर प्रोग्राम हैं जो कहानियाँ लिख सकते हैं, समस्याओं को हल कर सकते हैं और प्रश्नों के उत्तर दे सकते हैं, एक ऐसे बिंदु पर पहुँच गए हैं जहाँ वे सीखने के लिए ताज़ा, उच्च गुणवत्ता वाले मानवीय टेक्स्ट (पाठ) की कमी का सामना कर रहे हैं। वर्षों से, शोधकर्ताओं ने इन प्रणालियों को पुस्तकों, वेबसाइटों और लेखों की विशाल मात्रा खिलाई है। अब, जैसे-जैसे सर्वश्रेष्ठ मानवीय लेखन दुर्लभ होता जा रहा है, वैज्ञानिक सिंथेटिक डेटा (कृत्रिम डेटा) की ओर मुड़ रहे हैं—वह टेक्स्ट जिसे कंप्यूटर द्वारा स्वयं बनाया गया है। एक सामान्य दृष्टिकोण मौजूदा लघु वेब लेखों को लेकर उन्हें अधिक स्वच्छ, पाठ्यपुस्तक जैसे प्रारूपों में फिर से लिखना रहा है। हालाँकि, यह विधि मूल सामग्री को बदल देती है और दस्तावेजों को शब्दों की एक साधारण धारा के रूप में मानती है, जिससे इस बात की अनदेखी हो जाती है कि एक मानव लेखक वास्तव में एक रचना की योजना और संरचना कैसे बनाता है। एक नया विचार सुझाव देता है कि केवल अंतिम टेक्स्ट को फिर से लिखने के बजाय, हमें उस छिपी हुई विचार प्रक्रिया को पुनर्गठित करने का प्रयास करना चाहिए जो इसके निर्माण की ओर ले गई थी। चुनौती यह रही है कि अधिकांश मौजूदा टेक्स्ट जटिल संरचना रखने के लिए बहुत छोटा है, जिससे लेखक की मूल योजना को पुनः प्राप्त करने के लिए बहुत कम स्थान बचता है।
शोधकर्ताओं की एक टीम ने अब इस अवधारणा को लिया है और इसे वैज्ञानिक शोध-पत्रों (साइंटिफिक पेपर्स) पर लागू किया है, जो एक स्पष्ट, समान संरचना और सघन, संकुचित विचारों के साथ लिखे जाते हैं। उन्होंने एक विध विकसित की है जो एक पूर्ण वैज्ञानिक शोध-पत्र को उसके निर्माण की बहु-चरणीय यात्रा में "अनफोल्ड" (खोल) करती है। एक तैयार घर की कल्पना करें; केवल दीवारों को देखने के बजाय, यह प्रक्रिया वास्तुकार के प्रारंभिक रेखाचित्र, सामग्री की सूची, प्रत्येक ईंट बिछाने से पहले लिए गए नोट्स और उस अंतिम निरीक्षण को पुनर्गत्थित करती है जिसने ब्लूप्रिंट का आधार बनाया था। शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो एक वास्तविक वैज्ञानिक शोध-पत्र लेती है और पीछे की ओर काम करते हुए उस लेखन अनुरोध को उत्पन्न करती है जिससे इसकी शुरुआत हुई थी, अनुभागों के लिए वैश्विक योजना, और वे विशिष्ट विचार जो एक लेखक ने प्रत्येक पैराग्राफ लिखने से पहले रखे होंगे। महत्वपूर्ण रूप से, शोध-पत्र का वास्तविक टेक्स्ट बिल्कुल वैसा ही रहता है जैसा मूल लेखकों ने लिखा था; सिस्टम केवल उस आस-पास की विचार प्रक्रिया का आविष्कार करता है जो यह समझाती है कि वह टेक्स्ट कैसे अस्तित्व में आया।
टीम ने इस अनफोल्डिंग प्रक्रिया को arXiv रिपॉजिटरी से 1.8 मिलियन वैज्ञानिक शोध-पत्रों पर लागू किया, जो प्री-प्रिंट अनुसंधान का एक विशाल संग्रह है। 2006 से लेकर शुरुआती 2026 तक के शोध-पत्रों पर इस पुनर्निर्माण को चलाकर, उन्होंने 30 बिलियन शब्दों के कच्चे शोध-पत्र टेक्स्ट को लगभग 60 बिलियन शब्दों के "ट्रैजेक्टरीज" (पथों) वाले एक नए प्रशिक्षण डेटासेट में बदल दिया। प्रत्येक ट्राजेक्टरी एक लंबी, बहु-चरणीय बातचीत है जहाँ एक कंप्यूटर एक शिक्षक की भूमिका निभाता है, पहले एक शोध-पत्र के लिए अनुरोध करता है, फिर एक योजना की रूपरेखा तैयार करता है, फिर प्रत्येक अनुभाग को लिखने पर विचार-विमर्श करता है और अंततः वास्तविक टेक्स्ट प्रस्तुत करता है। यह प्रक्रिया प्रभावी रूप से प्रशिक्षण डेटा के आकार को दोगुना कर देती है और साथ ही उन दस्तावेजों की लंबाई को भी बढ़ा देती है जिन्हें मॉडल्स को प्रोसेस करना होता है, जिससे औसत प्रशिक्षण दस्तावेज़ लगभग 11,000 शब्दों से बढ़कर लगभग 29,000 शब्द हो जाता है। शोधकर्ताओं ने पाया कि इन पुनर्गठित ट्राजेक्टरीज से मॉडल्स को प्रशिक्षित करने से मॉडल्स की लिखने की क्षमता में काफी सुधार हुआ, जबकि उन्हें केवल प्लेन टेक्स्ट के रूप में वही पेपर खिलाने से बेहतर परिणाम मिले।
परिणामों ने दिखाया कि इस विधि ने अकादमिक और इंजीनियरिंग संदर्भों सहित सभी क्षेत्रों में मॉडल्स की लेखन क्षमताओं में सुधार किया, बिना उनकी तर्क करने या लॉजिक पहेलियों को सुलझाने की क्षमता को नुकसान पहुँचाए। यहाँ तक कि जब मॉडल्स को बाद में अन्य सार्वजनिक लेखन डेटासेट्स पर फाइन-ट्यून किया गया, तब भी वे मॉडल्स जिन्होंने पहले इन "अनफोल्डेड" ट्राजेक्टरीज से सीखा था, उन मॉडल्स की तुलना में बेहतर प्रदर्शन करते थे जिन्होंने ऐसा नहीं किया था। अध्ययन ने यह भी प्रदर्शित किया कि इसी रिवर्स-इंजीनियरिंग तकनीक का उपयोग नए प्रकार के निर्देश डेटा और यहाँ तक कि अकादमिक लेखन के लिए एक नए परीक्षण क्षेत्र को बनाने के लिए किया जा सकता है। किसी ऐसे पेपर को लेकर जिसे मॉडल ने पहले कभी नहीं देखा है, सिस्टम एक विशिष्ट प्रश्न के साथ एक विस्तृत चेकलिस्ट और स्कोरिंग गाइड भी उत्पन्न कर सकता है जिसका उपयोग उत्तर का मूल्यांकन करने के लिए किया जा सके। इसने एक बेंचमार्क बनाया जिसे PAW-Bench कहा जाता है, जिसमें वास्तविक शोध-पत्रों पर आधारित लगभग 3,000 कार्य शामिल हैं।
सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि विचार प्रक्रिया उत्पन्न करने के लिए उपयोग किए जाने वाले कंप्यूटर मॉडल का आकार स्वयं विधि से कम महत्वपूर्ण था। शोधकर्ताओं ने विचार डेटा बनाने के लिए तीन अलग-अलग मॉडल्स का उपयोग किया: एक छोटा, एक मध्यम और एक बड़ा। इस सहज धारणा के विपरीत कि एक स्मार्ट, बड़ा मॉडल बेहतर प्रशिक्षण डेटा उत्पन्न करेगा, छोटे मॉडल ने वास्तव में सबसे अच्छे परिणाम दिए। बड़े मॉडल्स द्वारा उत्पन्न डेटा बहुत अधिक एकसमान और दोहराव वाला था, जबकि छोटे मॉडल के डेटा में अधिक विविधता और "आश्चर्य" थे जिसने लर्निंग मॉडल को अधिक मेहनत करने और अधिक प्रभावी ढंग से सीखने के लिए मजबूर किया। यह सुझाव देता है कि मूल्य पुनर्निर्माण की संरचना में निहित है—लेखन प्रक्रिया को खोलने के कार्य में—न कि उस मशीन की बुद्धिमत्ता में जो अनफोल्डिंग कर रही है।
शोधकर्ताओं ने यह भी देखा कि इस विधि ने मॉडल्स को लंबे दस्तावेजों को बेहतर ढंग से समझने में मदद की। क्योंकि पुनर्गठित ट्राजेक्टरीज मूल शोध-पत्रों की तुलना में काफी लंबी थीं, इसलिए मॉडल्स हजारों शब्दों को एक साथ पढ़ने और उन पर तर्क करने में अधिक सहज हो गए। लंबे-संदर्भ (लॉन्ग-कॉन्टेक्स्ट) की यह क्षमता उन मॉडल्स में नहीं देखी गई जिन्हें उन्हीं शोध-पत्रों पर प्रशिक्षित किया गया था लेकिन उन्हें प्लेन टेक्स्ट के रूप में ही छोड़ दिया गया था। अध्ययन निष्कर्ष निकालता है कि वास्तविक मानवीय लेखन को अंतिम उत्तर मानकर और उसके निर्माण की ओर ले जाने वाले चरणों को पुनर्गठित करके, शोधकर्ता प्रशिक्षण डेटा का एक शक्तिशाली नया रूप बना सकते हैं। यह दृष्टिकोण कृत्रिम बुद्धिमत्ता को न केवल यह सीखने की अनुमति देता है कि क्या लिखना है, बल्कि यह भी कि लिखने के बारे में कैसे सोचना है, जो कच्चे सूचना और मानवीय सृजन की संरचित, विचारशील प्रक्रिया के बीच के अंतर को पाटता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।