Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining
यह शोध पत्र एक नवीन "पुनर्निर्माण द्वारा समझ" (understanding by reconstruction) प्रतिमान प्रस्तावित करता है जो स्थिर कोड रिपॉजिटरी से प्राप्त एजेंटिक प्रक्षेपवक्रों—जैसे कि योजना बनाना, तर्क करना और डिबगिंग चरणों—को संश्लेषित और अनुकूलित करके LLM प्रीट्रेनिंग को बढ़ाता है, जिससे जटिल सॉफ्टवेयर इंजीनियरिंग कार्यों में मॉडल के प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Understanding by Reconstruction" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके किया गया विवरण दिया गया है।
बड़ी समस्या: "तैयार केक" बनाम "रेसिपी"
कल्पना कीजिए कि आप एक जटिल, कई परतों वाला वेडिंग केक बनाना सीखना चाहते हैं।
पुराना तरीका (मानक AI प्रशिक्षण):
वर्तमान में, अधिकांश AI मॉडल मेजों पर रखे हजारों तैयार केक की तस्वीरों को देखकर सीखते हैं। वे फ्रॉस्टिंग, सजावट और आकार को देखते हैं। वे याद कर सकते हैं कि केक कैसा दिखता है।
- खामी: यदि आप उन्हें एक केक बनाने के लिए कहते हैं, तो वे आकार तो सही बना सकते हैं, लेकिन उन्हें यह नहीं पता होगा कि बैटर कैसे मिलाना है, अंडे कब डालने हैं, या अगर ओवन बहुत गर्म हो जाए तो उसे कैसे ठीक करना है। उन्होंने मंजिल को याद किया, लेकिन वे कभी यात्रा को नहीं देख पाए।
नया विचार (यह पेपर):
लेखक कहते हैं, "AI को केवल तैयार केक दिखाना बंद करें। आइए इसे शुरू से केक बनाना सिखाएं।"
वे एक नई विधि प्रस्तावित करते हैं जिसे "Understanding by Reconstruction" कहा जाता है। AI को अंतिम कोड (तैयार केक) खिलाने के बजाय, वे उसे पूरी बेकिंग प्रक्रिया खिलाते हैं: मिश्रण बनाना, चखना, गलतियाँ करना, सुधारना और अंतिम सजावट करना।
उन्होंने यह कैसे किया: "टाइम-ट्रैवलिंग शेफ" सिमुलेशन
इस "प्रक्रिया डेटा" (process data) को प्राप्त करने के लिए, शोधकर्ताओं ने केवल AI से कोड लिखने के लिए नहीं कहा। उन्होंने एक आभासी सिमुलेशन (virtual simulation) बनाया जो एक टाइम मशीन की तरह काम करता है।
1. मल्टी-एजेंट किचन (सिमुलेशन)
एक व्यस्त रसोई की कल्पना करें जिसमें दो प्रकार के शेफ (रसोइये) हैं:
- हेड शेफ (मुख्य एजेंट): यह शेफ पूरे प्रोजेक्ट को देखता है और कहता है, "ठीक है, हमें एक कैलकुलेटर ऐप चाहिए। पहले, हमें गणितीय तर्क (math logic) के लिए एक फ़ाइल चाहिए, फिर इसे चलाने के लिए एक फ़ाइल। चलिए गणित वाली फ़ाइल से शुरू करते हैं।"
- लाइन शेफ (उप-एजेंट): ये शेफ हेड शेफ के आदेशों का पालन करते हैं। एक शेफ को गणित वाली फ़ाइल लिखने का काम सौंपा जाता है। शुरू करने से पहले, वे अन्य फ़ाइलों पर एक नज़र डाल सकते हैं ताकि देख सकें कि कौन से घटक (functions) पहले से उपलब्ध हैं। वे कोड लिखते हैं, उसकी जाँच करते हैं, और शायद उसमें बदलाव भी करते हैं।
जादुई ट्रिक: शोधकर्ताओं ने वास्तविक, मौजूदा सॉफ़्टवेयर प्रोजेक्ट्स (तैयार केक) को लिया और इन आभासी शेफों का उपयोग करके उन्हें रिवर्स-इंजीनियर किया। उन्होंने AI को मजबूर किया कि वह यह नाटक करे कि वह प्रोजेक्ट को शून्य से, चरण-दर-चरण बना रहा है, ठीक वैसे ही जैसे एक मानव डेवलपर करता है।
2. "ग्राउंडिंग" (भ्रम या Hallucinations को रोकना)
कभी-कभी, AI शेफ भ्रमित हो जाते हैं और नकली सामग्री बनाने लगते हैं (hallucinations)। इसे रोकने के लिए, शोधकर्ताओं ने आभासी शेफ को एक सख्त ब्लूप्रिंट दिया।
- उन्होंने शेफ से कहा: "आपको इन विशिष्ट फ़ाइलों और इन विशिष्ट डिपेंडेंसीज़ का ही उपयोग करना होगा।"
- यदि आभासी शेफ ने ऐसी फ़ाइल को पढ़ने की कोशिश की जो मौजूद नहीं थी, तो सिस्टम ने उन्हें वास्तविक फ़ाइल सामग्री के साथ सुधारा।
- परिणाम: AI ने सॉफ़्टवेयर बनाने के तर्क को सीखा, लेकिन तथ्य 100% सटीक थे।
3. "सर्च एंड पॉलिश" (सोचने की प्रक्रिया को बेहतर बनाना)
पहली बार जब आभासी शेफ ने खाना पकाया, तो उनका आंतरिक संवाद (Chain of Thought) थोड़ा अव्यवस्थित या अस्पष्ट हो सकता था।
- समाधान: शोधकर्ताओं ने एक "सर्च" तकनीक का उपयोग किया। उन्होंने AI से पूछा: "हे, क्या तुम बेहतर तरीके से समझा सकते हो कि तुमने स्टेप 3 क्यों किया?"
- उन्होंने कई अलग-अलग स्पष्टीकरण उत्पन्न किए और उनमें से उस को चुना जिसने अंतिम कोड को सबसे अधिक तार्किक बनाया।
- उपमा: यह एक लेखक के ड्राफ्ट लिखने जैसा है, फिर अपने मित्र से पूछना, "क्या यह पैराग्राफ समझ में आ रहा है?" और कहानी को पूरी तरह से प्रवाहित करने के लिए उसे फिर से लिखना।
यह क्यों महत्वपूर्ण है: परिणाम
शोधकर्ताओं ने एक मानक AI मॉडल (Llama-3-8B) को लिया और उसे केवल "तैयार केक" डेटा के बजाय इस नए "कुकिंग प्रोसेस" डेटा पर प्रशिक्षित किया।
परिणाम:
मॉडल निम्नलिखित कार्यों में बहुत स्मार्ट हो गया:
- लॉन्ग-कॉन्टेक्स्ट अंडरस्टैंडिंग (Long-Context Understanding): यह एक विशाल प्रोजेक्ट की शुरुआत से अंत तक के विवरणों को याद रख सका, ठीक वैसे ही जैसे एक शेफ बैटर में डाली गई पहली सामग्री को याद रखता है।
- कोडिंग: इसने केवल कोड की नकल नहीं की; इसने समझा कि कोड को उस तरह से क्यों लिखा गया था।
- रीजनिंग (Reasoning): यह जटिल पहेलियों को हल करने में बेहतर हो गया क्योंकि इसने केवल उत्तरों को नहीं, बल्कि उन्हें हल करने की प्रक्रिया को सीखा।
निचोड़
यह पेपर तर्क देता है कि किसी चीज़ को वास्तव में समझने के लिए, आपको केवल परिणाम को नहीं देखना चाहिए। आपको उस संघर्ष, योजना और पुनरावृत्ति (iteration) को देखने की आवश्यकता है जिसने उसे बनाया है।
कोड रिपॉजिटरी को यह दिखाने वाली गतिशील "फिल्मों" में बदलकर कि उन्हें कैसे बनाया गया था, शोधकर्ताओं ने AI को बहुत समृद्ध शिक्षा दी। उन्होंने AI को केवल यह नहीं सिखाया कि क्या बनाना है; उन्होंने उसे एक इंजीनियर की तरह कैसे सोचना है, यह सिखाया।
संक्षेप में: उन्होंने AI को केवल नक्शा याद करना नहीं सिखाया, बल्कि उसे इलाके (terrain) में रास्ता खोजना सिखाया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।