Customizing an LLM for Enterprise Software Engineering
यह शोध पत्र जेमिनी फॉर गूगल (GfG) को प्रस्तुत करता है, जो डेटा क्यूरेशन और मिड-ट्रेनिंग की एक व्यापक एंड-टू-एंड प्रक्रिया के माध्यम से गूगल के आंतरिक सॉफ्टवेयर इंजीनियरिंग इकोसिस्टम के लिए अनुकूलित एक विशिष्ट लार्ज लैंग्वेज मॉडल है, जिसने एक बड़े पैमाने के अध्ययन में डेवलपर दक्षता और कोड गुणवत्ता में महत्वपूर्ण सुधार किया है और साथ ही एंटरप्राइज मॉडल कस्टमाइजेशन के लिए एक प्रतिलिपि योग्य ब्लूप्रिंट भी प्रदान किया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय शेफ (मूल AI मॉडल) है। यह शेफ लगभग कुछ भी बना सकता है: इतालवी पास्ता, फ्रेंच पेस्ट्री या जापानी सुशी। उन्हें सार्वजनिक पुस्तकालय की हर रेसिपी बुक पर प्रशिक्षित किया गया है।
हालाँकि, आप एक विशाल, उच्च-तकनीकी कॉर्पोरेट कैफेटेरिया (Google का आंतरिक सॉफ़्टवेयर इकोसिस्टम) में काम करते हैं। यहाँ, नियम अजीब हैं। आप मानक ओवन का उपयोग नहीं करते; आप कस्टम-निर्मित, मालिकाना मशीनों का उपयोग करते हैं। सामग्रियां अद्वितीय हैं, और "रेसिपी" (कोड) के विशिष्ट, अजीब नाम हैं जिन्हें इमारत के बाहर कोई नहीं जानता।
यदि आप विश्व-स्तरीय शेफ से अपने कैफेटेरिया के लिए भोजन पकाने के लिए कहते हैं, तो वे एक मानक रेसिपी का उपयोग करने की कोशिश कर सकते हैं। यह दिखने में अच्छा लगेगा, लेकिन यह आपकी मशीनों के साथ काम नहीं करेगा, और यह भोजन को खराब कर सकता है।
यह पेपर बताता है कि कैसे Google ने उस विश्व-स्तरीय शेफ को लिया और उन्हें उनके विशिष्ट कैफेटेरिया के लिए एक परफेक्ट शेफ बनने के लिए एक विशेष प्रशिक्षण शिविर (specialized training camp) दिया। वे इस नए शेफ को "Gemini for Google" (GfG) कहते हैं।
उन्होंने इसे कैसे किया, इसे सरल चरणों में यहाँ दिया गया है:
1. "गुप्त रेसिपी बुक" इकट्ठा करना
केवल शेफ को अधिक सार्वजनिक कुकबुक्स देने के बजाय, टीम ने एक विशाल आंतरिक दस्तावेजों (internal documents) की लाइब्रेरी एकत्र की। यह केवल कोड नहीं था; यह उनके इंजीनियरों के काम करने का पूरा इतिहास था:
- "क्रिटिक" (Critique) लॉग: उन्होंने हजारों उन बातचीतों को देखा जहाँ वरिष्ठ इंजीनियरों ने कोड की समीक्षा की, कहा "इसे ठीक करो," और जूनियर इंजीनियर ने उसे ठीक किया। इसने AI को फीडबैक स्वीकार करना और सुधार करना सिखाया।
- "ब्रेक-फिक्स" (Break-Fix) लॉग: उन्होंने देखा कि इंजीनियरों ने टूटे हुए बिल्ड्स (जब सॉफ़्टवेयर काम करना बंद कर देता है) को कैसे ठीक किया। AI ने सीखा: "ओह, जब यह त्रुटि आती है, तो समाधान आमतौर पर इस विशिष्ट लाइन को बदलना होता है।"
- "स्पीड" (Speed) लॉग: उन्होंने अध्ययन किया कि इंजीनियरों ने प्रोग्रामों को तेज़ कैसे बनाया, जिससे AI को धीमे स्थानों को पहचानने और सुधार सुझाने में मदद मिली।
- "चैट" (Chat) लॉग: उन्होंने आंतरिक प्रश्नोत्तर सत्रों का उपयोग किया जहाँ इंजीनियरों ने अजीब, आंतरिक उपकरणों के बारे में पूछा, जिससे AI ने कंपनी के विशिष्ट नामों और शब्दावली को सीखा।
2. "मिड-ट्रेनिंग" सर्जरी
आमतौर पर, या तो आप मॉडल को शुरू से प्रशिक्षित करते हैं (एक बच्चे के मस्तिष्क से शुरुआत करते हैं) या आप केवल अंत में बदलाव करते हैं (फाइन-ट्यूनिंग)। Google ने बीच में कुछ किया।
सोचिए कि मूल AI एक छात्र है जिसने हाई स्कूल पूरा कर लिया है (सामान्य प्री-ट्रेनिंग)।
- समस्या: यदि आप उन्हें तुरंत उन्नत कॉर्पोरेट कानून सिखाना शुरू करते हैं, तो हो सकता है कि वे बुनियादी गणित करना या एक साधारण निबंध लिखना भूल जाएं। इसे "कैटास्ट्रॉफ़िक फॉरगेटिंग" (catastrophic forgetting) कहा जाता है।
- समाधान: हाई स्कूल के बिल्कुल अंत से शुरू करने के बजाय, वे छात्र के जूनियर वर्ष (junior year) में वापस गए। उन्होंने छात्र को लिया, उन्हें "गुप्त रेसिपी बुक" (आंतरिक डेटा) दी, और उन्हें उस बिंदु से अपनी शिक्षा जारी रखने दी। इस तरह, छात्र ने अपनी सामान्य बुद्धिमत्ता बनाए रखी लेकिन विशिष्ट कॉर्पोरेट नियम सीख लिए।
3. परिणाम: एक स्मार्ट असिस्टेंट
उन्होंने इस नए "Gemini for Google" का परीक्षण मानक संस्करण के मुकाबले 29,000 इंजीनियरों के साथ किया। परिणाम ऐसे थे जैसे एक जेनेरिक GPS की तुलना एक ऐसे GPS से करना जो आपके विशिष्ट शहर के हर शॉर्टकट को जानता है:
- कम बातचीत (Fewer Back-and-Forths): जब इंजीनियरों ने मदद मांगी, तो मानक AI को काम सही करने के लिए लगभग 23% अधिक बातचीत चरणों की आवश्यकता थी। विशेषीकृत AI ने पहली बार में ही काम को सही ढंग से पूरा किया।
- बेहतर कोड उत्तरजीविता (Better Code Survival): विशेषीकृत AI द्वारा लिखे गए कोड के समीक्षा प्रक्रिया में जीवित रहने और वास्तव में अंतिम उत्पाद में उपयोग किए जाने की संभावना 17% अधिक थी। इसके खारिज या खराब होने की संभावना कम थी।
- वास्तविक दुनिया की जीत:
- "टाइम ट्रैवल" माइग्रेशन: उन्होंने एक दशक पुराने सिस्टम को नए सिस्टम में अपडेट करने के लिए AI का उपयोग किया। इसने 80% काम स्वचालित रूप से किया, जिससे समय आधा हो गया।
- "स्मार्ट पेस्ट" (Smart Paste): जब एक इंजीनियर ने एक फ़ाइल से दूसरी फ़ाइल में कोड कॉपी किया, तो AI ने स्वचालित रूप से इम्पोर्ट्स और वेरिएबल नामों को ठीक कर दिया ताकि वह तुरंत काम कर सके, जिससे हजारों की-स्ट्रोक्स की बचत हुई।
4. उन्होंने क्या सीखा (सबक)
यह पेपर उन सभी के लिए तीन बड़े सबक रेखांकित करता है जो ऐसा करने की कोशिश कर रहे हैं:
- अधिक डेटा हमेशा बेहतर नहीं होता: केवल सब कुछ AI के सामने फेंक देने से वह भ्रमित हो सकता है। उन्हें डेटा का सही मिश्रण सावधानीपूर्वक चुनना पड़ा, अन्यथा AI गलत आदतें सीख लेता (जैसे कि जब उसे केवल कार्य करना चाहिए, तो बहुत अधिक बातें करना)।
- फॉर्मेट से न लड़ें: उन्होंने सीखा कि AI के मूल प्रशिक्षण शैली जैसा दिखने के लिए अपने आंतरिक डेटा को आकार देना आसान है, बजाय इसके कि AI को एक नया, अजीब फॉर्मेट सीखने के लिए मजबूर किया जाए।
- वास्तविक परीक्षण मायने रखते हैं: आप केवल बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) पर AI का परीक्षण नहीं कर सकते। आपको इसे वास्तविक दुनिया में काम करते हुए देखना होगा। क्या इंजीनियर ने वास्तव में कोड को स्वीकार किया? क्या यह समीक्षा में जीवित रहा? यही असली स्कोर है।
निचोड़ (The Bottom Line)
यह पेपर एक नए प्रकार का मस्तिष्क आविष्कार करने के बारे में नहीं है। यह एक बहुत ही स्मार्ट, सामान्य-उद्देश्य वाले मस्तिष्क को लेने और उसे एक विशिष्ट कंपनी के भीतर एक विशेष इंटर्नशिप देने के बारे में है। उन्हें कंपनी के अपने इतिहास, गलतियों और सफलताओं को खिलाकर, उन्होंने एक ऐसा AI बनाया जो न केवल "कोड जानता है"—वह उनका कोड, उनके टूल्स और उनके काम करने के तरीके को जानता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।