Agile Story-Point Estimation: Is RAG a Better Way to Go?
यह अध्ययन 23 ओपन-सोर्स प्रोजेक्ट्स में रिट्रीवल ऑगमेंटेड जनरेशन (RAG) का उपयोग करके एजाइल स्टोरी-पॉइंट एस्टीमेशन को स्वचालित करने की व्यवहार्यता की जांच करता है, जिसमें यह पाया गया कि हालांकि RAG अक्सर बेसलाइन मॉडल से बेहतर प्रदर्शन करता है, फिर भी यह विभिन्न प्रोजेक्ट आकारों या एम्बेडिंग मॉडलों में सटीकता में सांख्यिकीय रूप से महत्वपूर्ण सुधार प्रदर्शित नहीं करता है, जो आगे के शोधन की आवश्यकता को दर्शाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टीम का नेतृत्व कर रहे हैं जो एक विशाल, जटिल घर का निर्माण कर रही है। कोई भी नया कमरा शुरू करने से पहले, आपको यह अनुमान लगाना होता है कि उसमें कितना काम लगेगा। सॉफ्टवेयर की दुनिया में, इस "अनुमान लगाने के खेल" को Agile Story Point Estimation कहा जाता है।
पारंपरिक रूप से, टीमें एक कमरे में बैठती हैं (एक "स्प्रिंट प्लानिंग" मीटिंग) और Planning Poker नामक एक खेल खेलती हैं। हर कोई संख्याओं (जैसे 1, 2, 3, 5, 8) वाले कार्ड दिखाता है और किसी कार्य की कठिनाई का अनुमान लगाता है। यदि जूनियर डेवलपर "2" कहता है और सीनियर "8" कहता है, तो वे सहमत होने तक बहस करते हैं। यह बेहतरीन है क्योंकि यह मानवीय बुद्धिमत्ता का उपयोग करता है, लेकिन यह धीमा, उबाऊ और कभी-कभी कमरे में सबसे तेज़ बोलने वाला व्यक्ति जीत जाता है, जिससे अनुमान गलत हो सकता है।
इस शोध पत्र के लेखकों ने एक सरल प्रश्न पूछा: "क्या हम कंप्यूटर को हमारे लिए यह अनुमान लगाने के लिए सिखा सकते हैं, ताकि हम समय बचा सकें और मानवीय पक्षपात से बच सकें?"
उन्होंने एक नई, आधुनिक तकनीक RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) का परीक्षण किया। उन्होंने इसे कैसे किया, इसे कुछ रोज़मर्रा के उदाहरणों के साथ समझाया गया है:
"स्मार्ट लाइब्रेरियन" का उदाहरण (RAG कैसे काम करता है)
कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि एक "किचन" बनाने में कितना समय लगेगा। शून्य से अनुमान लगाने के बजाय, आप पिछले प्रोजेक्ट्स के एक विशाल पुस्तकालय में जाते हैं।
- रिट्रीवर (लाइब्रेरियन): आप लाइब्रेरियन से पूछते हैं, "मुझे वे 3 सबसे मिलते-जुलते किचन दिखाएं जो हमने पहले बनाए हैं।" लाइब्रेरियन एक सुपर-स्मार्ट सर्च इंजन (जिसे Embedding Model कहा जाता है) का उपयोग करता है ताकि वह उन कार्यों को खोज सके जो आपके नए किचन के समान दिखते और महसूस होते हैं, भले ही वे अलग शब्दों का उपयोग करते हों।
- जेनरेटर (एक्सपर्ट आर्किटेक्ट): आप उन 3 पुराने किचन के ब्लूप्रिंट लेते हैं और उन्हें एक बहुत ही स्मार्ट, लेकिन थोड़े रोबोटिक आर्किटेक्ट (एक AI जिसे Llama-3 कहा जाता है) को दिखाते हैं। आप उससे कहते हैं, "इन 3 किचनों को देखो। यह देखते हुए कि वे कितने कठिन थे, यह नया किचन कितना कठिन होगा?" आर्किटेक्ट आपको एक संख्या देता है।
प्रयोग: उन्होंने क्या टेस्ट किया?
शोधकर्ताओं ने इस "स्मार्ट लाइब्रेरियन" सिस्टम का 23 अलग-अलग सॉफ्टवेयर प्रोजेक्ट्स (छोटे शेड से लेकर विशाल गगनचुंबी इमारतों तक) पर परीक्षण किया। वे चार मुख्य प्रश्नों के उत्तर देना चाहते थे:
- लाइब्रेरियन को कितने किताबें निकालनी चाहिए? (क्या हमें आर्किटेक्ट को 2 पिछले किचन दिखाने चाहिए या 4?)
- क्या निर्माण स्थल का आकार मायने रखता है? (क्या यह छोटे प्रोजेक्ट्स पर बेहतर काम करता है या बड़े प्रोजेक्ट्स पर?)
- क्या लाइब्रेरियन का सर्च इंजन मायने रखता है? (उन्होंने समान कार्यों को खोजने के लिए दो अलग-अलग "सर्च इंजन" का परीक्षण किया: एक जिसे BAAI और दूसरा SBERT कहा जाता है। इन्हें दो अलग-अलग ब्रांड के GPS की तरह समझें।)
- क्या यह नया सिस्टम पुराने तरीकों से बेहतर है? (उन्होंने अपने AI की तुलना उन अन्य कंप्यूटर तरीकों से की है जो वर्षों से उपयोग किए जा रहे हैं।)
परिणाम: "प्लॉट ट्विस्ट"
यहाँ चौंकाने वाला हिस्सा है। आप उम्मीद कर सकते हैं कि नया, हाई-टेक AI पुराने तरीकों को पछाड़ देगा। लेकिन परिणाम थोड़े सूक्ष्म थे:
- "गोल्डिलॉक्स" ज़ोन: उन्होंने पाया कि "परफेक्ट" सेटिंग्स (कितने पिछले कार्य दिखाने हैं, AI कितना "रचनात्मक" होना चाहिए) प्रोजेक्ट के आकार के आधार पर बदल जाती थीं। यह सबके लिए एक जैसा नहीं था।
- आकार ज्यादा मायने नहीं रखता (बहुत अधिक): आश्चर्यजनक रूप से, सिस्टम ने छोटे प्रोजेक्ट्स पर भी लगभग उतना ही काम किया जितना कि विशाल प्रोजेक्ट्स पर। यह प्रोजेक्ट के आकार से भ्रमित नहीं हुआ।
- लाइब्रेरियन का ब्रांड मायने नहीं रखता: इससे कोई फर्क नहीं पड़ा कि उन्होंने BAAI सर्च इंजन का उपयोग किया या SBERT का। दोनों ने समान कार्य खोजे और समान परिणाम दिए।
- बड़ा सरप्राइज: जब उन्होंने अपने नए RAG सिस्टम की तुलना पुराने, स्थापित कंप्यूटर तरीकों से की, तो नया सिस्टम सांख्यिकीय रूप से (statistically) नहीं जीता। यह उतना ही अच्छा था, लेकिन काफी बेहतर नहीं था।
निष्कर्ष: इसकी आवश्यकता क्यों है?
तो, यदि AI एक जादुई छड़ी नहीं है जो सटीक उत्तर दे सके, तो यह शोध पत्र क्यों महत्वपूर्ण है?
लेखकों ने महसूस किया कि हालांकि AI पूरी तरह से मानवीय "प्लानिंग पोकर" गेम की जगह नहीं ले सकता, लेकिन यह एक सुपर-पावर्ड असिस्टेंट हो सकता है।
इसे अपनी टीम के लिए एक GPS की तरह समझें।
- पुराना तरीका: आप एक नए शहर में गाड़ी चलाते हैं और अनुमान लगाते हैं कि रास्ता कौन सा है। आप भटक सकते हैं।
- नया तरीका (RAG): GPS आपके लिए कार नहीं चलाता है, लेकिन यह आपको दिखाता है: "हे, पिछले हफ्ते 50 अन्य ड्राइवरों ने इस रास्ते का उपयोग किया था, और उन्हें 20 मिनट लगे। आपको भी शायद 20 मिनट का ही अनुमान लगाना चाहिए।"
निष्कर्ष:
AI अभी भी कमरे में इंसानों की जगह लेने के लिए तैयार नहीं है। इंसानों को अभी भी अंतिम निर्णय लेने की आवश्यकता है क्योंकि सॉफ्टवेयर जटिल है और इसमें कई सरप्राइज होते हैं। हालाँकि, यह "स्मार्ट लाइब्रेरियन" सिस्टम आपकी मीटिंग की गति बढ़ाने के लिए एक शानदार उपकरण है। शून्य से शुरू करने के बजाय, टीम AI के सुझावों को देख सकती है ("यहाँ 3 समान कार्य हैं जो हमने पहले किए थे") और जल्दी से एक संख्या पर सहमत हो सकती है।
संक्षेप में: शोध पत्र ने एक ऐसे रोबोट को नहीं खोजा जो भविष्य का सटीक अनुमान लगा सके, बल्कि इसने एक ऐसा रोबोट खोजा जो मानव टीम के लिए एक बहुत ही सहायक साथी बन सकता है, जिससे उनका समय बचता है और उनके अनुमानों के लिए एक बेहतर शुरुआती बिंदु मिलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।