Using LLMs to Evaluate Architecture Documents: Results from a Digital Marketplace Environment
यह शोध पत्र एक डिजिटल मार्केटप्लेस प्रोजेक्ट के भीतर सॉफ्टवेयर आर्किटेक्चर दस्तावेजों का मूल्यांकन करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) के उपयोग की प्रभावकारिता की जांच करता है, जिसमें यह पाया गया है कि हालांकि LLMs आशाजनक दिखते हैं, लेकिन मानव विशेषज्ञ मूल्यांकनों के साथ उनकी निरंतरता काफी हद तक आर्किटेक्चर आर्टिफैक्ट्स की प्रारंभिक गुणवत्ता पर निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शहर योजनाकार (city planner) हैं जो यह तय करने की कोशिश कर रहे हैं कि अपने शहर के लिए कौन से नए डिजिटल टूल्स (जैसे ट्रैफिक या कचरा प्रबंधन के लिए ऐप्स) खरीदने हैं। आपके पास इन टूल्स का एक विशाल ऑनलाइन बाज़ार है, लेकिन आप हर एक के लिए मैनुअल और ब्लूप्रिंट (नक्शे) को पढ़ नहीं सकते। आपको जल्दी से यह जांचने का एक तरीका चाहिए कि क्या वे "ब्लूप्रिंट" (सॉफ्टवेयर आर्किटेक्चर दस्तावेज़) अच्छी तरह से लिखे गए हैं, स्पष्ट हैं और विश्वसनीय हैं, इससे पहले कि आप बिल्डरों को काम पर रखें।
यह शोध पत्र इस प्रयोग के बारे में है जहाँ शोधकर्ताओं ने एक सुपर-स्मार्ट AI रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) का उपयोग करने की कोशिश की ताकि वह एक जूनियर इंस्पेक्टर की तरह इन ब्लूप्रिंट की जांच कर सके, और फिर उन्होंने रोबोट के नोट्स की तुलना एक सीनियर ह्यूमन आर्किटेक्ट (अनुभवी मानव वास्तुकार) से की।
यहाँ उनकी यात्रा का विवरण दिया गया है:
1. सेटअप: "डिजिटल मार्केटप्लेस"
शोधकर्ता जर्मन शहरों के लिए एक डिजिटल मार्केटप्लेस पर काम कर रहे हैं। एक स्टोर की कल्पना करें जहाँ कंपनियाँ डिजिटल समाधान बेचती हैं। इससे पहले कि कोई शहर कोई समाधान खरीद सके, उन्हें जानना होगा: क्या डॉक्यूमेंटेशन अच्छा है? क्या डिज़ाइन ठोस है?
आमतौर पर, एक मानव विशेषज्ञ को इन सवालों के जवाब देने के लिए सैकड़ों पन्नों के PDF, आरेख (diagrams) और टेक्स्ट को पढ़ना पड़ता है। यह धीमा और महंगा है। इसलिए, शोधकर्ताओं ने Quasar नामक एक टूल बनाया। Quasar को एक रोबोटिक लाइब्रेरियन के रूप में समझें जो उन सभी दस्तावेजों को तुरंत पढ़ सकता है और आपको एक "रिपोर्ट कार्ड" स्कोर दे सकता है।
2. प्रयोग: रोबोट बनाम मानव
यह देखने के लिए कि क्या रोबोट अच्छा था, उन्होंने एक आमने-सामने की प्रतियोगिता आयोजित की:
- प्रतिभागी: दो अलग-अलग सॉफ्टवेयर प्रोजेक्ट्स (एक जिसमें ब्लूप्रिंट का एक विशाल, विस्तृत संग्रह था, और दूसरा जिसमें बहुत छोटा, विरल संग्रह था)।
- जज: दो सीनियर ह्यूमन आर्किटेक्ट्स और Quasar रोबोट (विभिन्न AI दिमाग जैसे Qwen और Llama का उपयोग करते हुए)।
- कार्य: दोनों ने दस्तावेज़ों की गुणवत्ता के बारे में 25 विशिष्ट प्रश्नों को देखा (जैसे, "क्या डिज़ाइन निर्णयों को स्पष्ट रूप से समझाया गया है?")। उन्होंने 0 से 4 तक स्कोर दिए।
3. परिणाम: यह "कच्चे माल" पर निर्भर करता है
इस शोध पत्र का सबसे महत्वपूर्ण निष्कर्ष एक सरल नियम है: Garbage In, Garbage Out (जैसा इनपुट, वैसा आउटपुट)। AI के उत्तर की गुणवत्ता पूरी तरह से उन दस्तावेजों की गुणवत्ता पर निर्भर थी जिन्हें वह पढ़ रहा था।
परिदृश्य A: सुव्यवस्थित लाइब्रेरी (प्रोजेक्ट 1)
- स्थिति: इस प्रोजेक्ट में दस्तावेज़ों का एक विशाल, सुव्यवस्थित सेट था।
- परिणाम: रोबोट और मानव आर्किटेक्ट लगभग पूरी तरह से सहमत थे। रोबोट के स्कोर बहुत सुसंगत थे (यदि तीन बार पूछा जाए तो वह एक ही उत्तर देता था)।
- उपमा: यह एक शेफ को पूरी तरह से पकाए गए स्टेक (steak) का स्वाद चखने के लिए कहने जैसा है। यदि स्टेक बेहतरीन है, तो एक रोबट स्वाद सेंसर भी कह सकता है, "यह 5-स्टार स्टेक है," और मानव शेफ से सहमत हो सकता है।
- समय: मानव को लगभग 60 मिनट लगे और रोबोट को लगभग 68 मिनट। लगभग समान गति।
परिदृश्य B: विरल स्केचबुक (प्रोजेक्ट 2)
- स्थिति: इस प्रोजेक्ट में बहुत कम दस्तावेज़ थे और बहुत कम विवरण था।
- परिणाम: रोबोट और मानव के बीच भारी असहमति थी। रोबोट के स्कोर बहुत अनिश्चित थे, और वह कुछ सवालों के जवाब भी नहीं दे सका।
- उपमा: यह उसी शेफ को एक ऐसे स्टेक का स्वाद चखने के लिए कहने जैसा है जो आधा पका हुआ है और जिसमें आधा मांस गायब है। रोबोट भ्रमित हो जाता है, अनुमान लगाने लगता है, और ऐसा स्कोर देता है जो मानव की तुलना में समझ से बाहर होता है।
- समय: रोबोट तेज़ था (14 मिनट बनाम 22 मिनट), लेकिन गति का कोई महत्व नहीं था क्योंकि उत्तर अविश्वसनीय थे।
4. उन्होंने क्या सीखा (मुख्य निष्कर्ष)
शोधकर्ताओं ने निष्कर्ष निकाला कि AI एक बेहतरीन "प्रथम चरण" (first pass) निरीक्षक है, लेकिन यह अभी तक मानव का विकल्प नहीं है।
- जब यह काम करता है: यदि डॉक्यूमेंटेशन स्पष्ट, पूर्ण और अच्छी तरह से व्यवस्थित है, तो AI एक विश्वसनीय सहायक के रूप में कार्य कर सकता है, जो एक त्वरित "सेंटी चेक" (sanity check) दे सकता है जो एक मानव विशेषज्ञ के समान होता है।
- जब यह विफल होता है: यदि डॉक्यूमेंटेशन अस्त-व्यस्त, अधूरा या अस्पष्ट है, तो AI भ्रमित होने लगता है (hallucinate) या गलत उत्तर देने लगता है। यह अपने अनुभव का उपयोग करके "खाली जगहों को भरने" का काम नहीं कर सकता, जैसा कि एक मानव विशेषज्ञ कर सकता है।
5. भविष्य: रोबोट को स्मार्ट बनाना
पेपर स्वीकार करता है कि उनका वर्तमान रोबोट थोड़ा "कम बुद्धिमान" है क्योंकि उसे दस्तावेजों को छोटे टुकड़ों में काटकर पढ़ना पड़ा (जैसे कि किताब के पन्ने एक-एक करके फाड़कर पढ़ने की कोशिश करना)।
भविfor, वे योजना बना रहे हैं:
- रोबोट को एक बड़ी "मेमोरी" देना ताकि वह संदर्भ (context) खोए बिना पूरी किताब को एक साथ पढ़ सके।
- रोबोट को विशेष रूप से सॉफ्टवेयर आर्किटेक्चर पर प्रशिक्षित करना ताकि वह तकनीकी शब्दावली (jargon) को बेहतर ढंग से समझ सके।
- रोबोट को एक प्लगइन में बदलना जो सॉफ्टवेयर आर्किटेक्ट्स के अपने टूल्स के अंदर स्थित हो, जिससे उन्हें ब्लूप्रिंट बनाने के बाद ग्रेडिंग करने के बजाय, बनाते समय ही तत्काल फीडबैक मिल सके।
संक्षेप में: AI रोबोट एक उम्मीदवार (apprentice) के रूप में आशाजनक है जो तब बहुत अच्छा काम करता है जब मास्टर उसे स्पष्ट निर्देश और अच्छे सामग्रियां प्रदान करता है। लेकिन यदि सामग्रियां बिखरी हुई हैं, तो प्रशिक्षु खो जाता है, और आपको अंतिम समीक्षा के लिए अभी भी मास्टर आर्किटेक्ट की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।