Natural Language-Focused Software Engineering via Code-Documentation Equivalence

तकनीकी सारांश: कोड-डॉक्यूमेंटेशन तुल्यता के माध्यम से प्राकृतिक भाषा-केंद्रित सॉफ्टवेयर इंजीनियरिंग

समस्या विवरण

सोर्स कोड का दस्तावेजीकरण (documentation) कोड को समझने और डेवलपर संचार को सुगम बनाने के लिए आवश्यक है, फिर भी मौजूदा दस्तावेजीकरण अक्सर अधूरा, पुराना या गलत होता है। यह कमी कोड की समझ में बाधा डालती है और विकास में देरी करती है। बड़े भाषा मॉडल (LLMs) के युग में यह समस्या और भी बढ़ जाती है, जहाँ दस्तावेजीकरण मॉडल के प्रदर्शन के लिए एक महत्वपूर्ण संदर्भ (context) के रूप में कार्य करता है।

पूर्व के कार्यों ने कोड का सारांश बनाने या कोड परिवर्तनों के साथ दस्तावेजीकरण की निरंतरता (soundness) सुनिश्चित करने पर ध्यान केंद्रित किया है। हालाँकि, ये दृष्टिकोण पूर्णता (completeness) की गारंटी देने में विफल रहते हैं। एक सारांश अक्सर विवरणों को छोड़ देता है, और निरंतर दस्तावेजीकरण केवल यह सुनिश्चित करता है कि टेक्स्ट कोड के साथ विरोधाभासी न हो, बिना यह सुनिश्चित किए कि यह कोड के व्यवहार, साइड इफेक्ट्स या इंटरैक्शन का पूर्ण वर्णन करता है। इसके अलावा, दस्तावेजीकरण की गुणवत्ता का मूल्यांकन ऐतिहासिक रूप से मानव-लिखित दस्तावेजीकरण के साथ पाठ्य समानता (textual similarity) पर निर्भर रहा है, जो एक ऐसा मीट्रिक है जो अक्सर अस्पष्ट होता है और अर्थपूर्ण तुल्यता (semantic equivalence) को पकड़ने में विफल रहता है, विशेष रूप से क्योंकि मानव दस्तावेजीकरण स्वयं अक्सर अधूरा होता है।

कार्यप्रणाली (Methodology)

मुख्य अवधारणा: दस्तावेजीकरण-से-कोड तुल्यता (Documentation-to-Code Equivalence)

यह शोध पत्र दस्तावेजीकरण-से-कोड तुल्यता को पेश करता है, जो एक नवीन गुण है जो यह परिभाषित करता है कि क्या दस्तावेजीकरण संबंधित कोड का सटीक और पूर्ण वर्णन करता है। औपचारिक रूप से, दस्तावेजीकरण $d$ कोड $c$ के तुल्य है (संदर्भ $ctx$ और एक LLM $L$ के दिए जाने पर) यदि $L$ $(d, ctx)$से$c$ उत्पन्न कर सकता है। यह गुण soundness (कोई विरोधाभास नहीं) और completeness (पूर्ण विवरण) दोनों को सुनिश्चित करता है, जिसका मूल्यांकन यह जाँचकर किया जाता है कि क्या एक LLM दस्तावेजीकरण से मूल कोड को पुनर्गठित कर सकता है।

'डॉक्यूमेंटरी' (Documentary) दृष्टिकोण

तुल्य दस्तावेजीकरण को स्वचालित रूप से उत्पन्न करने के लिए, लेखक Documentary नामक एक पुनरावृत्त परिशोधन (iterative refinement) दृष्टिकोण प्रस्तावित करते हैं। यह प्रक्रिया इस प्रकार संचालित होती है:

1. आरंभीकरण (Initialization): मौजूदा डॉकस्ट्रिंग (या एक खाली स्ट्रिंग) और आसपास के कोड संदर्भ के साथ शुरू करें।
2. कोड जनरेशन: एक LLM को वर्तमान डॉकस्ट्रिंग और संदर्भ के आधार पर फंक्शन बॉडी उत्पन्न करने के लिए प्रॉम्प्ट दें।
3. तुल्यता जाँच (Equivalence Check): एक LLM को "जज" के रूप में उपयोग करें जो उत्पन्न कोड की तुलना मूल कोड से करता है। जज अर्थपूर्ण अंतरों का विश्लेषण करता है और यह निर्धारित करता है कि क्या दोनों स्निपेट्स तुल्य हैं, जहाँ इनपुट वैधता अज्ञात होने पर अंतर्निहित त्रुटियों को अनदेखा किया जाता है।
4. परिशोधन (Refinement): यदि कोड तुल्य नहीं है, तो LLM मूल और उत्पन्न कोड के बीच के अंतरों का विवरण उत्पन्न करता है। इस विवरण का उपयोग LLM को एक संशोधित, अधिक विशिष्ट डॉकस्ट्रिंग उत्पन्न करने के लिए प्रॉम्प्ट देने के लिए किया जाता है जो छूटी हुई जानकारी को संबोधित करती है।
5. पुनरावृत्ति (Iteration): चरण 2–4 तब तक दोहराए जाते हैं जब तक कि उत्पन्न कोड को मूल कोड के तुल्य नहीं माना जाता या अधिकतम पुनरावृत्ति सीमा तक नहीं पहुँच जाता। एक अंतिम परिशोधन चरण यह सुनिश्चित करता है कि डॉकस्ट्रिंग में ऐसी कोई जानकारी न हो जो कार्यान्वयन द्वारा समर्थित न हो।

मूल्यांकन कार्य

शोध पत्र दो सॉफ्टवेयर इंजीनियरिंग कार्यों में तुल्य दस्तावेजीकरण की उपयोगिता का मूल्यांकन करता है:

1. कोड समझ (आउटपुट प्रेडिक्शन): एक फंक्शन सिग्नेचर, दस्तावेजीकरण और एक टेस्ट प्रीफिक्स दिए जाने पर, एक LLM को एक एसर्शन (assertion) के आउटपुट की भविष्यवाणी करनी होती है।
2. कोड एडिटिंग: मानव डेवलपर्स वांछित परिवर्तन के प्राकृतिक भाषा विवरण के आधार पर कोड को संशोधित करते हैं, जिसमें या तो मूल या तुल्य दस्तावेजीकरण का उपयोग किया जाता है।

प्रमुख योगदान

1. दस्तावेजीकरण-से-कोड तुल्यता: एक औपचारिक गुण जो उस अर्थपूर्ण संबंध को कैप्चर करता है जहाँ दस्तावेजीकरण में कोड को पुन: लागू करने के लिए पर्याप्त जानकारी होती है।
2. Documentary: कोड जनरेशन और तुलना के राउंड-ट्रिपिंग के माध्यम से स्वचालित रूप से तुल्य दस्तावेजीकरण उत्पन्न करने के लिए एक पुनरावृत्त, LLM-संचालित दृष्टिकोण।
3. अनुभवजन्य साक्ष्य (Empirical Evidence): प्रमाण कि तुल्य दस्तावेजीकरण LLMs और मानव डेवलपर्स दोनों के लिए कोड समझ और एडिटिंग कार्यों में प्रदर्शन में महत्वपूर्ण सुधार करता है।

परिणाम

जनरेशन प्रभावशीलता

वास्तविक दुनिया के पायथन प्रोजेक्ट्स से 238 फंक्शन-लेवल स्निपेट्स पर मूल्यांकन किया गया:

• सफलता दर (Success Rate): Documentary ने 53.4% फंक्शनों के लिए तुल्य डॉकस्ट्रिंग्स उत्पन्न किए (एक सिंगल-स्टेप बेसलाइन के 34.0% की तुलना में)।
• परिशुद्धता (Precision): जब Documentary ने तुल्यता का दावा किया, तो उत्पन्न डॉकस्ट्रिंग्स वास्तव में 66.4% बार तुल्य थे।
• पुनरावृत्ति (Iteration): 75% सफल जनरेशन पांच पुनरावृत्तियों के भीतर हुए, और औसत दो था।
• लागत (Cost): प्रति फंक्शन औसत लागत लगभग $0.009 थी, और औसत रनटाइम 33.8 सेकंड था।

LLMs पर प्रभाव (कोड समझ)

आउटपुट प्रेडिक्शन कार्य में, तुल्य दस्तावेजीकरण का उपयोग करने से मूल मानव-लिखित दस्तावेजीकरण और बेसलाइन-जनरेटेड दस्तावेजीकरण की तुलना में LLM प्रदर्शन में महत्वपूर्ण सुधार हुआ:

• सटीकता (Accuracy): LLMs ने फंक्शन आउटपुट की भविष्यवाणी करने में 12.8–24.5% अधिक सटीकता दिखाई।
• मीट्रिक्स: सही ढंग से अनुमानित एसर्शन की संख्या में 4.0–15.9 की वृद्धि हुई, और सभी एसर्शन सही ढंग से अनुमानित करने वाले टेस्ट की संख्या में 5.6–19.0 प्रतिशत अंक की वृद्धि हुई।

मानव डेवलपर्स पर प्रभाव (कोड एडिटिंग)

11 प्रतिभागियों के एक यूजर स्टडी से पता चला:

• उपयोगिता (Helpfulness): प्रतिभागियों ने तुल्य दस्तावेजीकरण को कोड को समझने (3.76 बनाम 2.58, $p=0.0004$) और संशोधित करने (2.85 बनाम 2.15, $p=0.0425$) के लिए काफी अधिक उपयोगी पाया।
• आत्मविश्वास और कठिनाई: हालांकि प्रतिभागियों ने तुल्य दस्तावेजीकरण के साथ उच्च आत्मविश्वास और कम कठिनाई की रिपोर्ट की, लेकिन इस सैंपल साइज में ये अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं थे।
• समय: कोड को समझने या संशोधित करने में लगने वाले समय में कोई सांख्यिकक रूप से महत्वपूर्ण अंतर नहीं पाया गया।

मॉडल स्वतंत्रता (Model Independence)

एक LLM (gpt-4.1-nano) द्वारा उत्पन्न तुल्य दस्तावेजीकरण अन्य मॉडलों (gpt-5-nano और gemini-2.5-flash-lite) द्वारा कोड उत्पन्न करने के लिए उपयोग किए जाने पर भी प्रभावी रहा, जिसमें सफलता दर क्रमशः 89.6% और 74.7% रही, जो उत्पन्न दस्तावेजीकरण की पोर्टेबिलिटी (transferability) को प्रदर्शित करता है।

महत्व और दावे

यह शोध पत्र तर्क देता है कि दस्तावेजीकरण-से-कोड तुल्यता प्राकृतिक भाषा-केंद्रित सॉफ्टवेयर इंजीनियरिंग की ओर एक महत्वपूर्ण कदम है, जहाँ कार्य प्राथमिक सूचना स्रोत के रूप में प्राकृतिक भाषा दस्तावेजीकरण के आधार पर किए जाते हैं। लेखक दावा करते हैं कि:

• तुल्य दस्तावेजीकरण प्राकृतिक भाषा और औपचारिक कोड के बीच के अंतर को पाटता है, जो पारंपरिक सारांश या निरंतरता जाँच की तुलना में अधिक वस्तुनिष्ठ और पूर्ण विवरण प्रदान करता है।
• यह LLMs और मानव डेवलपर्स दोनों की क्षमताओं को बढ़ाता है, विशेष रूप से उन अपरिचित कोडबेस में जहाँ संदर्भ (context) कम होता है।
• दृष्टिकोण व्यावहारिक है, जिसमें कम कंप्यूटेशनल लागत और विभिन्न LLMs के बीच उच्च हस्तांतरणीयता है, जिससे इसे बड़े कोडबेस में अपनाना संभव बनाता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें तुल्यता जाँच के लिए टेस्ट सूट्स पर निर्भरता (जो व्यापक नहीं हो सकते हैं), पायथन पर ध्यान केंद्रित करना, और यूजर स्टडी का छोटा सैंपल साइज शामिल है। हालाँकि, वे दावा करते हैं कि उनके दृष्टिकोण के सिद्धांत भाषा-स्वतंत्र (language-agnostic) हैं और सॉफ्टवेयर इंजीनियरिंग वर्कफ़्लो में सुधार के लिए एक मजबूत ढांचा प्रदान करते हैं।