Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs
यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स का उपयोग करके स्वचालित आर्किटेक्चर डिसीजन रिकॉर्ड (ADR) जनरेशन के लिए, हाल के ऐतिहासिक संदर्भ की एक छोटी विंडो (आमतौर पर 3-5 रिकॉर्ड्स) का रणनीतिक चयन करना, मॉडल स्केल या जटिल रिट्रीवल-आधारित रणनीतियों पर निर्भर रहने की तुलना में गुणवत्ता और दक्षता के बीच संतुलन बनाने के लिए अधिक प्रभावी है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Context Matters" पेपर की सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए व्याख्या दी गई है।
बड़ी समस्या: "भूल गया नोटबुक"
कल्पना कीजिए कि आप एक विशाल, जटिल लेगो (Lego) किला बना रहे हैं। हर बार जब आप कोई बड़ा निर्णय लेते हैं—जैसे "हमें यहाँ एक लाल टॉवर चाहिए क्योंकि नीला वाला बहुत डगमगा रहा है"—तो आप उसे एक नोटबुक में लिख देते हैं। इस नोटबुक को आर्किटेक्चर डिसीजन रिकॉर्ड (ADR) कहा जाता है।
सॉफ्टवेयर की वास्तविक दुनिया में, ये नोटबुक अत्यंत महत्वपूर्ण हैं। वे भविष्य के निर्माताओं को बताते हैं कि किला इस तरह का क्यों दिखता है। लेकिन समस्या यह है: ये नोट्स लिखना उबाऊ है और इसमें समय लगता है। आर्किटेक्ट अक्सर इन्हें लिखना छोड़ देते हैं, या वे इन्हें खराब तरीके से लिखते हैं, जिससे भविष्य की टीमें भ्रमित हो जाती हैं। यह वैसा ही है जैसे किसी कार को ठीक करने की कोशिश करना बिना यह जाने कि पिछले मैकेनिक ने क्या किया था।
समाधान: एआई असिस्टेंट (AI Assistant)
शोधकर्ताओं ने पूछा: क्या एक एआई (एक लार्ज लैंग्वेज मॉडल या LLM) हमारे लिए ये नोट्स लिख सकता है?
वे जानते थे कि एआई लिखने में अच्छा है, लेकिन उन्हें संदेह था कि यदि इसे प्रोजेक्ट के इतिहास का पता नहीं हुआ, तो एआई "हैलुसिनेट" (मनगढ़ंत बातें बनाना) कर सकता है। इसलिए, उन्होंने यह देखने के लिए एक बड़ा प्रयोग चलाया कि एआई को अच्छा नोट लिखने के लिए कितने इतिहास को पढ़ने की आवश्यकता है।
प्रयोग: "टाइम ट्रैवल" टेस्ट
शोधकर्ताओं ने 75 करोड़ वास्तविक दुनिया के सॉफ्टवेयर प्रोजेक्ट्स और 4,500 से अधिक वास्तविक नोट्स एकत्र किए। फिर उन्होंने एआई को उस प्रोजेक्ट के लिए एक नया नोट लिखने के लिए कहा, लेकिन उन्होंने एआई को इतिहास के अलग-अलग "टाइम कैप्सूल" दिए जिन्हें उसे पढ़ना था।
उन्होंने पांच अलग-अलग रणनीतियों का परीक्षण किया:
- द एमनेसिएक (कोई संदर्भ नहीं - The Amnesiac): एआई को केवल नए निर्णय का शीर्षक दिया जाता है और कुछ भी नहीं। उसे बाकी सब कुछ का अनुमान लगाना पड़ता है।
- परिणाम: इसने लंबे, भ्रामक और सामान्य किस्से लिखे जो विशिष्ट प्रोजेक्ट के अनुकूल नहीं थे। जैसे कोई पर्यटक स्थानीय खेल के नियम देखे बिना ही अंदाज़ा लगाने की कोशिश कर रहा हो।
- द होर्डर (सारा इतिहास - The Hoarder): एआई उस प्रोजेक्ट के लिए लिखे गए हर एक नोट को पढ़ता है, पहले दिन से लेकर कल तक।
- परिणाम: इसने अच्छा काम किया, लेकिन यह धीमा, महंगा था, और कभी-कभी पुराने, अप्रासंगिक नोट्स से भ्रमित हो जाता था (जैसे आज क्या पहनना है यह तय करने के लिए 10 साल पुरानी डायरी पढ़ना)।
- द हिस्टोरियन (शुरुआती-K - The Historian): एआई केवल पहले कुछ नोट्स (बुनियादी निर्णय) पढ़ता है।
- परिणाम: इसने बुनियादी बातों को समझा लेकिन हाल के बदलावों को मिस कर दिया। यह एक घर की नींव को जानने जैसा था, लेकिन यह नहीं पता था कि छत पिछले हफ्ते बदली गई है।
- द गॉसिप (आखिरी-K - The Gossip): एआई केवल पिछले 3 से 5 नोट्स पढ़ता है।
- परिणाम: यह विजेता रहा। इसने सबसे अच्छे नोट्स बनाए, जो लगभग उतना ही अच्छा था जितना कि सब कुछ पढ़ना, लेकिन यह बहुत तेज़ और सस्ता था। इसने महसूस किया कि कल जो हुआ वह उस चीज़ से अधिक महत्वपूर्ण है जो दस साल पहले हुआ था।
- द डिटेक्टिव (RAFG - The Detective): एआई एक स्मार्ट सर्च का उपयोग करता है ताकि उन नोट्स को खोज सके जो वैचारिक रूप से समान (conceptually similar) हैं, भले ही वे पुराने हों।
- परिणाम: यह अजीब, जटिल स्थितियों के लिए बहुत अच्छा था जहाँ 2 साल पहले का निर्णय आज भी प्रासंगिक है। लेकिन अधिकांश सामान्य दिनों के लिए, यह ज़रूरत से ज़्यादा (overkill) था और इसने "गॉसिप" रणनीति को नहीं पछाड़ सका।
बड़ी खोजें (Aha! Moments)
1. संदर्भ ही राजा है, मॉडल का आकार नहीं (Context is King, Not Model Size)
आप सोच सकते हैं कि अच्छे नोट्स लिखने के लिए आपको सबसे महंगे, सुपर-स्मार्ट एआई की आवश्यकता है। अध्ययन में पाया गया कि एक छोटा, सस्ता एआई भी अद्भुत नोट्स लिख सकता था यदि उसे सही संदर्भ (पिछले 3-5 नोट्स) दिया गया हो।
- उपमा: यह एक जीनियस छात्र के बारे में नहीं है; यह उन्हें सही किताब देने के बारे में है। एक स्मार्ट छात्र बिना किताब के असफल हो जाएगा, लेकिन एक साधारण छात्र सही किताब के साथ परीक्षा में अव्वल आ सकता है।
2. "स्वीट स्पॉट" छोटा है (The "Sweet Spot" is Small)
एक अच्छा सारांश लिखने के लिए आपको पूरी लाइब्रेरी पढ़ने की आवश्यकता नहीं है। पिछले 3 से 5 प्रविष्टियों को पढ़ना आमतौर पर पर्याप्त था।
- उपमा: यदि आप किसी टीवी शो की कहानी जानना चाहते हैं, तो आपको सीजन 1 के हर एपिसोड को देखने की ज़रूरत नहीं है। आपको बस यह समझने के लिए पिछले कुछ एपिसोड देखने की ज़रूरत है कि अभी क्या हो रहा है।
3. "एक्सटर्नल लिंक" का जाल (The "External Link" Trap)
शोधकर्ताओं ने देखा कि जब मानव-लिखित नोट्स कहते थे, "विवरण के लिए हमारा विकी देखें," तो एआई संघर्ष करता था। एआई ने एक पूर्ण स्पष्टीकरण लिखने की कोशिश की, लेकिन इसका "स्कोर" कम था क्योंकि यह उस छोटे नोट से मेल नहीं खाता था जिसमें केवल "विकी देखें" लिखा था।
- उपमा: यदि कोई इंसान कहता है, "लाइब्रेरियन से पूछें," और एआई किताब के बारे में पूरा पैराग्राफ लिख देता है, तो एआई को कम ग्रेड मिलता है क्योंकि वह उस छोटे नोट से मेल नहीं खाता, भले ही एआई ने वास्तव में कठिन काम (विस्तार से समझाना) किया हो! यह दिखाता है कि बुरी मानवीय आदतें (लिंक में जानकारी छिपाना) यह मापने में मुश्किल पैदा करती हैं कि एआई कितना अच्छा काम कर रहा है।
हमें क्या करना चाहिए? (निष्कर्ष)
यदि आप सॉफ्टवेयर टीमों को स्वचालित रूप से ये नोट्स लिखने में मदद करने के लिए कोई टूल बना रहे हैं:
- एआई को पूरा इतिहास न खिलाएं। यह बहुत अधिक शोर (noise) है।
- इसे पिछले 3 से 5 नोट्स दें। यह "गोल्डिलॉक्स" ज़ोन है—बिल्कुल सही।
- सबसे महंगे एआई खरीदने की चिंता न करें। एक छोटा, स्थानीय एआई भी ठीक से काम करता है यदि आप उसे सही संदर्भ दें।
- पहले अपने नोट्स ठीक करें। यदि आपकी टीम जानकारी को बाहरी लिंक में छिपाती है, तो एआई आपकी मदद नहीं कर सकता। आपको स्व-निहित (self-contained) नोट्स लिखने की आवश्यकता है।
संक्षेप में
यह पेपर साबित करता है कि आप एआई से कैसे बात करते हैं, यह इस बात से अधिक मायने रखता है कि एआई कितना "स्मार्ट" है। एआई को इतिहास का एक छोटा, हालिया हिस्सा (पिछले कुछ निर्णय) देकर, हम सुपरकंप्यूटर या पूरे प्रोजेक्ट के इतिहास को पढ़े बिना दस्तावेज़ीकरण के उबाऊ काम को स्वचालित कर सकते हैं। यह केवल बड़े दिमाग के बारे में नहीं, बल्कि एआई को सही संदर्भ देने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।