Logging Like Humans for LLMs: Rethinking Logging via Execution and Runtime Feedback
यह शोध पत्र ReLog प्रस्तुत करता है, जो एक पुनरावृत्ति ढांचा (iterative framework) है जो डाउनस्ट्रीम डिबगिंग कार्यों के लिए अनुकूलित लॉगिंग स्टेटमेंट उत्पन्न करने के लिए LLMs और रनटाइम फीडबैक का लाभ उठाता है, न कि डेवलपर द्वारा लिखे गए लॉग्स की भाषाई समानता के लिए, जो दोष स्थानीयकरण (defect localization) और मरम्मत में बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास मौजूद सुराग केवल कुछ अस्पष्ट वाक्य हैं जिन्हें उस व्यक्ति ने लिखा है जिसने उस दृश्य को बनाया था। यह वास्तव में तब होता है जब सॉफ्टवेयर डेवलपर्स मानक कंप्यूटर लॉग का उपयोग करके बग्स (bugs) को ठीक करने की कोशिश करते हैं।
यह शोध पत्र ReLog नामक एक नई प्रणाली पेश करता है जो हमारे इन "सुरागों" (लॉगिंग स्टेटमेंट्स) को लिखने के तरीके को बदल देता है ताकि मानव जासूस और AI जासूस (लार्ज लैंग्वेज मॉडल्स) दोनों वास्तव में इस रहस्य को सुलझा सकें।
यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:
1. समस्या: "खराब डायरी" (The "Bad Diary")
कल्पना कीजिए कि एक सॉफ्टवेयर प्रोग्राम एक व्यस्त फैक्ट्री है। क्या हो रहा है, इसका हिसाब रखने के लिए, फैक्ट्री मैनेजर (डेवलपर) एक डायरी (लॉग्स) लिखता है।
- पुराना तरीका: पारंपरिक रूप से, कंप्यूटर इस डायरी को लिखने के लिए केवल ब्लूप्रिंट (सोर्स कोड) को देखते थे बिना कभी फैक्ट्री को चलते हुए देखे। उन्होंने अनुमान लगाया कि क्या महत्वपूर्ण हो सकता है।
- दोष: कभी-कभी मैनेजर लिखता है, "मशीन A चल रही है," लेकिन वह यह नहीं बताता कि वह कितनी तेज़ चल रही है या क्या वह कोई अजीब आवाज़ कर रही है। यदि बाद में मशीन खराब हो जाती है, तो डायरी बेकार साबित होती है।
- नई चुनौती: आज, हम ये डायरियाँ केवल इंसानों को ही नहीं देते; हम इन्हें समस्याओं को ठीक करने में मदद करने के लिए AI सहायकों को भी देते हैं। यदि डायरी अस्पष्ट है, तो AI भ्रमित हो जाता है और बग को ठीक करने में विफल रहता है। इसके अलावा, पुराने कंप्यूटर तरीकों ने माना था कि मैनेजर की मूल डायरी एकदम सही थी। लेकिन अक्सर, मैनेजर की डायरी शुरू से ही अव्यवस्थित या अनुपयोगी होती थी!
2. समाधान: ReLog (द "इटरेटिव डिटेक्टिव")
ReLog एक स्मार्ट, निरंतर काम करने वाले इंटर्न की तरह है जो केवल एक बार डायरी लिखकर दूर नहीं चला जाता। इसके बजाय, ReLog एक चार-चरणीय लूप का पालन करता है:
- पहला ड्राफ्ट: ReLog कोड को देखता है और कुछ शुरुआती डायरी प्रविष्टियाँ (entries) लिखता है।
- टेस्ट ड्राइव: यह वास्तव में प्रोग्राम को चलाकर देखता है कि क्या हो रहा है।
- आलोचक (एक "रियलिटी चेक"): ReLog एक AI से पूछता है, "हे, अगर अभी कोई मशीन खराब हो जाए, तो क्या ये डायरी प्रविष्टियाँ हमें समस्या खोजने में मदद करेंगी?"
- यदि AI कहता है, "नहीं, मैं यह नहीं बता सकता कि कौन सी मशीन खराब हुई," तो ReLog को फीडबैक मिलता है।
- पुनर्लेखन (The Rewrite): ReLog वापस जाता है, डायरी प्रविष्टियों को ठीक करता है (शायद मशीन की गति या तापमान जोड़कर), और फिर से टेस्ट रन करता है।
यह इस लूप को दोहराता रहता है—लिखना, चलाना, आलोचना करना, ठीक करना—जब तक कि डायरी रहस्य सुलझाने के लिए एकदम सही न हो जाए।
3. "कंपाइलेशन रिपेयर" सुरक्षा जाल (The "Compilation Repair" Safety Net)
कभी-कभी, जब ReLog एक नई डायरी प्रविष्टि जोड़ने की कोशिश करता है, तो वह गलती से फैक्ट्री को तोड़ देता है (कोड कंपाइल नहीं हो पाता)।
- पुराने सिस्टम: वे बस हार मान लेते थे और कहते थे, "मैं यह नहीं लिख सकता।"
- ReLog: इसमें एक अंतर्निहित मैकेनिक है। यदि कोड टूट जाता है, तो मैकेनिक उस विशिष्ट वाक्य को ठीक करता है जिसे ReLog ने जोड़ा था ताकि फैक्ट्री फिर से चल सके। यह सुनिश्चित करता है कि ReLog कभी फँसे नहीं।
4. परिणाम: यह क्यों मायने रखता है
शोधकर्ताओं ने वास्तविक दुनिया के सॉफ़्टवेयर बग्स (Defects4J डेटासेट से) के एक विशाल संग्रह पर ReLog का परीक्षण किया। उन्होंने इसकी तुलना अन्य प्रणालियों से की जो केवल ब्लूप्रिंट के आधार पर अनुमान लगाती हैं।
- स्कोर: ReLog स्पष्ट विजेता रहा। इसने अन्य प्रणालियों की तुलना में काफी अधिक बग्स को खोजा और ठीक किया।
- "ब्लाइंड" टेस्ट: एक परीक्षण में, उन्होंने AI जासूस से ब्लूप्रिंट (सोर्स कोड) छिपा दिए, जिससे उसे केवल डायरी (लॉग्स) दी गई। इस "ब्लाइंड" परिदृश्य में भी, ReLog के लॉग इतने अच्छे थे कि AI फिर भी रहस्य सुलझाने में सक्षम था। अन्य प्रणालियाँ पूरी तरह से विफल रहीं क्योंकि उनके लॉग बहुत अस्पष्ट थे।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि हमें ऐसे लॉग बनाने की कोशिश करना बंद करना चाहिए जो इंसानों के विचार के अनुसार हों। इसके बजाय, हमें ऐसे लॉग बनाने चाहिए जो वास्तव में काम करें जब एक AI उनका उपयोग टूटे हुए सिस्टम को ठीक करने के लिए करने की कोशिश करे।
संक्षेप में: ReLog लॉगिंग को एक बार के लेखन कार्य के रूप में नहीं, बल्कि कोड, निष्पादन (execution) और AI के बीच एक निरंतर संवाद के रूप में देखता है, यह सुनिश्चित करता है कि अंतिम "डायरी" सॉफ़्टवेयर रहस्यों को सुलझाने के लिए एक आदर्श मार्गदर्शिका हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।