Wink: Recovering from Misbehaviors in Coding Agents
यह शोध पत्र Wink को प्रस्तुत करता है, जो एक हल्का, एसिंक्रोनस (asynchronous) स्व-हस्तक्षेप प्रणाली है जो स्पेसिफिकेशन ड्रिफ्ट (specification drift) और टूल विफलताओं जैसे सामान्य व्यवहारों से स्वायत्त कोडिंग एजेंटों को स्वचालित रूप से रिकवर करती है, जिससे उत्पादन परिवेश में मैनुअल इंजीनियर हस्तक्षेप की आवश्यकता काफी कम हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपनी कंपनी के लिए कोड लिखने के लिए एक बेहद प्रतिभाशाली, अति-उत्साही इंटर्न को काम पर रखा है। इस इंटर्न ने लाइब्रेरी की हर किताब पढ़ रखी है (एक विशाल AI मस्तिष्क की मदद से), लेकिन उसकी कुछ अजीब आदतें हैं:
- वे कभी-कभी भटक जाते हैं और उन समस्याओं को ठीक करने लगते हैं जिन्हें आपने ठीक करने के लिए नहीं कहा था।
- वे कभी-कभी एक लूप में फंस जाते हैं, जैसे पहिये पर दौड़ता हुआ हैम्स्टर, एक ही त्रुटि को बार-बार हल करने की कोशिश करते रहते हैं।
- वे कभी-कभी उन टूल्स का उपयोग करने की कोशिश करते हैं जिन्हें चलाना वे नहीं जानते, जैसे चम्मच से दरवाजा खोलने की कोशिश करना।
वास्तविक दुनिया में, जब ऐसा होता है, तो एक मानव इंजीनियर को हस्तक्षेप करना पड़ता है, इंटर्न को रोकना पड़ता है, उन्हें समझाना पड़ता है कि क्या गलत हुआ और उन्हें वापस सही रास्ते पर लाना पड़ता है। यह धीमा, महंगा और निराशाजनक है।
मिलिए "Wink" से।
Wink को एक अत्यंत सतर्क, अदृश्य सुपरवाइजर के रूप में सोचें जो इंटर्न के ठीक बगल में बैठा है। यह सुपरवाइजर इंटर्न का काम नहीं करता; बल्कि, यह वास्तविक समय (real-time) में इंटर्न की हर हरकत पर नज़र रखता है। यदि इंटर्न अपने रास्ते से भटकने लगता है या फंस जाता है, तो Wink उसे वापस सही रास्ते पर लाने के लिए एक हल्का, निजी "संकेत" (wink/आँख मारना) देता है, इससे पहले कि मानव बॉस को समस्या का पता चले।
यह पेपर इसे सरल शब्दों में इस प्रकार समझाता है:
1. तीन तरीके जिनसे इंटर्न गलती करता है
शोधकर्ताओं ने हजारों वास्तविक कोडिंग सत्रों का अध्ययन किया और पाया कि लगभग 30% समय AI एजेंट (इंटर्न) गलत व्यवहार करने लगता है। उन्होंने इन गलतियों को तीन श्रेणियों में बांटा है:
- दिन में सपने देखने वाला (Specification Drift): इंटर्न आपके निर्देशों को अनदेखा कर देता है। आपने उनसे "About Us" पेज में एक टाइपो (लिखने की गलती) ठीक करने को कहा था, लेकिन वे पूरी वेबसाइट को फिर से डिजाइन करने या कंपनी का लोगो बदलने का फैसला कर लेते हैं। वे कुछ न कुछ तो कर रहे हैं, बस वही नहीं जो आपने कहा था।
- पहिये पर घूमता हैम्स्टर (Reasoning Problems): इंटर्न एक अनंत लूप में फंस जाता है। वे एक बग को ठीक करने की कोशिश करते हैं, विफल होते हैं, फिर से प्रयास करते हैं, फिर विफल होते हैं, और बिना किसी प्रगति के इसे हमेशा के लिए करते रहते हैं।
- भद्दा टूल-उपयोगकर्ता (Tool Call Failures): इंटर्न एक टूल (जैसे कंपाइलर या फाइल रीडर) का उपयोग करने की कोशिश करता है लेकिन उसका गलत उपयोग करता है। वे ऐसी फाइल खोलने की कोशिश कर सकते हैं जो मौजूद ही नहीं है या सिस्टम को गलत पासवर्ड दे सकते हैं।
2. Wink कैसे काम करता है (जादुई संकेत)
Wink कोई अलग रोबोट नहीं है जो काम संभाल लेता है। यह एक समानांतर पर्यवेक्षक (parallel observer) है।
- सेटअप: कल्पना कीजिए कि इंटर्न एक व्हाइटबोर्ड पर कोड लिख रहा है। Wink बगल से देख रहा है।
- जांच: हर कुछ चरणों के बाद, Wink देखता है कि इंटर्न ने अभी क्या किया।
- संकेत (The Nudge): यदि Wink देखता है कि इंटर्न सपने देखने लगा है या गोल-गोल घूम रहा है, तो वह इंटर्न के कान में एक गुप्त नोट (एक "सिस्टम रिमाइंडर") फुसफुसाता है।
- उदाहरण: "हे, तुम फिर से वही फाइल पढ़ रहे हो। रुको! तुम्हारे पास उत्तर पहले से ही है। मूल योजना पर वापस जाओ।"
- परिणाम: इंटर्न वह नोट पढ़ता है, अपनी गलती समझता है, और तुरंत अपना रास्ता सुधार लेता है। मानव उपयोगकर्ता कभी भी गलती या सुधार को नहीं देखता; वे बस इंटरल को सफलतापूर्वक काम पूरा करते हुए देखते हैं।
3. परिणाम: क्या यह वास्तव में काम करता है?
टीम ने Meta (फेसबुक के पीछे की कंपनी) में एक लाइव वातावरण में 10,000 से अधिक वास्तविक कोडिंग सत्रों पर Wink का परीक्षण किया।
- रिकवरी रेट (सुधार की दर): जब इंटर्न ने ऐसी गलती की जिसे केवल एक संकेत की आवश्यकता थी, तो Wink ने 90% मामलों में इसे ठीक कर दिया। यहाँ तक कि जब इंटर्न को कई संकेतों की आवश्यकता थी, तब भी इसने लगभग 80% समस्याओं को ठीक किया।
- बचत: क्योंकि इंटर्न अपनी गलतियों को खुद ही ठीक कर रहा था:
- उन्होंने कम "भद्दे टूल" वाली त्रुटियां कीं।
- उन्होंने कम कंप्यूटर संसाधनों (टोकन) का उपयोग किया।
- सबसे महत्वपूर्ण: मानव इंजीनियरों को हस्तक्षेप करने की आवश्यकता 4.2% कम पड़ी। यह सुनने में छोटा लग सकता है, लेकिन जब आपके पास हजारों डेवलपर्स होते हैं, तो यह बहुत अधिक समय और पैसा बचाता है।
4. Wink कब विफल होता है?
Wink जादुई नहीं है। यह सब कुछ ठीक नहीं कर सका।
- जिद्दी इंटर्न: कभी-कभी, इंटर्न संकेत को अनदेखा कर देता है और गलत काम करना जारी रखता है।
- टूटा हुआ टूल: कभी-कभी समस्या इंटर्न की नहीं होती; बल्कि वे वास्तविक सॉफ्टवेयर टूल्स गलत होते हैं जिनका वे उपयोग करने की कोशिश कर रहे हैं या कोड इतना अव्यवस्थित होता है कि उसे स्वचालित रूप से ठीक नहीं किया जा सकता।
- "फॉल्स नेगेटिव" (गलत पहचान): कभी-कभी इंटर्न को लगता है कि वह सही काम कर रहा है, लेकिन वह नहीं कर रहा होता है, और Wink इसे पकड़ नहीं पाता।
बड़ी तस्वीर
यह पेपर अनिवार्य रूप से यह कह रहा है: "हम AI को गलतियाँ करने से नहीं रोक सकते, लेकिन हम इसे आपदा बनने से पहले अपनी गलतियों को पकड़ना सिखा सकते हैं।"
इंतजार करने के बजाय कि कोई इंसान आकर चिल्लाए "रुको!", AI अपने दिमाग में एक शांत आवाज सुनने के बारे में सीख रहा है जो कहती है, "रुको, यह सही नहीं लग रहा है। चलो, कुछ अलग तरीका आजमाते हैं।" यह कोडिंग एजेंट्स को अधिक विश्वसनीय, चलाने में सस्ता और उन इंसानों के लिए बहुत कम कष्टदायक बनाता है जो उन पर निर्भर हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।