Iterative Audit Convergence in LLM-Managed Multi-Agent Systems: A Case Study in Prompt Engineering Quality Assurance
यह शोध पत्र AEGIS मल्टी-एजेंट सिस्टम पर लागू एक पुनरावृत्ति, एजेंट-संचालित ऑडिटिंग प्रक्रिया का एक केस स्टडी प्रस्तुत करता है, जिसने 51 प्रॉम्प्ट-स्पेसिफिकेशन दोषों की पहचान करने, एक नया दोष वर्गीकरण (टैक्सोनॉमी) स्थापित करने और एक उत्पादन वातावरण में गैर-एकदिष्ट अभिसरण (नॉन-मोनोटोनिक कन्वर्जेंस) को प्रदर्शित करने के लिए LLM-आधारित निरीक्षणों के नौ क्रमिक दौरों का उपयोग किया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी तस्वीर: "ऑर्केस्ट्रा" की समस्या
एक विशाल ऑर्केस्ट्रा की कल्पना करें जिसे AEGIS कहा जाता है। यह सामान्य वायलिन और ड्रम वाला ऑर्केस्ट्रा नहीं है; यह सात AI "संगीतकारों" (एजेंट्स) की एक टीम है जो कार्यों की एक बड़ी सूची (जैसे किसी कंपनी के लिए टू-डू लिस्ट) को प्रबंधित करने के लिए मिलकर काम कर रहे हैं।
प्रत्येक संगीतकार के पास अपना शीट म्यूजिक (एक दस्तावेज़ जिसे PROMPT.md कहा जाता है) है जो उन्हें बताता है कि उन्हें क्या बजाना है, कब बजाना है, और अन्य संगीतकारों से कैसे बात करनी है। इसके अलावा एक मुख्य नियम पुस्तिका (जिसे Ticket Contract कहा जाता है) भी है जिस पर सभी सहमत हैं।
समस्या क्या है? ये शीट म्यूजिक दस्तावेज़ प्राकृतिक भाषा (जैसे अंग्रेजी) में लिखे गए हैं, कंप्यूटर कोड में नहीं। वे लंबे हैं (कुल लगभग 7,150 पंक्तियाँ) और वे अक्सर बदलते रहते हैं तथा एक-दूसरे पर निर्भर होते हैं। यदि पहला संगीतकार अपने शीट में एक नोट बदलता है, तो दूसरा संगीतकार भ्रमित हो सकता है क्योंकि उसका शीट अभी भी पुराने नोट के बारे में बता रहा है।
यह पेपर इस बारे में है कि कैसे टीम ने इन शीट म्यूजिक दस्तावेज़ों को ठीक करने की कोशिश की ताकि यह सुनिश्चित हो सके कि ऑर्केस्ट्रा कोई आपदा न मचा दे।
प्रयोग: "स्व-निरीक्षण" करने वाला ऑर्केस्ट्रा
आमतौर पर, जब आप एक लंबा दस्तावेज़ लिखते हैं, तो आप गलतियों को जाँचने के लिए किसी मित्र से उसे एक बार पढ़ने के लिए कह सकते हैं। लेकिन इस मामले में, लेखकों ने महसूस किया कि एक त्वरित पठन उन पेचीदा गलतियों को नहीं पकड़ पाएगा जहाँ एक संगीतकार के निर्देश दूसरे के साथ टकराते हैं।
इसलिए, उन्होंने एक दोहराया जाने वाला निरीक्षण प्रक्रिया (repeated inspection process) स्थापित की:
- निरीक्षक (The Inspector): उन्होंने एक AI (एक "Claude" सब-एजेंट) का उपयोग ऑडिटर के रूप में किया।
- चेकलिस्ट (The Checklist): ऑडिटर के पास एक विशिष्ट चेकलिस्ट थी जिसमें ऐसी चीजें देखी जाती थीं जैसे: "क्या फ़ाइल के नाम मेल खाते हैं?" "क्या 7वें संगीतकार के नियम शामिल हैं?" "क्या बॉस (Jira) की संपर्क जानकारी अपडेटेड है?"
- लूप (The Loop): ऑडिटर गलतियाँ ढूँढता था, टीम उन्हें ठीक करती थी, और फिर ऑडिटर फिर से जाँच करने के लिए वापस आता था। उन्होंने इसे लगातार नौ बार किया।
उन्होंने क्या पाया (दोष/Defects)
शीट म्यूजिक में 51 विशिष्ट गलतियाँ खोजने के बाद नौ राउंड की जाँच और सुधार के बाद। ये कंप्यूटर वायरस या कोड क्रैश नहीं थे; ये निर्देशों में "लॉजिक ग्लिच" (तर्क संबंधी त्रुटियाँ) थे।
यहाँ प्रकार की गलतियाँ दी गई जो उन्होंने पाईं, जिन्हें उपमाओं के साथ समझाया गया है:
- पुराने संदर्भ (The "Old Phone Book"): 23% त्रुटियाँ ऐसी थीं जैसे निर्देशों में कोई ऐसा फ़ोन नंबर होना जो अब काम नहीं करता क्योंकि वह व्यक्ति कहीं और चला गया है (जैसे किसी ऐसे कार्य टिकट की ओर इशारा करना जिसे हटा दिया गया था)।
- वर्जन ड्रिफ्ट (The "Outdated Map"): कुछ निर्देशों में कहा गया था "हमारे पास 7 संगीतकार हैं," लेकिन दस्तावेज़ तब लिखा गया था जब केवल 6 थे।
- क्रॉस-लेन मिसमैच (The "Wrong Handoff"): यह सबसे खतरनाक प्रकार था। संगीतकार #3 को संगीतकार #4 को "प्रायोरिटी स्कोर" लेबल वाला एक नोट सौंपने के लिए कहा गया था, लेकिन संगीतकार #4 "फिक्स प्रायोरिटी" लेबल वाले नोट की अपेक्षा कर रहा था। यदि वे बजते, तो संगीतकार #4 उस नोट को अनदेखा कर देता, और कार्य चुपचाप विफल हो जाता।
- कवरेज की कमी (The "New Instrument"): जब उन्होंने ऑर्केस्ट्रा में एक नया संगीतकार (लेन 7) जोड़ा, तो पुराने नियमपुस्तिकाओं में यह उल्लेख नहीं था कि उनसे कैसे बात की जाए।
आश्चर्यजनक परिणाम: बेहतर होने से पहले यह "बदतर" हुआ
आप उम्मीद कर सकते हैं कि राउंड 1 के बाद, गलतियों की संख्या लगातार कम होगी। लेकिन ऐसा नहीं हुआ।
- राउंड 1: 15 गलतियाँ मिलीं।
- राउंड 2: 8 गलतियाँ मिलीं।
- राउंड 3: 12 गलतियाँ मिलीं (राउंड 2 से भी अधिक!)।
क्यों? लेखक इसे "प्याज छीलने" (Peeling an Onion) की उपमा के साथ समझाते हैं।
पहले कुछ राउंड में, उन्होंने स्पष्ट, सतही त्रुटियों (जैसे टाइपो या गायब नाम) को ठीक किया। लेकिन उन्हें ठीक करके, उन्होंने अनजाने में गहरी, छिपी हुई समस्याओं को उजागर कर दिया जो पहले छिपी हुई थीं। यह पाइप में रिसाव को ठीक करने जैसा है, जिसके बाद आपको एहसास होता है कि पानी के दबाव ने वास्तव में दीवार के पीछे एक दरार पैदा कर दी थी। जैसे-जैसे वे आगे बढ़े, ऑडिट का "दायरा" बड़ा और स्मार्ट होता गया, जिससे कठिन-से-दिखने वाली समस्याएं सामने आईं।
मुख्य निष्कर्ष
- एक बार देखना काफी नहीं है: यदि आप केवल एक समय में एक दस्तावेज़ को पढ़ते हैं, तो आप उन समस्याओं को मिस कर देंगे जहाँ दो दस्तावेज़ आपस में सहमत नहीं होते हैं। आपको पूरे सिस्टम को एक साथ देखना होगा।
- पुनरावृत्ति ऑडिट (Iterative Auditing) काम करता है: आप इसे सिर्फ एक बार ठीक करके खत्म नहीं कर सकते। आपको जाँचना, ठीक करना और फिर से जाँचना होगा। इस मामले में, शून्य गलतियों तक पहुँचने के लिए उन्हें नौ राउंड लगे।
- AI द्वारा AI का ऑडिट: AI मॉडल्स के उसी परिवार ने निर्देश लिखे और फिर उनकी ऑडिट की। पेपर स्वीकार करता है कि यह थोड़ा जोखिम भरा है (जैसे किसी छात्र से अपना होमवर्क ग्रेड करवाना), लेकिन इसने इन 51 विशिष्ट त्रुटियों को खोजने के लिए पर्याप्त अच्छा काम किया।
- "साइलेंट किलर" (The Silent Killer): सबसे खतरनाक त्रुटियाँ वे थीं जहाँ सिस्टम के दो हिस्से आपस में मेल नहीं खाते थे। ये कोई शोर मचाने वाला क्रैश नहीं करेंगे; वे बस काम को चुपचाप रोक देंगे, जिसे पहचानना कठिन होता है।
यह पेपर क्या नहीं कहता
- यह नहीं कहता कि यह तरीका दुनिया के हर AI सिस्टम के लिए काम करता है। इसने केवल इस एक विशिष्ट सिस्टम (AEGIS) का परीक्षण किया है।
- यह दावा नहीं करता कि AI ऑडिटर पूर्ण हैं। उन्होंने लिखने और जाँचने के लिए एक ही AI परिवार का उपयोग किया, जो शायद उन चीजों को मिस कर गया जो एक इंसान या कोई अलग AI देख सकता था।
- यह यह वादा नहीं करता कि आप एक बार में सभी AI समस्याओं को ठीक कर सकते हैं। मुख्य सबक यह है कि आपको बार-बार जाँचते रहना होगा।
संक्षेप में
यह पेपर एक केस स्टडी है जो दिखाता है कि जब आपके पास AI एजेंटों की एक जटिल टीम होती है, तो उनके निर्देश मैनुअल बहुत जल्दी अव्यवस्थित और विरोधाभासी हो जाते हैं। उन्हें ठीक करने के लिए, आप केवल एक बार की जाँच नहीं कर सकते। आपको एक दोहराई जाने वाली, विकसित होती निरीक्षण प्रक्रिया की आवश्यकता है जहाँ ऑडिटर हर राउंड के साथ स्मार्ट होता जाता है, प्याज की परतों को तब तक छीलता रहता है जब तक कि निर्देश पूरी तरह से संरेखित (aligned) न हो जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।