Refute-or-Promote: An Adversarial Stage-Gated Multi-Agent Review Methodology for High-Precision LLM-Assisted Defect Discovery
यह शोध पत्र "Refute-or-Promote" को प्रस्तुत करता है, जो एक प्रतिकूल मल्टी-एजेंट फ्रेमवर्क है जो LLM-सहायता प्राप्त दोष खोज (defect discovery) में फॉल्स पॉजिटिव्स को फ़िल्टर करने के लिए स्ट्रैटिफाइड कॉन्टेक्स्ट हंटिंग, क्रॉस-मॉडल क्रिटीक और अनिवार्य एम्पिरिकल वैलिडेशन का उपयोग करता है, जिससे उच्च परिशुद्धता और वास्तविक दुनिया का प्रभाव प्राप्त होता है जिसमें सुरक्षा लाइब्रेरी और कंपाइलर में कई CVEs और मानक स्वीकृतियां शामिल हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल समाचार पत्र के संपादक हैं। हर दिन, हजारों लोग आपको ऐसे अपराधों के बारे में सुझाव भेजते हैं जो उन्हें अपने शहर में दिखाई देते हैं। इनमें से अधिकांश सुझाव वास्तव में गलतफहमियां, मज़ाक या लोगों द्वारा देखी गई ऐसी चीजें होती हैं जो वास्तव में वहां हैं ही नहीं। यदि आप हर एक सुझाव की जांच करने की कोशिश करते हैं, तो आपका न्यूज़रूम ढह जाएगा, और आप उन कुछ वास्तविक अपराधों पर विश्वास करना बंद कर देंगे जो वास्तव में रिपोर्ट किए जाते हैं।
यह बिल्कुल वही समस्या है जिसका सामना लार्ज लैंग्वेज मॉडल्स (LLMs) को सॉफ्टवेयर बग्स (दोषों) को खोजने के दौरान करना पड़ता है। वे बहुत ही आत्मविश्वास के साथ बोलने और चीजों को विश्वसनीय दिखाने में बहुत अच्छे हैं, लेकिन वे यह जानने में बहुत खराब हैं कि क्या वास्तव में सच है। वे अक्सर नकली बग्स का "भ्रम" (hallucinate) पैदा करते हैं, जिससे मानव विशेषज्ञों को शोर से भर दिया जाता है।
पेपर "Refute-or-Promote" इस समस्या को ठीक करने का एक नया तरीका प्रस्तावित करता है। केवल "बग खोजने" के लिए AI से पूछने के बजाय, यह नकली सूचनाओं को छानने के लिए एक उच्च-दांव वाले अदालती नाटक (courtroom drama) की व्यवस्था करता है।
यह प्रणाली कैसे काम करती है, इसे सरल चरणों में यहाँ दिया गया है:
1. सेटअप: "डिटेक्टिव स्क्वाड" (जासूसों की टोली)
सबसे पहले, सिस्टम सॉफ्टवेयर के एक टुकड़े में संभावित बग्स की तलाश करने के लिए "हंटर्स" (AI एजेंटों) की एक टीम भेजता है।
- ट्रिक: ये हंटर्स सभी एक ही चीज़ को एक ही तरह से नहीं देखते हैं। कुछ हालिया बदलावों को देखते हैं, कुछ पुरानी गलतियों को, और कुछ कोड के विशिष्ट हिस्सों को। इसे स्ट्रैटिफाइड कॉन्टेक्स्ट हंटिंग (Stratified Context Hunting) कहा जाता है। यह एक ही अपराध स्थल पर तीन अलग-अलग जासूसों को भेजने जैसा है: एक पैरों के निशान ढूंढता है, दूसरा उंगलियों के निशान, और तीसरा मौसम की रिपोर्ट देखता है।
2. मुख्य तंत्र: "डेविल्स एडवोकेट" कोर्ट (विपक्षी वकील की अदालत)
एक बार जब एक हंटर को एक "संदिग्ध" (संभावित बग) मिल जाता है, तो उसे तुरंत प्रकाशित नहीं किया जाता है। वह एक स्टेज-गेटेड कोर्टरूम (Stage-Gated Courtroom) में प्रवेश करता है।
- अभियोजन पक्ष (Adversarial Agents): एजेंटों की एक टीम को एक एकल, कठोर कार्य सौंपा जाता है: यह सिद्ध करना कि संदिग्ध निर्दोष है। उन्हें "शायद" कहने की अनुमति नहीं है। उन्हें एक कारण खोजना होगा कि बग क्यों मौजूद नहीं है। वे "किल मैंडेट" (Kill Mandate) टीम हैं।
- बचाव पक्ष (Creative Agents): दूसरी टीम यह साबित करने की कोशिश करती है कि बग वास्तव में है।
- नियम: यदि अभियोजन पक्ष एक भी ठोस कारण खोज लेता है कि बग नकली है, तो मामला तुरंत खत्म (killed) कर दिया जाता है। बग को बाहर फेंक दिया जाता है। सिस्टम केवल तभी आगे बढ़ता है जब अभियोजन पक्ष उसे गलत साबित करने में विफल रहता है।
3. "ताजी आँखों" का परीक्षण (Cross-Model Critic)
भले ही पहली अदालत सहमत हो कि एक बग वास्तविक है, फिर भी एक खतरा बना रहता है: सभी AI एजेंटों ने अपने ट्रेनिंग डेटा से एक ही गलत तथ्य सीख लिए होंगे। वे सभी एक झूठ पर इसलिए सहमत हो सकते हैं क्योंकि उन्होंने एक ही खराब किताब पढ़ी है।
इसे ठीक करने के लिए, सिस्टम एक क्रॉस-मॉडल क्रिटिक (Cross-Model Critic) को लाता है। यह एक पूरी तरह से अलग "परिवार" (एक अलग कंपनी के मॉडल) का AI है जिसने पिछले तर्कों को नहीं देखा है। यह मामले को "ठंडी आँखों" (निष्पक्ष दृष्टि) से देखता है। यदि यह बाहरी व्यक्ति कहता है, "रुको, यह समझ में नहीं आ रहा है," तो बग को खत्म कर दिया जाता है। यह उन त्रुटियों को पकड़ लेता है जिन्हें पूरी पहली टीम भी मिस कर देती है क्योंकि वे एक ही तरह से सोच रहे थे।
4. अंतिम द्वार: "लैब टेस्ट" (प्रयोगशाला परीक्षण)
यह सबसे महत्वपूर्ण हिस्सा है। पेपर एक बड़े फेलियर का वर्णन करता है जहाँ 80+ AI एजेंटों ने सर्वसम्मति से सहमति व्यक्त की कि एक विशिष्ट सुरक्षा दोष मौजूद था। वे इतने आश्वस्त थे कि उन्होंने इसके बारे में रिपोर्ट भी लिखी।
- वास्तविकता: वह दोष मौजूद ही नहीं था।
- समाधान: सिस्टम को एहसास हुआ कि "AI आम सहमति" (consensus) प्रमाण नहीं है। अंतिम द्वार के लिए एम्पीरिकल वैलिडेशन (Empirical Validation) की आवश्यकता होती है। आपको यह देखने के लिए कंप्यूटर लैब में वास्तव में एक परीक्षण चलाना होगा कि क्या वह बग होता है। यदि आप वास्तविक जीवन में उस बग को घटित होते नहीं देख सकते, तो इससे कोई फर्क नहीं पड़ता कि AI कितना स्मार्ट सोचता है। मामला बंद है।
परिणाम: यह क्यों मायने रखता है
लेखकों ने इस प्रणाली को वास्तविक दुनिया के सॉफ्टवेयर (जैसे कि आपके ब्राउज़र या सुरक्षित एन्क्रिप्शन को चलाने वाला कोड) पर एक महीने तक चलाया।
- फ़िल्टर: सिस्टम ने लगभग 171 संभावित बग्स के साथ शुरुआत की।
- सफाई: "अभियोजन पक्ष" और "लैब टेस्ट" ने उनमें से लगभग 79% को हटा दिया क्योंकि वे नकली या अप्रमाणित थे।
- सफलता: शेष 21% वास्तविक थे। इनके परिणामस्वरूप:
- 4 नए सुरक्षा भेद्यता (CVEs) आधिकारिक तौर पर रिपोर्ट किए गए।
- C++ प्रोग्रामिंग भाषा के मानक के लिए सुधार हुए।
- प्रमुख सॉफ्टवेयर लाइब्रेरीज़ के लिए कोड फिक्स मर्ज किए गए।
बड़ा सबक
यह पेपर हमें AI के बारे में एक गहरा सबक सिखाता है: सहमति का अर्थ सत्य नहीं है।
यदि 80 AI एजेंट सभी कहते हैं कि "आसमान हरा है," तो वे शायद सभी गलत हैं क्योंकि वे सभी एक ही डेटा पर प्रशिक्षित हैं। लेकिन यदि आपके पास एक ऐसा एजेंट है जो उन्हें गलत साबित करने की कोशिश करता है, और आप उन्हें वास्तविक दुनिया का परीक्षण करने के लिए मजबूर करते हैं, तो आप सत्य को खोज लेते हैं।
Refute-or-Promote AI को स्मार्ट बनाने के बारे में नहीं है; यह एक ऐसी प्रणाली बनाने के बारे में है जो डिजाइन द्वारा संदेही (skeptical by design) है। यह AI को अपने ही विचारों को तोड़ने की कोशिश करने के लिए मजबूर करता है, इससे पहले कि उसे इंसानों के साथ साझा करने की अनुमति मिले। यह AI को एक "आत्मविश्वासी अनुमान लगाने वाले" से बदलकर एक "कठोर वैज्ञानिक" में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।