💻 computer science

When Scanners Lie: Evaluator Instability in LLM Red-Teaming

यह शोध पत्र प्रकट करता है कि स्वचालित LLM भेद्यता स्कैनर (vulnerability scanners) अविश्वसनीय मूल्यांकनकर्ता घटकों के कारण महत्वपूर्ण मापन अस्थिरता से ग्रस्त हैं, और एक दो-चरणीय, विश्वसनीयता-सचेत ढांचे का प्रस्ताव करता है जो मूल्यांकनकर्ता असहमति को परिमाणित करता है और आकलन को मान्य करता है ताकि सुरक्षा जोखिम रिपोर्टिंग की सटीकता और निरंतरता में पर्याप्त सुधार किया जा सके।

मूल लेखक: Lidor Erez, Omer Hofman, Tamir Nizri, Roman Vainshtein

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lidor Erez, Omer Hofman, Tamir Nizri, Roman Vainshtein

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुरक्षा गार्ड हैं जो यह परीक्षण करने की कोशिश कर रहे हैं कि एक नया बैंक वॉल्ट (एक AI मॉडल) चोरों को रोकने में कितना सक्षम है। आप अंदर "रेड टीम" (हमलावर) परीक्षकों की एक टीम भेजते हैं ताकि घुसपैठ करने की कोशिश की जा सके।

समस्या केवल यह नहीं है कि क्या वॉल्ट टूट गया; बल्कि यह है कि यह कौन तय करेगा कि वॉल्ट वास्तव में टूटा है या नहीं।

यह शोध पत्र, जिसका शीर्षक "When Scanners Lie" (जब स्कैनर झूठ बोलते हैं) है, यह तर्क देता है कि AI सुरक्षा को मापने के लिए उपयोग किए जाने वाले उपकरण अक्सर अविश्वसनीय होते हैं क्योंकि उनके द्वारा उपयोग किए जाने वाले "जज" (न्यायाधीश) असंगत होते हैं। यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. मुख्य समस्या: "रेफरी" की समस्या

AI सुरक्षा की दुनिया में, हम यह देखने के लिए स्वचालित स्कैनर्स का उपयोग करते हैं कि कितनी बार एक AI को कुछ बुरा करने के लिए बहकाया जा सकता है। स्कैनर एक पेचीदा सवाल (एक हमला) भेजता है और एक उत्तर प्राप्त करता है। फिर, एक "जज" (मूल्यांकक) उस उत्तर को देखता है और कहता है, "क्या AI विफल रहा? हाँ या नहीं?"

शोध में पाया गया कि स्कोर इस बात पर निर्भर करता है कि रेफरी कौन है।

उपमा: कल्पना कीजिए कि एक फुटबॉल मैच चल रहा है।
- रेफरी A एक रोबोट है जो केवल "गोल" शब्द को देखता है। यदि गेंद रेखा को पार करती है, तो वह इसे गोल मानता है।
- रेफरी B एक इंसान है जो पूरे खेल को देखता है। वे देखते हैं कि गेंद रेखा पार करने से पहले ही बाउंड्री से बाहर चली गई थी, इसलिए वे कहते हैं, "कोई गोल नहीं।"
- परिणाम: वही खेल होता है, लेकिन रेफरी A कहता है "गोल!" और रेफरी B कहता है "कोई गोल नहीं।" यदि आप केवल रेफरी A की बात सुनते हैं, तो आप सोचते हैं कि टीम अद्भुत है। यदि आप रेफरी B की बात सुनते हैं, तो आप सोचते हैं कि वे बहुत खराब हैं।

शोध दिखाता है कि अधिकांश AI स्कैनर "रेफरी A" (सरल, नियम-आधारित जज) या "रेफरी B" (जटिल AI जज) का उपयोग करते हैं, और वे अक्सर बुरी तरह असहमत होते हैं। कभी-कभी, जज को बदलने से सुरक्षा स्कोर में 33% तक का अंतर आ जाता है।

2. खोज: "अस्थिर स्कोरबोर्ड"

शोधकर्ताओं ने Garak नामक एक लोकप्रिय स्कैनर का परीक्षण किया। उन्होंने "चोरों" (हमलों) और "वॉल्ट" (AI मॉडल) को बिल्कुल समान रखा, लेकिन उन्होंने "रेफरी" को बदल दिया।

चौंकाने वाला तथ्य: 25 में से 22 प्रकार के हमलों में, रेफरी आपस में सहमत नहीं हो पाए।
चरम स्थिति: कुछ हमलों के लिए, रेफरी लगभग 100% समय असहमत थे। एक ने कहा कि AI सुरक्षित है; दूसरे ने कहा कि यह पूरी तरह से टूट चुका है।
निष्कर्ष: "अटैक सक्सेस रेट" (ASR) कोई निश्चित संख्या नहीं है जैसे कि बाहर का तापमान। यह एक ऐसा माप है जो पूरी तरह से इस बात पर निर्भर करता है कि मापने वाला कौन है।

3. समाधान: दो-चरणीय "डबल-चेक" प्रणाली

केवल एक रेफरी चुनने और उम्मीद करने के बजाय कि वह सही होगा, लेखक एक नया ढांचा प्रस्तावित करते हैं जिसमें दो चरण हैं:

चरण 1: "असहमति अलार्म" (Disagreement Alarm)

सबसे पहले, वे दो अलग-अलग रेफरी के साथ एक साथ परीक्षण चलाते हैं।

उपमा: कल्पना कीजिए कि आपके पास दो जज हैं। यदि दोनों सहमत हैं कि खिलाड़ी ने गोल किया है, तो बहुत अच्छा। लेकिन यदि वे बहस करते हैं, तो आप लाल अलार्म बटन दबा देते हैं।
यह क्या करता है: यह उन विशिष्ट प्रकार के हमलों को चिह्नित करता है जहाँ रेफरी भ्रमित हैं। यह आपको बताता है, "हे, इस विशेष प्रकार के धोखे के लिए, हमें अभी तक नहीं पता कि कौन सही है।"

चरण 2: "सुपर-रेफरी" (सत्यापन)

चिह्नित, भ्रमित करने वाले हमलों के लिए, वे एक तीसरे, अत्यधिक बुद्धिमान "सुपर-रेफरी" (एक शक्तिशाली AI जिसके पास एक विशेष चेकलिस्ट है) को अंतिम निर्णय लेने के लिए बुलाते हैं।

उपमा: यदि दो नियमित रेफरी बहस करते हैं, तो आप रिप्ले देखने और अंतिम निर्णय लेने के लिए हेड कोच को बुलाते हैं।
लाभ: इसके लिए हजारों इंसानों को काम पर रखने की आवश्यकता नहीं है (जो बहुत धीमा और महंगा है)। यह अन्य AI के काम की जांच करने के लिए एक स्मार्ट AI का उपयोग करता है।

4. परिणाम: स्मार्ट, सस्ता, सुरक्षित

इस प्रणाली का उपयोग करके, शोधकर्ताओं ने तीन चीजें हासिल कीं:

उच्च सटीकता: उन्होंने सुरक्षा स्कोर की सटीकता को 72% से बढ़ाकर 89% कर दिया।
लागत नियंत्रण: उन्होंने हर परीक्षण के लिए "सुपर-रेफरी" का उपयोग नहीं किया। उन्होंने इसका उपयोग केवल तभी किया जब नियमित रेफरी असहमत थे। यह केवल विवादास्पद प्ले के लिए हेड कोच को बुलाने जैसा है, न कि हर किक के लिए।
यथार्थवादी अनिश्चितता: उन्होंने महसूस किया कि कभी-कभी, सबसे अच्छे रेफरी भी सहमत नहीं हो पाते हैं। इसलिए, एक एकल संख्या देने के बजाय (जैसे, "10% भेद्यता"), वे अब एक रेंज (जैसे, "भेद्यता 10% और 15% के बीच है") प्रदान करते हैं। यह बहुत अधिक ईमानदार है।

सारांश

यह शोध पत्र AI सुरक्षा के लिए एक चेतावनी है। यह कहता है: "स्कोरबोर्ड पर आँख मूँदकर भरोसा करना बंद करें।"

यदि आप जानना चाहते हैं कि क्या कोई AI सुरक्षित है, तो आप केवल एक स्कैनर नहीं चला सकते और अंतिम संख्या नहीं देख सकते। आपको पूछना होगा: रेफरी कौन था? क्या वे अन्य रेफरी के साथ सहमत थे? और यदि वे असहमत थे, तो क्या किसी बेहतर जज ने इसकी जांच की थी?

इस "डबल-चेक" प्रणाली के बिना, हम सोच सकते हैं कि एक AI सुरक्षित है जबकि वह वास्तव में खतरनाक है, या इसके विपरीत। लेखक इस समस्या को ठीक करने के लिए एक व्यावहारिक टूलकिट प्रदान करते हैं, जिससे यह सुनिश्चित होता है कि हमारे सुरक्षा माप वास्तव में AI के व्यवहार को माप रहे हैं, न कि केवल रेफरी के मूड को।

यहाँ शोध पत्र "When Scanners Lie: Evaluator Instability in LLM Red-Teaming" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्वचालित लार्ज लैंग्वेज मॉडल (LLM) भेद्यता स्कैनर (vulnerability scanners), हमले की सफलता दर (Attack Success Rate - ASR) की गणना करके AI सुरक्षा का आकलन करने के लिए व्यापक रूप से उपयोग किए जाते हैं। हालाँकि, ASR की वैधता एक महत्वपूर्ण, अक्सर अनदेखी की जाने वाली घटक द्वारा समझौता की जाती है: इवैल्यूएटर (evaluator) (वह तंत्र जो यह निर्धारित करता है कि हमला सफल हुआ या नहीं)।

मुख्य मुद्दा: ASR किसी मॉडल का अंतर्निहित गुण नहीं है, बल्कि यह इवैल्यूएटर के निर्णय नियमों द्वारा परिचालन रूप से परिभाषित होता है।
अस्थिरता (Instability): हमले के प्रॉम्प्ट और मॉडल आउटपुट को स्थिर रखते हुए भी, इवैल्यूएटर को बदलने से (जैसे, एक स्टैटिक कीवर्ड मैचर से LLM-आधारित जज में बदलना) रिपोर्ट की गई ASR में भारी बदलाव आ सकता है।
परिणाम: इससे माप संबंधी अस्थिरता पैदा होती है जहाँ भेद्यता स्कोर लक्षित मॉडल की वास्तविक मजबूती के बजाय इवैल्यूएटर के चयन के प्रति संवेदनशील होते हैं। वर्तमान स्कैनर अक्सर यह मान लेते हैं कि ASR, इवैल्यूएटर डिज़ाइन के प्रति अपरिवर्तनीय (invariant) है, जो एक भ्रामक सुरक्षा मूल्यांकन का पद्धतिगत जोखिम पैदा करता है।

2. कार्यप्रणाली: एक द्वि-चरणीय विश्वसनीयता-जागरूक ढांचा (Methodology: A Two-Phase Reliability-Aware Framework)

लेखक बिना व्यापक मानव एनोटेशन की आवश्यकता के, इवैल्यूएटर-प्रेरित अस्थिरता को निदान करने और कम करने के लिए एक ढांचा प्रस्तावित करते हैं।

चरण I: नैदानिक (इवैल्यूएटर असहमति विश्लेषण)

उद्देश्य: इवैल्यूएटर को बदलने से होने वाली अस्थिरता को मापना।
तंत्र: एक ही सेट के प्रॉम्प्ट-रिस्पॉन्स पेयर्स पर दो अलग-अलग इवैल्यूएटर ( $E_1$ और $E_2$ ) लागू किए जाते हैं।
मीट्रिक: असहमति दर (Disagreement Rate - $D$ ) को उन नमूनों के अनुपात के रूप में गणना किया जाता है जहाँ इवैल्यूएटर अलग-अलग बाइनरी सफलता लेबल असाइन करते हैं।
$D = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}\{E_1(x_i, y_i) \neq E_2(x_i, y_i)\}$
कार्रवाई: वे हमले की श्रेणियाँ जिनका असहमति दर एक थ्रेशोल्ड ( $\tau$ ) से अधिक है, उन्हें "अस्थिर" के रूप में चिह्नित किया जाता है। यह उन विशिष्ट हमले के प्रकारों की पहचान करता है जहाँ रिपोर्ट की गई ASR अविश्वसनीय है।

चरण II: उपचार (सत्यापन-समर्थित मूल्यांकन)

उद्देश्य: चिह्नित की गई हमले की श्रेणियों के लिए विश्वसनीयता में सुधार करना।
तंत्र: एक स्वतंत्र LLM-आधारित वेरीफायर (Verifier) पेश किया जाता है। प्रारंभिक इवैल्यूएटर्स के विपरीत, यह वेरीफायर एक स्ट्रक्चर्ड सिस्टम प्रॉम्प्ट के साथ तर्क करने में सक्षम LLM का उपयोग करता है, जो अंतिम लेबल असाइन करने से पहले निर्णय को कई जाँचों में विभाजित करता है।
प्रक्रिया:
1. वेरीफायर चरण I में उपयोग किए गए उन्हीं प्रॉम्प्ट-रिस्पॉन्स पेयर्स का पुन: मूल्यांकन करता है।
2. यह मूल इवैल्यूटर्स की सटीकता का अनुमान लगाने के लिए एक स्वतंत्र संदर्भ सिग्नल प्रदान करता है।
3. लक्षित प्रतिस्थापन (Targeted Replacement): अभ्यासकर्ता केवल उन विशिष्ट हमले की श्रेणियों के लिए अधिक विश्वसनीय इवैल्यूटर्स (जैसे, डायनेमिक LLM जज) को चुनिंदा रूप से बदल सकते हैं जहाँ विश्वसनीयता का लाभ कम्प्यूटेशनल लागत को उचित ठहराता है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

स्कैनर: Garak (v0.13.2), एक लोकप्रिय ओपन-सोर्स LLM भेद्यता स्कैनर।
क्षेत्र (Scope): 25 विशिष्ट हमले की श्रेणियाँ (जैसे, प्रॉम्प्ट इंजेक्शन, मालवेयर जनरेशन, DAN)।
लक्षित मॉडल: विभिन्न आकार और प्रदाताओं के तीन मॉडल (Mistral-Small, CommandA, GPT-5-mini)।
तुलना किए गए इवैल्यूटर्स:
- स्टैटिक (Static): Garak के डिफ़ॉल्ट नियम-आधारित इवैल्यूटर्स (82% सूट; regex, कीवर्ड मैचिंग)।
- डायनेमिक (Dynamic): एक जेनेरिक LLM-आधारित जज (Grok-4.1)।
- वेरीफायर (Verifier): एक स्वतंत्र LLM (GPT-5.2) जिसे ग्राउंड-ट्रुथ प्रॉक्सी के रूप में उपयोग किया गया है।

4. मुख्य परिणाम (Key Results)

व्यापक अस्थिरता:
- 25 में से 22 हमले की श्रेणियों (88%) ने विश्वसनीयता थ्रेशोल्ड ( $\tau = 0.05$ ) से अधिक की असहमति दर प्रदर्शित की।
- 6 श्रेणियों में असहमति दर $> 0.50$ थी, जिसका अर्थ है कि इवैल्यूएटर का चुनाव बहुमत के सफलता/विफलता निर्णयों को बदल देता है।
- उदाहरण: "Misleading" हमले में 0.97 की अस सहमति दर थी, जबकि "Continuation" 0.013 पर स्थिर था।
सटीकता में सुधार:
- अस्थिर स्टैटिक इवैल्यूटर्स को डायनेमिक्स (वेरीफायर द्वारा मान्य) से बदलने से समग्र स्कैनर सटीकता 72% से बढ़कर 89% हो गई।
- हालाँकि, डायनेमिक इवैल्यूटर्स सार्वभौमिक रूप से बेहतर नहीं थे; 22 चिह्नित श्रेणियों में से 4 में, स्टैटिक इवैल्यूएटर अधिक सटीक था।
ASR अनिश्चितता:
- रिपोर्ट की गई भेद्यता स्कोर उपयोग किए गए इवैल्यूएटर के आधार पर ±33% तक भिन्न हो सकती है।
- पेपर का चित्र 5 विशिष्ट हमले के प्रकारों (जैसे, "Snowball" और "Leak Replay") के लिए महत्वपूर्ण अनिश्चितता अंतराल दिखाता है।
लागत-लाभ ट्रेड-ऑफ:
- चयनात्मक तैनाती (Selective Deployment): केवल उच्च-लाभ वाले शीर्ष इवैल्यूटर्स को बदलने से मामूली लागत वृद्धि ($0.15) के साथ सटीकता बढ़कर 81.9% हो गई।
- घटता प्रतिफल (Diminishing Returns): सभी इवैल्यूटर्स को डायनेमिक्स से बदलने से वास्तव में समग्र सटीकता कम हो गई (पीक 89.9% से गिरकर 89.3% हो गई) क्योंकि कुछ स्टैटिक नियम विशिष्ट हमलों के लिए बेहतर थे।
- कुल लागत: पूर्ण प्रतिस्थापन ने प्रति स्कैन लागत को ~$5.25 तक बढ़ा दिया।

5. मुख्य योगदान (Key Contributions)

इवैल्यूएटर-निर्भर अस्थिरता का प्रदर्शन: यह पेपर अनुभवजन्य रूप से सिद्ध करता है कि ASR इवैल्यूएटर डिज़ाइन का एक फलन (function) है, न कि केवल लक्षित मॉडल का, जो इस धारणा को चुनौती देता है कि भेद्यता मेट्रिक्स अपरिवर्तनीय हैं।
इवैल्यूएटर असहमति डायग्नोस्टिक्स: इवैल्यूटर्स के बीच नमूना-स्तर की असहमति को मापकर अविश्वसनीय हमले की श्रेणियों की पहचान करने की एक नवीन तकनीक।
सत्यापन-आधारित विश्वसनीयता अनुमान: इवैल्यूएटर सटीकता का अनुमान लगाने और अपग्रेड के लिए मार्गदर्शन करने के लिए एक स्वतंत्र LLM वेरीफायर का उपयोग करने वाला एक स्केलेबल तंत्र, जो बड़े पैमाने पर मानव एनोटेशन की उच्च लागत से बचाता है।

6. महत्व और निहितार्थ (Significance and Implications)

रेड-टीमिंग का पुनर्निर्धारण: यह कार्य स्वचालित रेड-टीमिंग के दृष्टिकोण को केवल एक "हमला जनरेशन" कार्य से बदलकर एक माप विश्वसनीयता समस्या में बदल देता है।
सुरक्षा टीमों के लिए व्यावहारिक मार्गदर्शन:
- कच्चे ASR पर भरोसा न करें: सुरक्षा पेशेवरों को ASR स्कोर के साथ सावधानी बरतनी चाहिए, यह स्वीकार करते हुए कि वे उपयोग किए गए मूल्यांकन पाइपलाइन के विशिष्ट हैं।
- लक्षित अपग्रेड: सभी इवैल्यूटर्स को महंगे LLM जजों से बदलने के बजाय, संगठनों को केवल अस्थिर घटकों को चुनिंदा रूप से अपग्रेड करने के लिए डायग्नोस्टिक ढांचे का उपयोग करना चाहिए, जिससे सटीकता और लागत के बीच संतुलन बना रहे।
- अस्पष्टता का पता लगाना: सभी इवैल्यूटर्स (वेरीफायर सहित) के बीच उच्च असहमति यह सुझाव देती है कि हमले की परिभाषा स्वयं अस्पष्ट हो सकती है और इसके परिशोधन की आवश्यकता है।
AI सुरक्षा का भविष्य: जैसे-जैसे स्वचालित रेड-टीमिंग स्केल करती है, अंतर्निहित इवैल्यूटर्स की विश्वसनीयता सुनिश्चित करना मॉडल व्यवहार को सटीक रूप से दर्शाने वाले सुरक्षा मूल्यांकन प्राप्त करने के लिए महत्वपूर्ण है।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि इवैल्यूएटर डिज़ाइन एक महत्वपूर्ण बाधा (bottleneck) है। एक विश्वसनीयता-जागरूक ढांचे को लागू करके, संगठन माप त्रुटियों को काफी कम कर सकते हैं और मॉडल परिनियोजन और सुरक्षा स्थिति के संबंध में अधिक सूचित निर्णय ले सकते हैं।