🤖 AI

AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability

AdversaBench एक स्वचालित रेड-टीमिंग पाइपलाइन है जो संरचित उत्परिवर्तन ऑपरेटरों (mutation operators) के माध्यम से प्रतिकूल प्रॉम्प्ट (adversarial prompts) उत्पन्न करती है और एक मल्टी-जज पुष्टिकरण प्रणाली के माध्यम से विफलताओं को मान्य करती है, जिससे यह पता चलता है कि उत्परिवर्तन की प्रभावशीलता कार्य श्रेणी के अनुसार भिन्न होती है जबकि प्रतिकूल प्रॉम्प्ट मजबूत क्रॉस-मॉडल स्थानांतरणीयता प्रदर्शित करते हैं।

मूल लेखक: Khanak Khandelwal (Indian Institute of Technology Jodhpur)

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Khanak Khandelwal (Indian Institute of Technology Jodhpur)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए, बहुत बुद्धिमान रोबोट सहायक के हेड कोच हैं। इससे पहले कि आप इसे असली लोगों से बात करने दें, आपको यह सुनिश्चित करना होगा कि यह कुछ बेवकूफी भरी बात न कहे, गलत निर्देशों का पालन न करे, या अपने ही नियमों को न तोड़े। इसे परखने की इस प्रक्रिया को, जिसमें आप रोबोट को गलतियाँ करने के लिए उकसाने की कोशिश करते हैं, रेड-टीमिंग (Red-Teaming) कहा जाता है।

"AdversaBench" नामक शोध पत्र इस तरह के परीक्षण करने का एक नया, स्वचालित तरीका बताता है, साथ ही यह भी बताता है कि विभिन्न परीक्षण विधियाँ वास्तव में कितनी प्रभावी हैं। इसका विवरण सरल शब्दों में यहाँ दिया गया है:

1. समस्या: एक जज काफी नहीं है

आमतौर पर, किसी रोबोट का परीक्षण करने के लिए, आप उससे एक कठिन सवाल पूछते हैं और फिर दूसरे AI (एक "जज") से उसके उत्तर को ग्रेड देने के लिए कहते हैं।

खामी: यदि वह एकल जज बहुत उदार है, तो वह वास्तविक गलतियों को चूक सकता है। यदि वह बहुत सख्त है, तो वह सोच सकता है कि रोबोट विफल हो गया जबकि वास्तव में वह विफल नहीं हुआ था। आपके पास यह जानने का कोई तरीका नहीं है कि जज का "बुरा दिन" चल रहा है या वह पक्षपाती है।
समाधान: लेखकों ने AdversaBench बनाया है, जो हर उत्तर को ग्रेड देने के लिए तीन जजों का उपयोग करता है। यदि वे सभी सहमत होते हैं, तो बहुत अच्छा। यदि वे असहमत होते हैं, तो एक "सुपर जज" (मेटा-जज) अंतिम निर्णय लेने के लिए हस्तक्षेप करता है। यह एक स्पोर्ट्स मैच की तरह है जहाँ आपके पास केवल एक रेफरी नहीं होता; बल्कि एक पैनल होता है, और यदि वे सहमत नहीं हो पाते, तो मुख्य रेफरी अंतिम निर्णय लेता है।

2. हमला कैसे काम करता है (द "म्यूटेशन" मशीन)

सिस्टम एक साधारण "सीड" (seed) प्रश्न (जैसे एक बुनियादी परीक्षण प्रश्न) से शुरू होता है। फिर, यह उस प्रश्न को और अधिक कठिन बनाने के लिए एक "म्यूटेटर" (mutator) का उपयोग करता है ताकि रोबट सही उत्तर न दे सके।

टूल्स (Tools): म्यूटेटर के पास पाँच विशिष्ट तरकीबें हैं:
1. रीफ्रेज़ (Rephrase): एक ही बात को भ्रमित करने वाले तरीके से कहना।
2. इंजेक्ट डिस्ट्रैक्टर (Inject Distractor): एक नकली, भ्रामक नियम जोड़ना (जैसे, "3 वाक्यों में उत्तर दें, लेकिन विस्तार से भी समझाएं")।
3. रोल फ्लिप (Role Flip): रोबोट को धोखा देने के लिए एक अलग पात्र होने का नाटक करना।
4. कन्स्ट्रेंट्स जोड़ना (Add Constraints): बहुत सारे नियमों को एक के ऊपर एक ढेर कर देना।
5. जेलब्रेक रैप (Jailbreak Wrap): प्रश्न को "हैकर" शैली के टेम्पलेट में लपेटना।
लूप (The Loop): सिस्टम रोबोट से सवाल पूछता है, जज उसे ग्रेड देते हैं, और यदि रोबोट पास हो जाता है, तो म्यूटेटर एक नया प्रयोग करता है। यह तब तक चलता रहता है जब तक कि रोबोट अंततः टूट (fail) नहीं जाता।

3. उन्हें क्या मिला (चौंकाने वाले परिणाम)

टीम ने तीन श्रेणियों में 45 अलग-अलग "सीड" प्रश्नों का परीक्षण किया: रीजनिंग (तर्क पहेलियाँ), इंस्ट्रक्शन-फॉलोइंग (जटिल नियमों का पालन करना), और टूल यूज़ (कैलकुलेटर या API का उपयोग करना)। यहाँ उन्होंने क्या खोजा:

सभी तरकीबें हर जगह काम नहीं करतीं:
- उपमा: कल्पना कीजिए कि आप एक तिजोरी तोड़ने की कोशिश कर रहे हैं। एक हथौड़ा लकड़ी के बक्से पर बहुत अच्छा काम करता है, लेकिन एक पेचकश धातु के बक्से पर बेहतर काम करता है।
- परिणाम: "इंजेक्ट डिस्ट्रैक्टर" वाली तरकीब तर्क (logic) और टूल संबंधी प्रश्नों के लिए सुपरस्टार थी, लेकिन यह "इंस्ट्रक्शन-फॉलोइंग" रोबोट को तोड़ने में बहुत खराब रही। आप हर काम के लिए केवल एक ही तरकीब का उपयोग नहीं कर सकते; आपको तरकीब को कार्य के अनुरूप बनाना होगा।
कुछ कार्य तोड़ने में अधिक कठिन होते हैं:
- उपमा: एक लकड़ी की छड़ी को तोड़ने के लिए एक झटका काफी है। एक मोटे लट्ठे को तोड़ने के लिए कुल्हाड़ी के दस प्रहारों की आवश्यकता हो सकती है।
- परिणाम: भले ही रोबोट अंततः हर चीज़ में विफल रहा, लेकिन "इंस्ट्रक्शन-फॉलोइंग" कार्यों को तोड़ने में अन्य कार्यों की तुलना में दोगुने से अधिक प्रयास लगे। यदि आप केवल अंतिम "पास/फेल" परिणाम को देखते, तो आप वास्तविक कठिनाई को मिस कर देते। रोबोट को तोड़ने के लिए कितने "हिट्स" (iterations) की आवश्यकता थी, यह देखने के लिए सिस्टम को गिनना आवश्यक था।
"सहमति" का जाल (The "Agreement" Trap):
- उपमा: यदि 95% समय उत्तर "हाँ" है, और दो लोग लगभग हर बार "हाँ" कहते हैं, तो वे पूरी तरह से सहमत दिखते हैं। लेकिन यदि वे केवल इसलिए "हाँ" कह रहे हैं क्योंकि यह सबसे आम उत्तर है, तो वे वास्तव में कठिन मामलों पर सहमत नहीं हैं।
- परिणाम: तीनों जज 80-87% समय एक-दूसरे से सहमत थे, जो सुनने में बहुत अच्छा लगता है। लेकिन चूंकि रोबोट अक्सर विफल (90%+) हो रहा था, इसलिए यह उच्च सहमति ज्यादातर केवल उनके द्वारा "फेल" का अनुमान लगाने के कारण थी। जब हम "कठिन" मामलों (विशेष रूप से निर्देशों के साथ) को देखते हैं, तो वे वास्तव में बहुत असहमत होते हैं। शोध पत्र चेतावनी देता है कि सहमति को मापने के लिए उपयोग किए जाने वाले मानक गणित भ्रामक हो सकते हैं जब एक परिणाम (विफलता) इतना आम हो।
तरकीबें यात्रा करती हैं (The Tricks Travel):
- उपमा: यदि आप एक छोटे, कमजोर कुत्ते को धोखा देने का तरीका ढूंढ लेते हैं, तो आप पाएंगे कि वही तरकीब एक विशाल, मजबूत कुत्ते पर भी काम करती है, क्योंकि वह तरकीब कुत्ते के आकार को नहीं, बल्कि उसकी बुनियादी प्रवृत्ति का फायदा उठाती है।
- परिणाम: सिस्टम ने एक छोटे, कमजोर रोबोट (8 बिलियन पैरामीटर्स) को तोड़ने के लिए जो तरकीबें बनाई थीं, वे एक बहुत बड़े, अधिक बुद्धिमान रोबोट (70 बिलियन पैरामीटर्स) पर भी काम आईं। यह सुझाव देता है कि ये तरकीबें केवल छोटे मॉडल की खामियों को नहीं, बल्कि यह लक्षित करती हैं कि ये रोबोट मौलिक रूप से कैसे सोचते हैं।

4. निष्कर्ष (The Takeaway)

शोध पत्र निष्कर्ष निकालता है कि AI का ठीक से परीक्षण करने के लिए, आपको चाहिए:

जजों का एक पैनल: पक्षपात को पकड़ने के लिए केवल एक नहीं, बल्कि एक से अधिक।
प्रयास को गिनना: केवल यह न कहें कि "यह टूट गया।" यह कहें कि "इस विशिष्ट प्रकार के कार्य को तोड़ने के लिए 5 प्रयास लगे।"
उपकरण का मिलान करना: विभिन्न प्रकार के कार्यों (तर्क बनाम नियम) के लिए अलग-अलग तरकीबों का उपयोग करें।
गणित के प्रति सावधान रहना: उच्च सहमति स्कोर नकली हो सकते हैं यदि परीक्षण बहुत आसान है (या इस मामले में, विफलताएँ बहुत आम हैं)।

लेखक अपना कोड और डेटा जारी कर रहे हैं ताकि अन्य लोग अपने स्वयं के रोबोटों का परीक्षण करने के लिए इस "AdversaBench" का उपयोग कर सकें, जिससे यह सुनिश्चित हो सके कि वास्तविक दुनिया में उपयोग किए जाने से पहले वे सुरक्षित और विश्वसनीय हैं।

तकनीकी सारांश: AdversaBench

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के प्रतिकूल मूल्यांकन (adversarial evaluation) को स्केल करने में दोहरी चुनौती है: कठिन इनपुट उत्पन्न करना और यह सुनिश्चित करना कि परिणामी विफलताएं वास्तविक हैं। जबकि एक एकल स्वचालित जज तेज़ होता है, उसमें अपनी उदारता का पता लगाने या करीबी मामलों को सुलझाने की क्षमता का अभाव होता है। इसके अलावा, मानक इंटर-एनोटेटर एग्रीमेंट मेट्रिक्स जैसे कि कोहेन का $\kappa$ (Cohen's $\kappa$ ), प्रतिकूल सेटिंग्स में भ्रामक हो सकते हैं जहाँ विफलता दर अधिक (skewed distributions) होती है, जिससे कठिन मामलों पर मौलिक असहमति छिप सकती है। वर्तमान रेड-टीमिंग अक्सर सरल प्रॉम्प्टिंग या सिंगल-जज सत्यापन पर निर्भर करती है, जो बड़े पैमाने पर निर्देश उल्लंघन, तर्क त्रुटियों, या टूल के दुरुपयोग की बारीकियों को पकड़ने में विफल रहती है।

कार्यप्रणाली (Methodology)

AdversaBench एक स्वचालित रेड-टीमिंग पाइपलाइन और विश्वसनीयता अध्ययन है जिसे इन अंतरालों को दूर करने के लिए डिज़ाइन किया गया है। यह सिस्टम एक लूप पर काम करता जिसमें एक हमलावर (attacker), एक लक्ष्य मॉडल (target model), और एक मल्टी-जज पैनल शामिल है।

सिस्टम आर्किटेक्चर (System Architecture)

पाइपलाइन: ऑर्केस्ट्रेशन के लिए LangGraph और मॉडल कॉल्स के लिए LangChain का उपयोग करते हुए निर्मित, यह सिस्टम चेकपॉइंट रेज़्यूप्शन (checkpoint resumption) और मजबूत API रेट-लिमिट हैंडलिंग का समर्थन करता है।
लक्ष्य मॉडल: Llama 3.1 8B Instant (मूल्यांकन मेट्रिक्स का परीक्षण करने और उच्च विफलता व्यापकता सुनिश्चित करने के लिए जानबूझकर एक कमजोर लक्ष्य के रूप में चुना गया)।
हमलावर (Attacker): मुख्य रूप से Llama 3.3 70B, यदि दूसरी इटरेशन तक विफलता की पुष्टि नहीं होती है तो GPT-4o-mini तक अपग्रेड होता है।
जज (Judges): तीन मॉडल्स (Llama 3.3 70B, Cerebras GPT-OSS 120B, और Qwen3 32B) का एक पैनल इस बात पर वोट करता है कि क्या कोई रिस्पॉन्स ग्राउंड-ट्रुथ स्पेसिफिकेशन का उल्लंघन करता है। सर्वसम्मत सहमति परिणाम को सुरक्षित करती है; मतभेदों को GPT-4o-mini मेटा-जज द्वारा हल किया जाता है।

सीड कंस्ट्रक्शन और म्यूटेशन (Seed Construction and Mutation)

अध्ययन में तीन श्रेणियों में 45 सीड प्रॉम्प्ट्स का उपयोग किया गया: रीजनिंग (15), इंस्ट्रक्शन-फॉलोइंग (15), और टूल-यूज़ (15)। इन्हें टेम्पोरल रीजनिंग, सख्त फॉर्मेटिंग (जैसे सटीक JSON कीज़), नकारात्मक बाधाओं और टूल एज केसेस को कवर करने के लिए एक प्रारंभिक पायलट से विस्तारित किया गया था। प्रत्येक सीड में एक बेस प्रॉम्प्ट, एक स्पष्ट expected_behavior स्पेसिफिकेशन और एक रेफरेंस उत्तर शामिल है।

पाँच संरचित म्यूटेशन ऑपरेटर्स को $\epsilon$ -greedy सिलेक्शन रणनीति ( $\epsilon=0.2$ ) का उपयोग करके पुनरावृत्ति (iteratively) के माध्यम से लागू किया जाता है (प्रति सीड अधिकतम 5 इटरेशन तक):

rephrase: सीड का सतही पुनर्कथन।
inject_distractor: एक प्रशंसनीय लेकिन भ्रामक बाधा जोड़ना।
role_flip: एक प्रतिकूल व्यक्तित्व के तहत कार्य को फिर से फ्रेम करना।
constraint_add: विरोधाभासी आवश्यकताओं को जोड़ना।
jailbreak_wrap: सीड को जेलब्रेक-शैली के टेम्पलेट में एम्बेड करना।

मुख्य योगदान (Key Contributions)

पुनरुत्पादक पाइपलाइन (Reproducible Pipeline): एक LangGraph-आधारित सिस्टम जिसमें $\epsilon$ -greedy ऑपरेटर सिलेक्शन, अटैकर एस्केलेशन, और विफलता पुष्टि के लिए मेटा-जज के साथ तीन-जज पैनल शामिल है।
इटरेशन कॉस्ट मेट्रिक (Iteration Cost Metric): बाइनरी फेल्योर रेट्स के साथ मिलकर एक सीड को तोड़ने के लिए आवश्यक औसत अटैकर इटरेशन को रिपोर्ट करने का प्रस्ताव। यह मीट्रक उन कठिनाई स्तरों को प्रकट करता है जिन्हें एग्रीगेट पास/फेल दरें छिपा देती हैं।
विश्वसनीयता अध्ययन (Reliability Study): सिंगल-रिस्पॉन्स बाइनरी वर्डिक्ट के लिए इंटर-जज रिलायबिलिटी एनालिसिस (Cohen's $\kappa$ ) का अनुकूलन। अध्ययन दर्शाता है कि कैसे उच्च रॉ एग्रीमेंट, स्क्यूड डिस्ट्रीब्यूशन में लगभग शून्य या नकारात्मक $\kappa$ के साथ सह-अस्तित्व में रह सकता है, जो श्रेणी-स्तरीकृत असहमति दरों के रूप में अधिक सूचनात्मक मेट्रिक का तर्क देता है।
ट्रांसफ़रेबिलिटी साक्ष्य (Transferability Evidence): एक ज़ीरो-शॉट ट्रांसफ़रेबिलिटी प्रयोग जो दिखाता है कि एक कमजोर 8B मॉडल के विरुद्ध उत्पन्न प्रतिकूल प्रॉम्प्ट सफलतापूर्वक एक मजबूत 70B मॉडल को तोड़ देते हैं, जो यह सुझाव देता है कि म्यूटेशन मॉडल-विशिष्ट कमजोरियों के बजाय सामान्य व्यवहार संबंधी पैटर्न का लाभ उठाते हैं।

परिणाम (Results)

सफलता दर (Success Rate): सभी 45 सीड्स ने पुष्ट विफलताएं (confirmed failures) उत्पन्न कीं।
ऑपरेटर प्रभावशीलता (Operator Effectiveness): प्रभावशीलता श्रेणी के अनुसार काफी भिन्न होती है। उदाहरण के लिए, inject_distractor ने रीजनिंग और टूल-यूज़ सीड्स पर 1.00 का माध्य रिवॉर्ड प्राप्त किया लेकिन इंस्ट्रक्शन-फॉलोइंग सीड्स पर केवल 0.33 प्राप्त किया। एग्रीगेट काउंट्स इन श्रेणी-विशिष्ट निर्भरताओं को छिपा देते हैं।
इटरेशन कॉस्ट (Iteration Cost): इंस्ट्रक्शन-फॉलोइंग सीड्स को रीजनिंग और टूल-यूज़ सीड्स (औसत 1.1 इटरेशन) की तुलना में काफी अधिक प्रयास (औसत 2.4 इटरेशन) की आवश्यकता थी। एक सर्वाइवल कर्व ने दिखाया कि पहली इटरेशन के बाद भी 60% इंस्ट्रक्शन सीड्स बिना टूटे रहे, जबकि अन्य श्रेणियों के लिए यह केवल 10% था।
जज विश्वसनीयता (Judge Reliability): पेयरवाइज जज एग्रीमेंट उच्च (80–87%) था, फिर भी उच्च "फेल" वर्डिक्ट (90–97%) के कारण कोहेन का $\kappa$ शून्य या थोड़ा नकारात्मक (−0.05 से −0.11) था। असहमति दरें इंस्ट्रक्शन-फॉलोइंग (33% मामले) में सबसे अधिक थीं, जबकि रीजनिंग विफलताओं में सर्वसम्मति (0% असहमति) थी।
ट्रांसफ़रेबिलिटी (Transferability): 15 सत्यापित प्रतिकूल प्रॉम्प्ट्स की प्रारंभिक मैन्युअल समीक्षा ने संकेत दिया कि लॉजिकल ट्रैप्स और कंस्ट्रेंट-आधारित म्यूटेशन Llama 3.1 8B से Llama 3.3 70B तक सफलतापूर्वक ट्रांसफर हुए।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि AdversaBench सरल बाइनरी विफलता दरों से आगे बढ़कर प्रतिकूल मूल्यांकन का अधिक सूक्ष्म दृष्टिकोण प्रदान करता है। यह तर्क देता है कि:

ऑपरेटर चयन श्रेणी-निर्भर होना चाहिए: कोई भी एकल ऑपरेटर सभी कार्य प्रकारों में हावी नहीं होता; एग्रीगेट रिपोर्टिंग महत्वपूर्ण अक्षमताओं को छिपा देती है।
इटरेशन कॉस्ट एक महत्वपूर्ण मीट्रिक है: यह मॉडल को तोड़ने की "कठिनाई" को प्रकट करता है, जो केवल अंतिम सफलता दर रिपोर्ट करने पर अदृश्य रहती है।
इंस्ट्रक्शन-फॉलोइंग के लिए मल्टी-जज पैनल आवश्यक हैं: सिंगल जज उन विफलताओं को मिस कर देते हैं जिन्हें अन्य जज पास कर देते हैं, और इस श्रेणी में असहमति दरें अस्पष्ट मामलों पर मध्यस्थता की आवश्यकता को उजागर करती हैं।
$\kappa$ को संदर्भ की आवश्यकता है: स्क्यूड एडवर्सरियल सेटिंग्स में, लगभग शून्य $\kappa$ प्रचुरता (prevalence) का संकेत है न कि जज अलाइनमेंट की कमी का; श्रेणी-स्तरीकृत असहमति वह बेहतर संकेतक है जहाँ जज अलग होते हैं।
सामान्यीकरण (Generalizability): म्यूटेशन सामान्य व्यवहार संबंधी पैटर्न (जैसे, विरोधाभासी बाधाओं को हल करने की कठिनाई) को उजागर करते हैं, न कि छोटे मॉडल्स की विशिष्ट कमजोरियों को, जैसा कि बड़े मॉडल्स पर सफल ट्रांसफर से सिद्ध होता है।

लेखकों का निष्कर्ष है कि कोड, डेटासेट और विश्लेषण स्क्रिप्ट को पुनरुत्पादक रेड-टीमिंग और मूल्यांकन विश्वसनीयता के आगे के अध्ययन को सुगम बनाने के लिए जारी किया गया है।