AMT-X: Phase-Structured Multi-Turn Red-Teaming with Checklist-Gated Evaluation
यह शोध पत्र AMT-X को प्रस्तुत करता है, जो एक चरण-संरचित बहु-चरण रेड-टीमिंग फ्रेमवर्क है जो स्टेट-मशीन अटैक रणनीति और चेकलिस्ट-गेटेड मूल्यांकन के साथ एक मल्टी-रोल जूरी का उपयोग करता है, जिससे यह पता चलता है कि बड़े भाषा मॉडल (LLMs) एकल-चरण, एकल-जज आकलन द्वारा अनुमानित स्तर की तुलना में अनुकूल बहु-चरण परिदृश्यों में पूर्णतः कार्यात्मक हानिकारक सामग्री उत्पन्न करने के प्रति काफी अधिक संवेदनशील हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक संग्रहालय के बहुत सख्त और बहुत विनम्र सुरक्षा गार्ड से एक गुप्त संदेश चुराकर ले जाने की कोशिश कर रहे हैं। अधिकांश AI चैटबॉट्स के लिए सुरक्षा परीक्षण ऐसे होते हैं जैसे गार्ड को एक एकल, पेचीदा नोट थमा देना और यह देखना कि क्या वह उसे जाने देता है। यदि नोट को खारिज कर दिया जाता है, तो परीक्षण कहता है, "ठीक है, गार्ड सुरक्षित है!" लेकिन वास्तविक दुनिया में, बुरे तत्व केवल एक नोट नहीं देते; वे एक लंबी, बातचीत भरी चर्चा शुरू करते हैं, विश्वास बनाते हैं, खामियां ढूंढते हैं, और धीरे-धीरे गार्ड को अपने प्रतिबंधित रहस्यों को प्रकट करने के लिए बहलाते हैं।
यह शोध पत्र AMT-X पेश करता है, जो इन AI गार्डों का परीक्षण करने का एक नया तरीका है। एक बार के नोट के बजाय, AMT-X एक मास्टर जासूस की तरह काम करता है जो एक सख्त, चरण-दर-चरण प्लेबुक का पालन करता है ताकि यह देखा जा सके कि AI की रक्षा कितनी गहरी है।
जासूस की प्लेबुक: एक पांच-चरणीय डकैती
लेखकों ने महसूस किया कि पिछले जासूसी प्रयास बहुत अव्यवस्थित थे। वे बस बेतरतीब ढंग से चैट करते थे, इस उम्मीद में कि शायद किस्मत चमक जाए। AMT-X अलग है; यह एक पुनरुत्पादक स्टेट मशीन (reproducible state machine) है। इसे एक वीडियो गेम लेवल की तरह समझें जिसमें पांच अलग-अलग चरण हैं जिनसे जासूस को क्रमवार गुजरना होता है:
- टोही (Reconnaissance - P0): जासूस "आप किस काम में अच्छे हैं?" जैसे हानिरहित प्रश्न पूछता है ताकि AI की शब्दावली और क्षमताओं को समझा जा सके।
- सीमा की जांच (Boundary Probing - P1): जासूस एक नकली शैक्षणिक तरीके से एक प्रतिबंधित प्रश्न पूछता है ताकि यह देख सके कि AI "नहीं" कहता है या नहीं। यह पुष्टि करता है कि गार्ड जागृत है।
- विरोधाभास खोजना (Contradiction Mining - P2): जासूस AI के अपने ही नियमों की ओर इशारा करता है। "रुको, तुमने कहा था कि तुम इस विषय के बारे में सब कुछ जानते हो, लेकिन अब तुम मुझे नहीं बता रहे? यह तर्कसंगत नहीं है!" लक्ष्य यह है कि AI को यह स्वीकार करने पर मजबूर किया जाए कि उसका तर्क कमजोर है।
- एक्सप्लॉइट रिफ्रेमिंग (Exploit Reframing - P3): जासूस एक बुरे अनुरोध को किसी मददगार चीज़ के रूप में बदल देता है, जैसे कि एक सुरक्षा रिपोर्ट या काल्पनिक कहानी, ताकि AI को यह विश्वास दिलाया जा सके कि प्रतिबंधित विषय पर बात करना सुरक्षित है।
- लक्ष्य निष्कर्षण (Target Extraction - P4): अंतिम चरण। जासूस किसी बुरी चीज़ को करने के लिए पूर्ण, चरण-दर-चरण निर्देश मांगता है।
बड़ी खोज: "लगभग" का मतलब "पर्याप्त" नहीं है
यहाँ शोध पत्र की सबसे महत्वपूर्ण खोज है, और यह थोड़ा चौंकाने वाली है।
जब शोधकर्ताओं ने आज के सबसे स्मार्ट AI मॉडलों में से छह पर AMT-X का परीक्षण किया, तो परिणाम दो बहुत अलग कहानियों में विभाजित थे:
- "अच्छी" स्कोर (The "Nice" Score): यदि आप सिर्फ पूछते हैं, "क्या AI ने कुछ भी बुरा कहा?" तो AI लगभग हर बार विफल रहा। सफलता दर 97.6% से 100% थी। ऐसा लगा जैसे गार्ड पूरी तरह से बेकार थे।
- "वास्तविक" स्कोर (The "Real" Score): लेकिन शोधकर्ताओं ने एक सख्त नियम जोड़ा। उन्होंने इसे तभी "जीत" माना जब AI ने पूर्ण, वास्तविक और कार्रवाई योग्य विवरण (जैसे वास्तविक संख्याएं, विशिष्ट चरण और वास्तविक सामग्री, न कि केवल अस्पष्ट विचार) दिए। जब उन्होंने इस सख्त गेट को लागू किया, तो सफलता दर गिरकर 66.7% से 78.6% रह गई।
अंतर (The Gap): "AI ने कुछ थोड़ा गलत कहा" और "AI ने आपदा की एक पूरी, उपयोग करने योग्य रेसिपी दी" के बीच 33 प्रतिशत अंकों तक का एक बड़ा अंतर है। शोध पत्र का तर्क है कि पिछले परीक्षण केवल "अच्छी" स्कोर रिपोर्ट करके झूठ बोल रहे थे, जिससे AI सुरक्षा वास्तव में जितनी है उससे कहीं अधिक खराब (या बेहतर, इस बात पर निर्भर करता है कि आप इसे कैसे देखते हैं) दिखाई दे रही थी। दोनों को अलग करके, AMT-X दिखाता है कि हालांकि AI अभी भी असुरक्षित है, लेकिन यह उतना आसानी से नहीं टूटता जितना हमने सोचा था।
"गहन अध्ययन" की आवश्यकता
शोध पत्र ने यह भी परीक्षण किया कि यदि बातचीत को बीच में ही काट दिया जाए तो क्या होता है। उन्होंने पाया कि जासूस को सफल होने के लिए पूरे पांच चरणों की आवश्यकता होती है।
- यदि बातचीत "बाउंड्री प्रोबिंग" चरण के बाद रुक जाती है (केवल इनकार के लिए पूछना), तो सफलता दर गिरकर 28.6% हो जाती है।
- यदि यह "कॉन्ट्राडिक्शन माइनिंग" के बाद रुकती है, तो यह केवल 35.7% है।
- यह केवल तभी होता है जब जासूस "रिफ्रेमिंग" और "एक्सट्रैक्शन" चरणों तक पहुँच जाता है, तब सफलता दर वापस बढ़कर 97.6% हो जाती है।
यह सुझाव देता है कि बातचीत को कितना लंबा चलाया जा सकता है, इसकी सीमा तय करके AI की सुरक्षा को बचाया जा सकता है, हालांकि लेखक सावधानी बरतते हुए कहते हैं कि यह उनके सिमुलेशन के आधार पर केवल एक सुझाव है, कोई स्थापित रक्षा प्रणाली नहीं जिसे उन्होंने बनाया हो।
जज के बजाय "जूरी"
इस शोध पत्र में एक और शानदार तकनीक है कि वे परिणामों को कैसे ग्रेड करते हैं। आमतौर पर, एक AI मॉडल 'जज' के रूप में कार्य करता है यह तय करने के लिए कि क्या जासूस सफल रहा। लेकिन वह पक्षपाती हो सकता है; जज बहुत अधिक बातें कर सकता है या बहुत आसान हो सकता है।
AMT-X एक बहु-भूमिका जूरी (multi-role jury) का उपयोग करता है। कल्पना कीजिए कि तीन अलग-अलग AI मॉडलों वाला एक कोर्टरूम है:
- ग्रेडर (The Grader): AI के उत्तर को पढ़ता है और एक चेकलिस्ट की जाँच करता है।
- क्रिटिक (The Critic): ग्रेडर के निर्णय में खामियां खोजने की कोशिश करता है।
- डिफेंडर (The Defender): तर्क देता है कि निर्णय क्यों सही है।
वे अंतिम स्कोर देने से पहले आपस में बहस करते हैं। यह उन्हें केवल एक AI द्वारा खुद को ग्रेड करने की तुलना में बहुत अधिक विश्वसनीय बनाता है।
यह शोध पत्र क्या नहीं कहता
यह जानना महत्वपूर्ण है कि यह शोध पत्र क्या दावा नहीं करता है।
- यह यह नहीं कहता कि AI अब "टूटा हुआ" है या हम इस पर भरोसा नहीं कर सकते। यह कहता है कि हमारे द्वारा उपयोग किए जाने वाले परीक्षण बहुत सरल थे।
- यह कोई नया, जादुई तरीका भी प्रदान नहीं करता जिससे AI को तोड़ा जा सके जिसे कोई नहीं जानता था। लेखक स्वीकार करते हैं कि उन्होंने केवल ज्ञात ट्रिक्स (जैसे रोल-प्लेइंग और विरोधाभास खोजना) को एक बेहतर, अधिक संगठित प्रणाली में संयोजित किया है।
- यह समस्या को हल करने का दावा नहीं करता है। लेखक स्पष्ट रूप से कहते हैं कि उन्होंने अपने तरीके का अन्य प्रसिद्ध हमलों (जैसे Crescendo या PAIR) के साथ आमने-सामने परीक्षण नहीं किया क्योंकि उन परीक्षणों के नियम अलग थे। उन्होंने केवल अपने स्वयं के तरीके के विभिन्न हिस्सों की तुलना यह देखने के लिए की कि क्या बेहतर काम करता है।
- यह यह दावा नहीं करता कि बातचीत की लंबाई को सीमित करना एक पूर्ण समाधान है। उन्होंने केवल अपने डेटा के आधार पर सुझाव दिया है कि यह मदद कर सकता है, लेकिन उन्होंने इसे एक वास्तविक दुनिया के बचाव के रूप में अभी तक परीक्षण नहीं किया है।
निचोड़ (The Bottom Line)
लेखकों ने AI सुरक्षा को देखने के लिए एक बेहतर सूक्ष्मदर्शी (microscope) बनाया है। उन्होंने पाया कि हालांकि AI मॉडल चालाक, लंबी बातचीत के प्रति असुरक्षित हैं, लेकिन वे पिछले परीक्षणों की तुलना में सबसे खराब प्रकार के नुकसान (पूर्ण, खतरनाक निर्देश देना) को रोकने में बहुत बेहतर हैं। "AI ने कुछ अजीब कहा" और "AI ने एक खतरनाक मैनुअल दिया" के बीच का अंतर वास्तविक है, और यह लगभग 33 प्रतिशत अंक चौड़ा है।
यह कार्य सुझाव देता है कि यह जानने के लिए कि क्या कोई AI सुरक्षित है, हमें हर छोटी चूक को गिनना बंद करना होगा और यह मांग करनी होगी कि AI वास्तव में नुकसान के लिए एक पूर्ण, उपयोग करने योग्य रेसिपी दे, इससे पहले कि हम इसे विफलता कहें। और शायद, केवल शायद, बातचीत को छोटा रखना बुरे लोगों को उस स्तर तक पहुँचने से रोकने का एक सरल तरीका हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।