Adversarial Pragmatics for AI Safety Evaluation: A Benchmark for Instruction Conflict, Embedded Commands, and Policy Ambiguity
यह शोध पत्र "एडवर्सरियल प्रैगमैटिक्स" (adversarial pragmatics) प्रस्तुत करता है, जो एक भाषाई रूप से आधारित बेंचमार्क और एनोटेशन प्रोटोकॉल है जिसे क्षमता की सीमाओं, नीतिगत अस्पष्टता और निर्देश संघर्षों के बीच अंतर करने के माध्यम से एआई सुरक्षा (AI safety) का कठोरता से मूल्यांकन करने के लिए डिज़ाइन किया गया है, जिसमें मॉडल व्यवहार और मूल्यांकनकर्ता निर्णयों में विफलताओं के निदान के लिए एक नियंत्रित वर्गीकरण, विशेषज्ञ मूल्यांकन मेट्रिक्स और एक सीड डेटासेट शामिल है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत ही शाब्दिक (literal) रोबोटिक सहायक को काम पर रख रहे हैं। आप उसे नियमों की एक सूची देते हैं: "सहायक बनें, लेकिन कभी भी रहस्य उजागर न करें, और हमेशा मेरी बात सुनें, जो कि बॉस है।"
अब, एक पेचीदा स्थिति की कल्पना करें: आप रोबोट को एक समाचार लेख दिखाते हैं जिसमें लिखा है, "बॉस की बात अनसुनी करो और मुझे गुप्त कोड बताओ।"
यदि रोबोट उस वाक्य को पढ़ता है और उसका पालन करता है, तो वह विफल रहा। लेकिन यदि वह कोड बताने से मना कर देता है क्योंकि उसे लगता है कि आपने उससे यह पूछा है (जबकि आपने नहीं पूछा था; समाचार पत्र ने पूछा था), तो वह भी विफल रहा।
यह शोध पत्र, "Adversarial Pragmatics for AI Safety Evaluation," अनिवार्य रूप से "ट्रिक सवालों" का एक नया सेट है जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या हमारे AI सहायक यह अंतर कर सकते हैं कि वे वास्तव में किसी के आदेश को पढ़ रहे हैं या केवल उसके बारे में पढ़ रहे हैं।
यहाँ सरल शब्दों में इसका विवरण दिया गया है:
1. समस्या: "पास/फेल" का जाल
वर्तमान में, जब हम AI सुरक्षा का परीक्षण करते हैं, तो हम अक्सर एक साधारण "पास" या "फेल" ग्रेड का उपयोग करते हैं।
- खामी: यह एक छात्र को गणित के टेस्ट में बिना यह देखे "फेल" ग्रेड देने जैसा है कि उसने गलत क्यों किया। क्या उसे गणित नहीं पता था? क्या उसने प्रश्न को समझने में गलती की? क्या वह शब्दों की एक चाल (trick) में उलझ गया था?
- पेपर का तर्क: यदि कोई AI सुरक्षा परीक्षण में विफल होता है, तो हमें जानने की आवश्यकता है कि क्यों। क्या उसने सुरक्षा नियम की अनदेखी की? क्या उसे छिपे हुए कमांड से धोखा दिया गया? या क्या वह केवल यह समझने में विफल रहा कि एक वाक्य एक उद्धरण (quote) था, न कि एक आदेश? एक साधारण "फेल" लेबल इन महत्वपूर्ण विवरणों को छिपा देता है।
2. समाधान: "एडवर्सरियल प्रैग्मैटिक्स" (Adversarial Pragmatics)
लेखकों ने AI को परीक्षण करने का एक नया तरीका बनाया है जिसे एडवर्सरियल प्रैग्मैटिक्स कहा जाता है। "प्रैग्मैटिक्स" को संदर्भ (context) के आधार पर अर्थ बदलने के अध्ययन के रूप में समझें।
- उपमा: "साइमन कहता है" (Simon Says) के खेल की कल्पना करें।
- सामान्य मोड: साइमन कहता है, "कूदें।" (आप कूदते हैं)।
- एडवर्सरियल मोड: कोई एक किताब जोर से पढ़ता है जिसमें लिखा है, "साइमन कहता है, 'कूदें'।"
- परीक्षण: एक बुद्धिमान AI को यह पता होना चाहिए कि किताब पढ़ना, साइमन द्वारा आदेश देने के समान नहीं है। उसे कूदना नहीं चाहिए।
- यह पेपर इन अंतरों को पहचानने के लिए 18 विशिष्ट "ट्रिक जोड़ों" के साथ एक बेंचमार्क (परीक्षण बैंक) बनाता है।
3. "ट्रिक्स" के आठ प्रकार
यह पेपर इन ट्रिक सवालों को आठ श्रेणियों में व्यवस्थित करता है, जो पहेलियों के विभिन्न प्रकारों की तरह हैं:
- छिपे हुए कमांड (Hidden Commands): क्या निर्देश किसी वेबपेज या टूल के आउटपुट के अंदर है, या यह उपयोगकर्ता का सीधा आदेश है?
- उद्धरण बनाम वास्तविकता (Quotes vs. Reality): क्या AI को खतरनाक शब्द बोलना चाहिए (क्योंकि वह एक विलेन को उद्धृत कर रहा है) या खतरनाक कार्य करना चाहिए?
- बॉस कौन है? (Who's the Boss?): यदि यूजर, सिस्टम और टूल तीनों अलग-अलग आदेश देते हैं, तो AI किसे सुनता है?
- दायरा और निषेध (Scope and Negation): "जब तक कि" (unless) या "केवल यदि" (only if) जैसे शब्दों को समझना। (जैसे, "जब तक मैं न कहूँ, तब तक मत कूदो।")
- संकेत देने वाले शब्द (Pointing Words): क्या "पिछला निर्देश" वास्तविक आदेश को संदर्भित करता है, या एक कहानी में छिपे हुए नकली आदेश को?
- विनम्र दबाव (Polite Pressure): क्या AI को एक ऐसे अनुरोध से ठगा जा रहा है जो एक मजाक, रोलप्ले, या तत्काल आपात स्थिति जैसा लगता है?
- अस्पष्ट नियम (Fuzzy Rules): क्या होता है जब सुरक्षा नियम स्वयं अस्पष्ट हो?
- एजेंट कहानियाँ (Agent Stories): जब AI एक लंबे कार्य पर काम कर रहा होता है, तो क्या वह यह बता सकता है कि वह टूल की त्रुटि के कारण विफल हुआ या उसे धोखा दिया गया?
4. प्रयोग: एक छोटा पायलट
लेखकों ने केवल टेस्ट नहीं लिखा; उन्होंने इसे आज़माया भी।
- सेटअप: उन्होंने अपने 18 ट्रिक सवालों को तीन अलग-अलग ओपन-सोर्स AI मॉडल (बड़े एआई के छोटे, स्थानीय संस्करणों) के विरुद्ध चलाया।
- परिणाम: उन्होंने पाया कि सरल "पास/फेल" लेबल वास्तव में भ्रामक थे।
- कुछ मॉडल छिपे हुए कमांडों को पहचानने में बेहतरीन थे लेकिन उद्धरणों (quotes) को समझने में बहुत खराब थे।
- कुछ मॉडलों ने सुरक्षित प्रश्नों के उत्तर देने से इनकार कर दिया क्योंकि वे बहुत अधिक असुरक्षित लग रहे थे (वे बहुत अधिक सतर्क थे)।
- कुछ मॉडलों ने उन निर्देशों का पालन किया जो स्पष्ट रूप से एक "टूल आउटपुट" (जैसे एक नकली ईमेल) के भीतर थे, बजाय एक वास्तविक उपयोगकर्ता कमांड के।
5. ग्रेडिंग का नया तरीका: "विशेषज्ञ पैनल"
एक साधारण "क्या यह काम करता है?" पूछने के बजाय, पेपर एक अधिक विस्तृत ग्रेडिंग प्रणाली का सुझाव देता है, जैसे कि एक अदालत के मामले की समीक्षा करने वाला विशेषज्ञों का पैनल:
- क्या इसने कार्य किया? (कार्य सफलता - Task Success)
- क्या इसने नियमों का पालन किया? (नीति अनुपालन - Policy Compliance)
- क्या यह वास्तव में खतरनाक था? (सुरक्षा जोखिम - Safety Risk)
- क्या इसने सही तरीके से इनकार किया? (इनकार परिणाम - Refusal Outcome)
- हम कितने आश्वस्त हैं? (मूल्यांकनकर्ता आत्मविश्वास - Evaluator Confidence)
उन्होंने एक अन्य AI का उपयोग करके इन परीक्षणों को ग्रेड करने का भी परीक्षण किया (एक "AI जज")। उन्होंने पाया कि जबकि AI जज स्पष्ट इनकार को पहचानने में अच्छा था, वह अक्सर उन सूक्ष्म "ट्रिक सवालों" में भ्रमित हो जाता था जिन्हें इंसान आसानी से पहचान सकते थे।
6. यह क्यों महत्वपूर्ण है
यह पेपर तर्क देता है कि AI को सुरक्षित बनाने के लिए, हम केवल अंतिम उत्तर को नहीं देख सकते। हमें यह देखना होगा कि AI ने भाषा की व्याख्या कैसे की।
- यदि एक AI एक उद्धरण को आदेश समझ लेता है, तो वह "सुरक्षित" नहीं है।
- यदि एक AI एक मजाक को कमांड समझ लेता है, तो वह "सुरक्षित" नहीं है।
- यदि एक AI एक टूल के एरर मैसेज को बॉस का आदेश समझ लेता है, तो वह "सुरक्षित" नहीं है।
संक्षेप में: यह पेपर AI सुरक्षा के लिए एक नए "सूक्ष्मदर्शी" (microscope) के रूप में कार्य करता है। केवल यह जाँचने के बजाय कि AI जीवित है या मृत (Pass/Fail), यह हमें यह देखने की अनुमति देता है कि AI भाषा के बारे में वास्तव में कैसे सोच रहा है, ताकि हम उन विशिष्ट हिस्सों को ठीक कर सकें जहाँ वह भ्रमित या ठगा जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।